鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程软考华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

Kafka

269内容

关注

涵盖Kafka相关研究热点、技术难点与应用场景，了解这一企业级互联网架构核心产品的更多信息。

共 269 条

Kafka生产环境实战经验深度总结，让你少走弯路

本文结合本人在多个生产项目中使用 Kafka 的经验，围绕以下几个方面展开：消息丢失防范、重复消费控制、性能瓶颈优化、集群运维策略，以及 Topic、分区、副本机制的设计要点。

2025-04-29 01:10:00

Kafka 高并发系统

Kafka 新消费者特性凭啥让消息处理效率狂飙 200%？

Kafka 的新消费者特性就像给消息处理系统来了一场 "涡轮增压"，让效率直接狂飙。咱今天就来好好唠唠，这些新特性到底有啥魔法，能让消息处理效率提升 200%。

2025-04-16 00:00:00

Kafka 消费者组消息处理

字节一面：Kafka为什么这么快？

生产者在发送消息到Kafka集群之前，可以对消息进行压缩。这种在生产者端进行压缩的方式能够减少发送到Kafka集群的数据量，从而降低网络传输的带宽消耗，并提高数据传输的效率。

2024-11-26 08:52:34

SQL 优化 Kafka

面试官：Kafka是如何实现百万级高吞吐量的？

Kafka是一个非常优秀的消息系统，它提供了高吞吐量、低延迟和高可靠性等特性。通过使用批量发送与压缩、优秀的网络模型、磁盘顺序写、页缓存、分区并发、sendfile零拷贝等技术，Kafka可实现百万级高吞吐量。

2024-11-08 13:36:09

Kafka 消息系统

Kafka消费位点管理没你想的那么简单

熟悉RocketMQ的小伙伴都知道RocketMQ已经默认帮我实现好了消息消费失败重试，消费位点自动提交，死信队列等功能，那么kafka是否也是如此呢?

2024-10-31 11:49:41

Kafka 管理死信队列

图解 Kafka 架构与工作原理

实时数据处理，从名字上看，很好理解，就是将数据进行实时处理，在现在流行的微服务开发中，最常用实时数据处理平台有 RabbitMQ、RocketMQ 等消息中间件。

2024-10-30 10:06:51

kafka 架构数据

DelayedOperation：Broker是怎么延时处理请求的？

通过分析Kafka中的Timer和SystemTimer类，我们深入了解了Kafka如何通过分层时间轮实现高效的延时任务调度机制。Kafka的延时处理不仅应用于消费者组协调器，还广泛用于副本管理、控制器等模块。

2024-10-14 12:15:11

TimerKafka 任务调度

PartitionStateMachine：分区状态转换如何实现？

通过对PartitionStateMachine源码的详细解读，我们深入了解了Kafka分区状态的管理以及Leader选举的实现过程。我们看到了如何通过状态机的设计来控制分区的状态转换，以及在不同场景下的Leader选举策略。

2024-10-11 15:04:35

Kafka Leader 选举

ReplicaStateMachine：揭秘副本状态机实现原理

在本文中，我们深入剖析了Kafka副本状态机（ReplicaStateMachine）的实现原理，重点介绍了其主要状态、核心代码逻辑以及状态转换的工作机制。副本状态机作为Kafka控制器的重要组成部分，确保了Kafka集群中各个副本的高效管理和协调工作。

2024-10-10 17:46:06

Kafka 状态机集群

Kafka 为什么这么快的七大秘诀，涨知识了

Kafka Reactor I/O 网络模型是一种非阻塞 I/O 模型，利用事件驱动机制来处理网络请求。该模型通过 Reactor 模式实现，即一个或多个 I/O 多路复用器（如 Java 的 Selector）监听多个通道的事件，当某个通道准备好进行 I/O 操作时，触发相应的事件处理器进行处理。

2024-09-14 09:41:17

Kafka 网络模型非阻塞 I/O 模型

面试官：Leader崩溃Follower不够新怎么办？

数据一致性问题是指在一个系统中，不同部分的数据在逻辑上应该保持一致，但实际情况却出现了矛盾或不匹配的现象。

2024-08-27 11:59:47

数据一致性 Kafka Leader

RocketMQ 为什么性能不如 Kafka？

我们知道，消息队列的消息为了防止进程崩溃后丢失，一般不会放内存里，而是放磁盘上。那么问题就来了，消息从消息队列的磁盘，发送到消费者，过程是怎么样的呢？

2024-08-05 00:00:00

RocketMQ Kafka 磁盘

Kafka日志处理：深入了解偏移量查找与切分文件

当Kafka检测到任何一个条件满足时，就会触发日志切分，创建一个新的日志分段文件，并更新相关的索引文件。新的日志分段文件会继续接收新的消息，而旧的日志分段文件会被保留，以便后续的读取和处理。

2024-07-09 11:48:47

Kafka 索引日志

深入Kafka：如何保证数据一致性与可靠性？

今天我们深入探讨了Kafka的一致性机制，包括幂等性和选举机制。通过幂等性机制，Kafka能够保证消息的唯一性和顺序性，避免重复处理问题。

2024-07-04 12:36:50

Kafka 选举机制可靠性

消息队列的六种经典使用场景和 Kafka 架构设计原理详细解析

Apache Kafka 是一个高吞吐量、分布式的流处理平台，广泛应用于实时数据管道和流处理应用中。Kafka 以其高性能、低延迟、扩展性和可靠性，成为了大数据生态系统中的重要组件。

2024-05-28 08:31:46

Kafka 架构消息队列

腾讯面试：如何提升Kafka吞吐量？

Kafka 与其他两个主流的中间件 RabbitMQ 和 RocketMQ 相比，Kafka 最大的优势就是高吞吐量。

2024-05-23 16:41:40

Kafka RabbitMQ RocketMQ

字节面试：如何解决MQ消息积压问题？

消息积压问题的处理取决于消息积压的类型，例如，消息积压是突发性消息积压问题？还是缓慢持续增长的消息积压问题？不同的问题的解决方案略有不同，接下来我们一起来看。

2024-04-23 08:46:45

消息积压 Kafka MQ

Kafka 数据积压与数据重复的处理案例

针对数据积压和数据重复问题的解决方案需要根据具体的业务需求和系统情况进行调整和优化。此外，监控和度量系统也是非常重要的，可以帮助及时发现和解决数据积压和重复问题。

2024-04-23 08:40:00

数据积压数据重复 Kafka

Kafka 是什么？你想知道吗？

kafka 是消息队列，像消息队列投递消息的是生产者，消费消息的是消费者。增加生产者和消费者的实例个数可以提升系统吞吐。多个消费者可以组成一个消费者组，不同消费者组维护自己的消费进度，互不打搅。

2024-04-22 08:02:34

kafka 消息队列高可用

面试官：Kafka和ES选主有什么区别？

Kafka 是一个分布式流处理平台，由 LinkedIn 公司开发和维护，之后成为 Apache 软件基金会的一部分。它主要是为处理实时数据而设计的，是一个高吞吐量的分布式发布订阅消息系统。

2024-03-20 15:12:59

Kafka ES 中间件

Kafka Consumer 消费消息和 Rebalance 机制

因为 Kafka 的 Consumer 客户端是线程不安全的，为了保证线程安全，并提升消费性能，可以在 Consumer 端采用类似 Reactor 的线程模型来消费数据。

2024-03-20 08:33:00

Kafka 线程安全 Rebalance

Kafka 三高架构设计剖析

在 Kafka 中，同一个 Topic 的消息会被分成多个分区并将其分布在多个 Broker 上，这些分区信息及与 Broker 的对应关系也都是由 Zookeeper 在维护。

2024-03-14 08:33:13

kafka 三高架构 Zookeeper

糟糕，CPU100%了！该怎样解决这个非常头疼的问题

今天特地把我和同事，之前遇到过的cpu使用率100%的问题，总结了一下，给有需要的朋友一个参数。

2024-02-26 08:21:51

CPU kafka 死循环

六个技术点带你理解 Kafka 高性能背后的原理

Kafka 是一款性能非常优秀的消息队列，每秒处理的消息体量可以达到千万级别。今天来聊一聊 Kafka 高性能背后的技术原理。

2024-02-19 08:17:10

Kafka 消息队列收发消息

图解 Kafka 源码实现机制之客户端缓存架构设计

通过场景驱动的方式，当被发送消息通过网络请求封装、NIO多路复用器监听网络读写事件并进行消息网络收发后，回头来看看消息是如何在客户端缓存的？

2023-12-26 08:16:56

Kafka 缓存架构客户端

穿越时间的引擎：解密 Kafka 消息的时序之谜

在本篇技术博客中，我们深入探讨了 Kafka 消息延迟和时序性的重要性以及如何度量、监控和降低消息延迟。我们还讨论了消息时序性的挑战和如何确保消息时序性。

2023-12-18 08:16:21

Kafka 消息延迟消息的时序

无语！我是来面Java的，你怎么问我大数据的Kafka？

在当今大数据时代，数据的可靠性和一致性变得至关重要。Kafka作为一个分布式流数据平台，强调了实时数据的高吞吐量传输，而Kafka事务性消息则在这个过程中发挥了至关重要的作用。本文将详细介绍Kafka事务性消息，探究它们如何确保数据一致性，以及在各种应用场景中的应用。

2023-12-11 08:21:02

数据的可靠性一致性 Kafka

运维兄弟！Kafka怎么又"超时"了？

今天在通过一个之前遇到过的场景，在一起探讨下：作为Kafka集群管理员或者运维的同学，怎么能给研发同学解释清楚：服务问题和网络问题。

2023-12-07 08:46:41

Kafka 服务问题网络问题

图解Kafka适用场景，全网最全！

如果将事件作为系统中的一等公民（即事实来源），那存储应用程序的状态就是一系列事件，系统中的其他所有内容都可根据这些持久且不可变的事件重新计算。

2023-11-29 07:43:30

Kafka 适用场景

网络故障的隐形元凶：MTU配置你了解吗？

公司内部有多套Kafka集群，100+broker节点，针对kafka我司也有比较完善的自动化运维管理体系，最近出现过一次业务连接kafka集群频繁超时的情况，在这里记录下处理过程，加深对网络知识的理解。

2023-11-28 09:30:48

kafka 网络故障

问：Kafka有哪些应用场景？你能说上来几个？

大家应该都知道，Kafka 最初是为海量日志处理而构建的。它保留消息直到过期，并让消费者按照自己的节奏提取消息。与它的之前的消息队列不同，Kafka 不仅仅是一个消息队列，它还是一个适用于各种情况的开源事件流平台。

2023-11-28 08:20:25

Kafka 消息队列

Kafka 如何保证消息消费的全局顺序性

由于相同的 key 就发送到同一分区，这样就能够保证了消费的消息是有序的。然而，如果只有一个消费者消费相同 key 的消息，与前面单分区相比没有什么区别

2023-11-27 17:29:43

Kafka 全局顺序性

Google Docs系统设计详解（协作文档编辑）

由于使用微服务，若操作队列的请求数量超过其容量，可轻松单独扩展每个组件。可使用多个操作队列。此时，每个操作队列将负责单个文档。

2023-11-27 00:50:50

解密Kafka主题的分区策略：提升实时数据处理的关键

在文章中，我们深入探讨了Kafka主题的分区策略，这是Kafka消息传递系统的核心组成部分。我们从基础知识入手，了解了分区策略的基本概念，为什么它重要，以及它如何影响Kafka集群的性能和数据的顺序性。

2023-11-21 08:11:48

Kafka 的分区策略

Kafka 副本间如何实现数据同步？

Kafka 是一个高吞吐的分布式消息系统，不但像传统消息队列（RaabitMQ、RocketMQ等）那样能够【异步处理、流量消峰、服务解耦】

2023-11-16 18:03:05

Kafka 分布式消息

离谱！面试为啥都问Kafka？赶紧补一下

Apache Kafka是一个高吞吐量、分布式、可水平扩展的消息传递系统，最初由LinkedIn开发。它的目标是解决海量数据的实时流式处理和传输问题。

2023-11-01 07:25:54

Kafka 消息传递系统

告别传统MQ：Kafka是一个分布式事件流平台，这到底意味着什么呢?

Kafka 作为集群运行在一台或多台可以跨越多个数据中心的服务器上。并以分布式、高度可扩展、弹性、容错和安全的方式提供其功能。此外，Kafka 可以部署在裸机硬件、虚拟机、容器、本地以及云端。

2023-10-07 08:46:22

图解 Kafka 源码之服务端启动流程

从今天开始，我们来深度剖析 Kafka「Controller」的底层源码实现，这是 Controller 系列第一篇，我们先回过头来继续来深度聊聊「Kafka 服务端启动的流程」，看看 Kafka 服务端是如何启动的。

2023-08-14 08:17:13

Kafka 服务端

一文聊透如何监控 Kafka 服务

今天我们来讲解几款 Kafka 常用可视化监控工具，主要有以下几个「JConsole」、「Kafka Manager」、「Kafka Offset Explorer」、「KafkaOffsetMonitor」、「LogiKM」。

2023-05-11 08:16:13

可视化监控工具 Kafka

图解 Kafka 源码之 NetworkClient 网络通信组件架构设计

今天主要聊聊「真正进行网络 I/O 的 NetworkClient 的架构设计」深度剖析下消息是如何被发送出去的。

2023-03-15 08:17:27

Kafka 网络通信组件

从大厂挖来的架构师，Kafka参数调优做的那叫一个优雅，学到了

这篇文章我们还是采用老规矩画图的形式，来聊聊Kafka生产端一些常见参数的设置，让大家下次看到一些Kafka客户端设置的参数时，不会再感到发怵。

2022-09-26 19:10:45

面试回答 CopyOnWrite 的三重境界，1%的人能答到最后

这个CopyOnWrite在面试的时候，很可能成为面试官的一个杀手锏把候选人给一击必杀，也很有可能成为候选人拿下Offer的独门秘籍，是相对高级的一个知识。

2022-09-24 19:09:42

Kafka为何要设计缓冲池机制？初看一脸懵逼，看懂直接跪下

我们通过Kafka内核源码中的一些设计思想，来看你设计Kafka架构的技术大牛，是怎么优化JVM的GC问题的？

2022-09-23 18:16:25

图解 Kafka 源码实现机制之客户端缓存架构

今天主要聊聊「Kafka 客户端消息缓存架构设计」，深度剖析下消息是如何进行缓存的。

2022-09-23 08:02:42

Kafka 消息缓存

每次都碰到面试官问我如何保证Kafka不丢失消息，快哭了

这篇文章，我们来聊聊在线上生产环境使用消息中间件技术的时候，从前到后的全链路到底如何保证数据不能丢失。

2022-08-26 05:24:04

中间件技术 Kafka

图解 Kafka 网络层源码实现机制之收发消息全过程

今天我们主要对 Kafka 网络层收发流程进行总结下。

2022-08-22 08:45:57

Kafka 网络层源码实现

大数据必知必会之Kafka

目前越来越多的开源分布式处理系统如 Cloudera、Storm、Spark、Flink 等都支持与 Kafka 集成，Kafka 之所以受到越来越多的青睐，与它所“扮演”的三大角色是分不开的。

2022-08-19 10:31:32

Kafka 大数据

谈谈你对Kafka数据存储原理的理解

今天，我给大家来聊一聊我对Kafka零拷贝原理的理解。

2022-08-14 07:14:50

Kafka 零拷贝

SpringBoot 整合 Kafka 实现数据高吞吐

本文主要以SpringBoot技术框架为背景，结合实际业务需求，采用 kafka 进行数据消费，实现数据量的高吞吐，在下篇文章中，我们会介绍消费失败的处理流程。

2022-04-28 07:31:41

Spring kafka 数据量

Kafka放弃Zookeeper后如何存储主题与消费组呢？

主题的路由信息是存储在Zookeeper中，那为什么客户端只需要Broker的地址，就可以获取到主题的路由信息呢？

2022-03-07 10:15:28

Kafka Zookeeper 存储

1 2 3 4 5 6 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营