开源基础软件社区

WOT全球技术创新大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2023年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

Kafka

232内容

关注

涵盖Kafka相关研究热点、技术难点与应用场景，了解这一企业级互联网架构核心产品的更多信息。

共 232 条

图解 Kafka 源码之服务端启动流程

从今天开始，我们来深度剖析 Kafka「Controller」的底层源码实现，这是 Controller 系列第一篇，我们先回过头来继续来深度聊聊「Kafka 服务端启动的流程」，看看 Kafka 服务端是如何启动的。

2023-08-14 08:17:13

Kafka 服务端

一文聊透如何监控 Kafka 服务

今天我们来讲解几款 Kafka 常用可视化监控工具，主要有以下几个「JConsole」、「Kafka Manager」、「Kafka Offset Explorer」、「KafkaOffsetMonitor」、「LogiKM」。

2023-05-11 08:16:13

可视化监控工具 Kafka

图解 Kafka 源码之 NetworkClient 网络通信组件架构设计

今天主要聊聊「真正进行网络 I/O 的 NetworkClient 的架构设计」深度剖析下消息是如何被发送出去的。

2023-03-15 08:17:27

Kafka 网络通信组件

从大厂挖来的架构师，Kafka参数调优做的那叫一个优雅，学到了

这篇文章我们还是采用老规矩画图的形式，来聊聊Kafka生产端一些常见参数的设置，让大家下次看到一些Kafka客户端设置的参数时，不会再感到发怵。

2022-09-26 19:10:45

面试回答 CopyOnWrite 的三重境界，1%的人能答到最后

这个CopyOnWrite在面试的时候，很可能成为面试官的一个杀手锏把候选人给一击必杀，也很有可能成为候选人拿下Offer的独门秘籍，是相对高级的一个知识。

2022-09-24 19:09:42

Kafka为何要设计缓冲池机制？初看一脸懵逼，看懂直接跪下

我们通过Kafka内核源码中的一些设计思想，来看你设计Kafka架构的技术大牛，是怎么优化JVM的GC问题的？

2022-09-23 18:16:25

图解 Kafka 源码实现机制之客户端缓存架构

今天主要聊聊「Kafka 客户端消息缓存架构设计」，深度剖析下消息是如何进行缓存的。

2022-09-23 08:02:42

Kafka 消息缓存

每次都碰到面试官问我如何保证Kafka不丢失消息，快哭了

这篇文章，我们来聊聊在线上生产环境使用消息中间件技术的时候，从前到后的全链路到底如何保证数据不能丢失。

2022-08-26 05:24:04

中间件技术 Kafka

图解 Kafka 网络层源码实现机制之收发消息全过程

今天我们主要对 Kafka 网络层收发流程进行总结下。

2022-08-22 08:45:57

Kafka 网络层源码实现

大数据必知必会之Kafka

目前越来越多的开源分布式处理系统如 Cloudera、Storm、Spark、Flink 等都支持与 Kafka 集成，Kafka 之所以受到越来越多的青睐，与它所“扮演”的三大角色是分不开的。

2022-08-19 10:31:32

Kafka 大数据

谈谈你对Kafka数据存储原理的理解

今天，我给大家来聊一聊我对Kafka零拷贝原理的理解。

2022-08-14 07:14:50

Kafka 零拷贝

SpringBoot 整合 Kafka 实现数据高吞吐

本文主要以SpringBoot技术框架为背景，结合实际业务需求，采用 kafka 进行数据消费，实现数据量的高吞吐，在下篇文章中，我们会介绍消费失败的处理流程。

2022-04-28 07:31:41

Spring kafka 数据量

Kafka放弃Zookeeper后如何存储主题与消费组呢？

主题的路由信息是存储在Zookeeper中，那为什么客户端只需要Broker的地址，就可以获取到主题的路由信息呢？

2022-03-07 10:15:28

Kafka Zookeeper 存储

牢记这三种方法！即便没有Zookeeper也能运行Kafka 原创

从 Kafka 2.8 开始，在没有 Zookeeper 的情况下也可以运行 Kafka 集群。本文将介绍三种方法，它们可以在使用容器单节点集群的情况下运行Kafka。

2022-01-11 08:00:00

集群 Kubernetes 容器

Kafka如何修改分区Leader

需要Controller 重选举, 频繁的选举肯定是对生产环境有影响的;Controller承担了非常多的责任,比如分区副本重分配、删除topic、Leader选举等等还有很多都是它在干!

2022-01-06 07:18:18

Kafka 选举 Leader

生产故障｜Kafka消息发送延迟达到几十秒的罪魁祸首竟然是...

通过对日志分析发现存在大面积分区Leader选举，__consumer_offsets主题的分区也大量进行分区Leader选举，从而导致消息发送几乎停止，大量消费组触发重平衡，整个集群接近瘫痪，最终确定了根因：Broker节点与Zookeeper会话超时，触发大量分区重新选举。

2022-01-04 08:33:33

Kafka 消息发送

聊聊 Kafka： Consumer 源码解析之 Rebalance 机制

Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 Consumer 如何达成一致，来分配订阅 Topic 的每个分区。

2021-12-30 22:50:32

Kafka Consumer 源码

Kafka 的生产者与消费者机制+分区策略，你这还不懂？

目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。

2021-12-28 12:01:59

Kafka 消费者机制

面试必问 | 聊聊Kafka的消费模型？

最近，有些读者去头条二面，被面试官问了一个关于Kafka的问题：多个Kafka消费者如何同时消费相同Topic下的相同Partition的数据? 看似一个简单的问题，竟然把这位读者问懵了!

2021-12-27 08:22:18

Kafka 消费模型

比较Hadoop、Spark和Kafka大数据框架

大数据框架最初用于数据仓库或数据湖中的静态数据，但最近的趋势是实时处理来自多个源的数据。

2021-12-14 09:56:51

Hadoop Spark Kafka

双十一期间Kafka以这种方式丢消息让我猝不及防

讲真，我今年的双十一有点“背”，负责的Kafka集群出了一些幺蛾子，但正是这些幺蛾子，让我这个双十一过的非常充实，也让我意识到如果不体系化学习Kafka，是无法做到生产集群及时预警，将故障扼杀在摇篮中，因此也下定决心研读Kafka的内核。

2021-12-07 18:33:53

Kafka 消息集群

图解 Kafka 架构与工作原理

实时数据处理，从名字上看，很好理解，就是将数据进行实时处理，在现在流行的微服务开发中，最常用实时数据处理平台有 RabbitMQ、RocketMQ 等消息中间件。

2021-12-07 07:32:09

kafka 架构原理

Kafka 三高架构设计剖析

Kafka 向来以高吞吐量，低延迟，高并发, 高可扩展性而自称，并在越来越多的场景中应用，这时候就对其稳定性的要求就越高。

2021-11-01 17:17:13

Kafka 高并发场景

Kafka 夺命连环11问

kafka是一个流式数据处理平台，他具有消息系统的能力，也有实时流式数据处理分析能力，只是我们更多的偏向于把他当做消息队列系统来使用。

2021-10-26 15:56:57

kafka 数据平台，

Kafka 的生成者、消费者、broker 的基本概念

kafka是一款基于发布与订阅的消息系统。它一般被称为“分布式提交日志”或者“分布式流平台”。文件系统或者数据库提交日志用来提供所有事物的持久化记录，通过重建这些日志可以重建系统的状态。同样地，kafka的数据是按照一定顺序持久化保存的，可以按需读取。

2021-10-26 10:50:25

KubeMQ，一种Kafka的替代品译文

本文将向您介绍一种作为Kafka替代品的KubeMQ，讨论它作为Kubernetes的原生消息队列，是如何在Kubernetes上实施，并让应用从中受益。

2021-10-19 09:00:00

KubeMQ Kubernetes 工具

Kafka 精妙的高性能设计之二

在上一篇文章中，指出了高性能设计的两个关键维度：计算和 IO，可以将它们理解成「道」。这篇文章将继续对存储消息和消费消息的 8 条高性能设计手段，逐个展开分析，废话不多说，开始发车。

2021-10-18 08:28:03

Kafka 架构主从架构

为何说KubeMQ会是Kafka的替代品？译文

现代应用是复杂的，有许多不同的活动部件。即使对于最基本的执行中心应用程序，前端接口也会触发支付处理事务，而支付处理事务又会触发制造和运输事件。这些服务需要一种可靠的方式彼此通信，而不管底层网络或其他服务的可用性如何。

2021-10-14 15:42:53

消息队列 KubeMQ Kafka

多云与混合云场景下的数据同步方案之Kafka

现阶段，企业信息系统部署架构 (DA: Deploy architecture)的一大变化是，越来越多的企业在不断将越来越多的应用部署到云上，即业务系统上云的趋势愈演愈烈。

2021-10-11 07:01:33

混合云多云数据

Sentry 监控 - Snuba 数据中台架构简介(Kafka+Clickhouse)

Snuba 是一种在 Clickhouse 之上提供丰富数据模型以及快速摄取消费者(直接从 Kafka 获取数据)和查询优化器的服务。

2021-10-09 00:00:40

Sentr 监控架构

浅谈 RocketMQ、Kafka、Pulsar 的事务消息

事务是一个程序执行单元，里面的所有操作要么全部执行成功，要么全部执行失败。RocketMQ、Kafka 和 Pulsar 都是当今业界应用十分广泛的开源消息队列(MQ)组件，笔者在工作中遇到关于 MQ 选型相关的内容，了解到关于“事务消息”这个概念在不同的 MQ 组件里有不同内涵。

2021-10-03 21:41:13

RocketMQ Kafka Pulsar

Kafka 3.0重磅发布，都更新了些啥？

Kafka 设计之初被用于消息队列，自 2011 年由 LinkedIn 开源以来，Kafka 迅速从消息队列演变为成熟的事件流处理平台。

2021-09-24 18:36:48

数据平台传输

新同事上来就用Kafka，瑟瑟发抖...

事务是一个程序执行单元，里面的所有操作要么全部执行成功，要么全部执行失败。

2021-09-16 07:55:39

Kafka 事务执行

Go语言如何操纵Kafka保证无消息丢失

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。

2021-09-13 07:23:53

Kafka大厂高频面试题：在保证高性能、高吞吐的同时保证高可用性

Kafka的消息传输保障机制非常直观。当producer向broker发送消息时，一旦这条消息被commit，由于副本机制(replication)的存在，它就不会丢失。但是如果producer发送数据给broker后，遇到的网络问题而造成通信中断，那producer就无法判断该条消息是否已经提交(commit)。

2021-09-09 08:20:14

Kafka 网络故障集群

一文读懂kafka的幂等生产者

KAFKA 作为开源分布式事件流平台，在大数据和微服务领域都有着广泛的应用场景，是实时流处理场景下消息队列事实上的标准。用一句话概括，KAFKA 是实时数仓的基石，是事件驱动架构的灵魂。

2021-09-09 06:55:43

kafka 幂等生产者

CentOS安装filebeat收集日志到kafka

filebeat是日志数据采集器，可代替logstash收集日志，部署起来比较方便。一般日志量比较大，会先收集到kafka然后再进行消费。

2021-09-07 09:34:04

CentOS filebeat kafka

一图全解Kafka在Zookeeper中的数据结构

在kafka_2.8.0之前,kafka还是需要依赖zookeeper运行,kafka中的很多数据都存储在zk中, 例如「Broker的注册信息」、「Topic的信息」、「运维操作临时信息」、「配置信息」等等其他信息。

2021-09-06 09:05:58

kafka Zookeeper 数据

一篇带给你Kafka核心知识总结！

Apache Kafka是由LinkedIn采用Scala和Java开发的开源流处理软件平台，并捐赠给了Apache Software Foundation。

2021-09-06 08:31:11

Kafka 架构主从架构

Kafka运维 | 你真的懂数据迁移吗？

在进行分区副本重分配之前,最好是用下面方式获取一个合理的分配文件; 编写move-json-file.json文件; 这个文件就是告知想对哪些Topic进行重新分配的计算。

2021-08-30 15:41:13

Kafka 运维数据

Kafka消息发送线程及网络通信

回顾一下前面提到的发送消息的时序图，上一节说到了Kafka相关的元数据信息以及消息的封装，消息封装完成之后就开始将消息发送出去，这个任务由Sender线程来实现。

2021-08-30 13:08:56

Kafka 网络通信

微服务消息代理选型：Redis、Kafka、RabbitMQ

在为微服务使用异步通信时，通常使用消息代理。代理确保不同微服务之间的通信可靠稳定，消息在系统内得到管理和监控，并且消息不会丢失。

2021-08-30 11:36:23

微服务开发技术

Kafka 精妙的高性能设计之一

Kafka 的高性能设计可以说是全方位的，从 Prodcuer 、到 Broker、再到 Consumer，Kafka 在掏空心思地优化每一个细节，最终才做到了这样的极致性能。

2021-08-30 09:30:29

Kafka 高性能设计

Kafka、RocketMQ、Pulsar全方位对比！

消息队列也通常称为消息中间件，提到消息队列，大部分互联网人或多或少都听过该名词。对于后端工程师而言，更是日常开发中必备的一项技能。

2021-08-24 07:57:26

Kafka RocketMQ Pulsar

云原生数据湖架构中的无服务器Kafka 译文

人们需要了解如何在混合云上利用云原生和无服务器Apache Kafka来处理与数据湖互补的动态数据。而Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

2021-08-18 09:00:00

云原生混合云无服务器

Springboot整合Kafka Stream实时统计数据

Kafka Streams是一个客户端类库，用于处理和分析存储在Kafka中的数据。它建立在流式处理的一些重要的概念之上：如何区分事件时间和处理时间、Windowing的支持、简单高效的管理和实时查询应用程序状态。

2021-08-17 06:48:43

Springboot Kafka Stream

Kafka在保险行业中的应用案例译文

本文将从探讨事件流的各种用例和架构出发，通过介绍来自Generali、Centene、Mobiliar、Humana、freeyou和Tesla的真实案例，展示保险行业对于相关数据的创新式集成和实时流处理。

2021-08-16 09:00:00

架构开发保险

用Spark，Kafka和k8s构建下一代数据管道译文

本文检查了架构模式，并提供了一些示例代码供读者在自己的环境中实现。

2021-08-06 09:47:43

架构开发数据集成

Kafka 如何解决消息不丢失？

Kafka 消息框架，大家一定不陌生，很多人工作中都有接触。它的核心思路，通过一个高性能的MQ服务来连接生产和消费两个系统，达到系统间的解耦，有很强的扩展性。

2021-08-04 07:47:18

Kafka 消息框架

聊聊 Kafka 那点破事！

Kafka作为一款开源的消息引擎，很多人并不陌生，但深入其源码的同学估计不多，除非你是中间件团队消息系统维护者。

2021-07-30 07:28:15

Kafka 消息引擎

1 2 3 4 5 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客开源基础软件社区

教育

51CTO学堂精培企业培训 CTO训练营