开源基础软件社区

WOT全球技术创新大会

公众号矩阵

移动端

免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2023年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

Kafka

229内容

关注

涵盖Kafka相关研究热点、技术难点与应用场景，了解这一企业级互联网架构核心产品的更多信息。

共 229 条

消费者实现逻辑-kafka知识体系(四）

Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。Kafka 仅仅使用 Consumer Group 这一种机制，却同时实现了传统消息引擎系统的两大模型：消息队列模型、发布 / 订阅模型。

2021-07-08 05:52:34

Kafka 架构主从架构

Broker的实现逻辑-kafka知识体系(三）

Broker 是怎么进行数据接收和持久化的呢？下面我们从Broker 的网络设计聊起。kafka的网络设计和Kafka的调优有关，这也是为什么它能支持高并发的原因。

2021-07-07 07:06:31

Broker kafka 架构

5 分钟搞懂高性能分布式消息系统 Kafka

kafka 由 LinkedIn 公司推出的一个高吞吐的分布式消息系统，通俗的说就是一个基于发布和订阅的消息队列。

2021-07-06 10:35:46

分布式 Kafka Linux

快到起飞的Kafka，是如何设计的？

消息队列是分布式系统中重要的组件，在很多生产环境如商品抢购等需要控制并发量的场景下都需要用到。

2021-07-06 06:39:58

Kafka 消息队列系统

生产者的实现逻辑-kafka知识体系(二）

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景。

2021-07-05 06:26:08

生产者 kafka 架构

基础概念、架构和新版的升级-Kafka知识体系（一）

Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由 LinkedIn 公司开发，使用 Scala (JAVA)语言编写，目前是Apache 的开源项目。

2021-07-02 06:27:00

Kafka 架构主从架构

从一次Kafka宕机，我明白了Kafka高可用原理

不管是传统的基于关系型数据库设计的系统，还是分布式的如 zookeeper 、 redis 、 Kafka 、 HDFS 等等，实现高可用的办法通常是采用冗余设计，通过冗余来解决节点宕机不可用问题。

2021-06-29 10:18:07

Kafka 宕机系统

关于Kafka消费者的这些参数，你应该要知道？

个人觉得，要想深入了解Kafka Consumer的核心工作机制可以从它的核心参数切入，为后续深入了解它的队列负载机制、消息拉取模型、消费模型、位点提交等机制打下基础。

2021-06-28 11:45:28

Kafka 消费者参数

3分钟带你彻底搞懂 Kafka

实时数据处理，从名字上看，很好理解，就是将数据进行实时处理，在现在流行的微服务开发中，最常用实时数据处理平台有 RabbitMQ、RocketMQ 等消息中间件。

2021-06-18 07:34:12

Kafka 中间件微服务

《吃透 MQ 系列》之 Kafka 存储选型的奥秘

从这篇文章开始，我将从微观角度切入，深入分析 Kafka 的设计原理。本文要讲的是 Kafka 最具代表性的：存储设计。

2021-06-15 15:33:36

存储选型系统

《吃透 MQ 系列》之 Kafka 架构设计的任督二脉

Kafka 为实时日志流而生，要处理的并发和数据量非常大。可见，Kafka 本身就是一个高并发系统，它必然会遇到高并发场景下典型的三高挑战：高性能、高可用和高扩展。

2021-06-10 07:49:27

Kafka 架构设计

Kafka原理篇：图解kakfa架构原理

决定图解 Kakfa，却让很多半懂不懂的同学可以加深对 Kafka 实现原理的理解。

2021-06-09 10:29:23

Kafka 架构组件

为什么Kafka如此之快？

Kafka 是由 LinkedIn 公司推出的一个高吞吐的分布式消息系统，通俗地说就是一个基于发布和订阅的消息队列，温故而知新，反复学习优秀的框架，定有所获。

2021-05-31 07:44:08

Kafka 分布式系统

带你一文入门 Kafka

温故而知新，反复学习优秀的框架，定有所获。因为工作原因，需要用到 Kafka 的特殊场景，周末再次阅读了 kafka 的资料，收获不少。

2021-05-29 10:11:00

Kafa 数据业务

Kafka能有什么坏心思，不过是被Zookeeper害惨了……

最近，confluent社区发表了一篇文章，主要讲述了Kafka未来的2.8版本将要放弃Zookeeper，这对于Kafka用户来说，是一个重要的改进。之前部署Kafka就必须得部署Zookeeper，而之后就只要单独部署Kafka就行了。

2021-05-20 09:06:20

Kafka Zookeeper 分布式

图解Kafka的核心概念，一看就明白！

Kafka 是主流的消息流系统，其中的概念还是比较多的，下面通过图示的方式来梳理一下 Kafka 的核心概念，以便在我们的头脑中有一个清晰的认识。

2021-05-13 07:30:27

Kafka 消息流系统

Golang 语言中 kafka 客户端库 Sarama

Apache Kafka 是一款开源的消息引擎系统。它在项目中的作用主要是削峰填谷和解耦。本文我们只介绍 Apache Kafka 的 Golang 客户端库 Sarama。Sarama 是 MIT 许可的 Apache Kafka 0.8 及更高版本的 Golang 客户端库。

2021-05-07 15:28:03

Kafka 客户端 Sarama

使用 Apache Kafka 和 SigNoz 实现应用可观测性

SigNoz 是一个开源的应用可观察性平台。SigNoz 是用 React 和 Go 编写的，它从头到尾都是为了让开发者能够以最小的精力尽快实现他们的可观察性目标。本文将详细介绍该软件，包括架构、基于 Kubernetes 的部署以及一些常见的 SigNoz 用途。

2021-05-04 18:28:23

Apache Kafk SigNoz 开源

Kafka 2.8.0发布，与ZooKeeper正式分手！

平时关注 Kafka 的小伙伴要注意了，2021年4月19日，Kafka 2.8.0正式发布!

2021-04-30 08:29:16

Kafka ZooKeeper 分布式

帅呆了！Kafka移除了Zookeeper！

普天同庆!最新版的Kafka 2.8.0，移除了对Zookeeper的依赖，通过KRaft进行自己的集群管理。很好很好，终于有点质的改变了。

2021-04-28 18:28:44

Kafka Zookeeper

Java工程师的进阶之路Kafka篇

Kafka 是最初由 Linkedin 公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper 协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景。

2021-04-26 09:25:10

Java Kafka 架构

知其然而知其所以然，为什么Kafka在2.8版本中会“抛弃”Zookeeper

相信大家最近一定关注到一款重量级消息中间件Kafka发布了2.8版本，并且正式移除了对Zookeeper的依赖，背后的设计哲学是什么呢?仅仅只是减少了一个外部依赖吗?

2021-04-21 17:54:02

Kafka Zookeeper 场景

9张图，Kafka为什么要放弃Zookeeper

最近，confluent社区发表了一篇文章，主要讲述了Kafka未来的2.8版本将要放弃Zookeeper，这对于Kafka用户来说，是一个重要的改进。之前部署Kafka就必须得部署Zookeeper，而之后就只要单独部署Kafka就行了。

2021-04-21 12:29:45

Kafka Zookeeper 模型

《吃透 MQ 系列》之打通 Kafka 的任督二脉

把握住了这个关键点，我相信你将能更好地理解 Kafka 的架构设计，进而顺藤摸瓜地掌握 Kafka 的核心技术方案。

2021-04-20 19:20:57

Kafka 架构设计

Kafka原理篇：图解kakfa架构原理

今天我们来深入讲解 Kafka 的架构和实现原理。[码哥]将从架构和细节入手，以生动的图深入讲解 Kafka 的实现原理。

2021-04-09 08:54:14

Kafka 源码架构开发技术

Kafka如何保证高可用？有图有真相

Kafka允许同一个Partition存在多个消息副本，每个Partition的副本通常由1个Leader及0个以上的Follower组成，生产者将消息直接发往对应Partition的Leader，Follower会周期地向Leader发送同步请求。

2021-04-06 20:46:50

Kafka 高可用 Leader

《吃透 MQ 系列》之扒开 Kafka 的神秘面纱

这篇文章拖更了好几周，起初的想法是：围绕每一个具体的消息中间件，不仅要写透，而且要控制好篇幅，写下来发现实在太难了，两者很难兼得。

2021-03-28 20:44:34

Kafka 中间件 MQ

Kafka性能篇：为何Kafka这么"快"？

在学习 Kafka 的过程中，发现 Kafka 也是一个性能十分优秀的中间件，遂要求『码哥』讲一讲 Kafka 性能优化方面的知识，所以『码哥』决定将这篇性能方面的博文作为 Kafka 系列的开篇之作。

2021-03-22 08:30:33

Kafka 源码架构开发技术

超详细讲解，带你零基础入门kafka！

本文超详细的讲解了零基础入门kafka，一起来看看吧。

2021-03-11 11:50:07

kafka 服务器 Java

如何在 .NET 中使用 Kafka

Kafka 是一个开源的，分布式的，可扩展的，高性能的发布订阅模式的消息中间件，如果你要构建一个处理海量数据的系统，那么 Kafka 将会是一个非常好的选择，这篇文章我们将会讨论如何基于 Kakfa 构建一个发布订阅模式的程序。

2021-03-09 07:27:40

Kafka 开源分布式

Kafka又出问题了！

作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。

2021-03-02 06:02:03

Kafka 高并发系统

如何在Windows上运行Apache Kafka？译文

本文介绍了如何在WSL 2支持的Linux环境中的Windows上运行Apache Kafka，以便最大程度地提高性能和稳定性。

2021-02-25 08:00:00

Windows Windows 10 开发

在线等，Kafka如果丢了消息怎么办？

Kafka 存在丢消息的问题，消息丢失会发生在 Broker，Producer 和 Consumer 三种。

2021-02-24 08:38:48

Kafka 消息 Consumer

我用Kafka两年踩过的一些非比寻常的坑

我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值班，防止出现线上问题时能够及时处理。

2021-02-21 09:28:24

kafka 系统并发量

六问 Kafka 为啥那么牛！

Kafka 是一个分布式的基于发布/订阅模式的消息队列，依靠其强悍的吞吐量，Kafka 主要应用于大数据实时处理领域。在数据采集、传输、存储的过程中发挥着举足轻重的作用。

2021-02-01 20:35:49

Kafka 大数据数据

我为什么放弃Kafka，选择Pulsar？

最近，我一直在研究 Pulsar 及其与 Kafka 的比较。通过快速搜索，你会看到这两个最著名的开源消息传递系统之间正在进行的"战争"。

2021-02-01 07:20:51

Kafka Pulsar 搜索

你都知道那些Kafka副本机制？

在日常开发过程中使用kafka来实限流削峰作用但是往往kafka会存放多份副本来防止数据丢失，那你知道他的机制是什么样的吗?本篇文章就带给大家讲解下。

2021-01-28 18:52:57

Kafka 副本机制

再见，Kafka！再见，RocketMQ！

Pulsar 是一个由 Yahoo 公司于 2016 年开源的消息中间件，2018 年成为 Apache 的顶级项目。

2021-01-21 07:16:03

RocketMQ Kafka 中间件

老少皆宜的Kafka长文，让你明白什么叫本分

看完本文，你将明白为什么一个简单的消息队列，能够有那么多的知识点;能够了解到Kafka的主要功能和应用场景;能够了解到Kafka的主要技术术语。了解到什么叫本分!

2021-01-15 18:28:57

Kafka 消息系统

搜狗开源框架发布纯自研C++ Kafka客户端

一个fetch消息的任务由一组任务组成，其中包括获取Kafka Broker的Meta任务、一系列的消费者组相关的任务、获取offset的任务和真正的拉取消息的任务。

2020-12-28 14:36:03

Kafka集群的搭建

最近在学习 kafka ，此处记录一下 mac 上搭建 kafka 集群的步骤。由于 kafka 依赖 zookeeper 因此需要安装 zookeeper ，而 kafka 是基于 scala 语言编写， scala 又是基于 jdk 的，因此需要安装 jdk 。

2020-12-14 12:48:51

Kafka 集群节点

图文详解：Kafka到底有哪些秘密让我对它情有独钟呢？

好了，开始进入正题。今天给大家带来的的是关于我们的老朋友Kafka的来世今生。随着对实时性的要求越来越高，那么在庞大的数据的传输过程中怎么能保证数据的快速传递呢，由此，消息队列产生了。

2020-12-11 11:25:30

Kafka 传输开发

Kafka中改进的二分查找算法

最近有学习些Kafak的源码，想给大家分享下Kafak中改进的二分查找算法。二分查找，是每个程序员都应掌握的基础算法，而Kafka是如何改进二分查找来应用于自己的场景中，这很值得我们了解学习。

2020-12-08 06:32:04

Kafka 二分查找

《Kafka成神之路》之三图搞懂分区、组消费模式

直接由客户端(任一语言编写)使用Kafka提供的协议向服务器发送RPC请求获取数据，服务器接受到客户端的RPC请求后，将数据构造成RPC响应，返回给客户端，客户端解析相应的RPC响应获取数据。

2020-12-04 10:31:56

组消费分区 Kafka

基于Kafka+Flink平台化设计，实时数仓还能这样建

本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战。

2020-12-01 15:06:46

Kafka Flink 数据仓库

在边缘处部署Kafka的用例与架构译文

本文通过介绍边缘处Kafka的用例与架构，帮助您更好地了解如何在各个行业中，利用事件流和工具来构建从边缘到云端的物联网架构。

2020-11-17 09:00:00

Kafka 架构物联网

架构师的选择，Pulsar还是Kafka？

在本文中，我将重点介绍Pulsar的优势，并为您提供一些理由，使您对比Kafka来考虑它。

2020-11-14 11:23:18

Pulsar Kafka 架构师

Kafka之消费与心跳

kafka是一个分布式，分区的，多副本的，多订阅者的消息发布订阅系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。kafka是一个分布式，分区的，多副本的，多订阅者的消息发布订阅系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。今天小编来领大家一起来学习一下Kafka消费与心跳机制。

2020-11-13 10:58:24

刨根问底,Kafka消息中间件到底会不会丢消息

大型互联网公司一般都会要求消息传递最大限度的不丢失，比如用户服务给代金券服务发送一个消息，如果消息丢失会造成用户未收到应得的代金券，最终用户会投诉。

2020-11-13 07:14:55

Kafka 消息中间件

记一次生产 Kafka 挂掉的那几分钟

Hello，大家好，我是阿粉，作为一个后端工程师不经历几次生产事故怎么能成长!阿粉工作几年来，大大小小，重要不重要的事故也经历了不少，有损失几十万的，有对业务毫无影响但是不应该发生的，每一次事故都是一次成长，而且从每次的事故中阿粉都能学到很多东西，不单单是解决问题，更重要的是对线上有了更深的敬意!

2020-11-03 07:34:12

Kafka 后端工程师

上一页 1 2 3 4 5 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客开源基础软件社区

教育

51CTO学堂精培企业培训 CTO训练营