直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

Kafka

253内容

关注

涵盖Kafka相关研究热点、技术难点与应用场景，了解这一企业级互联网架构核心产品的更多信息。

共 253 条

字节面试：如何解决MQ消息积压问题？

消息积压问题的处理取决于消息积压的类型，例如，消息积压是突发性消息积压问题？还是缓慢持续增长的消息积压问题？不同的问题的解决方案略有不同，接下来我们一起来看。

2024-04-23 08:46:45

消息积压 Kafka MQ

Kafka 数据积压与数据重复的处理案例

针对数据积压和数据重复问题的解决方案需要根据具体的业务需求和系统情况进行调整和优化。此外，监控和度量系统也是非常重要的，可以帮助及时发现和解决数据积压和重复问题。

2024-04-23 08:40:00

数据积压数据重复 Kafka

Kafka 是什么？你想知道吗？

kafka 是消息队列，像消息队列投递消息的是生产者，消费消息的是消费者。增加生产者和消费者的实例个数可以提升系统吞吐。多个消费者可以组成一个消费者组，不同消费者组维护自己的消费进度，互不打搅。

2024-04-22 08:02:34

kafka 消息队列高可用

面试官：Kafka和ES选主有什么区别？

Kafka 是一个分布式流处理平台，由 LinkedIn 公司开发和维护，之后成为 Apache 软件基金会的一部分。它主要是为处理实时数据而设计的，是一个高吞吐量的分布式发布订阅消息系统。

2024-03-20 15:12:59

Kafka ES 中间件

Kafka Consumer 消费消息和 Rebalance 机制

因为 Kafka 的 Consumer 客户端是线程不安全的，为了保证线程安全，并提升消费性能，可以在 Consumer 端采用类似 Reactor 的线程模型来消费数据。

2024-03-20 08:33:00

Kafka 线程安全 Rebalance

Kafka 三高架构设计剖析

在 Kafka 中，同一个 Topic 的消息会被分成多个分区并将其分布在多个 Broker 上，这些分区信息及与 Broker 的对应关系也都是由 Zookeeper 在维护。

2024-03-14 08:33:13

kafka 三高架构 Zookeeper

糟糕，CPU100%了！该怎样解决这个非常头疼的问题

今天特地把我和同事，之前遇到过的cpu使用率100%的问题，总结了一下，给有需要的朋友一个参数。

2024-02-26 08:21:51

CPU kafka 死循环

六个技术点带你理解 Kafka 高性能背后的原理

Kafka 是一款性能非常优秀的消息队列，每秒处理的消息体量可以达到千万级别。今天来聊一聊 Kafka 高性能背后的技术原理。

2024-02-19 08:17:10

Kafka 消息队列收发消息

图解 Kafka 源码实现机制之客户端缓存架构设计

通过场景驱动的方式，当被发送消息通过网络请求封装、NIO多路复用器监听网络读写事件并进行消息网络收发后，回头来看看消息是如何在客户端缓存的？

2023-12-26 08:16:56

Kafka 缓存架构客户端

穿越时间的引擎：解密 Kafka 消息的时序之谜

在本篇技术博客中，我们深入探讨了 Kafka 消息延迟和时序性的重要性以及如何度量、监控和降低消息延迟。我们还讨论了消息时序性的挑战和如何确保消息时序性。

2023-12-18 08:16:21

Kafka 消息延迟消息的时序

无语！我是来面Java的，你怎么问我大数据的Kafka？

在当今大数据时代，数据的可靠性和一致性变得至关重要。Kafka作为一个分布式流数据平台，强调了实时数据的高吞吐量传输，而Kafka事务性消息则在这个过程中发挥了至关重要的作用。本文将详细介绍Kafka事务性消息，探究它们如何确保数据一致性，以及在各种应用场景中的应用。

2023-12-11 08:21:02

数据的可靠性一致性 Kafka

运维兄弟！Kafka怎么又"超时"了？

今天在通过一个之前遇到过的场景，在一起探讨下：作为Kafka集群管理员或者运维的同学，怎么能给研发同学解释清楚：服务问题和网络问题。

2023-12-07 08:46:41

Kafka 服务问题网络问题

图解Kafka适用场景，全网最全！

如果将事件作为系统中的一等公民（即事实来源），那存储应用程序的状态就是一系列事件，系统中的其他所有内容都可根据这些持久且不可变的事件重新计算。

2023-11-29 07:43:30

Kafka 适用场景

网络故障的隐形元凶：MTU配置你了解吗？

公司内部有多套Kafka集群，100+broker节点，针对kafka我司也有比较完善的自动化运维管理体系，最近出现过一次业务连接kafka集群频繁超时的情况，在这里记录下处理过程，加深对网络知识的理解。

2023-11-28 09:30:48

kafka 网络故障

问：Kafka有哪些应用场景？你能说上来几个？

大家应该都知道，Kafka 最初是为海量日志处理而构建的。它保留消息直到过期，并让消费者按照自己的节奏提取消息。与它的之前的消息队列不同，Kafka 不仅仅是一个消息队列，它还是一个适用于各种情况的开源事件流平台。

2023-11-28 08:20:25

Kafka 消息队列

Kafka 如何保证消息消费的全局顺序性

由于相同的 key 就发送到同一分区，这样就能够保证了消费的消息是有序的。然而，如果只有一个消费者消费相同 key 的消息，与前面单分区相比没有什么区别

2023-11-27 17:29:43

Kafka 全局顺序性

Google Docs系统设计详解（协作文档编辑）

由于使用微服务，若操作队列的请求数量超过其容量，可轻松单独扩展每个组件。可使用多个操作队列。此时，每个操作队列将负责单个文档。

2023-11-27 00:50:50

解密Kafka主题的分区策略：提升实时数据处理的关键

在文章中，我们深入探讨了Kafka主题的分区策略，这是Kafka消息传递系统的核心组成部分。我们从基础知识入手，了解了分区策略的基本概念，为什么它重要，以及它如何影响Kafka集群的性能和数据的顺序性。

2023-11-21 08:11:48

Kafka 的分区策略

Kafka 副本间如何实现数据同步？

Kafka 是一个高吞吐的分布式消息系统，不但像传统消息队列（RaabitMQ、RocketMQ等）那样能够【异步处理、流量消峰、服务解耦】

2023-11-16 18:03:05

Kafka 分布式消息

离谱！面试为啥都问Kafka？赶紧补一下

Apache Kafka是一个高吞吐量、分布式、可水平扩展的消息传递系统，最初由LinkedIn开发。它的目标是解决海量数据的实时流式处理和传输问题。

2023-11-01 07:25:54

Kafka 消息传递系统

告别传统MQ：Kafka是一个分布式事件流平台，这到底意味着什么呢?

Kafka 作为集群运行在一台或多台可以跨越多个数据中心的服务器上。并以分布式、高度可扩展、弹性、容错和安全的方式提供其功能。此外，Kafka 可以部署在裸机硬件、虚拟机、容器、本地以及云端。

2023-10-07 08:46:22

图解 Kafka 源码之服务端启动流程

从今天开始，我们来深度剖析 Kafka「Controller」的底层源码实现，这是 Controller 系列第一篇，我们先回过头来继续来深度聊聊「Kafka 服务端启动的流程」，看看 Kafka 服务端是如何启动的。

2023-08-14 08:17:13

Kafka 服务端

一文聊透如何监控 Kafka 服务

今天我们来讲解几款 Kafka 常用可视化监控工具，主要有以下几个「JConsole」、「Kafka Manager」、「Kafka Offset Explorer」、「KafkaOffsetMonitor」、「LogiKM」。

2023-05-11 08:16:13

可视化监控工具 Kafka

图解 Kafka 源码之 NetworkClient 网络通信组件架构设计

今天主要聊聊「真正进行网络 I/O 的 NetworkClient 的架构设计」深度剖析下消息是如何被发送出去的。

2023-03-15 08:17:27

Kafka 网络通信组件

从大厂挖来的架构师，Kafka参数调优做的那叫一个优雅，学到了

这篇文章我们还是采用老规矩画图的形式，来聊聊Kafka生产端一些常见参数的设置，让大家下次看到一些Kafka客户端设置的参数时，不会再感到发怵。

2022-09-26 19:10:45

面试回答 CopyOnWrite 的三重境界，1%的人能答到最后

这个CopyOnWrite在面试的时候，很可能成为面试官的一个杀手锏把候选人给一击必杀，也很有可能成为候选人拿下Offer的独门秘籍，是相对高级的一个知识。

2022-09-24 19:09:42

Kafka为何要设计缓冲池机制？初看一脸懵逼，看懂直接跪下

我们通过Kafka内核源码中的一些设计思想，来看你设计Kafka架构的技术大牛，是怎么优化JVM的GC问题的？

2022-09-23 18:16:25

图解 Kafka 源码实现机制之客户端缓存架构

今天主要聊聊「Kafka 客户端消息缓存架构设计」，深度剖析下消息是如何进行缓存的。

2022-09-23 08:02:42

Kafka 消息缓存

每次都碰到面试官问我如何保证Kafka不丢失消息，快哭了

这篇文章，我们来聊聊在线上生产环境使用消息中间件技术的时候，从前到后的全链路到底如何保证数据不能丢失。

2022-08-26 05:24:04

中间件技术 Kafka

图解 Kafka 网络层源码实现机制之收发消息全过程

今天我们主要对 Kafka 网络层收发流程进行总结下。

2022-08-22 08:45:57

Kafka 网络层源码实现

大数据必知必会之Kafka

目前越来越多的开源分布式处理系统如 Cloudera、Storm、Spark、Flink 等都支持与 Kafka 集成，Kafka 之所以受到越来越多的青睐，与它所“扮演”的三大角色是分不开的。

2022-08-19 10:31:32

Kafka 大数据

谈谈你对Kafka数据存储原理的理解

今天，我给大家来聊一聊我对Kafka零拷贝原理的理解。

2022-08-14 07:14:50

Kafka 零拷贝

SpringBoot 整合 Kafka 实现数据高吞吐

本文主要以SpringBoot技术框架为背景，结合实际业务需求，采用 kafka 进行数据消费，实现数据量的高吞吐，在下篇文章中，我们会介绍消费失败的处理流程。

2022-04-28 07:31:41

Spring kafka 数据量

Kafka放弃Zookeeper后如何存储主题与消费组呢？

主题的路由信息是存储在Zookeeper中，那为什么客户端只需要Broker的地址，就可以获取到主题的路由信息呢？

2022-03-07 10:15:28

Kafka Zookeeper 存储

牢记这三种方法！即便没有Zookeeper也能运行Kafka 原创

从 Kafka 2.8 开始，在没有 Zookeeper 的情况下也可以运行 Kafka 集群。本文将介绍三种方法，它们可以在使用容器单节点集群的情况下运行Kafka。

2022-01-11 08:00:00

集群 Kubernetes 容器

Kafka如何修改分区Leader

需要Controller 重选举, 频繁的选举肯定是对生产环境有影响的;Controller承担了非常多的责任,比如分区副本重分配、删除topic、Leader选举等等还有很多都是它在干!

2022-01-06 07:18:18

Kafka 选举 Leader

生产故障｜Kafka消息发送延迟达到几十秒的罪魁祸首竟然是...

通过对日志分析发现存在大面积分区Leader选举，__consumer_offsets主题的分区也大量进行分区Leader选举，从而导致消息发送几乎停止，大量消费组触发重平衡，整个集群接近瘫痪，最终确定了根因：Broker节点与Zookeeper会话超时，触发大量分区重新选举。

2022-01-04 08:33:33

Kafka 消息发送

聊聊 Kafka： Consumer 源码解析之 Rebalance 机制

Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 Consumer 如何达成一致，来分配订阅 Topic 的每个分区。

2021-12-30 22:50:32

Kafka Consumer 源码

Kafka 的生产者与消费者机制+分区策略，你这还不懂？

目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。

2021-12-28 12:01:59

Kafka 消费者机制

面试必问 | 聊聊Kafka的消费模型？

最近，有些读者去头条二面，被面试官问了一个关于Kafka的问题：多个Kafka消费者如何同时消费相同Topic下的相同Partition的数据? 看似一个简单的问题，竟然把这位读者问懵了!

2021-12-27 08:22:18

Kafka 消费模型

比较Hadoop、Spark和Kafka大数据框架

大数据框架最初用于数据仓库或数据湖中的静态数据，但最近的趋势是实时处理来自多个源的数据。

2021-12-14 09:56:51

Hadoop Spark Kafka

双十一期间Kafka以这种方式丢消息让我猝不及防

讲真，我今年的双十一有点“背”，负责的Kafka集群出了一些幺蛾子，但正是这些幺蛾子，让我这个双十一过的非常充实，也让我意识到如果不体系化学习Kafka，是无法做到生产集群及时预警，将故障扼杀在摇篮中，因此也下定决心研读Kafka的内核。

2021-12-07 18:33:53

Kafka 消息集群

图解 Kafka 架构与工作原理

实时数据处理，从名字上看，很好理解，就是将数据进行实时处理，在现在流行的微服务开发中，最常用实时数据处理平台有 RabbitMQ、RocketMQ 等消息中间件。

2021-12-07 07:32:09

kafka 架构原理

Kafka 三高架构设计剖析

Kafka 向来以高吞吐量，低延迟，高并发, 高可扩展性而自称，并在越来越多的场景中应用，这时候就对其稳定性的要求就越高。

2021-11-01 17:17:13

Kafka 高并发场景

Kafka 夺命连环11问

kafka是一个流式数据处理平台，他具有消息系统的能力，也有实时流式数据处理分析能力，只是我们更多的偏向于把他当做消息队列系统来使用。

2021-10-26 15:56:57

kafka 数据平台，

Kafka 的生成者、消费者、broker 的基本概念

kafka是一款基于发布与订阅的消息系统。它一般被称为“分布式提交日志”或者“分布式流平台”。文件系统或者数据库提交日志用来提供所有事物的持久化记录，通过重建这些日志可以重建系统的状态。同样地，kafka的数据是按照一定顺序持久化保存的，可以按需读取。

2021-10-26 10:50:25

KubeMQ，一种Kafka的替代品译文

本文将向您介绍一种作为Kafka替代品的KubeMQ，讨论它作为Kubernetes的原生消息队列，是如何在Kubernetes上实施，并让应用从中受益。

2021-10-19 09:00:00

KubeMQ Kubernetes 工具

Kafka 精妙的高性能设计之二

在上一篇文章中，指出了高性能设计的两个关键维度：计算和 IO，可以将它们理解成「道」。这篇文章将继续对存储消息和消费消息的 8 条高性能设计手段，逐个展开分析，废话不多说，开始发车。

2021-10-18 08:28:03

Kafka 架构主从架构

为何说KubeMQ会是Kafka的替代品？译文

现代应用是复杂的，有许多不同的活动部件。即使对于最基本的执行中心应用程序，前端接口也会触发支付处理事务，而支付处理事务又会触发制造和运输事件。这些服务需要一种可靠的方式彼此通信，而不管底层网络或其他服务的可用性如何。

2021-10-14 15:42:53

消息队列 KubeMQ Kafka

多云与混合云场景下的数据同步方案之Kafka

现阶段，企业信息系统部署架构 (DA: Deploy architecture)的一大变化是，越来越多的企业在不断将越来越多的应用部署到云上，即业务系统上云的趋势愈演愈烈。

2021-10-11 07:01:33

混合云多云数据

1 2 3 4 5 6 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营