开源基础软件社区

WOT全球技术创新大会

公众号矩阵

移动端

免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2023年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

Kafka

229内容

关注

涵盖Kafka相关研究热点、技术难点与应用场景，了解这一企业级互联网架构核心产品的更多信息。

共 229 条

详解Kafka端到端的延迟

这篇文章将帮助你进一步获得更好的直觉和对端到端延迟的理解，并配置和扩展您的应用程序的吞吐量，同时保持延迟的界限。

2020-10-26 13:51:11

Kafka 数据端到端

如何使用Docker内的Kafka服务？消息服务测试实践篇

Kafka是一种高吞吐量的分布式架构的发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。通常由于高吞吐量的要求而选择通过处理日志数据和日志聚合来解决。

2020-10-24 17:28:04

Docker Kafka服务分布式

漫画讲解Kafka高效的存储设计

索引文件存储大量元数据，数据文件存储大量消息，索引文件中元数据指向对应数据文件中message的物理偏移地址。

2020-10-22 09:37:39

存储 Kafka 设计

面试 | 再有人问Kafka，别说你不会！

Kafka 是一个优秀的分布式消息中间件，许多系统中都会使用到 Kafka 来做消息通信。

2020-10-14 09:04:18

Kafka 系统通信

互联网企业都在用的Kafka为什么可以这么快？

在数据为王的时代，对于海量数据的存储、传输、分析变得尤为重要。在数据的存储上有clickhouse、Hbase等大数据库来完成，在数据的分析上一般也是借助clickhouse或hbase的特性将数据分维度进行，而在数据的传输上，大家都不约而同使用了Kafka。

2020-10-13 17:54:18

开发 Kafka 数据

RabbitMQ七战Kafka，差异立现！

这篇文章会先介绍RabbitMQ和Apache Kafka内部实现的相关概念。紧接着会主要介绍这两种技术的主要不同点以及他们各自的优缺点，最后我们会说明一下怎样选择这两种技术。

2020-10-09 10:25:54

RabbitMQ Kafka Java

Kafka消费与心跳机制

最近有同学咨询Kafka的消费和心跳机制，今天笔者将通过这篇博客来逐一介绍这些内容。

2020-09-30 14:07:05

Kafka 心跳机制 API

Kafka都没整明白，还敢去面试？原创

Apache Kafka 被誉为时下热门的企业级消息传递系统，其初衷是一个分布式流系统，用于发布和订阅记录流，以其快速，高可扩展性以及较完美的容错效果备受业内人士青睐。

2020-09-21 07:12:26

Kafka 面试系统

Kafka设计原理详解

在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器(Kafka Controller)，它负责管理整个集群中所有分区和副本的状态。

2020-09-13 13:26:10

Kafka 消费者控制器

带你入门Kafka，你知道的越多不知道的也越多！

目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。

2020-09-07 06:59:44

Kafka 分布式场景

终于知道Kafka为什么这么快了！

无论 Kafka 作为 MQ 也好，还是作为存储层也罢，无非就是两个功能，一是 Producer 生产的数据存到 Broker，二是 Consumer 从 Broker 读取数据。

2020-08-13 09:19:10

Kafka 存储 MQ

成为 Kafka 高手的秘籍：生产者深度实践总结

kafka 是一款已经发布了近10年的分布式消息队列系统，是一款非常成熟的产品，在各大公司或者产品中或多或少都有他的身影，特别是大数据流处理，log 流处理之类的场景，kafka 更是充当着几乎必不可少的角色。

2020-08-04 10:45:05

运维架构技术

Kafka如何选择合适的分区数，你选对了吗

我们经常会面临这样的问题，在确定某个topic下应该设置多少分区数，有时并不知道应该如何设置，如何评估等。或者别人问你当前kafka集群中，具体的业务topic中分区数是多少，是如何知道需要多少分区或怎么选择比较适合的分区数。

2020-08-04 08:37:23

Kafka 分区数

Kafka 为什么能那么快的 6 个原因

无论 kafka 作为 MQ 也好，作为存储层也罢，无非就是两个功能(好简单的样子)，一是 Producer 生产的数据存到 broker，二是 Consumer 从 broker 读取数据。

2020-07-29 08:06:30

Kafka MQ 消息

一款Kafka可视化Web界面管理工具：CMAK

今天跟大家介绍其中一款可视化Web界面管理工具，它就是kafka-manager，不过现在更名为CMAK。

2020-07-27 09:59:25

Kafka 可视化 CMAK

一文讲清 Kafka 工作流程和存储机制

Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic 的。

2020-07-27 08:44:22

存储 Kafka 流程

面试官：你对Kafka比较熟？那说说kafka日志段如何读写的吧？

之所以写这篇文章是因为之前面试时候被面试官问到(倒)了，面试官说：“你说你对Kafka比较熟?看过源码? 那说说kafka日志段如何读写的吧?”

2020-07-03 14:19:01

Kafka 日志存储

九张图带你了解Kafka

现在，每个公司都在互联网系统中使用Kafka。 Kafka似乎是解决分布式并提高系统吞吐量的最佳松耦合解决方案之一。

2020-06-28 07:39:44

Kafka 分布式消息

聊聊Kafka事务流由基础到实践

事件源，最终一致性，微服务，CQRS等等，这些越多越多的概念被现代开发者所熟悉。从细粒度的服务组装到复杂的以业务为中心的应用架构，这其中最重要的一块就是以中间件为基础的业务脱藕。

2020-06-08 18:41:07

Kafka 微服务 Web

Python调用kafka构建完整实例分析与应用

这里应用端给出的方案是使用kafka来做，但是这个我在之前没有接触过，所以没有头绪，就想着在本机搭建一下kafka的环境，来去熟悉整个操作过程。

2020-06-04 12:15:08

Python kafka 代码

使用Python掌握Apache Kafka应当了解的3个库

数据赋予了世界力量。我们每秒获取大量信息，我们对其进行清理，分析并创建更有价值的输出，无论是日志文件，用户活动，聊天消息还是其他内容。我们提供的速度越快，便会为客户带来更多的价值。我们正处于一个快节奏且瞬息万变的环境时代。

2020-05-29 09:48:54

Python 开发 Kafka

Kafka为什么快到根本停不下来？

目前来说市面上可以选择的消息队列非常多，像 ActiveMQ，RabbitMQ，ZeroMQ 已经被大多数人耳熟能详。

2020-05-25 08:05:11

Kafka ActiveMQ RabbitMQ

Kafka：消息是如何在服务端存储与读取的，你真的知道吗？

小伙伴们肯定也比较好奇，Kafka 能够处理千万级消息，那它的消息是如何在 Partition 上存储的呢?今天这篇文章就来为大家揭秘消息是如何存储的。本文主要从消息的逻辑存储和物理存储两个角度来介绍其实现原理。

2020-05-15 10:09:38

Kafka 存储读取

使用Kafka和Druid了解Spark流

在本博文中，我将分享通过将Spark Streaming，Kafka和Apache Druid结合在一起以构建实时分析仪表板，以确保精确的数据表示而获得的知识。

2020-05-14 10:26:27

Kafka Spark 数据

你知道Kafka和Redis的各自优缺点吗？一文带你优化选择

大数据技术相辅相成，没有任何一种技术是没有缺点，孤立发展的。今天咱们来分析下Kafka和Redis的对比，看分布式发布订阅都有什么各自的优势与缺点。

2020-05-13 17:12:21

大数据分布式引擎

轻松上手 Spring Boot & Kafka 实战！

Kafka需要依赖zookeeper，并且自身集成了zookeeper，zookeeper至少需要3个节点保证集群高可用，下面是在单机linux下创建kafka3个节点伪集群模式。

2020-04-23 15:59:04

Spring Kafka 集群

用Kafka实现数字孪生的物联网架构译文

在本文中，你将先后了解到数字孪生在各个行业中的优势，Kafka与物联网架构之间的关系，以及五种适用于数字孪生的物联网架构。

2020-04-21 09:51:28

Kafka 数字孪生架构

由浅到深学习Kafka：生产者消息分区机制原理

在使用Apache Kafka生产和消费消息的时候，肯定是希望能够将数据均匀地分配到所有服务器上。比如很多公司使用Kafka收集应用服务器的日志数据，这种数据都是很多的，特别是对于那种大批量机器组成的集群环境，每分钟产生的日志量都能以GB数，因此如何将这么大的数据量均匀地分配到Kafka的各个Broker上，就成为一个非常重要的问题。

2020-04-17 14:49:34

Kafka 分区数据

注意了！Kafka与RabbitMQ千万不要乱用…

作为一个有丰富经验的微服务系统架构师，经常有人问我，应该选择 RabbitMQ 还是 Kafka?

2020-04-03 08:30:44

RabbitMQ Kafka 软件

一口气说出Kafka为啥这么快?

在过去的几年里，软件架构领域发生了巨大的变化。人们不再认为所有的系统都应该共享一个数据库。

2020-03-31 08:12:25

Kafka 架构数据库

Kafka为什么会这么快

在系统设计中，会用到消息中间件来做服务异步化，系统解耦，或者是做流量削峰，常用的消息中间件有rabbitMq，activeMq以及阿里的RocketMq等等，都各自有各自的优势，但是就吞吐量来说，kafka是其中的佼佼者。

2020-03-30 15:05:46

Kafka 消息数据

讲真，应该选择RabbitMQ还是Kafka？

这篇文章会先介绍一下基本的异步消息模式，然后再介绍一下 RabbitMQ 和 Kafka 以及他们的内部结构信息。第二部分(未完成)主要介绍这两种技术的主要不同点以及他们各自的优缺点，最后我们会说明一下怎样选择这两种技术。

2020-03-24 07:40:00

RabbitMQ Kafka 架构师

Kafka集群在马蜂窝大数据平台的优化与应用扩展

Kafka 在马蜂窝也有非常广泛的应用，为很多核心的业务提供支撑。本文将围绕 Kafka 在马蜂窝大数据平台的应用实践，介绍相关业务场景、在 Kafka 应用的不同阶段我们遇到了哪些问题以及如何解决、之后还有哪些计划等。

2020-03-22 15:49:27

Kafka 马蜂窝大数据平台

从未如此简单：10分钟带你逆袭Kafka！原创

Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用 Scala 与 Java 语言编写，能够将消息从一个端点传递到另一个端点。

2020-03-17 07:41:50

Apache Kafka 系统

Kafka架构原理，也就这么回事！原创

本文主要讲解 Kafka 是什么、Kafka 的架构包括工作流程和存储机制，以及生产者和消费者。

2020-03-04 08:47:10

Kafka 架构原理

解析SparkStreaming和Kafka集成的两种方式

Spark Streaming是基于微批处理的流式计算引擎，通常是利用Spark Core或者Spark Core与Spark Sql一起来处理数据。在企业实时处理架构中，通常将Spark Streaming和Kafka集成作为整个大数据处理架构的核心环节之一。

2020-02-21 17:33:17

Spark Kafka 数据

RabbitMQ和Kafka的比较

这篇文章会先介绍一下基本的异步消息模式，然后再介绍一下RabbitMQ和Kafka以及他们的内部结构信息。第二部分(未完成)主要介绍这两种技术的主要不同点以及他们各自的优缺点，最后我们会说明一下怎样选择这两种技术。

2020-02-20 16:45:39

RabbitMQ Kafka 架构

入门篇！大白话带你认识 Kafka！

前言“Kafka 是我在疫情期间在游戏之余学的。虽然之前用过 ActiveMQ 和 RabbitMQ，但是在 Kafka 这门技术面前我也算是一个初学者。文章中若有说法有点完善或者不准确的地方敬请指出。”今天我们来聊聊 Kafka ，主要是带你重新认识一下 Kafka，聊一下 Kafka 中比较重要的概念和问题。

2020-02-20 11:32:09

Kafka 概念问题

在家办公这些天整理的Kafka知识点大全

Kakfa 广泛应用于国内外大厂，例如 BAT、字节跳动、美团、Netflix、Airbnb、Twitter 等等。今天我们通过这篇文章深入了解 Kafka 的工作原理。

2020-02-18 08:01:55

在家办公 Kakfa 知识点大全

如何在物联网的边缘计算中使用Kafka 译文

在本文中，我们将向边缘计算领域的开发者介绍Kafka在物联网(IoT)边缘处的不同用例和架构用法。

2020-01-15 09:00:00

物联网边缘计算 Kafka

揭秘 Kafka 高性能吞吐

Kafka作为时下开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。

2020-01-07 16:16:57

Kafka 开源消息系统

Kafka 集群在马蜂窝大数据平台的优化与应用扩展

Kafka 是当下热门的消息队列中间件，它可以实时地处理海量数据，具备高吞吐、低延时等特性及可靠的消息异步传递机制，可以很好地解决不同系统间数据的交流和传递问题。

2020-01-03 09:53:36

Kafka 集群优化

你能说出Kafka这些原理吗

如果你只追一个妹子并且对这个妹子特别用心的话，知道的人一定会说你是个好男人;如果你只是浅尝辄止并且追了大部分妹子的话，知道的人一定会骂你渣男。

2019-12-30 09:28:53

Kafka 集群 ZooKeeper

每天处理千亿级日志量，Kafka是如何做到的?

之前为大家分享了不少 Kafka 原理解析类的干货，今天咱们一起来看看 360 基于 Kafka 千亿级数据量的深度实践!

2019-12-23 09:25:29

日志 Kafka 消息队列

Kafka 里面的信息是如何被消费的？

作为一个爬虫工程师，Kafka 对你而言就是一个消息队列，你只需要掌握如何向里面写入数据，以及如何读取数据就可以了。

2019-12-16 09:37:19

Kafka 架构数据

高并发几十万的写入，Kafka是如何实现的？

当下流行的MQ有很多，因为我们公司在技术选型上选择了使用Kafka，所以我就整理了一篇关于Kafka的入门知识。通过技术选型我们对业界主流的MQ进行了对比，Kakfa最大的优点就是吞吐量高。

2019-12-11 10:14:23

Kafka 吞吐量架构

开源Apache Cassandra、Kafka、Spark和ES何时该用，何时不该用？译文

几乎所有技术决策都要满足两个基本标准：让企业能够实现业务目标，与技术架构的其余部分协同运行。

2019-12-06 09:41:40

开源技术软件

Spring boot集成Kafka之spring-kafka深入探秘

Spring创建了一个项目Spring-kafka，封装了Apache 的Kafka-client，用于在Spring项目里快速集成kafka。除了简单的收发消息外，Spring-kafka还提供了很多高级功能，下面我们就来一一探秘这些用法。

2019-12-03 11:00:08

spring boot spring-kafk Java

如何验证 Kafka 系统的可靠性？这下我终于懂了

当通过 Kafka 构建的系统需要提供特定的可靠性，我们对 Kafka 做了相应配置，对生产者和消费者的应用做了必要的处理之后，如何验证整个系统确实实现了期望的可靠性呢?本文介绍。

2019-11-29 09:49:34

Kafka 系统监控

带你涨姿势的认识一下Kafka Consumer

之前我们介绍过了 Kafka 整体架构，Kafka 生产者，Kafka 生产的消息最终流向哪里呢？当然是需要消费了，要不只产生一系列数据没有任何作用啊。

2019-11-28 10:40:45

Kafka 架构 KafkaConsum

上一页 1 2 3 4 5 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客开源基础软件社区

教育

51CTO学堂精培企业培训 CTO训练营