鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

Kafka

257内容

关注

涵盖Kafka相关研究热点、技术难点与应用场景，了解这一企业级互联网架构核心产品的更多信息。

共 257 条

使用Kafka和Druid了解Spark流

在本博文中，我将分享通过将Spark Streaming，Kafka和Apache Druid结合在一起以构建实时分析仪表板，以确保精确的数据表示而获得的知识。

2020-05-14 10:26:27

Kafka Spark 数据

你知道Kafka和Redis的各自优缺点吗？一文带你优化选择

大数据技术相辅相成，没有任何一种技术是没有缺点，孤立发展的。今天咱们来分析下Kafka和Redis的对比，看分布式发布订阅都有什么各自的优势与缺点。

2020-05-13 17:12:21

大数据分布式引擎

轻松上手 Spring Boot & Kafka 实战！

Kafka需要依赖zookeeper，并且自身集成了zookeeper，zookeeper至少需要3个节点保证集群高可用，下面是在单机linux下创建kafka3个节点伪集群模式。

2020-04-23 15:59:04

Spring Kafka 集群

用Kafka实现数字孪生的物联网架构译文

在本文中，你将先后了解到数字孪生在各个行业中的优势，Kafka与物联网架构之间的关系，以及五种适用于数字孪生的物联网架构。

2020-04-21 09:51:28

Kafka 数字孪生架构

由浅到深学习Kafka：生产者消息分区机制原理

在使用Apache Kafka生产和消费消息的时候，肯定是希望能够将数据均匀地分配到所有服务器上。比如很多公司使用Kafka收集应用服务器的日志数据，这种数据都是很多的，特别是对于那种大批量机器组成的集群环境，每分钟产生的日志量都能以GB数，因此如何将这么大的数据量均匀地分配到Kafka的各个Broker上，就成为一个非常重要的问题。

2020-04-17 14:49:34

Kafka 分区数据

注意了！Kafka与RabbitMQ千万不要乱用…

作为一个有丰富经验的微服务系统架构师，经常有人问我，应该选择 RabbitMQ 还是 Kafka?

2020-04-03 08:30:44

RabbitMQ Kafka 软件

一口气说出Kafka为啥这么快?

在过去的几年里，软件架构领域发生了巨大的变化。人们不再认为所有的系统都应该共享一个数据库。

2020-03-31 08:12:25

Kafka 架构数据库

Kafka为什么会这么快

在系统设计中，会用到消息中间件来做服务异步化，系统解耦，或者是做流量削峰，常用的消息中间件有rabbitMq，activeMq以及阿里的RocketMq等等，都各自有各自的优势，但是就吞吐量来说，kafka是其中的佼佼者。

2020-03-30 15:05:46

Kafka 消息数据

讲真，应该选择RabbitMQ还是Kafka？

这篇文章会先介绍一下基本的异步消息模式，然后再介绍一下 RabbitMQ 和 Kafka 以及他们的内部结构信息。第二部分(未完成)主要介绍这两种技术的主要不同点以及他们各自的优缺点，最后我们会说明一下怎样选择这两种技术。

2020-03-24 07:40:00

RabbitMQ Kafka 架构师

Kafka集群在马蜂窝大数据平台的优化与应用扩展

Kafka 在马蜂窝也有非常广泛的应用，为很多核心的业务提供支撑。本文将围绕 Kafka 在马蜂窝大数据平台的应用实践，介绍相关业务场景、在 Kafka 应用的不同阶段我们遇到了哪些问题以及如何解决、之后还有哪些计划等。

2020-03-22 15:49:27

Kafka 马蜂窝大数据平台

从未如此简单：10分钟带你逆袭Kafka！原创

Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用 Scala 与 Java 语言编写，能够将消息从一个端点传递到另一个端点。

2020-03-17 07:41:50

Apache Kafka 系统

Kafka架构原理，也就这么回事！原创

本文主要讲解 Kafka 是什么、Kafka 的架构包括工作流程和存储机制，以及生产者和消费者。

2020-03-04 08:47:10

Kafka 架构原理

解析SparkStreaming和Kafka集成的两种方式

Spark Streaming是基于微批处理的流式计算引擎，通常是利用Spark Core或者Spark Core与Spark Sql一起来处理数据。在企业实时处理架构中，通常将Spark Streaming和Kafka集成作为整个大数据处理架构的核心环节之一。

2020-02-21 17:33:17

Spark Kafka 数据

RabbitMQ和Kafka的比较

这篇文章会先介绍一下基本的异步消息模式，然后再介绍一下RabbitMQ和Kafka以及他们的内部结构信息。第二部分(未完成)主要介绍这两种技术的主要不同点以及他们各自的优缺点，最后我们会说明一下怎样选择这两种技术。

2020-02-20 16:45:39

RabbitMQ Kafka 架构

入门篇！大白话带你认识 Kafka！

前言“Kafka 是我在疫情期间在游戏之余学的。虽然之前用过 ActiveMQ 和 RabbitMQ，但是在 Kafka 这门技术面前我也算是一个初学者。文章中若有说法有点完善或者不准确的地方敬请指出。”今天我们来聊聊 Kafka ，主要是带你重新认识一下 Kafka，聊一下 Kafka 中比较重要的概念和问题。

2020-02-20 11:32:09

Kafka 概念问题

在家办公这些天整理的Kafka知识点大全

Kakfa 广泛应用于国内外大厂，例如 BAT、字节跳动、美团、Netflix、Airbnb、Twitter 等等。今天我们通过这篇文章深入了解 Kafka 的工作原理。

2020-02-18 08:01:55

在家办公 Kakfa 知识点大全

如何在物联网的边缘计算中使用Kafka 译文

在本文中，我们将向边缘计算领域的开发者介绍Kafka在物联网(IoT)边缘处的不同用例和架构用法。

2020-01-15 09:00:00

物联网边缘计算 Kafka

揭秘 Kafka 高性能吞吐

Kafka作为时下开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。

2020-01-07 16:16:57

Kafka 开源消息系统

Kafka 集群在马蜂窝大数据平台的优化与应用扩展

Kafka 是当下热门的消息队列中间件，它可以实时地处理海量数据，具备高吞吐、低延时等特性及可靠的消息异步传递机制，可以很好地解决不同系统间数据的交流和传递问题。

2020-01-03 09:53:36

Kafka 集群优化

你能说出Kafka这些原理吗

如果你只追一个妹子并且对这个妹子特别用心的话，知道的人一定会说你是个好男人;如果你只是浅尝辄止并且追了大部分妹子的话，知道的人一定会骂你渣男。

2019-12-30 09:28:53

Kafka 集群 ZooKeeper

每天处理千亿级日志量，Kafka是如何做到的?

之前为大家分享了不少 Kafka 原理解析类的干货，今天咱们一起来看看 360 基于 Kafka 千亿级数据量的深度实践!

2019-12-23 09:25:29

日志 Kafka 消息队列

Kafka 里面的信息是如何被消费的？

作为一个爬虫工程师，Kafka 对你而言就是一个消息队列，你只需要掌握如何向里面写入数据，以及如何读取数据就可以了。

2019-12-16 09:37:19

Kafka 架构数据

高并发几十万的写入，Kafka是如何实现的？

当下流行的MQ有很多，因为我们公司在技术选型上选择了使用Kafka，所以我就整理了一篇关于Kafka的入门知识。通过技术选型我们对业界主流的MQ进行了对比，Kakfa最大的优点就是吞吐量高。

2019-12-11 10:14:23

Kafka 吞吐量架构

开源Apache Cassandra、Kafka、Spark和ES何时该用，何时不该用？译文

几乎所有技术决策都要满足两个基本标准：让企业能够实现业务目标，与技术架构的其余部分协同运行。

2019-12-06 09:41:40

开源技术软件

Spring boot集成Kafka之spring-kafka深入探秘

Spring创建了一个项目Spring-kafka，封装了Apache 的Kafka-client，用于在Spring项目里快速集成kafka。除了简单的收发消息外，Spring-kafka还提供了很多高级功能，下面我们就来一一探秘这些用法。

2019-12-03 11:00:08

spring boot spring-kafk Java

如何验证 Kafka 系统的可靠性？这下我终于懂了

当通过 Kafka 构建的系统需要提供特定的可靠性，我们对 Kafka 做了相应配置，对生产者和消费者的应用做了必要的处理之后，如何验证整个系统确实实现了期望的可靠性呢?本文介绍。

2019-11-29 09:49:34

Kafka 系统监控

带你涨姿势的认识一下Kafka Consumer

之前我们介绍过了 Kafka 整体架构，Kafka 生产者，Kafka 生产的消息最终流向哪里呢？当然是需要消费了，要不只产生一系列数据没有任何作用啊。

2019-11-28 10:40:45

Kafka 架构 KafkaConsum

Kafka文件存储机制那些事

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

2019-11-19 14:48:00

Kafka 文件存储

Apache Kafka快速入门指南

Kafka是基于发布订阅的消息系统。最初起源于LinkedIn，于2011年成为开源Apache项目，然后于2012年成为Apache顶级项目。Kafka用Scala和Java编写，因其分布式可扩展架构及可持久化、高吞吐率特征而被广泛使用。

2019-11-13 15:44:17

Kafka 架构数据

Kafka架构和高可用机制图解，阿里腾讯都在用，看不懂来找我

今天先来说说kafka吧，我看Hbase没什么人看，于是直接跳过，讲大家最喜欢的。

2019-11-13 10:31:49

Kafka 架构高可用

大数据开发最火技术Kafka背后的“黑科技”

Kafka是由Apache软件基金会开发的一个开源流处理平台，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于其他常见消息系统，Kafka在保障了大部分功能特性的同时，还在高吞吐、低延迟等方面有很突出的表现。

2019-11-07 11:40:12

大数据 Kafka 技术

Kafka事务流由基础到实践

事件源，最终一致性，微服务，CQRS等等，这些越多越多的概念被现代开发者所熟悉。从细粒度的服务组装到复杂的以业务为中心的应用架构，这其中最重要的一块就是以中间件为基础的业务脱藕。

2019-11-05 11:56:58

Kafka 微服务开发

学习Kafka，先从这四个基础概念入手

Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。

2019-10-29 14:54:20

Kafka 消息系统分布式

玩了分布式这么久,你不会连Kafka都不清楚吧

Kafka 现在在企业和互联网项目中的应用越来越多了，本篇文章就从 Kafka 的基础开始带你一展 Kafka 的宏图。

2019-10-29 09:41:54

Kafka 分布式分布式

面试问：Kafka为什么速度那么快？该怎么回答

Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。

2019-10-18 14:54:04

Kafka 写入磁盘

程序员经典面试题，Kafka读写硬盘为什么速度还那么快

在今天的很多程序员招聘里，都会要求能够熟练运用Apache Kafka等至少一种消息队列，Apache Kafka也是程序员面试里的常客。在大多数人的映象中，写磁盘都是比较慢的，可是，为什么Apache Kafka在各大MQ性能的评测中，还能够击败众多对手，取得不错的成绩呢？

2019-10-18 09:40:19

程序员固态硬盘 Linux

揭秘Kafka的高性能吞吐

Kafka作为时下开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了读写性能。

2019-10-17 09:23:49

Kafka 高性能架构

Kafka快速入门秘籍：背景介绍，应用场景分析、核心架构分析

其实这段背景，我们之前介绍RabbitMQ的时候，已经说过了，我们这里讲kakfa的时候，再把这一段给拿出来，再说明下。

2019-10-08 10:01:22

Kafka 应用场景架构

微服务架构之–消息队列Kafka图解最全知识点

MQ(消息队列)是跨进程通信的方式之一，可理解为异步rpc，上游系统对调用结果的态度往往是重要不紧急。使用消息队列有以下好处：业务解耦、流量削峰、灵活扩展。接下来介绍消息中间件Kafka。

2019-09-23 10:47:52

Kafka 架构微服务

Kafka源码分析及图解原理之Broker端

一个topic可以有多个分区，每个分区的消息都是不同的。虽然分区可以提供更高的吞吐量，但是分区不是越多越好。

2019-09-20 08:54:38

Kafka Broker 消息

技术干货分享：HBase数据迁移到Kafka实战

在实际的应用场景中，数据存储在HBase集群中，但是由于一些特殊的原因，需要将数据从HBase迁移到Kafka。正常情况下，一般都是源数据到Kafka，再有消费者处理数据，将数据写入HBase。但是，如果逆向处理，如何将HBase的数据迁移到Kafka呢?

2019-09-16 12:55:27

HBase Kafka 数据

利用Kafka设置可靠的高性能分布式消息传递基础架构

Apache Kafka 已成为构建基于事件的高度可扩展系统的首选解决方案。Kafka 可为事件流平台提供快速升级换代的功能，以供开发者在现代化业务解决方案中使用。

2019-09-12 08:50:37

Kafka 分布式系统服务器

在K8S上运行Kafka合适吗？会遇到哪些陷阱？

Kubernetes设计的初衷是运行无状态工作负载。这些通常采用微服务架构的工作负载，是轻量级，可水平扩展，遵循十二要素应用程序，可以处理环形断路和随机Monkey测试。

2019-09-05 09:10:35

Kafka K8S Kubernetes

我以为我对Kafka很了解，直到我看了此文章

Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。

2019-08-13 09:29:14

Kafka 运营数据

资深程序员多年总结：解密Kafka吞吐量高的原因

众所周知kafka的吞吐量比一般的消息队列要高，号称the fastest，那他是如何做到的，让我们从以下几个方面分析一下原因。

2019-07-26 15:41:27

程序员技能开发者

Kafka为了追求极致的性能，有这11大优化之处

Kafka在性能优化方面做了哪些举措，这是Kafka面试的时候的常见问题，面试官问你这个问题也不算刁难你。

2019-07-23 09:20:15

Kafka 批量处理客户端

Kafka设计原理看了又忘，忘了又看？

什么是消息队列?简单来说，消息队列是存放消息的容器。客户端可以将消息发送到消息服务器，也可以从消息服务器获取消息。

2019-07-18 09:17:19

Kafka 消息队列服务器

十五个点，理解Apache Kafka

Kafka在世界享有盛名，大部分互联网公司都在使用它，那么它到底是什么呢?让我们一步一步地来理解他，随后深入探讨其工作原理。

2019-07-16 13:15:38

Kafka 分布式数据

两张图读懂kafka应用

kafka将所有消息组织成多个topic的形式存储，而每个topic又可以拆分成多个partition，每个partition又由一个一个消息组成。每个消息都被标识了一个递增序列号代表其进来的先后顺序，并按顺序存储在partition中。

2019-07-16 08:57:15

kafka 应用 Broker

大数据流处理：Flume、Kafka和NiFi对比

在构建大数据流水线时，我们需要考虑处理数据的数量，种类和速度，这些数据通常出现在Hadoop生态系统的入口。

2019-07-05 12:16:26

大数据 IT 互联网

上一页 1 2 3 4 5 6 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营