直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

Kafka

253内容

关注

涵盖Kafka相关研究热点、技术难点与应用场景，了解这一企业级互联网架构核心产品的更多信息。

共 253 条

进击的 Kafka：不止消息队列，新一代流数据处理平台

为数据而生，以 20 世纪最具影响力的作家命名，一个很酷的开源项目——我们说的是Kafka。

2019-05-13 15:06:09

流数据处理

3台廉价机器每秒写入2百万！Kafka为什么那么快？

Kafka 的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka 的特性之一就是高吞吐率。

2019-05-10 09:47:33

如何在Windows上搭建并运行Kafka 译文

本文将分步骤向您介绍如何在Windows操作系统上安装和运行Apache ZooKeeper和Apache Kafka。

2019-05-09 09:00:00

震惊了，原来这才是Kafka的“真面目”！

Kafka 是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。

2019-05-05 09:24:09

Kafka Topic Partition

Kafka作为大数据的核心技术，你了解多少？

Kafka作为大数据最核心的技术，作为一名技术开发人员，如果你不懂，那么就真的“out”了。DT时代的快速发展离不开kafka，所以了解kafka，应用kafka就成为一种必须。

2019-04-30 14:19:24

Kafka 大数据分布式流平台

Kafka竟然不支持读写分离！今天才知道！

Kafka竟然不支持读写分离！今天才知道！在 Kafka 中，生产者写入消息、消费者读取消息的操作都是与 leader 副本进行交互的，从而实现的是一种主写主读的生产消费模型。数据库、Redis 等都具备主写主读的功能，与此同时还支持主写从读的功能，主写从读也就是读写分离，为了与主写主读对应，这里就以主写从读来称呼!

2019-04-25 15:20:23

Kafka Java 编程语言

Kafka是靠什么机制保持高可靠，高可用的？

面试大厂时，一旦简历上写了 Kafka，几乎必然会被问到一个问题：说说 Acks 参数对消息持久化的影响?

2019-04-25 09:36:18

Kafka 高可靠高可用

高并发架构系列：Kafka、RocketMQ、RabbitMQ的优劣势比较

全量的消息队列究竟有哪些？ Kafka、RocketMQ、RabbitMQ的优劣势比较，以及消息队列的选型。

2019-04-11 10:26:15

架构运维技术

分布式系统Kafka和ES中，JVM内存越大越好吗？

这篇文章，给大家聊一个生产环境的实践经验：线上系统部署的时候，JVM 堆内存大小是越大越好吗?

2019-04-11 09:27:10

突发宕机，Kafka写入的数据如何保证不丢失？

上周分享的一篇文章《Kafka如何实现每秒上百万的超高并发写入?》，相信大家都知道了写入 Kafka 的数据是会落地写入磁盘的，这篇给大家聊下写入 Kafka 的数据该如何保证其不丢失?

2019-03-13 09:27:57

宕机 Kafka 数据

Kafka如何实现每秒上百万的超高并发写入？

这篇文章来聊一下 Kafka 的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。

2019-03-06 09:36:12

Kafka 缓存磁盘

Apache Flink 漫谈系列(15) - DataStream Connectors之Kafka

为了满足本系列读者的需求，我先介绍一下Kafka在Apache Flink中的使用。所以本篇以一个简单的示例，向大家介绍在Apache Flink中如何使用Kafka。

2019-01-15 08:50:12

Apache Flin Kafka 分布式

消息中间件Kafka与RabbitMQ谁更胜一筹？

在 IM 这种讲究高并发、高消息吞吐的互联网场景下，MQ 消息中间件是个很重要的基础设施，它在 IM 系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等角色。

2019-01-04 09:59:14

Kafka RabbitMQ MQ

Kafka是如何处理Netflix每天2万亿条消息的？原创

从产生伊始，各类微服务就需要以不同的方式进行彼此通信。

2018-12-25 09:44:42

Netflix Kafka 消息

Apache Kafka与Spark Streaming的两种整合方法及其优缺点译文

我们在将Apache Kafka与Spark Streaming整合的实战过程中，一般可以选用两种方面来配置Spark Streaming，并接收来自Kafka的数据。第一种是利用接收器和Kafka的高级API;而第二种新的方法则并不使用接收器。这两种方法在性能特征和语义保持上，有着不同的编程模式。

2018-10-24 09:00:26

Kafka Spark 数据

如何将kafka中的数据快速导入Hadoop？

Kafka是一个分布式发布—订阅系统，由于其强大的分布式和性能特性，迅速成为数据管道的关键部分。它可完成许多工作，例如消息传递、指标收集、流处理和日志聚合。Kafka的另一个有效用途是将数据导入Hadoop。

2018-10-22 14:48:39

Kafka Hadoop 代码

Kafka集群内复制功能深入剖析

Kafka是一个分布式发布订阅消息系统。由LinkedIn开发并已经在2011年7月成为apache顶级项目。kafka在LinkedIn, Twitte等许多公司都得到广泛使用，主要用于：日志聚合，消息队列，实时监控等。

2018-10-15 17:24:31

Kafka 分布式数据

Kafka如何做到1秒处理1500万条消息？原创

一位软件工程师将通过本文向您呈现 Apache Kafka 在大型应用中的 20 项最佳实践。

2018-10-11 09:33:51

Kafka 消息处理

Apache Kafka在大型应用中的20项优秀实践译文

一位软件工程师将通过本文向您呈现Apache Kafka在大型应用中的20项最佳实践。Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。

2018-08-30 09:00:00

开源 Apache Kafk 数据流

使用Scala开发Apache Kafka的TOP 20大好用实践

本文作者是一位软件工程师，他对20位开发人员和数据科学家使用Apache Kafka的方式进行了最大限度得深入研究，最终将生产实践环节需要注意的问题总结为本文所列的20条建议。

2018-08-24 13:44:22

数据科学 Apache Kafk 数据速率

Kafka的架构原理，你真的理解吗？

Apache Kafka 最早是由 LinkedIn 开源出来的分布式消息系统，现在是 Apache 旗下的一个子项目，并且已经成为开源领域应用最广泛的消息系统之一。

2018-08-20 08:30:05

Kafka 架构系统

使用Kafka和MongoDB进行Go异步处理

在我前面的博客文章 “我的第一个 Go 微服务：使用 MongoDB 和 Docker 多阶段构建” 中，我创建了一个 Go 微服务示例，它发布一个 REST 式的 http 端点，并将从 HTTP POST 中接收到的数据保存到 MongoDB 数据库。

2018-08-19 09:15:25

MongoDB Go 微服务

阿里大牛实战归纳——Kafka架构原理

Kafka的topic和分区内部是如何存储的，有什么特点？与传统的消息系统相比,Kafka的消费模型有什么优点?Kafka如何实现分布式的数据存储与数据读取?快来看下文吧！

2018-07-26 15:18:41

阿里 Java Kafka架构

Kafka解惑之时间轮 (TimingWheel)

Kafka中存在大量的延迟操作，比如延迟生产、延迟拉取以及延迟删除等。Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能，而是基于时间轮自定义了一个用于实现延迟功能的定时器(SystemTimer)。

2018-06-06 10:14:32

Kafka 时间轮任务

Kafka Connect如何实现同步RDS binlog数据?

本文将演示如何在E-MapReduce上实现将RDS binlog实时同步到Kafka集群中。实验中使用VPC网络环境，以下实例创建时默认都是在VPC环境下。

2018-05-14 13:51:39

RDS Binlog 架构 Kafka集群

Kafka的存储机制以及可靠性

kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还细分为若干个segment。所谓的分区其实就是在kafka对应存储目录下创建的文件夹，文件夹的名字是主题名加上分区编号，编号从0开始。

2018-05-07 10:20:38

Kafka 存储机制

批处理ETL已死，Kafka才是数据处理的未来？

在 QCon 旧金山会议上，Neha Narkhede 做了“ETL 已死，而实时流长存”的演讲，并讨论了企业级数据处理领域所面临的挑战。该演讲的核心前提是开源的 Apache Kafka 流处理平台能够提供灵活且统一的框架，支持数据转换和处理的现代需求。

2018-02-27 14:22:38

ETL Kakfa 数据集

Kafka源码系列之以kafka为例讲解分布式存储系统

由于CAP理论在分布式存储系统中，做多只能实现上面两点。而现实环境是很复杂的，比如网络抖动及故障，硬件故障等问题，分区容错是我们必须要实现的。所以我们只能在一致性和可用性之间权衡。

2018-01-25 08:29:28

Kafka 源码存储

决战秋名山!华为云消息队列DMS联手老司机kafka

秋名山的云端，终年云雾弥漫，人迹罕至，但这一切不妨碍它成为竞速者的乐园。在最接近云端三KB的路段，蜿蜒狭长，不可预料，他要求挑战者支持高并发的多线操作，并在电石光火间正确有序地处理浪涌的海量数据。在这条极限赛道上，神车Kafka自七年前出道以来，已经很久没有遇到过对手了。

2017-10-26 19:47:55

KSQL，用于Apache Kafka的流数据SQL引擎

Apache Kafka是一个分布式的、分区的、多复本的日志提交服务，使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。

2017-09-06 16:49:43

KSQL Kafka 数据集

浅谈分布式消息系统 Kafka 设计原理

Kafka是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由LinkedIn公司开发，使用Scala语言编写，目前是Apache的开源项目。

2017-08-30 16:47:49

Kafka 设计原理

Apache Kafka：大数据的实时处理时代

本演讲将介绍最近 Apache Kafka 添加的一些系统架构，包括 Kafka Connect 和 Kafka Streams，并且描述一些如何使用它们的实际应用体验。

2017-08-09 13:30:21

大数据 Apache Kafk 实时处理

SparkStreaming与Kafka整合遇到的问题及解决方案

最近工作中是做日志分析的平台，采用了sparkstreaming+kafka，采用kafka主要是看中了它对大数据量处理的高性能，处理日志类应用再好不过了，采用了sparkstreaming的流处理框架主要是考虑到它本身是基于spark核心的，以后的批处理可以一站式服务，并且可以提供准实时服务到elasticsearch中，可以实现准实时定位系统日志。

2017-08-03 09:37:35

SparkStream Kafka Direct

简要分析Kafka Stream有意思的点

Kafka一直缺乏一个商业公司来推动，这个问题现在要稍稍改变一些了，原LinkedIn Kafka作者离职后创业Confluent Inc来推动kafka商业化，并推出Kafka Stream。今天只讲kafka stream几个有意思的点。

2017-08-01 00:52:07

kafka 大数据消息总线

浅谈分布式消息技术Kafka

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

2017-07-27 14:32:05

大数据分布式消息 Kafka

Kafka和消息队列之间的超快速比较

Kafka最初是由Linkedin社区开发的一项技术。简而言之，它有点像消息队列系统，但它与消息队列系统不同的就是它能够支持pub/sub，可以在许多服务器上进行扩展，并重新播放消息。

2017-07-11 16:19:50

大数据 Kafka 消息队列

高速数据总线kafka介绍

本文主要介绍高速数据总线kafka，下面，我们就从Kafka的作用、产生背景以及架构等方面来详细讲解。

2017-07-02 13:43:42

大数据 kafka 数据总线

Spark Streaming vs. Kafka Stream 哪个更适合你

本文介绍了两大常用的流式处理框架，Spark Streaming和Kafka Stream，并对他们各自的特点做了详细说明，以帮助读者在不同的场景下对框架进行选择。

2017-06-27 15:08:05

大数据 Apache Spar Kafka Strea

实用 | 从Apache Kafka到Apache Spark安全读取数据

随着在CDH平台上物联网(IoT)使用案例的不断增加，针对这些工作负载的安全性显得至关重要。本篇博文对如何以安全的方式在Spark中使用来自Kafka的数据，以及针对物联网(IoT)使用案例的两个关键组件进行了说明。

2017-06-26 15:00:17

大数据 Apache Kafk Apache Spar

kafka数据可靠性深度解读

本文首先从Kafka的架构着手，先了解下Kafka的基本原理，然后通过对kakfa的存储机制、复制原理、同步原理、可靠性和持久性保证等等一步步对其可靠性进行分析，最后通过benchmark来增强对Kafka高可靠性的认知。

2017-06-23 18:25:51

kafka 数据可靠性

什么时候该用RabbitMQ ，什么时候该用 Apache Kafka

这篇文章致力于给予潜意识，表意识一些公平的考虑，从今天最现代，最受欢迎的选择： RabbitMQ和Apache Kafka。每个都有自己的起源故事, 设计意图，使用案例，被应用, 整合能力，和开发人员的经验。对于任何的软件，起源揭示总体设计意图，都是一个很好的起点。

2017-05-15 09:55:07

RabbitMQ Apache Scala

Apache Kafka在大数据生态系统中的价值

Kafka是个高可扩展的生产消费者系统。利用Kafka系统，用户可以发布大量的消息，同时也能实时订阅消费消息。本文旨在说明Kafka如何在大数据生态系统中扮演越来越重要的角色。

2017-05-10 16:10:28

Kafka 大数据数据库

干货｜Kafka在大数据环境中的应用

我们生活在一个数据爆炸的时代，数据的巨量增长给我们的业务处理带来了压力，同时巨量的数据也给我们带来了十分可观的财富。随着大数据将各个行业用户、运营商、服务商的数据整合进大数据环境，或用户取用大数据环境中海量的数据，业务平台间的消息处理将变得尤为复杂。如何高效地采集、使用数据，如何减轻各业务系统的压力，也变得越来越突出。

2017-04-28 11:45:16

大数据 Kafka 大数据应用

Kafka设计原理以及在达观产品中的应用

这样的业务需求需要达观提供数据暂存服务，也就是说我们需要一个系统在生产者（客户上报数据）和消费者（后台数据处理）之间进行沟通，简而言之叫系统间通信消息系统，这种模型就是经典的生产者（producer）、消费者（consumer）模型。

2017-03-16 20:00:17

Kafka 设计原理达观产品

开源“Chaperone”：Uber是如何对Kafka进行端到端审计的

为了监控Kafka数据管道的健康状况并对流经Kafka的每个消息进行审计，我们完全依赖我们的审计系统Chaperone。Chaperone自2016年1月成为Uber的跨数据中心基础设施以来，每天处理万亿的消息量。下面我们会介绍它的工作原理，并说明我们为什么会构建Chaperone。

2017-01-05 20:11:34

大数据技术审计系统

大数据小课堂——深入浅出Kafka

Kafka可以让合适的数据以合适的形式出现在合适的地方。Kafka的做法是提供消息队列，让生产者单往队列的末尾添加数据，让多个消费者从队列里面依次读取数据然后自行处理。

2017-01-05 17:35:18

百度云天算

Kafka在行动：7步实现从RDBMS到Hadoop的实时流传输

本文目标读者是技术人员。继续读，我会图解Kafka如何从关系数据库管理系统(RDBMS)里流输数据到Hive，这可以提供一个实时分析使用案例。为了参考方便，本文使用的组件版本是Hive 1.2.1，Flume 1.6和Kafka 0.9。

2016-12-28 17:45:30

Hadoop 大数据 Kafka

Apache Kafka如何让流数据进入主流译文

开源Apache Kafka是一项高效的大数据策略中日益重要的核心部分，本文解释了个中原委。

2016-10-19 16:52:52

流数据 Apache Kafk

Kafka和Twitter新开源的DistributedLog技术对比

我们在2016年五月开源了DistributedLog项目，引起了社区的广泛关注。大家常常问起的问题之一就是DistributedLog与Apache Kafka相对比，各有什么优劣。

2016-10-17 15:04:02

开源 Distributed Apache Kafk

使用Elasticsearch、Kafka和Cassandra构建流式数据中心

在过去的一年里，我遇到了一些软件公司讨论如何处理应用程序的数据(通常以日志和metrics的形式)。在这些讨论中，我经常会听到挫折感，他们不得不用一组零碎的工具，随着时间的推移将这些数据汇总起来。

2015-10-22 14:02:58

Elasticsear Kafka Cassandra

上一页 1 2 3 4 5 6 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营