开源基础软件社区

WOT全球技术创新大会

公众号矩阵

移动端

免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2023年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

Kafka

229内容

关注

涵盖Kafka相关研究热点、技术难点与应用场景，了解这一企业级互联网架构核心产品的更多信息。

共 229 条

Kafka文件存储机制那些事

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

2019-11-19 14:48:00

Kafka 文件存储

Apache Kafka快速入门指南

Kafka是基于发布订阅的消息系统。最初起源于LinkedIn，于2011年成为开源Apache项目，然后于2012年成为Apache顶级项目。Kafka用Scala和Java编写，因其分布式可扩展架构及可持久化、高吞吐率特征而被广泛使用。

2019-11-13 15:44:17

Kafka 架构数据

Kafka架构和高可用机制图解，阿里腾讯都在用，看不懂来找我

今天先来说说kafka吧，我看Hbase没什么人看，于是直接跳过，讲大家最喜欢的。

2019-11-13 10:31:49

Kafka 架构高可用

大数据开发最火技术Kafka背后的“黑科技”

Kafka是由Apache软件基金会开发的一个开源流处理平台，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于其他常见消息系统，Kafka在保障了大部分功能特性的同时，还在高吞吐、低延迟等方面有很突出的表现。

2019-11-07 11:40:12

大数据 Kafka 技术

Kafka事务流由基础到实践

事件源，最终一致性，微服务，CQRS等等，这些越多越多的概念被现代开发者所熟悉。从细粒度的服务组装到复杂的以业务为中心的应用架构，这其中最重要的一块就是以中间件为基础的业务脱藕。

2019-11-05 11:56:58

Kafka 微服务开发

学习Kafka，先从这四个基础概念入手

Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。

2019-10-29 14:54:20

Kafka 消息系统分布式

玩了分布式这么久,你不会连Kafka都不清楚吧

Kafka 现在在企业和互联网项目中的应用越来越多了，本篇文章就从 Kafka 的基础开始带你一展 Kafka 的宏图。

2019-10-29 09:41:54

Kafka 分布式分布式

面试问：Kafka为什么速度那么快？该怎么回答

Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。

2019-10-18 14:54:04

Kafka 写入磁盘

程序员经典面试题，Kafka读写硬盘为什么速度还那么快

在今天的很多程序员招聘里，都会要求能够熟练运用Apache Kafka等至少一种消息队列，Apache Kafka也是程序员面试里的常客。在大多数人的映象中，写磁盘都是比较慢的，可是，为什么Apache Kafka在各大MQ性能的评测中，还能够击败众多对手，取得不错的成绩呢？

2019-10-18 09:40:19

程序员固态硬盘 Linux

揭秘Kafka的高性能吞吐

Kafka作为时下开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了读写性能。

2019-10-17 09:23:49

Kafka 高性能架构

Kafka快速入门秘籍：背景介绍，应用场景分析、核心架构分析

其实这段背景，我们之前介绍RabbitMQ的时候，已经说过了，我们这里讲kakfa的时候，再把这一段给拿出来，再说明下。

2019-10-08 10:01:22

Kafka 应用场景架构

微服务架构之–消息队列Kafka图解最全知识点

MQ(消息队列)是跨进程通信的方式之一，可理解为异步rpc，上游系统对调用结果的态度往往是重要不紧急。使用消息队列有以下好处：业务解耦、流量削峰、灵活扩展。接下来介绍消息中间件Kafka。

2019-09-23 10:47:52

Kafka 架构微服务

Kafka源码分析及图解原理之Broker端

一个topic可以有多个分区，每个分区的消息都是不同的。虽然分区可以提供更高的吞吐量，但是分区不是越多越好。

2019-09-20 08:54:38

Kafka Broker 消息

技术干货分享：HBase数据迁移到Kafka实战

在实际的应用场景中，数据存储在HBase集群中，但是由于一些特殊的原因，需要将数据从HBase迁移到Kafka。正常情况下，一般都是源数据到Kafka，再有消费者处理数据，将数据写入HBase。但是，如果逆向处理，如何将HBase的数据迁移到Kafka呢?

2019-09-16 12:55:27

HBase Kafka 数据

利用Kafka设置可靠的高性能分布式消息传递基础架构

Apache Kafka 已成为构建基于事件的高度可扩展系统的首选解决方案。Kafka 可为事件流平台提供快速升级换代的功能，以供开发者在现代化业务解决方案中使用。

2019-09-12 08:50:37

Kafka 分布式系统服务器

在K8S上运行Kafka合适吗？会遇到哪些陷阱？

Kubernetes设计的初衷是运行无状态工作负载。这些通常采用微服务架构的工作负载，是轻量级，可水平扩展，遵循十二要素应用程序，可以处理环形断路和随机Monkey测试。

2019-09-05 09:10:35

Kafka K8S Kubernetes

我以为我对Kafka很了解，直到我看了此文章

Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。

2019-08-13 09:29:14

Kafka 运营数据

资深程序员多年总结：解密Kafka吞吐量高的原因

众所周知kafka的吞吐量比一般的消息队列要高，号称the fastest，那他是如何做到的，让我们从以下几个方面分析一下原因。

2019-07-26 15:41:27

程序员技能开发者

Kafka为了追求极致的性能，有这11大优化之处

Kafka在性能优化方面做了哪些举措，这是Kafka面试的时候的常见问题，面试官问你这个问题也不算刁难你。

2019-07-23 09:20:15

Kafka 批量处理客户端

Kafka设计原理看了又忘，忘了又看？

什么是消息队列?简单来说，消息队列是存放消息的容器。客户端可以将消息发送到消息服务器，也可以从消息服务器获取消息。

2019-07-18 09:17:19

Kafka 消息队列服务器

十五个点，理解Apache Kafka

Kafka在世界享有盛名，大部分互联网公司都在使用它，那么它到底是什么呢?让我们一步一步地来理解他，随后深入探讨其工作原理。

2019-07-16 13:15:38

Kafka 分布式数据

两张图读懂kafka应用

kafka将所有消息组织成多个topic的形式存储，而每个topic又可以拆分成多个partition，每个partition又由一个一个消息组成。每个消息都被标识了一个递增序列号代表其进来的先后顺序，并按顺序存储在partition中。

2019-07-16 08:57:15

kafka 应用 Broker

大数据流处理：Flume、Kafka和NiFi对比

在构建大数据流水线时，我们需要考虑处理数据的数量，种类和速度，这些数据通常出现在Hadoop生态系统的入口。

2019-07-05 12:16:26

大数据 IT 互联网

仅需3分钟，你就能明白Kafka的工作原理

周末无聊刷着手机，某宝网 App 突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天!”。

2019-06-05 09:42:53

Kafka App 消息队列

在Kubernetes上运行Kafka合适吗？

Kubernetes设计的初衷是运行无状态工作负载。这些通常采用微服务架构的工作负载，是轻量级，可水平扩展，遵循十二要素应用程序，可以处理环形断路和随机Monkey测试。

2019-06-03 09:15:15

Kubernetes Kafka 数据库

Java消息队列总结篇（ActiveMQ、RabbitMQ、ZeroMQ、Kafka）

消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ。

2019-05-29 14:49:02

Kafka RocketMQ RabbitMQ

17 个方面，综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ 四个分布式消息队列

本文将从，Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ 17 个方面综合对比作为消息队列使用时的差异。

2019-05-21 14:14:18

Kafka RabbitMQ RocketMQ

进击的 Kafka：不止消息队列，新一代流数据处理平台

为数据而生，以 20 世纪最具影响力的作家命名，一个很酷的开源项目——我们说的是Kafka。

2019-05-13 15:06:09

流数据处理

3台廉价机器每秒写入2百万！Kafka为什么那么快？

Kafka 的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka 的特性之一就是高吞吐率。

2019-05-10 09:47:33

如何在Windows上搭建并运行Kafka 译文

本文将分步骤向您介绍如何在Windows操作系统上安装和运行Apache ZooKeeper和Apache Kafka。

2019-05-09 09:00:00

震惊了，原来这才是Kafka的“真面目”！

Kafka 是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。

2019-05-05 09:24:09

Kafka Topic Partition

Kafka作为大数据的核心技术，你了解多少？

Kafka作为大数据最核心的技术，作为一名技术开发人员，如果你不懂，那么就真的“out”了。DT时代的快速发展离不开kafka，所以了解kafka，应用kafka就成为一种必须。

2019-04-30 14:19:24

Kafka 大数据分布式流平台

Kafka竟然不支持读写分离！今天才知道！

Kafka竟然不支持读写分离！今天才知道！在 Kafka 中，生产者写入消息、消费者读取消息的操作都是与 leader 副本进行交互的，从而实现的是一种主写主读的生产消费模型。数据库、Redis 等都具备主写主读的功能，与此同时还支持主写从读的功能，主写从读也就是读写分离，为了与主写主读对应，这里就以主写从读来称呼!

2019-04-25 15:20:23

Kafka Java 编程语言

Kafka是靠什么机制保持高可靠，高可用的？

面试大厂时，一旦简历上写了 Kafka，几乎必然会被问到一个问题：说说 Acks 参数对消息持久化的影响?

2019-04-25 09:36:18

Kafka 高可靠高可用

高并发架构系列：Kafka、RocketMQ、RabbitMQ的优劣势比较

全量的消息队列究竟有哪些？ Kafka、RocketMQ、RabbitMQ的优劣势比较，以及消息队列的选型。

2019-04-11 10:26:15

架构运维技术

分布式系统Kafka和ES中，JVM内存越大越好吗？

这篇文章，给大家聊一个生产环境的实践经验：线上系统部署的时候，JVM 堆内存大小是越大越好吗?

2019-04-11 09:27:10

突发宕机，Kafka写入的数据如何保证不丢失？

上周分享的一篇文章《Kafka如何实现每秒上百万的超高并发写入?》，相信大家都知道了写入 Kafka 的数据是会落地写入磁盘的，这篇给大家聊下写入 Kafka 的数据该如何保证其不丢失?

2019-03-13 09:27:57

宕机 Kafka 数据

Kafka如何实现每秒上百万的超高并发写入？

这篇文章来聊一下 Kafka 的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。

2019-03-06 09:36:12

Kafka 缓存磁盘

Apache Flink 漫谈系列(15) - DataStream Connectors之Kafka

为了满足本系列读者的需求，我先介绍一下Kafka在Apache Flink中的使用。所以本篇以一个简单的示例，向大家介绍在Apache Flink中如何使用Kafka。

2019-01-15 08:50:12

Apache Flin Kafka 分布式

消息中间件Kafka与RabbitMQ谁更胜一筹？

在 IM 这种讲究高并发、高消息吞吐的互联网场景下，MQ 消息中间件是个很重要的基础设施，它在 IM 系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等角色。

2019-01-04 09:59:14

Kafka RabbitMQ MQ

Kafka是如何处理Netflix每天2万亿条消息的？原创

从产生伊始，各类微服务就需要以不同的方式进行彼此通信。

2018-12-25 09:44:42

Netflix Kafka 消息

Apache Kafka与Spark Streaming的两种整合方法及其优缺点译文

我们在将Apache Kafka与Spark Streaming整合的实战过程中，一般可以选用两种方面来配置Spark Streaming，并接收来自Kafka的数据。第一种是利用接收器和Kafka的高级API;而第二种新的方法则并不使用接收器。这两种方法在性能特征和语义保持上，有着不同的编程模式。

2018-10-24 09:00:26

Kafka Spark 数据

如何将kafka中的数据快速导入Hadoop？

Kafka是一个分布式发布—订阅系统，由于其强大的分布式和性能特性，迅速成为数据管道的关键部分。它可完成许多工作，例如消息传递、指标收集、流处理和日志聚合。Kafka的另一个有效用途是将数据导入Hadoop。

2018-10-22 14:48:39

Kafka Hadoop 代码

Kafka集群内复制功能深入剖析

Kafka是一个分布式发布订阅消息系统。由LinkedIn开发并已经在2011年7月成为apache顶级项目。kafka在LinkedIn, Twitte等许多公司都得到广泛使用，主要用于：日志聚合，消息队列，实时监控等。

2018-10-15 17:24:31

Kafka 分布式数据

Kafka如何做到1秒处理1500万条消息？原创

一位软件工程师将通过本文向您呈现 Apache Kafka 在大型应用中的 20 项最佳实践。

2018-10-11 09:33:51

Kafka 消息处理

Apache Kafka在大型应用中的20项优秀实践译文

一位软件工程师将通过本文向您呈现Apache Kafka在大型应用中的20项最佳实践。Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。

2018-08-30 09:00:00

开源 Apache Kafk 数据流

使用Scala开发Apache Kafka的TOP 20大好用实践

本文作者是一位软件工程师，他对20位开发人员和数据科学家使用Apache Kafka的方式进行了最大限度得深入研究，最终将生产实践环节需要注意的问题总结为本文所列的20条建议。

2018-08-24 13:44:22

数据科学 Apache Kafk 数据速率

Kafka的架构原理，你真的理解吗？

Apache Kafka 最早是由 LinkedIn 开源出来的分布式消息系统，现在是 Apache 旗下的一个子项目，并且已经成为开源领域应用最广泛的消息系统之一。

2018-08-20 08:30:05

Kafka 架构系统

使用Kafka和MongoDB进行Go异步处理

在我前面的博客文章 “我的第一个 Go 微服务：使用 MongoDB 和 Docker 多阶段构建” 中，我创建了一个 Go 微服务示例，它发布一个 REST 式的 http 端点，并将从 HTTP POST 中接收到的数据保存到 MongoDB 数据库。

2018-08-19 09:15:25

MongoDB Go 微服务

阿里大牛实战归纳——Kafka架构原理

Kafka的topic和分区内部是如何存储的，有什么特点？与传统的消息系统相比,Kafka的消费模型有什么优点?Kafka如何实现分布式的数据存储与数据读取?快来看下文吧！

2018-07-26 15:18:41

阿里 Java Kafka架构

上一页 1 2 3 4 5 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客开源基础软件社区

教育

51CTO学堂精培企业培训 CTO训练营