社区编辑申请
注册/登录
为什么 Apache Kafka 要放弃 ZooKeeper ? 译文
开源 大数据
据Kafka的开发人员称,用内部管理的元数据取代ZooKeeper将提高可扩展性和管理。

对于领先的分布式事件流平台Apache Kafka的用户来说,变化即将到来。Kafka的元数据管理工具Apache ZooKeeper将很快被淘汰,取而代之的是内部技术。

Apache Kafka项目管理委员会成员、利用Kafka的Confluent公司工程师Colin McCabe解释了这一变化的原因。他说,ZooKeeper存储持久的集群元数据,处理维护动态配置和主题,以及主题内的分区。但ZooKeeper增加了一个额外的管理层次。McCabe说,在Kafka内部存储元数据将使管理更容易,并能更好地保证版本等问题。

Kafka Raft,即KRaft,是一种内部管理元数据的协议,将取代ZooKeeper。在KRaft模式下,Kafka元数据将被存储在一个分布式日志中。McCabe说,可扩展性将是主要的好处,但管理也会改善。Kafka用户将不再需要部署一个单独的系统来管理他们的Kafka集群。

目前还不清楚ZooKeeper具体何时退役,但预计在未来一两周内会对时间表进行投票。目前的建议是在即将发布的Kafka 3.3中宣布KRaft普遍可用。ZooKeeper将在之后的版本中被废弃,并在Kafka 4.0中移除。

Kafka 3.3预计在8月发布,将包括ZooKeeper和KRaft两个选项。ZooKeeper的终结日期还未确定。"McCabe说:"KRaft模式很快就会进入生产阶段,今年很快。"这将是该项目向前迈出的一大步。"

目前,Kafka开发人员正在努力实现KRaft和ZooKeeper之间的全功能对等,据说这一点正在接近。KRaft模式实际上从2021年4月发布的Kafka 2.8开始就有了,但不是生产就绪状态;Kafka 3.3将是第一个生产就绪版本。对于习惯了ZooKeeper的开发者来说,McCabe预计在转移到KRaft时不会有陡峭的学习曲线。对开发者来说,同样的API被支持,但操作者可能有一些东西需要学习。"我们的希望是,新的管理员实际上会发现这更容易,而现有的管理员会发现过渡是可控的。"

Confluent认为ZooKeeper的废弃是Kafka社区的一个重要举措,Kafka的联合创建者和Confluent的联合创始人Jun Rao(饶军)说。"它使部署/操作变得更加简单,并且由于更有效地处理元数据,可扩展性提高了10倍。我们很高兴与社区合作开展这项工作,并希望它很快就能投入生产。"


原标题:Why Apache Kafka is dropping ZooKeeper

原作者:Paul Krill

责任编辑:黄显东
相关推荐

2022-03-07 10:15:28

KafkaZookeeper存储

2021-04-21 12:29:45

KafkaZookeeper模型

2022-04-06 08:29:26

Kafka通信中间件

2022-02-21 08:48:00

Pulsar部署配置

2021-04-28 18:28:44

2022-04-25 21:25:38

数据模式

2022-01-11 08:00:00

集群Kubernetes容器

2021-09-06 09:05:58

2022-02-19 21:22:23

Kafka事务API的

2021-04-30 08:29:16

KafkaZooKeeper分布式

2021-05-20 09:06:20

2021-04-21 17:54:02

KafkaZookeeper场景

2019-05-09 09:00:00

WindowsKafka

2020-04-23 15:59:04

SpringKafka集群

2021-03-22 08:30:33

2019-11-13 15:44:17

Kafka架构数据

2022-04-25 10:34:19

云原生直播

2022-04-12 10:34:39

开源开源项目Apache

2017-08-09 13:30:21

2016-10-19 16:52:52

流数据Apache Kafk

同话题下的热门内容

让程序员心动的11种新编程语言2022年远程办公需要的8个工具为什么说Python是数据科学领域的最佳语言?软件开发生命周期(SDLC)完全指南风口上的低代码,技术人需要考虑哪些?如何将Windows 11 Sandbox用作虚拟机?2022 年 SaaS 安全调查7 大焦点Flutter vs ReactJS:2022年应该选哪个?

编辑推荐

初学者最容易学的六种编程语言五大自动化测试的Python框架2018年最流行的十大编程语言,其中包括你用的语言吗?2018年7款最佳免费数据分析工具Safari不是唯一选择:8款优秀iPhone Web浏览器应用!
我收藏的内容
点赞
收藏

51CTO技术栈公众号