为什么 Apache Kafka 要放弃 ZooKeeper ?

译文
开源 大数据
据Kafka的开发人员称,用内部管理的元数据取代ZooKeeper将提高可扩展性和管理。

对于领先的分布式事件流平台Apache Kafka的用户来说,变化即将到来。Kafka的元数据管理工具Apache ZooKeeper将很快被淘汰,取而代之的是内部技术。

Apache Kafka项目管理委员会成员、利用Kafka的Confluent公司工程师Colin McCabe解释了这一变化的原因。他说,ZooKeeper存储持久的集群元数据,处理维护动态配置和主题,以及主题内的分区。但ZooKeeper增加了一个额外的管理层次。McCabe说,在Kafka内部存储元数据将使管理更容易,并能更好地保证版本等问题。

Kafka Raft,即KRaft,是一种内部管理元数据的协议,将取代ZooKeeper。在KRaft模式下,Kafka元数据将被存储在一个分布式日志中。McCabe说,可扩展性将是主要的好处,但管理也会改善。Kafka用户将不再需要部署一个单独的系统来管理他们的Kafka集群。

目前还不清楚ZooKeeper具体何时退役,但预计在未来一两周内会对时间表进行投票。目前的建议是在即将发布的Kafka 3.3中宣布KRaft普遍可用。ZooKeeper将在之后的版本中被废弃,并在Kafka 4.0中移除。

Kafka 3.3预计在8月发布,将包括ZooKeeper和KRaft两个选项。ZooKeeper的终结日期还未确定。"McCabe说:"KRaft模式很快就会进入生产阶段,今年很快。"这将是该项目向前迈出的一大步。"

目前,Kafka开发人员正在努力实现KRaft和ZooKeeper之间的全功能对等,据说这一点正在接近。KRaft模式实际上从2021年4月发布的Kafka 2.8开始就有了,但不是生产就绪状态;Kafka 3.3将是第一个生产就绪版本。对于习惯了ZooKeeper的开发者来说,McCabe预计在转移到KRaft时不会有陡峭的学习曲线。对开发者来说,同样的API被支持,但操作者可能有一些东西需要学习。"我们的希望是,新的管理员实际上会发现这更容易,而现有的管理员会发现过渡是可控的。"

Confluent认为ZooKeeper的废弃是Kafka社区的一个重要举措,Kafka的联合创建者和Confluent的联合创始人Jun Rao(饶军)说。"它使部署/操作变得更加简单,并且由于更有效地处理元数据,可扩展性提高了10倍。我们很高兴与社区合作开展这项工作,并希望它很快就能投入生产。"


原标题:Why Apache Kafka is dropping ZooKeeper

原作者:Paul Krill

责任编辑:黄显东 来源: 51CTO
相关推荐

2021-04-21 12:29:45

KafkaZookeeper模型

2021-02-01 07:20:51

KafkaPulsar搜索

2020-01-18 09:35:03

微服务团队架构

2020-03-03 15:31:47

ReactVue前端

2020-02-24 09:38:05

PythonGo语言Linux

2011-12-09 20:15:17

Flash

2019-08-20 09:24:54

Python编程语言Java

2009-04-23 10:41:59

微软IE浏览器

2023-07-23 17:19:34

人工智能系统

2022-03-07 10:15:28

KafkaZookeeper存储

2023-01-11 08:06:42

对象赋值项目开发

2011-06-08 10:30:08

MongoDB

2019-12-30 08:34:40

ZabbixPrometheus监控

2023-09-12 10:55:35

Kafka数据库服务器

2024-02-26 21:15:20

Kafka缓存参数

2013-03-12 14:30:09

Ubuntu操作系统

2015-08-06 10:14:15

造轮子facebook

2022-08-15 08:27:02

基站网络

2020-03-30 15:05:46

Kafka消息数据

2018-05-23 00:20:29

点赞
收藏

51CTO技术栈公众号