Golang 语言中 kafka 客户端库 Sarama

开发 前端 Kafka
Apache Kafka 是一款开源的消息引擎系统。它在项目中的作用主要是削峰填谷和解耦。本文我们只介绍 Apache Kafka 的 Golang 客户端库 Sarama。Sarama 是 MIT 许可的 Apache Kafka 0.8 及更高版本的 Golang 客户端库。

01、介绍

Apache Kafka 是一款开源的消息引擎系统。它在项目中的作用主要是削峰填谷和解耦。本文我们只介绍 Apache Kafka 的 Golang 客户端库 Sarama。Sarama 是 MIT 许可的 Apache Kafka 0.8 及更高版本的 Golang 客户端库。

如果读者朋友对 Apache Kafka 服务端还不了解,建议先阅读官方文档中的入门部分,本文使用的版本是 Apache Kafka 2.8。

[[397879]]

02、生产者

我们可以使用 Sarama 库的 AsyncProducer 或 SyncProducer 生产消息。在大多数情况下首选使用 AsyncProducer 生产消息。它通过一个 channel 接收消息,并在后台尽可能高效的异步生产消息。

SyncProducer 发送 Kafka 消息后阻塞,直到接收到 ACK 确认。SyncProducer 有两个警告:它通常效率较低,并且实际的耐用性保证取决于 Producer.RequiredAcks 的配置值。在某些配置中,有时仍会丢失由 SyncProducer 确认的消息,但是使用比较简单。

为了读者朋友们容易理解,本文我们介绍 SyncProducer 作为生产者的使用方式。如果读者朋友想了解 AsyncProducer 作为生产者的使用方式,请参考官方文档。

使用 SyncProducer 作为生产者的示例代码:

  1. func sendMessage (brokerAddr []string, config *sarama.Config, topic string, value sarama.Encoder) { 
  2.  producer, err := sarama.NewSyncProducer(brokerAddr, config) 
  3.  if err != nil { 
  4.   fmt.Println(err) 
  5.   return 
  6.  } 
  7.  defer func() { 
  8.   if err = producer.Close(); err != nil { 
  9.    fmt.Println(err) 
  10.    return 
  11.   } 
  12.  }() 
  13.  msg := &sarama.ProducerMessage{ 
  14.   Topic: topic, 
  15.   Value: value, 
  16.  } 
  17.  partition, offset, err := producer.SendMessage(msg) 
  18.  if err != nil { 
  19.   fmt.Println(err) 
  20.   return 
  21.  } 
  22.  fmt.Printf("partition:%d offset:%d\n", partition, offset) 

阅读上面这段代码,我们调用 NewSyncProducer() 创建一个新的 SyncProducer,给定 broker 地址和配置信息。调用 SendMessage() 生产给定的消息,并且仅在生产成功或失败时返回。它将返回分区(Partition)和生产的消息的偏移量(Offset),如果消息生产失败,则返回错误。

需要注意的是,为了避免泄露,必须在生产者上调用 Close(),因为当它超出范围时,可能不会自动垃圾回收。

03、消费者

我们可以使用 Sarama 库的消费者 Consumer 或消费者组 ConsumerGroup API 消费消息。为了读者朋友们容易理解,本文我们介绍使用 Consumer 消费消息。

Consumer 管理 PartitionConsumers,该 PartitionConsumers 处理来自 brokers 的 Kafka 消息。

Consumer 消费消息的示例代码:

  1. func consumer (brokenAddr []string, topic string, partition int32, offset int64) { 
  2.  consumer, err := sarama.NewConsumer(brokenAddr, nil) 
  3.  if err != nil { 
  4.   fmt.Println(err) 
  5.   return 
  6.  } 
  7.  defer func() { 
  8.   if err = consumer.Close(); err != nil { 
  9.    fmt.Println(err) 
  10.    return 
  11.   } 
  12.  }() 
  13.  partitionConsumer, err := consumer.ConsumePartition(topic, partition, offset) 
  14.  if err != nil { 
  15.   fmt.Println(err) 
  16.   return 
  17.  } 
  18.  defer func() { 
  19.   if err = partitionConsumer.Close(); err != nil { 
  20.    fmt.Println(err) 
  21.    return 
  22.   } 
  23.  }() 
  24.  for msg := range partitionConsumer.Messages() { 
  25.   fmt.Printf("partition:%d offset:%d key:%s val:%s\n", msg.Partition, msg.Offset, msg.Key, msg.Value) 
  26.  } 

阅读上面这段代码,我们调用 NewConsumer() 创建一个新的 consumer,给定 broker 地址和配置信息。调用 ConsumePartition() 创建 PartitionConsumer,给定 topic、partition 和 offset。PartitionConsumer 处理来自给定 topic 和 partition 的 Kafka 消息。

需要注意的是,为了防止泄露,必须调用 consumer 和 partitionConsumer 的 Close(),因为当它超出范围时,可能不会自动垃圾回收。

04、总结

本文主要介绍如何使用 Apache Kafka 的 Golang 语言客户端库 Sarama 生产和消费 Kafka 消息。关于生产者和消费者,分别列举了一个简单示例。除此之外,Sarama 库还提供了很多其它 Api,感兴趣的读者朋友可以阅读官方文档了解更多。

责任编辑:未丽燕 来源: Golang语言开发栈
相关推荐

2021-10-18 05:00:38

语言GoRequestHTTP

2014-08-11 16:35:35

KafkaJava客户端

2024-02-05 08:50:57

Golang标准库客户端

2022-02-20 23:15:46

gRPCGolang语言

2021-08-01 23:18:21

Redis Golang命令

2021-10-26 09:26:21

编程技能开发

2022-09-23 08:02:42

Kafka消息缓存

2021-09-22 15:46:29

虚拟桌面瘦客户端胖客户端

2011-08-17 10:10:59

2020-03-19 08:00:00

客户端KubernetesAPI

2010-05-31 10:11:32

瘦客户端

2011-03-24 13:00:31

配置nagios客户端

2010-12-21 11:03:15

获取客户端证书

2011-03-02 14:36:24

Filezilla客户端

2011-10-26 13:17:05

2021-04-28 09:02:48

Golang语言Context

2021-06-07 23:19:44

Golang语言 Defer

2011-04-06 14:24:20

Nagios监控Linux

2011-03-21 14:53:36

Nagios监控Linux

2009-03-04 10:27:50

客户端组件桌面虚拟化Xendesktop
点赞
收藏

51CTO技术栈公众号