自研 Pulsar Starter:Winfun-Pulsar-Spring-Boot-Starter

云计算
Pulsar 作为新生代云原生消息队列,越来越受到开发者的热爱;而我们现在基本上的项目都是基于 SpringBoot 上开发的,但是我们可以发现,至今都没有比较大众和成熟的关于 Pulsar 的 Starter,所以我们需要自己整一个,从而避免常规使用 Pulsar API 时产生大量的重复代码。

 [[420613]]

里程碑

版本 功能点 作者 完成
1.0.0 支持PulsarTemplate发送消息&支持自定义注解实例化Consumer监听消息 howinfun
1.1.0 支持动态开启/关闭Consumer消费线程池、支持自定义配置Consuemr消费线程池参数 howinfun
1.2.0 支持Spring容器停止时,释放Pulsar所有相关资源 howinfun TODO
1.3.0 支持多Pulsar数据源 howinfun TODO
 

一、背景

Pulsar 作为新生代云原生消息队列,越来越受到开发者的热爱;而我们现在基本上的项目都是基于 SpringBoot 上开发的,但是我们可以发现,至今都没有比较大众和成熟的关于 Pulsar 的 Starter,所以我们需要自己整一个,从而避免常规使用 Pulsar API 时产生大量的重复代码。

二、设计思路

由于是第一版的设计,所以我们是从简单开始,不会一开始就设计得很复杂,尽量保留 Pulsar API 原生的功能。

2.1、PulsarClient

我们都知道,不管是 Producer 还是 Consumer,都是由 PulsarClient 创建的。

当然了,PulsarClient 可以根据业务需要自定义很多参数,但是第一版的设计只会支持比较常用的参数。

我们这个组件支持下面功能点:

  • 支持 PulsarClient 参数配置外部化,参数可配置在 applicatin.properties 中。
  • 支持 applicatin.properties 提供配置提示信息。
  • 读取外部配置文件,根据参数实例化 PulsarClient,并注入到 IOC 容器中。

2.2、Producer

Producer是发送消息的组件。

  • 这里我们提供一个模版类,可以根据需求创建对应的 Producer 实例。
  • 支持将 Topic<->Producer 关系缓存起来,避免重复创建 Producer 实例。
  • 支持同步/异步发送消息。

2.3、Consumer

Consumer是消费消息的组件。

  • 这里我们提供一个抽象类,开发者只需要集成此实现类并实现 doReceive 方法即可,即消费消息的逻辑方法。
  • 接着还提供一个自定义注解,自定义注解支持自定义 Consmuer 配置,例如Topic、Tenant、Namespace等。
  • 实现类加入上述自定义注解后,组件将会自动识别并且生成对应的 Consumer 实例。
  • 支持同步/线程池异步消费。

三、使用例子

3.1、引入依赖

  1. <dependency> 
  2.     <groupId>io.github.howinfun</groupId> 
  3.     <artifactId>winfun-pulsar-spring-boot-starter</artifactId> 
  4.     <version>1.1.0</version> 
  5. </dependency> 

 

3.2、加入配置

  1. pulsar.service-url=pulsar://127.0.0.1:6650 
  2. pulsar.tenant=winfun 
  3. pulsar.namespace=study 
  4. pulsar.operation-timeout=30 
  5. pulsar.io-threads=10 
  6. pulsar.listener-threads=10 

3.3、发送消息

  1. /** 
  2.  * 发送消息 
  3.  * @author: winfun 
  4.  **/ 
  5. @RestController 
  6. @RequestMapping("msg"
  7. public class MessageController { 
  8.  
  9.     @Autowired 
  10.     private PulsarTemplate pulsarTemplate; 
  11.     @Autowired 
  12.     private PulsarProperties pulsarProperties; 
  13.  
  14.     /*** 
  15.      * 往指定topic发送消息 
  16.      * @author winfun 
  17.      * @param topic topic 
  18.      * @param msg msg 
  19.      * @return {@link String } 
  20.      **/ 
  21.     @GetMapping("/{topic}/{msg}"
  22.     public String send(@PathVariable("topic") String topic,@PathVariable("msg") String msg) throws Exception { 
  23.         this.pulsarTemplate.createBuilder().persistent(Boolean.TRUE
  24.                 .tenant(this.pulsarProperties.getTenant()) 
  25.                 .namespace(this.pulsarProperties.getNamespace()) 
  26.                 .topic(topic) 
  27.                 .send(msg); 
  28.         return "success"
  29.     } 

3.4、消费消息

  1. /** 
  2.  * @author: winfun 
  3.  * @date: 2021/8/20 8:13 下午 
  4.  **/ 
  5. @Slf4j 
  6. @PulsarListener(topics = {"test-topic2"}, 
  7.                 threadPool = @ThreadPool( 
  8.                                         coreThreads = 2, 
  9.                                         maxCoreThreads = 3,  
  10.                                         threadPoolName = "test-thread-pool")) 
  11. public class ConsumerListener extends BaseMessageListener { 
  12.  
  13.     /** 
  14.      * 消费消息 
  15.      * @param consumer 消费者 
  16.      * @param msg 消息 
  17.      */ 
  18.     @Override 
  19.     protected void doReceived(Consumer<String> consumer, Message<String> msg) { 
  20.         log.info("成功消费消息:{}",msg.getValue()); 
  21.         try { 
  22.             consumer.acknowledge(msg); 
  23.         } catch (PulsarClientException e) { 
  24.             e.printStackTrace(); 
  25.         } 
  26.     } 
  27.  
  28.     /*** 
  29.      * 是否开启异步消费 
  30.      * @return {@link Boolean } 
  31.      **/ 
  32.     @Override 
  33.     public Boolean enableAsync() { 
  34.         return Boolean.TRUE
  35.     } 

四、源码

源码就不放在这里分析了,大家可到Github上看看,如果有什么代码上面的建议或意见,欢迎大家提MR。

责任编辑:武晓燕 来源: 不送花的程序猿
相关推荐

2021-07-26 11:09:43

NacosSpring Boot配置

2020-09-27 11:35:16

Spring BootStarterJava

2023-03-27 08:28:57

spring代码,starter

2019-01-31 13:43:48

Spring BootStarter开发

2019-11-12 10:50:13

Spring BootstarterJava

2023-10-10 09:07:23

2021-02-03 09:04:11

解密Spring配置

2023-02-26 00:00:01

Spring数据库组件

2023-02-26 10:14:51

Spring第三方库

2009-07-01 08:34:31

微软Windows 7Starter

2024-01-29 08:09:21

ApacheLTS版本

2021-08-24 07:57:26

KafkaRocketMQPulsar

2009-03-31 09:01:43

Windows 7微软操作系统

2009-04-23 08:50:30

Windows 7微软操作系统

2022-10-08 00:00:00

Spring数据库项目

2009-08-13 09:30:06

2024-01-16 08:08:12

SSD磁盘占用率

2009-05-30 09:54:30

微软Windows 7操作系统

2009-10-26 09:50:20

VB.NET Star

2021-03-04 09:31:42

开源技术 项目
点赞
收藏

51CTO技术栈公众号