基于Maxwell的MySQL数据传输服务整体设计

数据库 MySQL
最近对整体的DTS(数据传输系统)做了整体的开发设计,目前在做的是从数据库到大数据库侧的数据传输对接,先放出来一部分抛砖引玉。

 最近对整体的DTS(数据传输系统)做了整体的开发设计,目前在做的是从数据库到大数据库侧的数据传输对接,先放出来一部分抛砖引玉。

[[337628]]

数据传输服务(DTS)支持关系型数据库、NoSQL、大数据等数据源间的数据传输。它是一种集数据迁移、数据同步及数据订阅于一体的数据传输服务。

本次主要围绕MySQL到Kudu的数据同步进行建设,采用基于 MySQL Binlog进行数据同步的解决方案,覆盖全量、增量、全量+增量三种同步模型,支持数据同步的秒级延迟,任务异常的断点续传,以及数据的不丢、不乱、不重;

1.系统整体设计

系统的整体设计图如下:

 

其中DTS为平台前端,可以采用专业前端团队支持。

数据传输系统DTS为独立的业务系统,目前为重新构建,为实现初步初版,基线版本为数据库运维系统的当前版本,后续只维护DTS侧相关逻辑。

其中DTS为了考虑后续的扩展性和可维护性,会基于reader,write,service三个大体的模块来构建,reader,writer可以根据具体的技术方向进行细分。

关联系统为数据库运维系统,任务系统,大数据管理系统,对于这些关联系统的元数据和部分逻辑功能会有相关调用。

整个数据传输服务流程中,一个基础的属性是task_code,这是在DTS任务新建,中端数据传输,后端服务集成中的共同属性,task_code的含义即为client_id,格式为:dts_[idc]_[maxwell_ip]_[maxwell_code],后端服务的topic会基于client_id附加数据库和表信息组合而成。

当在DTS前端页面中输入了基础信息(如数据库IP,端口等)后,会调用中端的服务接口生成相应的client_id,后端服务会根据DTS任务列表中的task_code为基准进行任务管理,而中端服务会根据client_id进行相应的同步对象配置管理/服务启停等操作。

相关的数据传输流如下:

 

2.中端管理设计

中端管理主要是基于Maxwell的部署管理,配置管理,同步对象列表变更,服务管理(启动,停止),服务自管理和监控报警,目前的实现主要基于API,初步实现本地前端。

2.1. 部署管理

部署管理主要是对Maxwell服务部署实现平台化管理,目前Maxwell应用服务器有2台,分别是130.200和130.201,档案数据库为Maxwell服务基础配置数据和Maxwell启动初始化的数据库基础元数据。

通过平台化部署能够实现如下的几个功能:

1)能够实现自动寻址,为Maxwell新增同步任务匹配相应的应用服务器,在后续新增应用服务器的情况下能够快速调整和适配

 

2)如果已在服务器A上部署了实例B的maxwell服务,则新增数据同步任务时,需要复用已有的maxwell服务配置,不需要在新的服务器中重新配置。

3)服务配置的基础准备工作,如Maxwell相关的账号和防火墙开通等工作,需要通过脚本化管理方式支持,以API形式提供接入,目前统一的maxwell接入账户为:dba_maxwell_repl

① 数据库主库Master端开通防火墙权限,创建相应的数据库账户

② 数据库从库Slave端开通防火墙权限

4)MySQL服务的拓扑管理基于数据库运维管理系统,需要封装相应的API得到Slave信息,同时需要在Maxwell配置列表中维护管理。

补充:

前置任务:

在130.201服务器上面部署Maxwell修正版服务

基于测试环境完成Maxwell的接入测试,producer为stdout

后续的开发可以参考如下的实现点:

① 完成Maxwell模板化配置

② 可以配置模板生成定制化配置,封装统一的启停脚本

③ Maxwell自动寻址逻辑,同一个实例只能复用一个Maxwell进程服务

④ Client_id生成逻辑

⑤ Maxwell code生成逻辑

⑥ 基于运维系统封装DTS侧的接口,实现防火墙开通管理和新建复制用户功能,新建用户在Master,权限开通在Master和Slave端

⑦ 对于stdout和Kafka配置,实现互斥逻辑

2.2. 配置管理

配置管理包含maxwell基础的配置文件,如config配置,日志配置和监控配置。目录规划设计如下:

 

可以在这个基础上进行服务的相应扩展。

Maxwell的基础配置依赖于client_id

ü client_id元数据命名

dts_[idc]_[maxwell_ip]_[maxwell_code]

如Maxwell部署在服务器 121.240,

Maxwell001为业务编码,可以映射到相应的数据库服务(如Slave),为了方便标识和 解析,不允许包含特殊符号,如下划线等

命名示例则为:dts_xxxx_121_240_maxwell001

对于实现细节可以整理为如下的部分:

1)支持根据模板配置化生成相应的maxwell配置文件,配置文件命名以client_id元数据命名,格式为:dts_[idc]_[maxwell_ip]_[maxwell_code].properties,配置文件部署在app_config目录下。

如Maxwell部署在服务器 130.200,

Maxwell001为业务编码,可以映射到相应的数据库服务(如Slave),为了方便标识和 解析,不允许包含特殊符号,如下划线等

命名示例则为:dts_xxxx_130_200_maxwell001.properties

2)对于Maxwell基础信息的配置,因为基于client_id,不便于显示源端的关联关系,该配置信息的管理需要统一在maxwell档案库中维护。

3)基础配置信息包括源端服务信息,源服务端口,复制账户信息,client_id,归属maxwell应用服务器,监控端口,过滤列表,bootstrap_type(sync,async), kafka配置信息等

4)基础配置管理需要实现本地前端

补充:

完成Maxwell服务列表和服务配置的平台化管理,后端均为API实现

如果任务配置发生变更时,服务列表和详情列表为一对多的关系,即需要保留已有的配置文件记录,然后将原记录状态置为失效,使得在出现异常回退的时候,该任务依然可以保证服务可用。

2.3. 同步对象列表变更

同步对象列表为数据传输中的重点管理对象,需要实现如下的功能:

1)对已有的maxwell服务新增表时,需要在已有的maxwell服务下进行扩展,修改同步对象列表,列表的修改模式为追加,暂不支持修改,删除等其他模式。

2)修改同步列表后,需要对maxwell服务进行重新启动,需要保证启动过程相对是平滑可控。

3)如同步列表刷新失败,需要能够快速回退,快速恢复数据传输服务。

4)配置文件版本管理和归档,对象变更前,需要对配置文件先做备份,并规范备份文件命名。

补充:

主要实现同步对象的修改和管理,添加相应的正则配置,调用明细管理的方法/接口

2.4. 服务管理

能够实现maxwell的启停管理功能,包含三个子选项;start,stop,restart

通过API模式进行服务状态检查,目前可以复用已有的开放接口

2.5. 服务自启动

在传输链路中,如果因为源端服务异常,maxwell侧异常或者后端传输服务异常,会导致Maxwell服务异常终止,需要通过探测的模式进行检查复核,确认后重新拉起服务,保证maxwell服务的持续性。

补充:

开发相应的脚本,能够进行服务状态检测,并复用已有监控的API进行数据传输状态的检测。

3.6. 监控报警

监控报警为maxwell基础保障功能,需要完成对Maxwell服务的数据传输监控,解析binlog的吞吐量,下推Kafka的吞吐量等,并对数据传输异常,服务异常等异常场景进行报警提示。

补充:

配置相应的报警明细项目,设定阈值,进行报警配置

本文转载自微信公众号「杨建荣的学习笔记」,可以通过以下二维码关注。转载本文请联系杨建荣的学习笔记公众号。

 

责任编辑:武晓燕 来源: 杨建荣的学习笔记
相关推荐

2021-12-14 11:01:44

TCPUDP网络协议

2017-05-04 12:48:18

WOT网易NDC

2020-06-12 07:50:15

大数据

2009-05-26 11:24:00

2013-11-26 15:51:45

Android编程蓝牙数据传输

2010-04-07 14:54:38

2019-05-29 09:38:44

MySQL字符编码数据库

2018-03-02 10:51:56

缓存服务器数据

2017-05-05 10:35:57

WOT网易NDC

2021-10-08 08:37:38

数据传输数据调用网络协议

2010-07-13 15:55:12

FTP数据传输模式

2023-04-12 16:20:00

同步数据异步数据传输

2015-10-14 09:44:55

TCP网络协议数据传输

2011-03-04 13:22:10

FileZilla

2009-04-10 23:40:06

2009-05-19 17:05:10

2010-06-30 15:06:27

FTP数据传输模式

2009-12-08 11:17:41

WCF双向通信

2009-07-07 16:46:33

数据传输铜缆结构

2021-06-09 11:28:06

加密数据Jsencrypt
点赞
收藏

51CTO技术栈公众号