Canal实现MySQL数据库实时数据同步

数据库 MySQL
Canal Server能够解析MySQL binlog并订阅数据更改,而Canal Client可以实现将更改广播到任何地方,例如数据库和Apache Kafka。

简介

1.1 canal介绍

Canal是一个基于MySQL二进制日志的高性能数据同步系统。Canal广泛用于阿里巴巴集团(包括https://www.taobao.com),以提供可靠的低延迟增量数据管道,github地址:https://github.com/alibaba/canal

Canal Server能够解析MySQL binlog并订阅数据更改,而Canal Client可以实现将更改广播到任何地方,例如数据库和Apache Kafka。

它具有以下功能:

  •  支持所有平台。
  •  支持由Prometheus提供支持的细粒度系统监控。
  •  支持通过不同方式解析和订阅MySQL binlog,例如通过GTID。
  •  支持高性能,实时数据同步。(详见Performance)
  •  Canal Server和Canal Client都支持HA / Scalability,由Apache ZooKeeper提供支持
  •  Docker支持。

缺点:

不支持全量更新,只支持增量更新。

完整wiki地址:https://github.com/alibaba/canal/wiki

1.2 运作原理

原理很简单:

  1.  Canal模拟MySQL的slave的交互协议,伪装成mysql slave,并将转发协议发送到MySQL Master服务器。
  2.  MySQL Master接收到转储请求并开始将二进制日志推送到slave(即canal)。
  3.  Canal将二进制日志对象解析为自己的数据类型(原始字节流)

如图所示:

准备工作

2.1 下载解压canal-server

通过 github 下载 canal-server release 版本(本次安装文档使用v1.1.4) 

  1. root@locahost:/# wget  https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.deployer-1.1.4.tar.gz 

解压 

  1. tar -zxvf canal.deployer-1.1.4.tar.gz 

2.2 下载解压 canal-adapter

通过 github 下载 canal-adapter release 版本(本次安装文档使用v1.1.4) 

  1. root@locahost:/# wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.adapter-1.1.4.tar.gz 

解压 

  1. tar -zxvf canal.adapter-1.1.4.tar.gz 

配置 canal-server

3.1 canal-server 配置

解压之后进入 conf文件夹中,修改 canal.properties 根据实际需要来修改(如果不使用kafka或MQ 默认tcp即可) 

  1. canal.destinations = prod # 指定instance的名字多个使用逗号分隔 

保存之后在conf目录创建 prod 文件夹并将 example文件夹中的 nstance.properties copy 到and_prod中 

  1. mkdir ant_prod  #创建文件夹  
  2. cp example/nstance.properties  prod/ # copy 文件 

修改 nstance.properties 配置如下: 

  1. canal.instance.master.address=127.0.0.1:3306      # 源Mysql地址  
  2. canalcanal.instance.dbUsername=canal                   # 源Mysql账号  
  3. canalcanal.instance.dbPassword=canal                   # 源Mysql密码  
  4. canal.instance.connectionCharset=UTF-8            # 与源数据库编码格式一致   
  5. canal.instance.defaultDatabaseName=test_database  # 默认监听源数据库 

3.2 canal-server 启动

进入 canal-server bin 目录 启动 

  1. cd canal-server/bin # 进入目录  
  2. ./startup.sh & # 后台启动 

查看日志,是否启动成功 

  1. cd canal-server/logs/ant_prod #进入日志目录 

启动成功: 

  1. 2020-06-09 17:13:04.956 [main] WARN  o.s.beans.GenericTypeAwarePropertyDescriptor - Invalid JavaBean property 'connectionCharset' being accessed! Ambiguous write methods found next to actually used [public void com.alibaba.otter.canal.parse.inbound.mysql.AbstractMysqlEventParser.setConnectionCharset(java.nio.charset.Charset)]: [public void com.alibaba.otter.canal.parse.inbound.mysql.AbstractMysqlEventParser.setConnectionCharset(java.lang.String)] 
  2. 2020-06-09 17:13:04.990 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties] 
  3. 2020-06-09 17:13:04.990 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [ant_prod/instance.properties] 
  4. 2020-06-09 17:13:05.305 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-ant_prod  
  5. 2020-06-09 17:13:05.311 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^.*\..*$ 
  6. 2020-06-09 17:13:05.311 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table black filter :  
  7. 2020-06-09 17:13:05.315 [main] INFO  c.a.otter.canal.instance.core.AbstractCanalInstance - start successful.... 
  8. 2020-06-09 17:13:05.422 [destination = ant_prod , address = rm-wz99s5v03gso12521.mysql.rds.aliyuncs.com/192.xxxxxx:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> begin to find start position, it will be long time for reset or first position 
  9. 2020-06-09 17:13:05.423 [destination = ant_prod , address = rm-wz99s5v03gso12521.mysql.rds.aliyuncs.com/192.xxxxxx:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - prepare to find start position just show master status 
  10. 2020-06-09 17:13:06.483 [destination = ant_prod , address = rm-wz99s5v03gso12521.mysql.rds.aliyuncs.com/192.xxxxxx:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=mysql-bin.000234,position=6676924,serverId=184376678,gtid=,timestamp=1591693973000] cost : 1051ms , the next step is binlog dump 

配置 canal-adapter

4.1 canal-adapter 配置

由于Mysql 是8.0 这里需要下载 mysql-connector-java-8.0.20.jar,并将其放入lib中 

  1. cp mysql-connector-java-8.0.20.jar /canal-adapter/lib/ 

解压之后进入 conf文件夹中,修改 application.yml 

  1. server:  
  2.   port: 8089  
  3. spring:  
  4.   jackson:  
  5.     date-format: yyyy-MM-dd HH:mm:ss  
  6.     time-zone: GMT+8  
  7.     default-property-inclusion: non_null  
  8. canal.conf:  
  9.   mode: tcp # kafka rocketMQ  
  10.   canalServerHost: 127.0.0.1:11111  
  11.   batchSize: 500  
  12.   syncBatchSize: 1000  
  13.   retries: 0  
  14.   timeout: 
  15.    accessKey:  
  16.   secretKey:  
  17. # 源Mysql 地址账号密码等  
  18.   srcDataSources:   
  19.     defaultDS:  
  20.       url: jdbc:mysql://localhost:3306/test_database?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai 
  21.        username: canal  
  22.       password: canal  
  23. # 需要实时同步数据库,如果多个实例进行区分即可  
  24.   canalAdapters:  
  25.   - instance: prod # canal instance,在canal-server中指定instance的名称  
  26.     groups:  
  27.     - groupId: g1  
  28.       outerAdapters:  
  29.       - name: rdb  
  30.         key: mysql1 # 唯一标示  
  31.         properties:  
  32.           jdbc.driverClassName: com.mysql.jdbc.Driver  
  33.           jdbc.url: jdbc:mysql://localhost:3306/test_database_01?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai  
  34.           jdbc.username: canal  
  35.           jdbc.password: canal 

编辑rdb目录下面表的映射文件,数据库/表 (多个表创建多个映射文件,文件名对应表名)以此类推 

  1. dataSourceKey: defaultDS  
  2. destination: prod  
  3. outerAdapterKey: mysql1  
  4. concurrent: true  
  5. dbMapping:  
  6.   database: test_database_01  
  7.   table: test  
  8.   targetTable: test_database_01.test  
  9.   targetPk:  
  10.     id: id  
  11.   mapAll: true 

4.1 canal-adapter 启动

进入 canal-adapter/bin 目录 启动 

  1. cd canal-adapter/bin # 进入目录  
  2. ./startup.sh & # 后台启动 

查看日志,是否启动成功 

  1. cd canal-adapter/adapter/logs/ #进入日志目录  
  2. tail -f adapter.log # 查看日志是否启动成功 

测试数据库同步 

  1. 更新/删除/批量插入/批量更新/批量删除  

 

责任编辑:庞桂玉 来源: 马哥Linux运维
相关推荐

2010-06-02 16:57:50

MySQL数据库同步

2010-06-09 17:36:45

MySQL数据库同步

2010-06-09 15:01:18

MySQL数据库同步

2010-05-17 14:00:07

MySql数据库

2019-07-23 10:43:28

MariaDB数据库MySQL

2019-10-08 15:54:42

SQL数据库技术

2012-04-13 13:46:27

SAPHANASybase

2010-08-27 09:59:51

SQL Server

2010-05-12 18:41:34

MySQL数据库

2010-07-01 15:44:22

SQL Server数

2020-08-31 07:00:00

数据库数据库同步

2010-06-09 14:04:34

MySQL数据库

2010-05-04 14:57:27

Oracle数据库

2017-05-25 08:52:08

SQL Server数据库

2021-06-03 21:54:33

数据库框架缓存

2015-06-16 16:49:25

AWSKinesis实时数据处理

2010-06-12 17:55:23

MySQL数据库同步

2009-04-13 13:55:26

MySQL数据库主机同步

2019-04-30 10:42:01

数据库时序数据库TSDB
点赞
收藏

51CTO技术栈公众号