还在为数据同步而苦恼吗?手把手教你实现canal数据同步(一)

发布时间:2021年09月08日作者:atguigu浏览次数:1,200

Canal简介与安装

Canal简介

Canal是阿里巴巴开发的 MySQL binlog 增量订阅&消费组件。

Canal是基于MySQL二进制日志的高性能数据同步系统。Canal在阿里巴巴集团(包括https://www.taobao.com)中被广泛使用,以提供可靠的低延迟增量数据管道。

Canal Server能够解析MySQL Binlog并订阅数据更改,而Canal Client可以实现将更改广播到任何地方,例如数据库和Apache Kafka。

具有以下特点:

    • 支持所有平台。
    • 支持由Prometheus支持的细粒度系统监视。
    • 支持通过不同方式(例如通过GTID)解析和预订MySQL Binlog。
    • 支持高性能,实时数据同步。
    • Canal Server和Canal Client均支持由Apache ZooKeeper支持的HA /可伸缩性。
    • Docker支持。
  • 认识Canal
还在为数据同步而苦恼吗?手把手教你实现canal数据同步(一)

 

canal [kə’næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。

早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始,业务逐步尝试数据库日志解析获取增量变更进行同步,由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括:

    • 数据库镜像;
    • 数据库实时备份;
    • 索引构建和实时维护(拆分异构索引、倒排索引等);
    • 业务 cache 刷新;
    • 带业务逻辑的增量数据处理;

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x。

  • 工作原理

MySQL主备复制原理

还在为数据同步而苦恼吗?手把手教你实现canal数据同步(一)

 

  • MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events,可以通过 show binlog events 进行查看);
  • MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log);
  • MySQL slave 重放 relay log 中事件,将数据变更反映它自己的数据;

canal 工作原理

还在为数据同步而苦恼吗?手把手教你实现canal数据同步(一)

 

  • canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送dump 协议;
  • MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal );
  • canal 解析 binary log 对象(原始为 byte 流)。

Canal安装

  • 准备阶段

1. 修改/etc/my.cnf(linux)或者 mysql根目录下的my.ini(windows),需要先开启 Binlog 写入功能,配置 binlog-format 为 ROW 模式, 配置如下:

[mysqld]log-bin=mysql-bin # 开启 binlogbinlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义,不要和 canal 的 slaveId 重复

修改完成之后重启mysql服务

2. 授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant。

 CREATE USER canal IDENTIFIED BY 'canal';  
 GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
  -- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
  FLUSH PRIVILEGES;
  • 启动

1. 下载 canal, 访问 release 页面 , 选择需要的包下载, 如以 1.0.17 版本为例

wget https://github.com/alibaba/canal/releases/download/canal-1.0.17/canal.deployer-1.0.17.tar.gz

2. 解压缩

 mkdir /opt/canal
 tar -zxvf canal.deployer-$version.tar.gz  -C /opt/canal

解压完成后,进入 /opt/canal 目录,可以看到如下结构:

还在为数据同步而苦恼吗?手把手教你实现canal数据同步(一)

 

3. 配置修改

vi conf/example/instance.properties
## mysql serverId
  canal.instance.mysql.slaveId = 1234
  #position info,需要改成自己的数据库信息
  canal.instance.master.address = 127.0.0.1:3306 
  canal.instance.master.journal.name = 
  canal.instance.master.position = 
  canal.instance.master.timestamp = 
  #canal.instance.standby.address = 
  #canal.instance.standby.journal.name =
  #canal.instance.standby.position = 
  #canal.instance.standby.timestamp = 
  #username/password,需要改成自己的数据库信息
  canal.instance.dbUsername = canal  
  canal.instance.dbPassword = canal
  canal.instance.defaultDatabaseName =
  canal.instance.connectionCharset = UTF-8
  #table regex
  canal.instance.filter.regex = .\*\\\\..\*

canal.instance.connectionCharset 代表数据库的编码方式对应到 java 中的编码类型,比如 UTF-8,GBK , ISO-8859-1。

如果系统是1个 cpu,需要将
canal.instance.parser.parallel 设置为 false。

4. 启动

sh bin/startup.sh

5. 查看server日志

vi logs/canal/canal.log
2013-02-05 22:45:27.967 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.
2013-02-05 22:45:28.113 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[10.1.29.120:11111]
2013-02-05 22:45:28.210 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## the canal server is running now ......

6. 查看instance的日志

2013-02-05 22:50:45.636 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
2013-02-05 22:50:45.641 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
2013-02-05 22:50:45.803 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 
2013-02-05 22:50:45.810 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start successful....

7. 关闭

sh bin/stop.sh

至此canal一切都已安装成功

想要了解跟多关于大数据培训课程内容欢迎关注尚硅谷大数据培训,尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习。


上一篇:
下一篇:
相关课程

java培训 大数据培训 前端培训 UI/UE设计培训

关于尚硅谷
教育理念
名师团队
学员心声
资源下载
视频下载
资料下载
工具下载
加入我们
招聘岗位
岗位介绍
招贤纳师
联系我们
全国统一咨询电话:010-56253825
地址:北京市昌平区宏福科技园2号楼3层(北京校区)

深圳市宝安区西部硅谷大厦B座C区一层(深圳校区)

上海市松江区谷阳北路166号大江商厦3层(上海校区)

武汉市东湖高新开发区东湖网谷(武汉校区)

西安市雁塔区和发智能大厦B座3层(西安校区)