Canal的配置管理、监控与性能测试

上周测试了一把Canal 搭建和简单的功能测试，今天继续搞。

Canal同步的基本原理：

• canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送 dump 协议

• MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )

• canal 解析 binary log 对象(原始为 byte 流)

类似下面：

以下参考自管理手册：

https://github.com/alibaba/canal/wiki/AdminGuide

配置文件

# properties配置分为两部分：

• canal.properties  (系统根配置文件)

• instance.properties  (instance级别的配置文件，每个instance一份)
  

# 对应关系：

1. canal.properties中的配置canal.destinations后，要对应在canal.conf.dir目录下建立同名文件

比如：  

canal.destinations = example,mysql171

要创建example和mysql171两个目录，每个目录里各自有一份instance.properties. 内容可参考conf/example下的自带那个。

2. 如果canal.properties未定义instance列表，但开启了canal.auto.scan

• server第一次启动时，会自动扫描conf目录下，将文件名做为instance name，启动对应的instance

• server运行过程中，会根据canal.auto.scan.interval定义的频率，进行扫描
  1. 发现目录有新增，启动新的instance
  2. 发现目录有删除，关闭老的instance
  3. 发现对应目录的instance.properties有变化，重启instance

3. 本次测试的conf目录内容：

[root@zabbix conf]# pwd
/caihao/canal-server/conf
[root@zabbix conf]# ls -l
总用量 24
-rwxrwxr-x 1 root root  292 11月  4 10:42 canal_local.properties ##系统配置
drwxrwxrwx 2 root root   47 11月  5 18:45 example  ## 默认的instance配置
-rwxrwxrwx 1 root root 3119 9月   2 14:53 logback.xml ## 日志文件
drwxrwxrwx 2 root root   38 11月  4 10:39 metrics
drwxr-xr-x 2 root root   36 11月  6 13:51 mysql171  ## 自定义instance配置
drwxrwxrwx 3 root root  143 11月  4 10:39 spring   ## spring instance

# canal.properties参数列表：

1.   instance列表定义
(当前server上有多少个instance，每个instance的加载方式等)    

2.  common参数定义
比如可以将instance.properties的公用参数，抽取放置到这里，这样每个instance启动的时候就可以共享.  【instance.properties配置定义优先级高于canal.properties】

# instance.properties参数列表：

几个参数说明：
1.  mysql链接时的起始位置
canal.instance.master.journal.name +  canal.instance.master.position :  精确指定一个binlog位点，进行启动
canal.instance.master.timestamp :  指定一个时间戳，canal会自动遍历mysql binlog，找到对应时间戳的binlog位点后，进行启动
不指定任何信息：默认从当前数据库的位点，进行启动。(show master status)

2. mysql解析关注表定义
    标准的Perl正则，注意转义时需要双斜杠：\\

3. mysql链接的编码
 目前canal版本仅支持一个数据库只有一种编码，如果一个库存在多个编码，需要通过filter.regex配置，将其拆分为多个canal instance，为每个instance指定不同的编码

监控

Canal可以使用prometheus进行监控。在配置canal-server时，文件canal.properties中有一个提供给prometheus的端口配置：canal.metrics.pull.port，默认是11112。

通过浏览器可直接看到指标的值

http://10.7.70.49:11112/

通过grafana展示监控，甚至模板都已经准备好了。

prometheus安装步骤就略过了。这里我们直接使用PMM里自带的prometheus来部署。

1. 进入运行pmm-server的容器：

docker exec -it pmm-server bin/bash

2. 修改配置文件，加入：

vi etc/prometheus.yml

- job_name: 'canal'
  static_configs:
  - targets: ['10.7.70.49:11112']

3. 配置生效：

curl -XPOST  http://127.0.0.1:9090/prometheus/-/reload

退出容器

4. 导入模板：

模板内容：

https://raw.githubusercontent.com/alibaba/canal/master/deployer/src/main/resources/metrics/Canal_instances_tmpl.json

数据来源选择prometheus

模板导入后，可以在仪表盘中找到

监控面板就是这个样的

同步数据性能测试

仍然是用sb来做单表插入的测试：大概1万3每秒

主库(双1)：单表插入 13K的TPS

原生复制的从库(双1)：2.2K的TPS

Canal同步的库(memsql)：4.3K的TPS

计算下  (1031227-626471)/93 = 4352

这起码可以说明Canal在SQL的同步和解析上是完全不输原生复制的。

以下是官方提供的测试报告，看看就得：

 完