Canal + Kafka + ClientAdapter.pdf
10墨值下载
一、架构图
Canal + Kafka + ClientAdapter 架构图：
Canal是阿里开源的一个的组件。其主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅
和消费，工作原理相对比较简单：
1. Canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送 dump 协议。
2. MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 Canal )。
3. Canal 解析 binary log 对象（原始字节流）。
二、Canal服务器构成模块
Server代表一个Canal运行实例，对应于一个jvm。Instance对应于一个数据队列，1个Server对应1..n
个Instance。Instance模块中，EventParser完成数据源接入，模拟slave与master进行交互并解析协
议。EventSink是Parser和Store的连接器，进行数据过滤、加工与分发。EventStore负责存储数据。
MetaManager是增量订阅与消费信息管理器。
Canal 1.1.1版本之后默认支持将Canal Server接收到的binlog数据直接投递到消息队列，目前默认支持
的消息系统有Kafka和RocketMQ。早期的Canal仅提供Client API，需要用户自己编写客户端程序实现
消费逻辑。Canal 1.1.1版本之后增加了client-adapter，提供客户端数据落地的适配及启动功能。
三、部署
3.1、环境：
1 192.168.5.136 : Mysql 版本： 5.7.26-29 安装忽略
2 192.168.5.74 : Greenplum : greenplum-db-6.20.5 安装忽略
3 192.168.5.156 : Canal Server : canal.deployer-1.1.3.tar.gz
4 192.168.5.156 : Canal Adapter ：canal.adapter-1.1.3.tar.gz
5 192.168.5.156 : Kafka : kafka_2.13-2.6.0.tgz
6 192.168.5.156 : java -version : "1.8.0_352"
下载地址：
3.2、数据源mysql配置
数据源也必须开启了binlog并设置为主库才行。
3.2.1、mysql binlog参数配置应该如下：
1 vim /etc/my.cnf
2 # 加入下面三行
3 log-bin=mysql-bin # 开启 binlog
4 binlog-format=ROW # 选择 ROW 模式
5 server_id=1
1 --查看server_id
2 mysql> select @@server_id;
3 +-------------+
4 | @@server_id |
5 +-------------+
6 | 1 |
7 +-------------+
8 1 row in set (0.00 sec)
9 mysql> show variables like 'log_bin';
10 +---------------+-------+
11 | Variable_name | Value |
12 +---------------+-------+
13 | log_bin | ON |
14 +---------------+-------+
15 1 row in set (0.01 sec)
16 mysql> show variables like 'binlog_format';
17 +---------------+-------+
18 | Variable_name | Value |
19 +---------------+-------+
20 | binlog_format | ROW |
21 +---------------+-------+
22 1 row in set (0.00 sec)
3.2.2 创建用户：
canal.deployer - 墨天轮资源 (modb.pro)
Canal.adapter - 墨天轮资源 (modb.pro)
kafka - 墨天轮资源 (modb.pro)
of 11
10墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论