问题引出

客户需要将华为云rds for MySQL和天翼云rds for MySQL做一个双向同步
，当华为云rds宕机的时候，可以切换到天翼云继续提供服务，而且此时，天翼云的数据也可以自动同步到华为云rds，平时只使用华为云的rds，和双A方案有点差异，需要注意的是rds环境不能安装任何的软件，所以，我目前想到的方案有：

1、用MySQL自带的主从复制。这个方案最简单，但是不可行，因为华为云和天翼云都禁用了super权限，在执行change master
的时候会报权限不足的错误，“ERROR 1227 (42000): Access denied; you need (at least one of) the SUPER privilege(s) for this operation
”。

2、使用华为云或天翼云自带的数据同步功能。这个也不可行，翻阅了一下文档，同步只能全量+增量
同步，这对于双向同步来说不可行。

3、使用ogg远程捕获投递。ogg for MySQL从MySQL 5.7和ogg 19c开始支持远程捕获（Remote Capture）和远程投递（Remote Delivery），所以配置双向同步，该方案经过验证也是可行的！

• OGG用于跨云RDS之间配置双主实时同步（远程捕获和投递）：https://www.xmmup.com/oggyongyukuayunrdszhijianpeizhishuangzhushishitongbuyuanchengbuhuohetoudi.html

4、使用阿里的开源工具otter，这个方案经过验证是可行的。阿里数据同步工具Otter和Canal简介请参考：https://www.xmmup.com/alishujutongbugongjuotterhecanaljianjie.html

• otter用于跨云RDS之间配置双主实时同步参考：https://www.xmmup.com/otteryongyukuayunrdszhijianpeizhishuangzhushishitongbu.html

otter和ogg优缺点

1、otter不能同步无主键的表（会导致同步任务停止），而ogg可以

2、otter可以单向同步ddl语句，而ogg对于MySQL 5.7不可以，ogg对MySQL 8.0支持DDL同步

3、otter有图形界面操作，OGG只有命令行操作

搭建otter环境配置双向同步

本次环境架构图如下：

准备环境

购买2台RDS for  MySQL环境

这里，我做测试直接买了2台华为云的rds，大家把rds-3388-0001当做华为云rds，另一台当做天翼云rds吧：

购买1台ECS环境作为otter环境

这里，我做测试直接买了1台华为云的ecs：

开放端口：8088，web页面使用

开放端口：2088，2089，2090，这几个端口对rds开放，同时2个rds的3306需要对这台ecs开放。

下面开始配置：

 1-- 拉取docker环境的otter 2docker pull registry.cn-hangzhou.aliyuncs.com/lhrbest/lhrotter:v2.0 3 4-- 创建otter 5docker run -d --name lhrotter -h lhrotter \ 6-v /sys/fs/cgroup:/sys/fs/cgroup \ 7-p 8088:8088 -p 2088-2090:2088-2090 \ 8--privileged=true \ 9registry.cn-hangzhou.aliyuncs.com/lhrbest/lhrotter:v2.0 init101112-- 进入otter环境13docker exec -it lhrotter bash1415-- 修改/usr/local/otter_manager/conf/otter.properties16otter.domainName = 139.9.130.227171819-- 启动otter环境20sh /etc/rc.local

启动成功后浏览器访问 http://139.9.130.227:8088/login.htm，出现otter的页面，用户名和密码都是admin。

配置otter

修改Node

选择机器管理的node管理：

由于ECS和2台rds通信只能使用外网IP，所以，这里启用外部IP， 如上图。

启动node

启动命令：

1/usr/local/otter_node/bin/startup.sh

管理界面显示节点状态已经启动：

添加数据源

添加2个rds的数据源：填写正确的数据库连接信息。

这里填写的mysql用户不一定要用root，只要有操作需同步数据的库表的相关权限即可。

添加需要同步的数据表

注意：如果同步整个数据库的表，则将schema name和table name都设置成“.*”，不建议对整个库同步，因为有系统库不建议同步。

配置双向同步

双向同步可以理解为两个单向同步的组合，但需要额外处理避免回环同步. 回环同步算法：Otter双向回环控制 .

同时，因为双向回环控制算法会依赖一些系统表，需要在需要做双向同步的数据库上初始化所需的系统表，也可以直接从界面获取（可以点击使用文档-》数据库初始化页面），获取初始sql:

1wget https://raw.github.com/alibaba/otter/master/node/deployer/src/main/resources/sql/otter-system-ddl-mysql.sql

界面获取：

配置上相比于单向同步有一些不同，操作步骤：

1. 首先配置一个channel

2. 然后添加两个pipeline 注意：两个单向的canal和映射配置，在一个channel下配置为两个pipeline。如果是两个channel，每个channel一个pipeline，将不会使用双向回环控制算法，也就是会有重复回环同步.

3. 每个pipeline各自配置canal，定义映射关系

双向需要注意：

一个channel 添加两个 pipeline ，

两个为双向同步，如果要用DDL同步，一个pipeline开启ddl同步，另一个不要开启，且建议开启跳过ddl异常，DryRun模式 不要开启

同时在配置双向同步的时候，建议执行otter-system-ddl-mysql.sql增加同步控制库，若是单向同步，则不需要运行该脚本。

双向同步建议在需要同步的两个数据库中新建retl数据库。

 1/* 2供 otter 使用， otter 需要对 retl.* 的读写权限，以及对业务表的读写权限 31. 创建database retl 4*/ 5CREATE DATABASE retl; 6 7/* 2. 用户授权 给同步用户授权 */ 8CREATE USER retl@'%' IDENTIFIED BY 'retl'; 9GRANT USAGE ON *.* TO `retl`@'%';10GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO `retl`@'%';11GRANT SELECT, INSERT, UPDATE, DELETE, EXECUTE ON `retl`.* TO `retl`@'%';12/* 业务表授权，这里可以限定只授权同步业务的表 */13GRANT SELECT, INSERT, UPDATE, DELETE ON *.* TO `retl`@'%';  1415/* 3. 创建系统表 */16USE retl;17DROP TABLE IF EXISTS retl.retl_buffer;18DROP TABLE IF EXISTS retl.retl_mark;19DROP TABLE IF EXISTS retl.xdual;2021CREATE TABLE retl_buffer22(    23    ID BIGINT(20) AUTO_INCREMENT,24    TABLE_ID INT(11) NOT NULL,25    FULL_NAME varchar(512),26    TYPE CHAR(1) NOT NULL,27    PK_DATA VARCHAR(256) NOT NULL,28    GMT_CREATE TIMESTAMP NOT NULL,29    GMT_MODIFIED TIMESTAMP NOT NULL,30    CONSTRAINT RETL_BUFFER_ID PRIMARY KEY (ID) 31)  ENGINE=InnoDB DEFAULT CHARSET=utf8;3233CREATE TABLE retl_mark34(    35    ID BIGINT AUTO_INCREMENT,36    CHANNEL_ID INT(11),37    CHANNEL_INFO varchar(128),38    CONSTRAINT RETL_MARK_ID PRIMARY KEY (ID) 39) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;4041CREATE TABLE xdual (42  ID BIGINT(20) NOT NULL AUTO_INCREMENT,43  X timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,44  PRIMARY KEY (ID)45) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;4647/* 4. 插入初始化数据 */48INSERT INTO retl.xdual(id, x) VALUES (1,now()) ON DUPLICATE KEY UPDATE x = now();

添加canal

Otter使用canal开源产品获取数据库增量日志数据，可以把cannal看作是源库的一个伪slave。

原理：canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议，mysql master收到dump请求，开始推送binarylog给slave(也就是canal)， canal解析binary log对象(原始为byte流)。

若要配置双向同步，则必须添加2个canal，若配置单向同步，则配置一个canal即可。

添加channel、pipline以及映射关系

若是单向同步，则可以不开启数据一致性！

注意这里的选项：

2个Pipeline都需要添加映射关系：

启动channel

验证

验证是否同步：

 1-- 华为云 2mysql -uroot -p -h124.70.97.208 3 4 5MySQL [lhrdb]> insert into ab values(2); 6Query OK, 1 row affected (0.03 sec) 7 8 9-- 天翼云10mysql -uroot -p -h114.116.245.1091112MySQL [(none)]> select * from lhrdb.ab;13+----+14| id |15+----+16|  1 |17|  2 |18+----+192 rows in set (0.03 sec)2021MySQL [lhrdb]>22MySQL [(none)]> insert into lhrdb.ab values(3);23Query OK, 1 row affected (0.03 sec)2425-- 华为云查询26MySQL [lhrdb]> select * from lhrdb.ab;27+----+28| id |29+----+30|  1 |31|  2 |32|  3 |33+----+343 rows in set (0.03 sec)

双向同步配置完成。

添加监控

压测

使用mysqlslap

创建了一个简单的表使用mysqlslap进行测试。

1CREATE TABLE `otter_test` (2`id` int(11) NOT NULL,3`name` varchar(100) DEFAULT NULL,4PRIMARY KEY (`id`)5) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

测试100w条插入：

1mysqlslap  --concurrency=50 --iterations=1 --create-schema=lhrdb \2--query="insert into otter_test values(FLOOR(0 + (RAND() * 10000000)),'namexmm') \3ON DUPLICATE KEY UPDATE name='xmmupwuwwu'" \4--number-of-queries=1000000 -uroot -plhr -P3306 -h124.70.97.2085

延迟、tps等如下：

使用sysbench

由于DDL是单向同步，所以，在华为云rds需要做建表操作，然后可以在天翼云rds做压测：

 1-- 在华为云rds 2sysbench /usr/share/sysbench/oltp_common.lua --time=100 --mysql-host=124.70.97.208 \ 3--mysql-port=3306 --mysql-user=root --mysql-password=lhr --mysql-db=lhrdb \ 4--table-size=100000 --tables=10 --threads=16 --events=999999999   prepare 5 6-- 在天翼云rds 7sysbench /usr/share/sysbench/oltp_read_write.lua --time=100 --mysql-host=114.116.245.109  \ 8--mysql-port=3306 --mysql-user=root --mysql-password=lhr --mysql-db=lhrdb  \ 9--table-size=100000 --tables=10 --threads=16 --events=999999999  --report-interval=10  \10--db-ps-mode=disable --forced-shutdown=1 run

总体来说，如果不做太多的字段重命名、二次处理，otter性能本身还是不错的。

• 个人博客地址：www.xmmup.com

• 微信公众号：DB宝，作者：小麦苗，作者微信：db_bao

• 作者QQ：646634621，QQ群：230161599、618766405
• 提供Oracle OCP、OCM、高可用（rac+dg+ogg）、MySQL DBA和PostgreSQL DBA培训及其考证事宜
• 版权所有，欢迎分享本文，转载请保留出处

• 若有侵权请联系小麦苗删除