MySQL 5.7基于GTID的多源复制问题

运维那点事 2019-12-12

495

我们知道，如果我们想把多个 MySQL Master 数据汇集到同一个实例，可以选择 MySQL 5.7 提供的多源复制，就是建立多个复制通道，每个通道分别 change master 到不同的实例即可。但这里对于复制方式可以基于 position 模式，或 gitd 模式。这里并不是介绍一些关于复制的基础知识，对于 position 模式，就不说了，也比较简单，主要说在多源复制怎么基于 gtid 的复制。

我们现在要搭建一套基于 GTID 复制的 2 个主实例，1 个多源实例的架构。

Master my.cnf

gtid_mode = ON
enforce_gtid_consistency = true
log_bin = var/log/mysql/bin_log.index
log_slave_updates = true
server-id = 2061
Multi Source my.cnf  [client]
port            = 3306
socket          = var/run/mysqld/mysqld.sock
[mysqld_safe]
pid-file        = var/run/mysqld/mysqld.pid
socket          = var/run/mysqld/mysqld.sock
nice            = 0
[mysqld]
user            = mysql
pid-file        = var/run/mysqld/mysqld.pid
socket          = var/run/mysqld/mysqld.sock
port            = 3306
basedir         = usr
datadir         = var/lib/mysql
tmpdir          = tmp
server-id       = 10001
explicit_defaults_for_timestamp
gtid_mode = ON
enforce_gtid_consistency = true
log_bin=/var/log/mysql/bin_log.index
log_slave_updates=true
master_info_repository=TABLE
relay_log_info_repository=TABLE
log-error = var/log/mysql/error.log

Multi Source my.cnf

  [client]
port            = 3306
socket          = var/run/mysqld/mysqld.sock


[mysqld_safe]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
nice            = 0


[mysqld]
user            = mysql
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
port            = 3306
basedir         = /usr
datadir         = /var/lib/mysql
tmpdir          = /tmp
server-id       = 10001
explicit_defaults_for_timestamp


gtid_mode = ON
enforce_gtid_consistency = true
log_bin=/var/log/mysql/bin_log.index
log_slave_updates=true
master_info_repository=TABLE
relay_log_info_repository=TABLE
log-error = /var/log/mysql/error.log

Master A

首先在线导出数据，注意保证数据一致性。

mysqldump --databases profiles --single-transaction --triggers --routines --host=A --port=3306 --user=user --password=pass > ~/dump-a.sql

默认导出是带有 GTID 信息的。可以通过 grep 命令查看到导出文件中 GTID 的值。

$ grep PURGED ~/dump-a.sql 
SET @@GLOBAL.GTID_PURGED='d23dceda-08a4-11e5-85e4-005056a2431f:1-10073';

可以看到导出带有 GTID 的备份文件时，当时导入目标库的时候是需要把导出文件的 GTID 值 SET 到目标库的。当然，GLOBAL.GTID_PURGED 有值时是无法进行 SET 操作的，会报如下错误。

ERROR 1840 (HY000) at line 24: @@GLOBAL.GTID_PURGED can only be set when @@GLOBAL.GTID_EXECUTED is empty.

然后，在目标多源库进行 reset master 操作（这里有一个重要条件就是这是一个没有任何复制通道的多源实例，如果当前已经存在复制通道了，切记不可操作 reset master；具体怎么做，下面介绍 Master B 节点加入多源库时再说）。执行完成后，可以把 dump-a.sql 文件利用 source 命令导入到多源库了，这个过程根据数据大小可能需要很长一段时间，静静等待便是。

等待数据导入完成后，就可以建立复制通道了。

CHANGE MASTER TO MASTER_HOST="A", MASTER_PORT=3306, MASTER_USER="user", MASTER_PASSWORD="pass", MASTER_AUTO_POSITION=1 FOR CHANNEL "channel01";

复制通道建立成功之后，start slave for channel 'channel01' 启动便是了。

Master B

首先在线导出数据，注意保证数据一致性。

mysqldump --databases profiles --single-transaction --triggers --routines --host=A --port=3306 --user=user --password=pass > ~/dump-b.sql

默认导出是带有 GTID 信息的。可以通过 grep 命令查看到导出文件中 GTID 的值。

$ grep PURGED ~/dump-a.sql
SET @@GLOBAL.GTID_PURGED='4354e460-159f-11ea-81ab-7cd30adb115e:1-6942';

需要在导出文件中删除这行数据，这点很重要，避免把数据导入到多源库时导致多源库 GLOBAL.GTID_PURGED 值被覆盖（当然，GLOBAL.GTID_PURGED 有值时是无法进行 SET 操作的）。

然后可以把 dump-b.sql 文件利用 source 命令导入到多源库了。这可能需要一个过程，等待数据导入完成之后。就可以建立 Master B 的复制通道了。

CHANGE MASTER TO MASTER_HOST="B", MASTER_PORT=3306, MASTER_USER="user", MASTER_PASSWORD="pass", MASTER_AUTO_POSITION=1 FOR CHANNEL "channel02";

由于多源库已经存在了复制通道 Master A，所以需要关闭所有复制通道，执行 stop slave 即可，这是为了获取当前静态的 GTID 信息。

mysql> show master status\G
*************************** 1. row ***************************
             File: bin_log.000034
         Position: 312746766
     Binlog_Do_DB: 
 Binlog_Ignore_DB: 
Executed_Gtid_Set: d23dceda-08a4-11e5-85e4-005056a2431f:1-10073

然后把当前已经执行的 GTID 值与 dump-b.sql 文件中的 GTID 值合并成一个新的 GLOBAL.GTID_PURGED 值，并 SET 到多源库，在 SET 之前需要先执行 reset master 操作，注意要确保所有的复制通道已经关闭了。

RESET MASTER;
SET @@GLOBAL.GTID_PURGED='4354e460-159f-11ea-81ab-7cd30adb115e:1-6942,d23dceda-08a4-11e5-85e4-005056a2431f:1-10073';

配置完成后，然后就可以启动所有的复制通道了。此时，io_thread 会把多源库 GTID_PURGE 值发送给主库，主库会找到自己的 GTID 并把差异的事务发送到多源库进行应用。

有帮助可帮忙点点广告哦

mysql

文章转载自运维那点事，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

MySQL 5.7基于GTID的多源复制问题

评论