22 TiDB实例间数据同步之TiCDC.docx
5墨值下载
随着公司业务发展，业务数据与日俱增，数据库的存储容量以及可扩展性都面
临挑战，
TiDB
产品的引入可以帮助业务解决海量数据存储以及横向扩容的问题，
但是由于公司业务具备一定的复杂性，核心的业务系统需要为下游提供相应的
业务数据，这便会增加核心业务系统的数据库请求压力，为了解决这一问题，
需要将核心业务的
TiDB
实例数据同步至另外一个
TiDB
业务实例以供下游进行
访问和部分报表数据的输出。
TiCDC
是一款通过拉取
TiKV
变更日志实现的
TiDB
增量数据同步工具，具有
将数据还原到与上游任意
TSO
一致状态的能力，同时提供开放数据协议
(TiCDC Open Protocol)
，支持其他系统订阅数据变更。
TiCDC
的系统架构如下图所示
:
TiCDC
可以支持将增量数据同步至下游的
TiDB
实例，但是需要先对要同步的
数据进行初始化，针对需要初始化的数据量级采取不同的方式进行数据同步操
作，具体实现如下：
1.
轻量级数据同步
实现方式：
dumpling+lightning+ticdc
方案优点
:
不需要额外存储资源，操作方便
具体步骤如下：
1.
如果
tikv_gc_life_time
值设置较小，先调整该值，此次操作将其调整为
8h
2.
执行
dumpling
对源端
tidb
实例需要同步的表进行初始数据导出，具体命令
如下
:
./dumpling -u dbadmin -p’abcd1234’ -P 4000 -h 10.xx.xx.xxx --filetype sql -t 8 -o
/data/backup/test_20210708 -r 200000 -F 256MiB -T test.test01,test.test02
1.
执行
lightning
进行数据导入，配置文件和操作命令如下：
编辑配置文件
(
遵照官方文档
)
，
vi tidb-lightning.toml
of 9
5墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论