国产数据库tidb之 dm工具简介

1.什么是dm

TiDB Data Migration (DM) 是一体化的数据迁移任务管理工具，支持从与 MySQL 协议兼容的数据库（MySQL、MariaDB、Aurora MySQL）到 TiDB 的数据迁移。DM 工具旨在降低数据迁移的运维成本。使用 DM 进行数据迁移的时候，需要执行以下操作：

部署 DM 集群
创建上游数据源（source）对象，保存数据源访问信息
创建（多个）数据迁移任务从数据源迁移数据到 TiDB
同时可以进行表与操作的过滤，同时可以进行分库分表的合并迁移(将100个分片数据合并到一个)
数据迁移任务包含全量数据迁移、增量数据复制两个阶段：

全量数据迁移：从数据源迁移对应表的表结构到 TiDB，然后读取存量数据写入到 TiDB 集群；
增量数据复制：全量数据迁移完成后，从数据源读取对应的表变更然后写入到 TiDB 集群。
dm架构与原理

dm-worker：
　　负责执行数据迁移，从源端读取binlog，保存到本地，将binlog编排输出到tidb cluster。
　　一个dmworker只对应一个源端数据库(也就是对应一个源端mysql实例)，部署的dmwork数量超过源端数据库数量，则其中的一个变成free状态

dm-master：
　　保存整个dm集群的拓扑信息，负责高可用，监控各个节点的运行状态，提供数局同一接口

dm-ctl：
　　用户通过dmctl创建，更新，删除，查看迁移任务状态，处理迁移过程的错误。