GoldenDB Sloth工具系统架构

Sloth 工具是一款便捷的数据迁移工具，支持完成 GoldenDB 数据库与 GoldenDB（包括不同的分片数量场景）、异构数据库（ Oracle、 MySQL 等）之间的全量数据、增量数据的迁移和同步，同时提供迁移过程中的数据比对功能。简化了数据迁移过程，降低了数据迁移运维成本，并增强了异构数据库替代的可靠性。

系统架构

迁移工具内部主要包括：

• 任务管控平台：任务的配置、管理、监控。
• 采集组件：全量数据采集，增量解析相关日志得到增量数据信息。
• 回放组件：对数据做类型过滤，相关 ETL 操作后插入到目的数据库中。
• 比对组件：对全量、增量数据进行比对、修复功能。

功能组网

功能组网图

• 全量数据迁移：将源端数据库中需要迁移的表的全量数据迁移到目的数据库中，如果在全量迁移后需要做接续的增量迁移，在全量迁移的同时会采集源端数据的变化存储在 Kafka 中，等全量迁移完成后，开始增量的同步。
• 增量数据同步：可以配置为全量完成后自动接续的数据同步，也可以配置从某一个位点独立开始的增量数据同步。
• 数据比对功能：对迁移同步的数据进行比对，包含全量迁移的数据和增量同步的数据。由于源端在迁移过程中不停业务，存在动态变化的数据，因此在每批比对时都会比对上一批失败的数据，比对完成后，在界面上显示比对结果。通过界面数据可以判断是数据比对失败还是由于同步过程数据又发生变化而导致的比对失败。