Sloth功能概述
Sloth是一个集管控、运维、编排于一体的数据迁移工具,提供了多种数据处理能力,如存量数据的迁移、增量业务的实时同步、数据的快照比对、数据的实时同步比对、数据的修复等。用户可根据具体需求,按照操作指导,编排自己需要的任务,完成迁移目标。此外,Sloth还提供了任务监控、模块部署、表画像等能力。
1. 全量+增量无缝迁移:Sloth支持将源端数据库的存量业务数据和实时增量业务数据无缝迁移至目标端数据库。
2. 精准增量同步:Sloth支持源端数据库指定位点之后产生的增量业务数据,实时同步到目标数据库。
3. 实时同步比对:Sloth支持在数据同步过程中对同步完成的数据进行源端和目标端数据库差异实时校验功能。
4. 快照比对:Sloth支持基于快照点的全量数据校验功能。
5. 数据修复:Sloth支持同步比对或者快照比对的差异数据进行数据修复,保证数据一致性。
6. 数据发布:Sloth支持增量数据按一定格式同步到第三方存储设备Kafka。
7. 运维管理:Sloth支持多种运维能力,包括但不限于权限管理、动态黑名单、全加增状态扭转、在线性能观测及调优等。
8. 监控功能:Sloth支持多种监控能力,如采集、回放、比对组件状态监控等。基于状态变更,Sloth配套实现了系统级高可用、单模块高可用。
9. 部署功能:Sloth支持图形化部署采集、回放、比对组件,可以在编排完任务时,即拿即用。
10. 表画像:Sloth数据迁移及数据同步支持绘制表维度的数据画像,即表画像,在运维管理界面可以直观查看表维度的可视化描述。Sloth表数据画像包含多个元素:表的基本信息、数据统计、采集、回放、比对组件的时间统计和时延统计、性能(流量、QPS)统计、类型/列/行过滤/HEX转换等特殊配置、剔除某张表、关闭某张表的比对、一键关闭任务级三无表比对、暂停回放、暂停比对、绑定执行计划等运维操作。
11. 动态加减表:Sloth支持增量同步数据过程中动态修改同步表的黑白名单。
12. 断点续同步:Sloth具备断点续同步能力,数据迁移或数据同步过程中发生故障,导致数据传输中断,在故障恢复后,系统能够自动从故障点继续迁移或同步。
13. 对象迁移:Sloth支持迁移源库中的数据对象定义(表、函数、存储过程、触发器、视图、同义词等),Sloth的对象迁移发生在业务数据迁移之前,通过对象迁移保证源端数据库和目标端数据库对象结构的一致(异构数据库字段类型等通过映射来保证一致),确保业务数据能够从源端数据库中完整、准确地迁移到目标数据库中。
14. DDL同步:Sloth支持在增量业务数据同步过程中同步DDL。
Sloth产品亮点
Sloth是专注于异构或同构数据库与GoldenDB进行数据交互的专业产品,旨在助力客户实现同构或异构数据库向GoldenDB的实时数据迁移和数据同步,具备配置流程简单便捷、风险低、运维成本低、可靠性高、性能突出等优势。
1. 可视化集中管理,操作便捷快速:Sloth无需单独安装驱动程序或应用程序,无需对源数据库做大幅改动,只需在Sloth提供的可视化管理界面进行简单配置即可开启数据传输。在Sloth管理界面中,只需花费几分钟就能设置一个迁移任务。用户可以在迁移任务中定义用来执行迁移的各项参数,其中包括设置源数据库和目标数据库的连接、迁移类型和对象。Sloth支持上千个节点的集群规模,可同时运行并集中管理大量数据迁移同步任务。
2. 不停服同步,业务无感知:Sloth能够助力客户几乎不需要停机拷贝,平稳地将数据库迁移至GoldenDB。源数据库在迁移期间发生的所有数据更改都会复制到目标数据库,因此迁移期间不影响源数据库对外提供服务。在数据复制完成后,源数据库和目标数据库将保持继续同步,您可自由选择业务切换时间。
3. 高性能数据迁移:Sloth使用高规格服务器来保证每条迁移同步链路都能拥有良好的传输性能。在数据迁移方面,数据传输服务底层采取了多种性能优化措施;相对于传统的数据迁移工具,极大提升了传输性能。
4. 支持多种数据源:Sloth目前已支持Oracle、DB2、SQLServer、MySQL、PostgreSQL、Kafka等类型的数据源向GoldenDB数据库进行迁移或同步,具体的功能因源数据库类型不同而有所区别。
5. 内置多种过滤器:Sloth支持正则表达式过滤库表;支持配置库、表、字段、SQL表达式等多种方式在数据同步过程中对源数据事件进行过滤。
6. 故障自动恢复:Sloth具备高可用功能,支持迁移任务在不同节点自由调度,少量工作节点宕机并不会影响进行中的任务,并且支持机房级故障自动修复的高可用功能。
7. 数据一致性校验:Sloth支持多种数据一致性校验方式,如快照比对、迁移/同步比对,高效识别数据差异并保证数据迁移的质量。
8. 差异数据修复:Sloth支持差异数据的修复功能,保证数据迁移的一致性。
Sloth应用场景
1. 数据迁移和同步:在数据库迁移项目中,支持同构数据库(如GoldenDB到GoldenDB,包括不同的分片数量场景)、异构数据库(如Oracle、MySQL等)之间的全量数据、增量数据的迁移和同步。
2. 数据比对:数据库基于快照点的全量校验和数据同步过程中的数据实时校验,确保迁移数据的准确性和完整性。
3. 数据修复:针对源端数据库和目标端数据库数据不一致的场景,进行差异数据修复。
4. 数据发布:针对特殊业务场景,支持将数据同步发布给第三方Kafka。
5. 对象迁移:支持数据库对象迁移。
在数据驱动业务创新的时代,数据库迁移不再是简单的数据搬运,而是技术升级与价值重构的关键契机。GoldenDB数据库Sloth以全链路功能覆盖、极致性能表现、极简操作体验与高可靠性保障,成为用户数据迁移的最佳助力,确保数据迁移过程 “零损耗、不中断”。




