数据迁移包括迁入和迁出,迁入是指把一种数据源的数据(比如Oracle/MySQL等)迁移到GreatDB Cluster 中,迁出是指把GreatDB Cluster系统的数据同步到另外的系统中。
迁入迁出功能介绍如下:
通过外部工具
可以通过公司GreatDTS产品做迁移。
GreatDTS 是万里开源自主研发的数据库迁移工具,方便用户迁移其他数据库到GreatDB Cluster数据库,实现应用评估、对象迁移和转换、数据迁移和同步、对象和数据校验等一站式数据迁移服务,也支持并行执行、断点续传等功能。
GreatDTS具有如下优势与特点。
l 快速部署
可以使用 Docker 方式快速部署,降低软件部署复杂度,保障资源隔离,便于维护。
2 稳定高效
支持断点续传,可有效解决大数据量迁移网络、系统等异常导致的传输中断。
3 安全精准
支持全量数据迁移,自动对迁移数据进行完整性校验,支持加密数据传输,保障数据安全。
4 简单易用
快捷安装,简单易用的引导模式,高迁移效率。迁移过程中,可以控制迁移任务暂停、继续执行和取消。
5 功能全面
支持源数据库对象分析、应用评估、兼容性验证、高并行迁移和数据校验,有效协助业务系统实施平滑迁移。
原始文件并行导入数据库集群
原始文件可以是sql文件或者固定格式分割的文件,比如逗号分隔的csv文件。
GreatDB Cluster能自动根据导入表的分片规则,自动对原始数据文件记录分拣,将数据下发至对应存储节点,最终完成导入。其中的各环节均支持并发处理,提升整体导入效率。
MySQL数据实时同步到GreatDB Cluster
GreatDB Cluster⽀持⽤户将MySQL数据库的实时同步到GreatDB Cluster,方便用户随时切换到GreatDB Cluster中。
一致的数据导出
GreatDB Cluster⽀持在分布式数据库中以全局一致的状态把当前时间点那一刻的数据全量或者部分导出成sql文件。这对于某些需要数据强一致的行业有重要意义,比如银行年终时需要的账期数据。
分布式CDC (变化数据捕获)
分布式数据CDC (变化数据捕获)是以独立部署服务器实现,CDC Server用来收集分布式集群每个Shard的Binlog 日志,把零散的分布式日志再次整合为一个Binlog,并转换为兼容MySQL Binlog格式。这样可以把GreatDB Cluster数据同步到其他系统中,比如大数据系统。




