暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

了解达梦数据复制软件(DMDRS):功能、应用场景全知道

93

 

产品简介

达梦数据复制软件(DMDRS
)是一款专为同构数据库、异构数据库以及各种数据管理系统之间设计的数据复制软件。它采用模块化设计,通过灵活配置不同功能模块,就能实现多功能的数据复制服务,轻松满足多种场景下的数据复制业务需求。

丰富的数据复制功能

• 数据迁移:支持将源数据库的全量数据一次性迁移到目标数据库,无论是同构还是异构数据库,都能轻松应对。尤其适用于源数据库在静态情况下的数据迁移场景,不仅提供稳定、高效的数据库全量数据迁移,还支持故障后断点续传功能,确保数据迁移的完整性和可靠性。
• 数据同步:通过全量数据装载和增量数据同步的组合,实现源数据库在动态场景下与目标数据库数据的一致性。在同构数据库场景下,还支持将源数据库的备份还原后再进行增量数据同步,保证数据的实时一致性。而且,数据同步功能支持一对一、双向、一对多、多对一、级联同步、环形同步和DMDRS
主备等多种同步拓扑结构,满足不同业务场景的需求。
• 数据分发:将源数据库的全量数据和增量数据先保存到流存储后再分发到目标端,适用于将一个数据库的数据复制到多个数据库的应用场景。这种方式可以有效降低源数据库服务器负载,减少对源数据库系统的影响,尤其适合大规模数据量的数据传输。
• 数据转换:能够对数据库的全量数据和增量数据进行自定义转换,可用于数据迁移、数据同步和数据分发等场景,满足多样化的数据转化需求。

产品兼容

兼容多种软硬件平台

DMDRS支持各种主流的软硬件平台,包括龙芯、飞腾、鲲鹏、海光、兆芯、申威、宏芯、X86和ARM等处理器,以及麒麟、UOS
、凝思、Red Hat、Ubuntu、Solaris、AIX和Windows等操作系统,为不同环境下的用户提供了便利。

支持多种数据库

在数据库支持方面,DMDRS
表现出色。支持的源数据库包括DM8(单机、DSC、DPC)、Oracle 10g及以上版本(单机、RAC)和MySQL 5.6及以上版本;目标数据库则涵盖DM8(单机、DSC、DPC)、Oracle 10g及以上版本(单机、RAC)、MySQL 5.6及以上版本、Kafka 0.8.2及以上版本和PostgreSQL 11版本。

产品架构

核心模块介绍

DMDRS
产品采用模块化设计,主要由Manager管理模块、CPT模块、DSS模块、EXEC模块、CVT模块和SCHED模块组成,各模块分工明确,协同工作。
• Manager管理模块:作为DMDRS
服务的管理中枢,负责客户端监听、功能模块加载与维护、执行控制台命令等。它根据自定义配置加载其他模块,管理模块标识,启动监听和授权校验线程,接收并执行控制台命令,还能清理功能模块。
• CPT模块:专注于源数据库的全量数据装载以及增量数据的实时捕获、解析和投递。通过数据装载、添加同步表、日志捕获、日志解析和消息投递等功能,实现数据的准确传输。
• DSS模块:具备高可靠、高吞吐量的流存储和分发功能。它接收CPT模块发送的数据,按Topic主题分类流式持久化存储,并支持多线程并发IO读写、内存池等技术,实现高性能的流式存储和访问,还支持主备架构,保障高可靠性。
• EXEC模块:主要负责接收CPT模块发送的数据并在目标数据库进行应用,实现数据实时同步。它支持分组缓存执行、多线程并行执行入库、数据转换等功能,还能解决长事务执行引起的同步阻塞问题。
• CVT模块:通过DRS语言实现自定义编程式编写数据转换规则和逻辑,实现数据清洗转换功能。它支持编程式规则编写,提供丰富的转换处理函数和复杂的数据结构支持,还能自定义关联查询条件。
• SCHED模块:提供定时自动执行功能调度任务,可实现定时执行CVT脚本、定时删除多CPT归档等多种调度功能,让数据处理更加自动化、高效化。

丰富的产品服务

除了上述核心模块,DMDRS
还通过配置不同功能模块,实现多种常用的产品服务,包括源DMDRS服务、目标DMDRS服务和DMDSS服务,还可根据业务需求灵活配置,实现如定时调度服务、双向DMDRS
、级联DMDRS
、主备决策DMDRS
等新功能服务,满足多样化的业务场景。

应用场景

数据迁移

适用于同构或异构数据库之间的数据迁移,一般用于迁移后源数据库业务会中断的场景。通过源DMDRS和目标DMDRS服务,采用多种迁移技术,保障迁移的完整性和高效性。

数据同步

通过全量数据装载和增量数据同步功能,保证源数据库和目标数据库数据的持续一致性,支持多种拓扑结构。
• 一对一同步:将源数据库的数据单向同步到目标数据库,适用于源数据库的业务数据仅需传递到单个目标数据库实例的场景,可构建“双活”业务系统,分担源数据库压力,还可作为备机或实时备份。
• 双向同步:两端数据库的数据分别通过DMDRS同步到对端,适用于两端数据库均有业务操作且需保持数据一致性的场景,但需注意事务执行顺序和数据冲突问题。
• 一对多同步:将源数据库的数据同步到多个目标数据库,适用于源数据库需要将业务系统的数据同步到多个目标数据库或分类同步到不同目标数据库的场景,要注意数据一致性和内存评估。
• 多对一同步:将多个源数据库的数据同步到单个目标数据库,适用于汇总分析等业务场景,但要注意数据质量和冲突问题,以及服务器内存评估。
• 级联同步:在有3个或3个以上数据库的场景下,实现源数据库→级联数据库→目标数据库的级联同步,适用于业务系统的同步数据具有层次或者包含关系的场景,要注意节点数据一致性。
• 环形同步:在有3个或3个以上数据库的场景下,实现数据库之间的环形同步,使每个数据库的操作均同步到其他数据库,数据在所有节点保持一致,注意事项可参考双向同步。
• 主备同步:在数据库搭建集群或主备的情况下,实现源数据库的数据通过DMDRS主备同步到目标数据库,确保在主节点故障后,备节点能自动接替继续同步服务。

数据分发

源DMDRS服务与DMDSS服务共同构建基于高性能流存储的数据分发同步服务,适用于大规模数据量的高效同步,可避免源数据库归档文件因分析不及时被删除导致的问题,还可部署为主备服务提高可靠性,但要注意数据同步实时性可能存在一定损耗。

数据转换

对源数据库的全量数据和增量数据进行自定义转换,可用于多种场景。支持实时对增量数据进行数据内容转换、拆分和函数处理等功能,还提供自定义可编程的方式进行转换功能及逻辑编写,支持复杂的数据结构处理。

达梦数据复制软件(DMDRS
)以其强大的功能、广泛的兼容性、模块化的架构和丰富的应用场景,为企业提供了全方位的数据管理解决方案。无论是数据迁移、同步、分发还是转换,DMDRS都能轻松应对,助力企业在数字化时代实现数据的高效管理和价值最大化。如果你还在为数据复制和管理而烦恼,不妨试试达梦数据复制软件(DMDRS),体验它带来的便捷与高效!

 


文章转载自国产数据库学堂,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论