暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

搭乘达梦 DMDVS 快车,驶入数据校验 “高速路”,畅享精准数据服务

171

产品概述

达梦数据校验系统DMDVS
)是一款企业级数据一致性管理平台,提供跨数据库、跨平台的数据比对与修复能力。系统采用模块化架构设计,支持静态校验、动态校验、单向校验及分布式校验四大核心模式,适用于数据迁移验证、容灾备份核查、实时同步监控等关键场景。

系统架构

模块化设计

核心组件

DMDVS
产品由以下模块组成:Manager
管理模块、CMP
模块、CMP_DSTB
模块以及Console
远程控制工具。

  • Manager管理模块:负责客户端监听、加载和维护CMP与CMP_DSTB模块,并执行来自控制台的命令。
  • CMP模块:提供数据校验、报告生成、修复、备份、还原及进度监控等功能。
  • CMP_DSTB模块:作为分布式数据校验中心,处理任务分配、结果统计及报告生成。
  • Console远程控制工具:允许用户通过网络远程启动、停止校验任务,监控进度并查看报告。

服务部署模式

模式适用场景
单机部署
中小规模数据校验
分布式部署
大量数据、高并发场景

功能特性

功能特性

说明
数据校验
快速校验
仅校验表结构和表行数,不校验详细数据。

表结构校验
仅校验表结构,不校验表行数和详细数据。

详细数据校验
校验表结构以及表详细数据。

添加规则校验
可指定列映射、列忽略、行过滤规则进行详细数据校验。

列校验
校验支持在进行详细数据的行校验后再进行列校验,以便定位到差异列。

校验报告生成
校验结束后将生成校验报告,可在报告中查看校验结果。若执行详细数据校验还可在报告中查看存在差异的表详细数据。

校验报告入外部数据库
可在校验后将简单校验报告或详细校验报告入到指定的外部库中,可直接在数据库中查看校验结果。
数据修复

对校验后存在差异的数据进行修复。
数据备份

数据修复时对目标端表的数据进行备份。
数据还原

若数据修复出现问题,可使用备份的数据将目标端表还原到修复前的状态。

应用场景

静态数据校验

适用于源库与目标库处于数据静态环境(无写入操作),且校验服务器具备双向访问权限的数据一致性核验场景,典型应用于:
• 数据迁移完整性验证
• 容灾系统周期性基线核查
• 业务版本升级前数据快照比对

技术架构

动态数据校验

专为DMDRS数据同步服务设计的实时校验方案,适用于:
• 跨数据中心增量同步质量监控
• 双活业务系统数据一致性保障
• 流式数据处理管道完整性验证

技术架构

单向数据校验

应用场景
突破网络隔离限制的跨安全域校验方案,适用于:
• 涉密网络与互联网区域数据比对
• 存在单向网闸的金融监管报送系统
• 军工、政务等领域物理隔离环境

技术架构

分布式数据校验

应用场景
面向超大规模数据校验需求的分布式解决方案,适用于:
• 海量数据场景:PB级数据库表/跨库表联合校验
• 资源敏感场景:CPU/内存/I/O资源受限的国产化环境
• 高并发需求:跨地域多数据中心并行校验任务协同
• 容灾扩展场景:支持节点动态扩容与故障自动转移

技术架构

使用限制说明

兼容性说明

• 硬件:主流国产芯片(鲲鹏/海光/龙芯)+X86/ARM架构(详见附录A)
• 系统:麒麟/UOS/Windows等(详见附录A)
• 数据库:DM8/Oracle/SQL Server等(详见附录B)

• 数据库类型:DM8/Oracle/SQL Server等(详见附录C)

资源管理

• 连接数公式

普通表:连接数 = 并行数 × 分组线程数  
分区表:连接数 = 并行数 × 分组线程数 × 5

操作限制

• 校验对象:表级数据(含二级分区)
• SQL Server校验需部署于Windows平台

附录

附录A:CPU及操作系统兼容列表

分类支持明细
处理器架构
龙芯、飞腾、鲲鹏、海光、兆芯、申威、宏芯、X86和ARM等处理器
操作系统
麟、UOS、凝思、Red Hat、Ubuntu、Solaris、AIX和Windows等操作系统

附录B:数据库支持列表

数据库数据库连接驱动说明
DM6
ODBC
-
DM7单机
DMDPI
单机
DM8(单机、DSC)
DMDPI
含单机和DSC
Oracle 10g及以上版本(单机、RAC)
OCI
含单机和RAC
PostgreSQL 11
ODBC
-
Microsoft SQL Server 2008及以上版本
ODBC
静态校验(仅Windows)
MySQL 5.6及以上版本
MySQL C API
-

说明

  • 静态数据校验场景支持的数据库:DM6、DM7单机、DM8(单机、DSC)、Oracle10g及以上版本(单机、RAC)、PostgreSQL 11、SQL Server 2008及以上版本和MySQL 5.6及以上版本。
  • 动态数据校验场景支持的数据库:DM8(单机、DSC)、Oracle10g及以上版本(单机、RAC)。
  • 单向数据校验场景支持的数据库:DM6、DM7单机、DM8(单机、DSC)和Oracle10g及以上版本(单机、RAC
  • 分布式数据校验场景支持的数据库:DM8(单机、DSC)、Oracle10g及以上版本(单机、RAC)。

附录C:数据类型对照表

支持的DM6数据类型

数据类型具体类型
字符数据类型
CHAR、VARCHAR
数值数据类型
NUMERIC、DECIMAL、INTEGER、BIGINT、SMALLINT、TINYINT、BIT、BOOL、BINARY、FLOAT
货币数据类型
MONEY
日期时间数据类型
DATE、TIME、TIMESTAMP、INTERVAL
多媒体数据类型
IMAGE、TEXT

支持的DM8数据类型

数据类型具体类型
字符数据类型
CHAR、CHARACTER、VARCHAR、VARCHAR2
数值数据类型
NUMERIC、DECIMAL、DEC、NUMBER、INTEGER、INT、BIGINT、TINYINT、BYTE、SMALLINT、BINARY、VARBINARY、FLOAT、DOUBLE、REAL、DOUBLE PRECISION
位串数据类型
BIT
日期时间数据类型
DATE、TIME、DATETIME/TIMESTAMP、INTERVAL、TIME WITH TIME ZONE、TIMESTAMP WITH TIME ZONE、TIMESTAMP WITH LOCAL TIME ZONE
多媒体数据类型
TEXT、LONG/LONGVARCHAR、IMAGE/LONGVARBINARY、CLOB、BLOB、SYS.XMLTYPE
空间数据类型
DMGEO2.ST_GEOMETRY

支持的Oracle数据类型

数据类型具体类型
字符数据类型
CHAR、VARCHAR2、NCHAR、NVARCHAR2
数值数据类型
NUMBER、BINARY_FLOAT、BINARY_DOUBLE
日期时间数据类型
DATE、TIMESTAMP、INTERVAL YEAR TO MONTH、INTERVAL DAY TO SECOND
多媒体数据类型
CLOB、BLOB、NCLOB、RAW、LONG、LONG RAW
ROWID数据类型
ROWID、UROWID
空间数据类型
SDO_GEOMETRY

支持的SQL Server数据类型

数据类型具体类型
字符数据类型
CHAR、VARCHAR、NCHAR、NVARCHAR
数值数据类型
BIGINT、INT、SMALLINT、DECIMAL、REAL、FLOAT、BINARY、BIT、NUMERIC、TINYINT、VARBINARY
货币数据类型
MONEY、SMALLMONEY
日期时间数据类型
DATE、DATETIME、DATETIME2、DATETIMEOFFSET、SMALLDATETIME、TIME、TIMESTAMP
多媒体数据类型
IMAGE、TEXT

支持的PostgreSQL数据类型

数据类型具体类型
字符数据类型
CHAR、VARCHAR
数值数据类型
SMALLINT、SMALLSERIAL、INT、SERIAL、BIGINT、BIGSERIAL、NUMERIC、REAL、DOUBLE PRECISION、BIT、VARBIT、BOOLEAN、OID
货币数据类型
MONEY
日期时间数据类型
DATE、TIME WITHOUT TIME ZONE、TIMESTAMP WITHOUT TIME ZONE、INTERVAL
多媒体数据类型
TEXT、BYTEA
其他类型
ARRAY、MACADDR、NAME、INET

支持的MySQL数据类型

数据类型具体类型
字符数据类型
CHAR、VARCHAR
数值数据类型
TINYINT、SAMLLINT、MEDIUMINT、INT、BIGINT、FLOAT、DOUBLE、DECIMAL
位串数据类型
BIT
日期时间数据类型
DATE、TIME、YEAR、DATETIME、TIMESTAMP
多媒体数据类型
TINYTEXT、TEXT、MEDIUMTEXT、LONGTEXT、TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB、BINARY、VARBINARY

文章转载自国产数据库学堂,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论