开源大数据比对平台(dataCompare)新版本发布

开源大数据比对平台设计与实践—dataCompare

前文介绍了开源大数据比对平台设计和实践，最近将整体业务流程进行了完善和开发。

一、目前当前版本实现了如下功能：

(1)低代码简单配置完成数据比对核心功能

(2)数据量级比对、数据一致性比对

二、系统功能演示

系统主页(系统功能和技术栈介绍)

数据库配置信息页面(目前已经实现了MySQL、Hive)

job配置信息页面(选择数据源和表以及主键和对比字段)

对比结果页面展示(量级对比、一致性对比)

三、后续开发计划:

(1)差异case发现

(2)数据指针探测----枚举值探测、范围探测、数值探测、主键取模探测

(3)数据比对任务定时自动调度

(4)对比结果自动发送邮件报告

四、具体代码参考

https://github.com/zhugezifang/dataCompare

https://gitee.com/ZhuGeZiFang/data-compare

你好，我是诸葛子房，前京东、BAT 程序员，Apache Griffin Contributor，在大数据领域有多年实践经验，喜欢在工作之余写一些文章总结。