京东-数据质量管控.pptx
5墨值下载
Page 1
数据质量管理平台技术架构
数据质量检查规则执行模块作为多个 ETL
任务部署在金融数据平台 ETL 服务器上，
由 Automation 工作流调度服务统一调度
运行，实现各个数据区技术和业务数据质
量检查
数据质量管理系统元模型包含检查规则、
检查执行结果、分析报告，模型作为一个
独立的 Schema 部署在决策分析报表平台
的数据库
数据质量检查规则配置模块作为 Java
Web 应用部署在金融数据平台
Tomcat 集群上，数据质量管理员通过
统一的 Web 服务访问，实现检查规则
的维护
数据质量分析报告展现模块作为 Java
Web 应用部署在金融数据平台
Tomcat 集群上，用户通过统一的
Web 服务访问，实现日报、月报的浏
览、下载等功能
数据质量分析报告生成模块作为一个 ETL
任务部署在决策分析报表平台 ETL 服务器
上，由 Automation 工作流调度服务统一
调度运行，按照每日、每月生成各数据区
数据质量检查报告
数据质量管
理平台以元
信息模型为
核心，由规
则配置管理
模块、检查
执行模块、
分析报告生
成模块和分
析报告展现
模块四部分
构成。
整个数据质
量检查过程
以 ETL 任务
的形式统一
调度执行。
Page 2
数据质量检查执行服务
数据质量管理
的规则执行服
务作为 ETL
任务部署在
ETL 服务器
上
在整个数据处
理过程中，设
置 4 类检查
点
在不同的检查
点由 Task
Automatio
n 工作流统一
调度执行
检查结果统一
存入数据质量
管理资料库
1
1
2
2
3
3
4
4
of 15
5墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论