暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

DIG数据慧治治理之基介绍

1226

面对千万条数据你将如何进行价值挖掘?如果这些数据类型多样,毫无统一规范,表字段命名随意,定义混乱,你又将如何治理?


数据治理对实现精细化管理极为重要,要做好数据治理,就要恪守准绳,从根理顺,固牢基石。走进本篇,小编带你解读东方国信DIG数据慧治的治理之基。

数据治理之基:标准规范体系元数据管控体系是提升数据价值发挥的前提,是数据治理的基石。


元数据

“采集汇总企业系统数据属性的信息,便于获得更好的数据洞察力,通过元数据之间的关系和影响挖掘隐藏在资源中的价值。”


数据标准

“对分散在各系统中的数据提供一套统一的数据命名、数据定义、数据类型、赋值规则等的定义基准,保证数据在复杂数据环境中维持企业数据模型的一致性、规范性,从源头确保数据的正确性及质量,并提升数据治理的效率和性能。”


何为基?

数据标准体系是DIG数据慧治平台总体架构中的基础部分,却作用于数据治理建设的整个过程,制定模型标准基准,规范数据应用行为,实现数据合理划分整合,全方位提升数据质量与治理效果,确保了全链路数据的完整性、规范性和一致性。

 

DIG数据慧治的元数据管控体系,实现元数据有效组织、准确理解、合理使用、高效产出,极大提升数据的准确性、真实性、可用性,将数据内容与价值深度挖掘到极致。没有准确元数据去有效纯化,数据将毫无意义,元数据管控体系毋庸置疑是治理基石。


标准规范体系架构

DIG数据慧治设定三道基准为目录架构、模型标准、数据字典,三方固垒,准绳明确。


#

目录架构规范

平台执行目录架构规范,将不同主题、类别的数据,按业务场景需求进行合理划分和规划整合,通过树型层级目录管理展示模块层级关系。项目目录体系一经构建,即依据节点类型贯穿各功能模块,实现目录对应。

#

模型标准制定

以目录为单位制定统一模型标准,对平台上的数据对象进行命名规范统一,制定的标准用于后续模型命名,平台设置自动校验机制,对不符合命名标准的模型提供异常或警告提示。

#

数据字典创建

针对字段规范,通过对系统中所使用的数据元素进行标准化定义,包括可以直接引入国标、行标以及企标,使其形成统一的标准字典,供后续建模直接引入标准字段,进行质量稽核作为标准规则直接使用。数据标准字典贯穿于数据治理全过程,消除“多词一义”性,实现数据仓库规范化建设。


元数据管控体系

元数据管理全流程


承载体系构建






数据全面引入


最优管控处理






纯精细化呈现




承载体系构建


元数据管理模式:DIG数据慧治平台支持CWM(公共仓库元模型)规范,提供一系列便捷的自定义管理接口功能,可实现完全自定义扩展,满足快速实施需要,适应用户不同时期场景应用,为企业元数据轻松管理铺平道路。


超强承载力如何体现?

平台具备支撑百万级数据量的管控能力,检索查询百万级元数据列表轻松实现毫秒级响应。内置元模型30余种,用户通过元模型管理自定义元模型及其属性,最大程度满足各异场景需求。


数据全面引入


数据接入新方式:DIG数据慧治平台打破早期采集模式对象局限、方式单一、涵盖面匮乏的壁垒,实现元数据采集多样化,内置丰富适配器、SQL语法分析器,支持采集多种类型数据源的元数据(包括数据库资源、FTP资源、服务器资源等),轻松实现异构数据元整合和对象间血缘关系解析。

 

以数据库资源为例,支持主流关系型数据库、MPP数据库、开源商用发行版Hadoop体系等多达20余种数据库类型。



丰富接入策略:针对不同数据量采集场景提供多种元数据扫描方式,呈现双重扫描策略。

普通扫描

传统结构化+事务处理采集方式,适合日常少量元数据采集场景。采集速度在 30-120 个/min。

极速扫描

批处理采集方式,适合已建数仓首次接入,进行大量元数据采集场景。采集速度>10000个/min,元数据采集效率提升明显。


最优管控处理


权限管理:在数据仓库建设的过程中,平台按照角色、用户维度对元数据进行授权管理,实现同一业务线不同角色用户的数据隔离,确保数据安全。


版本管理:支持元数据多版本保留,平台能够完整存储元数据整个生命周期动态及变化信息,实现版本发布留痕和版本间对比分析。


纯精细化呈现

01

展示形式:全图形化展示数据血缘联系,表间、字段间详细加工逻辑清晰呈现,便于用户快速追溯数据来源以及加工过程,一键掌握数据流向。


02

血缘优势血缘关系贯穿数据处理、质量稽核全过程,同一功能界面呈现多项技术核心(表对象的质量得分、任务执行情况),便于用户快速进行问题对象源头追溯。



跨租户血缘贯穿

在不影响租户隔离的情况下,实现同一业务线不同租户查看彼此之间血缘联系。

业务指标血缘追溯

指标血缘业务搭建数仓层与应用层贯穿联系,使业务人员脱离数仓、技术束缚,自行实现指标业务血缘追溯。


03

如何应对数据变更影响?

当需求变更涉及表结构的修改时,平台会自动获取上游变更影响,并且以图形化的方式展示资产变更信息以及影响对象,轻松掌握元数据之间关联波动,降低需求变更带来的系统风险。


文章转载自东方国信大数据,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论