数据慧治 | 东方国信DIG数据慧治平台的数据治理之道

东方国信大数据 2023-09-18

472

数据治理的发起多数是由于公司战略政策和业务日益增多的数据需求和要求所产生的。当业务经历粗放式增长后，原有的数据管理模式已不能带动业务的增长，因此对数据质量与价值提出了系列要求，这就需要通过新型数据手段进行赋能，数据治理应用而生。

数据治理是组织中涉及数据使用的一整套管理行为，最终目标是提升数据的价值。面对庞大的数据量、错综复杂的业务逻辑，又该如何做到正确合理的数据治理呢？

现阶段大多数数据治理平台的设计理念仅围绕“事后治理”展开，顾名思义在数据完成了采集加工进入数据集市层之后对暴露出来的数据问题进行集中治理。流程通常是先在数据库里完成建表，随后进行ETL的处理，当数据进入数据集市层发现问题进行回看处理。“事后治理”针对现有库进行建设，以元数据管控体系为例，对现有库进行扫描包括数据间血缘关系、SQL脚本等，这些大多数都是原有库已经建设完全的，通过第三方平台扫描解析从而产生所需的血缘关系脉络及元数据资源。

“事后治理”理念虽能达到一定的治理效果，但其忽略前期和过程的数据管控，暴露的弊端与问题无法视而不见和规避，通常会更加浪费时间精力、设备资源去弥补和解决先前的治理漏洞。此类数据治理设计理念常见的问题如下：

东方国信DIG数据慧治平台冲破固有数据治理方式的围城，全新“事前+事中+事后治理”的理念一骑绝尘，全方位打造一站式全链路数据管控平台。

“怎么知道数据有什么、存哪了、谁在用、怎么用、何时用、服务谁？”这些问题一直回荡在DIG数据慧治平台设计历程中，经过潜心钻研、推陈出新，重于事前和事中治理的全新理念，让本平台真正具备了数据管理、数据血缘、数据开发、数据分析、运维监控、数据服务等一系列能力。

“事前+事中+事后治理”理念概括：从源头开始治理，开发过程节节把控，让数据规范落地到每一步，让数据问题无从出现。重于“事前、事中治理"的设计理念领先业内，将数据治理过程融入数据开发过程，将规约变成软件限定，彻底保证了数据中心建设规范性。

理念解读

一、事前治理

先订标准，后建模型，约束输入，规范输出。

先订标准，后建模型。在数仓建设前进行一系列标准制定，依据建设规范和当前模型信息，对模型进行分类、抽象化，制定业务术语、单词、编码、域等标准，通过开发工具应用至实际数据模型中，实现刚性落地。模型设计继承已定义标准规范，提供贯穿数据的开发、部署、治理等各个阶段的模型管理功能，记录数据仓库模型建设的全过程。相较于事后治理，数据慧治从表、字段的接入就已经实现标准化，表间关系、后续用途、元数据资源等在模型落地就已明确、生成。

约束输入，规范输出。消除用户输入信息随意性、自由性，保证数据接入纯度，严格明确必填项、固定选项，做好格式校验，设计录入表单时设置原子化字段，统一口径、语义，制定标准化数据字典，录入的数据存储目标表统一。由此可见，数据加工处理、输出呈现的均为严格依据前期规范产生的数据，从源头避免了数据缺失、重复、错误、不可用，事前治理，一步到位，彻底解决。

二、事中治理

全程透明，精准管控；执行有序，稽核嵌入。

数据开发全程透明，开发过程易于管控。

DIG数据慧治平台原创的治理利器—加工逻辑可视化，直接生成数据对象字段级血缘关系，让数据加工少犯错，甚至不犯错。从数据加工逻辑处理到数据流程统一调度的全部实现，完成数据开发生产全过程的精确环节把控。

通过简单的拖、拉、拽免编程的操作方式完成全图形化数据开发，自动生成SQL脚本，完全替代传统手工编码的数据开发模式，极大降低数据错误机率、再修改难度、数据开发人员的技能要求和企业运维实施成本。

平台具备强大的SQL语法解析能力，一键实现脚本、图形互转，清晰展现数据加工逻辑。脚本在平台的显像化呈现，运行调试的明细化处理，实现脚本规范的双向管控，确保数据问题零产生、数据错误零出现。

开发流程规整清晰，业务逻辑便于维护。

传统用脚本完成数据开发的模式，当需要对开发逻辑进行维护修改时可谓困难重重，由于脚本编写时间跨度大、可读性差，组合应用脚本众多、梳理繁杂，脚本功能升级覆盖影响广等，导致开发人员无从下手、不敢下手。

DIG数据慧治通过图形化流程节点封装，让数据开发流程节点功能明确、流程用途清晰，数据开发人员在明确业务需求后便可直接通过拖、拉、拽免编程的方式直接更改现有流程逻辑，流程脚本随之变动，极大地节省了研究先前脚本、手动编码更改所浪费的大量人力时间、维护成本等。

执行有序。传统任务调度执行方式通常是由数据开发人员依据自身经验手工设定的，任务执行顺序不合理、资源调用分配混乱、任务完成效率低下、执行进程无法控制等问题的出现进入常态化。

DIG数据慧治平台自动有序的加工调度方式彻底消除事件孤立性，打破原始人工手动配置瓶颈，自动化实现任务进程归属。依据平台设置的执行方案，执行任务一经发布，环节归属自动划分、自动定位、有序执行，进程控制一步到位。

稽核嵌入。稽核规则可视化配置，稽核任务自动化执行，稽核节点嵌入工作流，质检工作同步进行，问题处理工单自动推送。切实做到节节把控，节节治理，问题数据不滞留，纯净数据全畅通。

三、事后治理

运维监控，追流溯源；自动筛查，智能治理。

采集加工、数据迁移、调度执行等全环节全流程全方位实现运维监控。血缘关系清晰呈现，治理环节全程追溯，变更影响即时评估，版本信息留存细致。表级、字段级、流程级的血缘关系自动解析，数据加工问题精准定位。数据地图全自动化筛查，对于跨层加工数据、无效加工数据，依据前期规范提供智能化治理方案，全面确保数据纯净。

“事前+事中+事后治理”理念实现一站式全链路数据的轻松管控，重于事前、事中的治理方式让数据问题从源头开始无处遁形，在数据全生命周期随时随处环环治理。

作为自主研发实现新一代大数据中心（数据湖）数据模型标准化、数据关系脉络化、数据加工可视化、数据质量度量化、数据资产显像化、数据服务自动化、数据安全可控化等要求的一体化平台。

DIG数据慧治平台筚路蓝缕，持续深耕，以理念为旗，以实干为桨，在数据治理的蓝海之中，必将更加潜心钻研治理之道，夯实优势聚焦争先，多方位拓展新布局。

数据慧治一站式全链路数据管控治理流程全简析

数据治理大数据 dig

文章转载自东方国信大数据，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

数据慧治 | 东方国信DIG数据慧治平台的数据治理之道

评论