暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

企业级一体化数据建模实战

Datablau 2021-02-01
788


近日来,《华为数据之道》出版后,得到数据管理界强烈反响,Datablau作为华为的数据治理上的合作伙伴,本人也有幸参与了实际治理工作,亲身体验到了这个宏伟数据工程的构建过程。在Datablau的客户群体中,还有相似的治理思路和落地实践,取得了不错的进展和成果,本文进行归纳总结,以期与各位读者学习探讨。

在我们进行数据资产的治理项目中,会遇到一些痛点问题,如在大量存量系统库中,哪些数据是业务关心的数据,这些数据是谁来负责的,数据质量和标准如何等等,而更难的问题是谁可以对这些数据进行治理,哪些数据是权威来源,系统间的数据流向如何等。
这些问题其实在一般性的数据治理方案和常见的数据资产盘点项目中,也尝试去解决,但是已经很难做到细致和准确了,这根本原因是数据治理的体制性缺失问题。
今天的数据治理犹如ERP当年所面临的问题,需要一个系统化的,体制化的解决方案。这就是本文今天引入一体化建模方案的原因。本文主要从顶层设计到方法,从工具选择到制度设计的四个方面来介绍。

01


“道”



构建企业级信息架构,通过对数据多维信息关联,形成正向的业务流 / 数据流 / 管理流的贯通。
道者人所行,数据治理的方法论发展很多年了,然而选择什么道路,需要决策者的理想和勇气,也需要踏实做好基层调查。对于有业务架构基础的企业,可以从4A信息架构开始,通过上层组织架构到基层人员认责机制,从数据管理平台到数据建模工具的可交互操作软件体系,从源端TP到数据湖AP的横向数据链打通,形成一个可落地和持久运行的综合数据治理框架,并作为企业管理制度由各个角色运行起来,这是一个很有意义的数据治理的探索。


(引自《华为数据之道》)

企业架构(EA)在国内的实践并不多,一般在制造业更加常见,对企业优化信息架构起到恨到作用,不过也受到从上到下落地困难,基层遵从度不好量化管理等难题困扰,这导致企业架构在基层推进面临一些困难。
本案的创新和突破点在于整合信息架构和数据治理的基本要素,通过组织角色和流程,把这些架构师设计的上层概念,变成基层人员可以理解的基础属性,通过标准化的工具贯彻下去,解决了上下脱节的根本问题,让企业架构在数据治理中起到了业务、组织和数据的双重‘罗盘‘的作用,是制度落地的根本。
信息架构的落地过程中,主要是数据架构的各个方面,重点从数据资产的角度,形成数据资产目录,数据模型,数据表标准和数据分布四个方向。这需要分解一些普通工作者可以理解和执行的操作步骤和工作方法,才能推行起来。

02


“术”



通过对业务流程,数据架构,数据标准,管理规则的贯穿,连接业务和IT组织,具备一体多维连接企业信息的能力,解决信息架构与IT开发“两张皮“的问题。
得道易,行道有术更难,数据治理更是一个实践工程。我们需要认识到业务侧的数据主要来自于交易类(TP)系统,企业主要的业务流程和数据都产生于此,是数据价值链的上游。数据治理要做好,必须做好源头的治理。在信息更新迭代的今天,尤其是一些大型企业而言,使用项目制的方式去做数据治理基本是不可行的,形成制度,全价值链参与,进而形成文化,是唯一可行的路径。
基于此,需要制定开发团队的建模规范,从数据模型的设计期就着手进行数据的治理工作,其内容主要包括:
  • 物理模型与逻辑模型的一体化,传统的建模过程是先逻辑模型后物理模型,然而对于开发团队来说,更直接的是物理模型中剥离逻辑模型,这样避免技术人员的管理负担,而数据资产一侧同样获得业务信息。
  • 开发团队构建数据标准,与常规不同,由开发团队进行自下而上的标准构建工作,更加适合一个超大型的非数字原生企业。标准提出来后,有管理团队进行验证和定义,形成了一个生态型的标准产生环境。
  • 实体与信息架构的打通,通过业务信息项,实体与数据架构进行对齐。
  • 实体与数据认责和数据安全打通,通过业务信息项,完成相关信息的认定和填写。
  • 实体的资产注册和自动入湖,到了这一步,已经完成了数据资产的事前盘点和自动入湖的准备工作,那么物理化和虚拟化入湖的工作就有据可依。

(引自《华为数据之道》)
通过上述规范的落地,可以使数据架构和数据基层治理结合起来,在组织形式上走群众路线,从群众中来,到群众中去。这就要求我们的数据治理需要基层开发团队来配合实施,同时又可以有利于开发团队的工作便利,而不是他们的负担。这就需要一款合适的工具,它可以帮助到开发团队进行数据设计,过程副产品是治理落地,而这正是DDM的核心理念。

03


“器”



通过使用DDM的模型工具,完成业务流程与管理要求在模型中落地,将业务信息,管理信息落实到每一个表和字段中。
“道器之辨”和“体用之争”已经休矣,重道轻器之害已经是百年的教训。如今的数据治理行业,特别需要能够将其落地的利器。2018年以来,Datablau的模型工具就以“事前”数据治理理念和实践闻名,肩负着将数据治理的工作落地到基层的重任。通过模型中的主题域概念和ER图表示数据级联关系,实现了数据资产的主题和业务对象对应,方便逻辑实体和属性的对应,实现了比较全面事前管理,同时方便进行可视化业务评审,这都是简单表格所不能达到的。

DDM是一款面向企业级数据治理的工具,由企业级的数据规范,模型规范,数据标准,业务元数据模型等,共同构成了企业级的数据建模,这天然与数据治理的理念契合。

  • 统一管理企业的业务元数据模型,一键下发,方便灵活。

  • 统一的业务流程和架构体系,实体与业务架构打通,建模不再是局限于一个应3、用,有一个业务架构的罗盘,把数据放到应该放的地方去。

  • 统一的安全体系和认责体系,由最懂数据的人进行安全评估,最懂业务的人进5、行认责。

  • 统一的数据标准,数据标准可以自上而下建立,而对于积累不多的行业,可以上下结合,走群众路线,让标准来于模型设计者,服务于模型设计者。

  • 漂亮的ER图,ER图就是数据的业务视图。当你看到一个五颜六色的燕翅阵,鱼骨阵等模式的ER图,你就可以一眼读懂业务逻辑,这是业务关注的,也是领导关注的。


题外话,ER图过时了吗,其实到目前为止,ER仍是业务和数据最佳中间表达方式,SQL仍然是人机最佳结合点,二维仍然是人眼最容易识别的信息形式。

有人问数据建模和数据资产梳理是什么关系,其实数据资产梳理是一种通俗化的数据建模,数据建模是专业形式的数据资产梳理,数据建模通常是事前阶段的数据资产梳理,二者在数据资产的管理维度里边可以统一。


04


“法”



将数据认责制度落地为‘模型管理员’,通过模型评审制度,绩效排名等方式,将每个人的治理工作做到量化评估,起到鼓励先进,督促后进的作用。
无法不成军,组织要保证数据治理工作的基层落地,必须有相应的制度。管理学的教条No Measurment,No Management,这告诉我们制度执行结果必须可以衡量,可衡量才可以管理,我们可以通过如下方式进行落地。


1

“模型管理员”制度


每个项目组一个全职或兼职的角色,对数据模型的执行和质量情况负责,是数据治理战略冲在最前线的士兵。

2

自动化模型质量评估


这是一个基于规则的评估应用,通过计算评估可以发现模型的业务语义缺失问题,业务项填写不规范等情况,给出客观的质量报告。

3

线下评审会


主要有业务条线领导,数据架构师参见,主要是评估模型设计质量,数据架构遵从度,业务表达是否合理等。

4

模型规范制度


为了使模型通俗易懂,发布了模型的通用词典,ER图颜色规范,ER图布局规范等。

5

模型量化统计报告


由模型管理员进行日活统计,个人设计实体数量,标准应用统计等,评估模型设计的活跃度情况。

评 析




至此本文主要的实战和方案介绍完毕,那么读者您可能会有如下的问题,我先提前给您做个解答。
一个问题是:此方案虽好,是否适合我们企业呢?有这个问题的读者是对自己组织执行力的担心,首先这个方法论适合所有企业的,特别适合有决心形成数据文化体制的企业。数据生产同样会走类似从“小农生产”到“社会化生产”跨越,建行和华为的实践核心思想都是如此。哪些企业能够尽早建立此体制,哪些就能走到行业前列。其次可以量体裁衣,只要大方向是对的,就会有所成效。
另一个问题是:我们企业并没有业务架构积累,怎么办?企业架构是专业的领域,在本文中起到业务地图的作用,从这个角度说,也并不需要专门做业务架构,只需要做专业一些的业务地图就可以了,而这个是今天做业务侧数据治理的必备工作。


好了,总结一下,我们如何理解“一体化“的含义呢,我的理解总结一下主要是两个方面:

1、纵向上主要打通了从业务信息到元数据的贯通,通俗的说就是数据可以附加多维业务信息,更方便人们发现和理解数据。

2、横向上主要是从源头数据资产的规范和定义,形成有序入湖的管理模式。


希望本文对您有所启发,偏颇之处欢迎指正。祝君在您的企业早日建立面向数据的运营体制,新的一年里在数据方向上大展宏图!


Reference

《华为数据之道》丛书

《DAMA数据管理知识体系指南(第2版)》

《企业级业务架构设计:方法论与实践》


关于Datablau

Datablau创建于2016年,核心创始和研发团队全部来自于原CA erwin,天然具有世界级产品厂商的血缘和水准,是国内数据治理的第一品牌。依托多年的行业积累和技术沉淀,Datablau在产品设计层面充分发挥了后天优势,实现了集数据建模、数据目录、数据质量和数据准备为一体的企业级数据治理平台,全面满足企业对于数据治理的客观需求。

目前Datablau在建设银行、华为、中信集团、嘉实基金、中国人寿、国电大渡河、四川航空等大型客户得到实际应用并深受好评,客户范围已经覆盖到银行、保险、制造业和能源行业等核心领域,Datablau已成为企业数据治理领域的领导厂商。


原创文章作者

朱金宝  CTO

目前供职于北京数语科技有限公司,实施了多家大型企事业单位的数据治理项目,有丰富的企业数据管理工具开发经验。前ERwin总架构师,10年ERwin研发经验,负责产品全生命周期的发布,丰富产品发布和架构设计经验,多个大数据建模专利所有者和技术文章作者。

延伸阅读

启动数据治理必不可少的十一件事

面向数据中台的数据治理(上)

数据血缘的那些事儿

论企业数据治理的价值输出-数据资产目录(上)

论企业数据治理的价值输出-数据资产目录(下)

基础数据标准落标白皮书

文章转载自Datablau,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论