暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

数据建模和数据治理的关系

Datablau 2017-11-01
1445

首先先明确一下几个定义:


什么是数据治理?

数据治理是对数据和数据相关资源管理。


什么是数据管理?

数据管理是管理数据和数据相关资源的责任的规范化。


什么是数据建模?

数据建模是通过定义和分析数据需求,以支持信息系统内的业务流程。数据建模过程需要专业的建模人员,业务人员以及潜在信息系统的用户紧密工作在一起。数据建模是认识数据的过程,数据模型是数据建模的输出模型有很多种,例如企业数据模型,物理模型,逻辑模型,业务模型,数据使用模型等等。


在这些模型中有哪些共同点?

所有的模型都需要有

  1. 数据的定义

  2. 数据定义元数据的集合

  3. 数据的展示

  4. 数据相关的规则


为了产出有用的模型,需要模型负责人在正确的时间引入正确的人参与设计。

数据治理也需要做到,在恰当的时间找到正确的人并以恰当的方式使其参与,使用准确的数据,来做出正确的决定,至少在大部分时候应该是这样。

 

那么数据建模是不是数据治理?

说数据建模是数据治理的理由有:

  1. 数据建模中数据定义和数据结构是属于被治理的

  2. 数据建模需要业务负责人参与

  3. 数据建模是整个数据管理计划中的一个环节


说数据建模不是数据治理的理由有:

  1. 数据建模着重关心数据定义,而数据治理关心的是数据记录的质量。

  2. 数据建模和数据治理是完全不同的门类

  3. 数据建模不能直接用于治理数据


数据建模应该是数据治理的一个方法。

数据治理主要分为三个方面来治理数据,分别是定义数据的治理,生产数据的治理和使用数据的治理。


先来讨论一下定义数据的治理,先回答几个简单的问题。你们组织是否使用建模来定义数据?有没有可以用来遵从的流程来定义数据? 有没有包含与客户验证的步骤? 是否所有的步骤都被遵守了?


数据定义的最佳实践包括了

  1. 让正确的人参与

  2. 记录正确的数据的属性

  3. 在不同的理解和意见上达成统一


所以在这些点上,数据定义与数据建模是有关的。接下来是生产数据的治理。数据只能按照数据的定义生产出来, 而且数据生产需要满足数据定义中的需求,通过派生,计算,匹配,排序和聚合生产出来,并且要保证数据生产者明白数据是如何被使用的。


那么生产数据和数据建模的关系有: 被管理的建模过的数据能提高数据质量。高质量的定义能帮助产生更有意义的数据。


使用数据的治理, 目的是减少风险和易于管理,包括保护敏感数据, 遵从各项规章和制度,以及提高数据价值,能帮助在做出决定以及帮助数据分析师解读数据。


数据使用和数据建模的关系有: 帮助用户了解哪些数据是可用的, 帮助用户理解数据本身,以及提高用户对质量要求的了解。

 

数据建模能加深从业务层面对数据的理解

每个人都是数据管家

数据定义管家,可以通过数据建模提高数据定义的质量。数据定义管家包括了数据架构师,数据建模师,数据所有人,数据整合人,项目经理,业务分析师等等……


数据生产管家, 可以通过数据建模提高数据生产的质量。数据生产管家包括了系统整合人,系统整合人,请求数据的人,超级用户等等……


数据使用管家,可以通过数据建模提高数据使用的质量。数据使用管家包括了报表作者,报表分析师,超级用户,数据科学家,以及任何在他们工作中使用数据的人。

 

为什么数据模型是数据治理的一个关键部分?

因为数据模型能记录系统中数据的定义,能通过正向工程把设计导入数据库,而且是数据字典,业务词汇表,元数据仓库工具和数据治理工具最为关键的元数据来源。

 

同时,也可以把数据模型作为一个交流的工具。在要不要共享数据模型这个问题上,大家各有意见。认为应该展示数据模型的理由有:包含了有价值的定义了的元数据,包含了有价值的元数据之间的关系,包含引用有效值的元数据。认为不应该展示数据模型的理由有:业务系统对此并不感兴趣, 模型太大以至于不好理解(最主要的原因)以及只对元数据感兴趣但是对模型本身没有兴趣。但是我们可以妥协一下,用模型和建模过程来收集元数据,共享有价值的定义元数据, 共享有价值的关系元数据, 共享有价值的业务规则元数据, 共享引用和有效值的元数据。

 

把数据建模作为数据治理的一个核心服务

 

数据治理部门能对组织提供哪些能力?

  1. 定义数据的服务, 包括执行组织定义数据的规则,为数据定义提供业务需求, 提供数据定义开发技能以及提供数据定义工具,包括数据模型,数据词典,业务词汇表和元数据仓库等

  2. 生产数据的服务, 包括贯彻数据生产的规则, 为数据生产提供业务需求, 提供数据生产开发技能, 以及提供数据开发工具,包括数据模型,数据词典,业务词汇表,元数据仓库,数据移动工具等。

  3. 使用数据的服务, 包括贯彻使用数据的规则,为数据使用提供业务需求,提供数据使用的开发技能,提供数据使用工具,包括数据模型,数据词典,业务词汇表,元数据仓库,数据分类和处理规则等。

 

把数据建模当作一门艺术。良好定义的数据模型对于使用它们的终端用户是通俗易懂的,而且美观是很重要的(但是经常被忽略)。


把数据建模单做一门科学。 数据语义和基本数据模型都可以算是“本体论”(本体论是希腊哲学关于研究“什么存在”的分支),语义和基本模型严格描述了系统中存在哪些数据。

 

对于各个角色,数据建模人,需要是一个调解人的角色,需要理解业务和懂技术。数据管家,需要是数据定义者,数据域管理员和主题专家。


数据建模人需要的技能有:协调, 商务联络以及建模能力。


数据建模的最佳实践包括:倾听业务部门, 理解各种术语,并能提供一个清晰的图像让各方都能理解。

 


更多精彩好文关注DatabaluTech公众号 与您分享


文章转载自Datablau,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论