数据资产管理平台体系拆解:DAMP系统分解

以数据之名 2022-03-20

346

阅读本文需要8分钟，以数据之名，践资产之行。

1 、以数据之名简介

微信公众号、今日头条知乎和稀土掘金，主体均为“以数据之名”；
欢迎扫码关注，回复「666」加入“以数据之名”微信交流群；
本文主要介绍数据资产管理平台体系拆解（2）：DAMP服务分解

2 、DAMP 数据资产架构体系

2.1 数据资产实施步骤

2.2 数据资产体系系统分解

DAMP系统分解是数据资产管理平台的基本管理单元模块。DAMP包括数据模型管理、元数据管理、主数据管理、数据标准管理、数据质量管理等多个服务子系统，覆盖数据资源化、数据资产化两个阶段。本章参考PDCA方法，从计划、执行、检查、改进四个环节着手，阐述数据资产管理平台的活动职能的核心理念与实践要点。

2.3 数据资产体系系统组织架构

2.4 数据资产体系系统功能架构

3 、DAMP 数据模型管理

数据模型是指现实世界数据特征的抽象，用于描述一组数据的概念和定义。数据模型管理是指在信息系统设计时，参考逻辑模型，使用标准化用语、单词等数据要素设计数据模型，并在信息系统建设和运行维护过程中，严格按照数据模型管理制度，审核和管理新建和存量的数据模型。

采用企业架构指导建立企业级数据模型，并采用一体化建模的方法，是提升数据模型业务指导性和模型质量的有效方式。例如，华为成立了EAC（企业架构委员会），参考企业架构设计了企业级数据模型（包括主题域数据模型、概念数据模型、逻辑数据模型），较好的描述和展示了业务流程与业务关系，同时，在一定时间内企业级数据模型保持稳定性，有效指导了新业务的方向探索与IT建设。此外，通过引入一体化建模的方法，从技术和机制上支持企业级数据模型与IT开发的协同，使物理数据模型与逻辑数据模型保持一致，要求物理数据模型的实体属性来自于数据标准池，并通过元数据对该开发过程进行记录与监控，提升了数据模型的一致性、规范性、可控性。

数据模型管理的关键活动包括如下步骤：

3.1 数据模型计划

确认数据模型管理的相关利益方；采集、定义和分析组织级数据模型需求；确定遵循数据模型标准与要求，设计企业级数据模型（包括主题域数据模型、概念数据模型、逻辑数据模型）；

3.2 数据模型执行

参考逻辑数据模型开发物理数据模型，保留开发过程记录；根据数据模型评审准则与测试结果，由数据模型管理的参与方进行模型评审，评审无异议后发布并上线模型；

3.3 数据模型检查

确定数据模型检查标准，定期开展数据模型检查，以确保数据模型与组织级业务架构、数据架构、IT架构的一致性；保留数据模型检查结果，建立数据模型检查基线；

3.4 数据模型改进

根据数据模型检查结果，召集数据模型管理的相关利益方，明确数据模型优化方案；持续改进数据模型设计方法、模型架构、开发技术、管理流程、维护机制等。

4 、DAMP 元数据管理

4.1 元数据管理概述

元数据（Metadata）是指描述数据的数据。元数据管理（Meta Data Management）是数据资产管理的重要基础，是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。

元数据贯穿数据资产管理的全流程，是支撑数据资源化和数据资产化的核心。

首先，元数据从业务视角和管理视角出发，通过定义业务元数据和管理元数据，增强了业务人员和管理人员对于数据的理解与认识。

其次，技术元数据通过自动从数据仓库、大数据平台、ETL中解析存储和流转过程，追踪和记录数据血缘关系（图数据库具有良好的展示实体关联关系的特性，可以效提升元数据血缘关系的存储和分析效率），及时发现数据模型变更的影响，有效识别变更的潜在风险。

最后，元数据可作为自动化维护数据资产目录、数据服务目录的有效工具。

4.2 元数据管理的关键活动

元数据管理计划：明确元数据管理相关参与方，采集元数据管理需求；确定元数据类型、范围、属性，设计元数据架构，技术元数据与数据模型、主数据、数据开发相关架构一致；制定元数据规范；
元数据管理执行：依托元数据管理平台，采集和存储元数据；可视化数据血缘；应用元数据，包括非结构化数据建模、自动维护数据资产目录等；
元数据管理检查：元数据质量检查与治理；元数据治理执行过程规范性检查与技术运维；保留元数据检查结果，建立元数据检查基线；
元数据管理改进：根据元数据检查结果，召集相关利益方，明确元数据优化方案；制定改进计划，持续改进元数据管理的方法、架构、技术与应用等内容。

5 、DAMP 主数据管理

5.1 主数据概述

主数据（Master Data）是指用来描述企业核心业务实体的数据，是跨越各个业务部门和系统的、高价值的基础数据。主数据管理（MDM ，Master Data Management）是一系列规则、应用和技术，用以协调和管理与企业的核心业务实体相关的系统记录数据。

5.2 主数据管理的关键活动

主数据管理计划：依据企业级数据模型，明确主数据的业务范围、唯一来源系统与识别原则；定义主数据的数据模型（或主辅数据源分布）、数据标准、数据质量、数据安全等要求或规则，并明确以上各方面与组织全面数据资产管理的关系；
主数据管理执行：依托平台工具，实现核心系统与主数据存储库数据同步共享；

主数据管理检查：对主数据质量进行检查，保证主数据的一致性、唯一性；记录主数据检查的问题；
主数据管理改进：总结主数据管理问题，制定主数据管理提升方案，持续改进主数据质量及管理效率。

5.3 主数据管理价值

由于主数据具有数据价值高、稳定性强、数量少但影响范围广等特点，有“黄金数据”之称，因此将主数据管理作为数据资产管理的切入点，可以起到“牵一发而动全身”的作用。例如，浦发银行将主数据一致性及标准化专项治理作为数据资产管理突破点，为打通行内横向业务链和纵向管控奠定数据基础。

首先，识别业务领域的关键数据作为主数据管理范围，涵盖客户、员工、机构、借据、存单、票据、押品等主题的主数据信息项。
其次，明确主数据系统及责任部门，建立主从关系矩阵（MSL，Master Slave Linkage），明确包括主从属性、同步方式、同步时间、调研系统涉及表及字段等信息，作为梳理全行数据资产目录的入口。
最后，按照先主数据系统后周边系统、先增量后存量的方式，逐个推进周边系统与主数据系统信息项的一致性及标准化治理。

5.4 主数据管理实施流程

6 、DAMP 数据质量管理

6.1 数据质量管理概述

数据质量指在特定的业务环境下，数据满足业务运行、管理与决策的程度，是保证数据应用效果的基础。数据质量管理是指运用相关技术来衡量、提高和确保数据质量的规划、实施与控制等一系列活动。衡量数据质量的指标体系包括完整性、规范性、一致性、准确性、唯一性、及时性等。

数据质量管理遵循源头治理、闭环管理的原则。源头治理方面，主要是指采用“数据开发管理一体化”的理念，在新建业务或IT系统过程中，明确数据标准或质量规则，并与数据生产方和数据使用方确认，常见于对于数据时效性要求不高或核心业务增量数据等场景。闭环管理方面，主要是指形成覆盖数据质量需求、问题发现、问题检查、问题整改的良性闭环，对数据采集、流转、加工、使用全流程进行质量校验管控，持续根据业务部门数据质量需求优化质量管理方案、调整质量规则库，构建数据质量和管理过程的度量指标体系，不断改进数据质量管理策略。

6.2 数据质量管理关键活动

数据质量管理计划：确定数据质量管理相关负责人，明确数据质量的内部需求与外部要求；参考数据标准体系，定义数据质量规则库，构建数据质量评价指标体系；制定数据质量管理策略和管理计划；
数据质量管理执行：依托平台工具，管理数据质量内外部要求、规则库、评价指标体系等；确定数据质量管理的业务、项目、数据范畴，开展数据质量稽核和数据质量差异化管理；
数据质量管理检查/分析：记录数据质量稽核结果，分析问题数据产生原因，确定数据质量责任人，出具质量评估报告和整改建议；持续测量全流程数据质量，监控数据质量管理操作程序和绩效；确定与评估数据质量服务水平；
数据质量管理改进：建立数据质量管理知识库，完善数据质量管理流程，提升数据质量管理效率；确定数据质量服务水平，持续优化数据质量管理策略。

6.3 数据质量全流程管控方案

建立闭环的数据质量管理机制，通过从技术和管理两方面着手，最终建立组织级数据全流程质量管控。要求公司在需求开发过程中，与源系统及需求部门建立协同管理机制，实现在设计、开发、测试、上线等端到端全流程环节的数据质量稽核。同时，定期对数据质量进行全面评估，形成问题通报机制，并定期总结数据质量历史问题，形成案例库。

7 、DAMP 数据标准管理

7.1 数据标准管理概述

数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。数据标准管理的目标是通过制定和发布由数据利益相关方确认的数据标准，结合制度约束、过程管控、技术工具等手段，推动数据的标准化，进一步提升数据质量。

7.2 数据标准管理关键活动

数据标准管理计划：确定数据标准管理相关负责人与参与人，开展数据标准需求采集与现状调研，构建组织级数据标准分类框架；制定并发布数据标准管理规划与实施路线；
数据标准管理执行：在数据标准分类框架的基础上，定义数据标准；依据数据资产管理认责体系，组织相关人员进行数据标准评审并发布；依托平台工具，应用数据标准（包括数据模型设计与开发、数据质量稽核等）；

数据标准管理检查：对数据标准的适用性、全面性进行及时检查；依托平台工具，检查并记录数据标准应用程度；
数据标准管理改进：通过制定数据标准维护与优化的路线图，遵循数据标准管理工作的组织结构与策略流程，各参与方共同配合进行数据标准维护与管理过程优化。

7.3 数据标准管理实施策略

推动数据标准应用于数据模型管理、数据质量管理，提升数据标准管理效果。

以新建系统或重构系统为契机，实施数据标准的“强管控”，基于数据建模工具打通IT开发需求与数据标准，要求IT人员应用统一建模工具实施开发，推动数据标准有效落地；
以数据标准管理促进数据质量提升，基于数据标准编制数据质量规则，聚焦关键业务领域与关键质量问题，并对数据标准应用情况进行持续监控。

8 、DAMP 数据开发管理

8.1 数据开发管理概述

数据开发是指将原始数据加工为数据资产的各类处理过程。数据开发管理是指通过建立开发管理规范与管理机制，面向数据、程序、任务等处理对象，对开发过程和质量进行监控与管控，使数据资产管理的开发逻辑清晰化、开发过程标准化，增强开发任务的复用性，提升开发的效率。

8.2 数据开发管理关键活动

数据开发管理计划：制定数据集成、开发、运维规范；
数据开发管理执行：建设集成了数据集成、程序开发、程序测试、任务调度、任务运维等能力的一体化数据开发工具；根据数据集成规范，进行逻辑或物理的数据集成；根据数据使用方的需求，进行数据开发；

数据开发管理检查：监控数据处理任务的运行情况，并及时处理各类异常；
数据开发管理改进：定期进行数据集成、开发、运维工作复盘，并以此为基础，对相关规范进行持续迭代。

8.3 数据开发管理研发流程

依托统一数据开发平台，从技术侧和管理侧提升数据开发管理效率。例如，XX银行搭建了大数据开发工作站和研发与测试管理系统，对数据开发过程进行效率管控。大数据开发工作站创造了生产工作区，与常规生产运行资源、数据资源等解耦隔离，构建端到端的数据服务流水线。数据需求的平均研发周期大幅缩短，数据需求响应效率显著提升。

9 、DAMP 数据资产价值评估

9.1 数据资产价值评估概述

狭义的数据价值是指数据的经济效益，广义的数据价值是在经济效益之外，考虑数据的业务效益、成本计量等因素，我们聚焦于广义的数据价值。数据价值评估是指通过构建价值评估体系，计量数据的经济效益、业务效益、投入成本等活动。数据价值评估是数据资产管理的关键环节，是数据资产化的价值基线。目前，国内外相关标准化组织、财会领域组织、技术咨询服务企业均从多个视角开展积极探索研究，相关研究成果见表 2。