关于数据资产的一些思考（下）——读DAMA-DMBOK有感

传统市场销售的商品定价有很多策略、模型或方法，最常见的定价方法有成本导向、需求导向和竞争导向三种，综合成本、需求与竞争三个因素确定最终价格。不同组织投入同样的资金，产出千差万别、不同质量的数据，这些数据的价值潜能不可能一样。很显然，这些方法都不适合数据类商品交易。尤其是，很多组织的数据是业务流程处理的副产品，并不是为销售数据而生产的数据，其成本已计入日常经营管理活动中。还有一些零金额中标的项目，财务上没有数据成本。国内一些数据交易所采用协议定价、拍卖定价、集合竞价三种定价模式，与证券发行定价有相似之处。

数据资产估值考量因素

在DAMA-DMBOK中，数据资产估值的相关考量除了数据的不可替代性、数据生命周期成本、数据的使用价值之外，还有替换成本、市场价值、风险成本、已识别的机会、数据出售等因素。每个组织的数据都不可替代，数据生命周期活动都有成本，数据为支持业务与使用价值而生，这些不必赘述。

替换成本是在灾难或数据中断时，数据替换或恢复的成本。比如地震灾害或机房事故中造成的数据毁坏。某些数据可能容易替换恢复，某些数据可能无法挽回，很多问题不是金钱与技术所能解决。这种替换成本，也仅是内部估值，没有外部可比性。

市场价值是在合并或收购时作为企业资产的价值。这与新会计准则第20号《企业合并》中规定的商誉价值定义相似：“购买方对合并成本大于合并中取得被购买方可辨认净资产公允价值份额的差额应当确认为商誉。”。这种价值仅在合并或收购场景中才有参考意义。

已识别的机会：通过使用数据进行交易或出售数据，可以从数据（商务智能）已识别的机会中获得的收入价值。可以说这是数据使用价值中已经看到的明确的机会，可见的预期收益。

出售数据：将数据打包为产品出售，或出售从其数据中获得的洞察，如分析报告等，这是目前国内数据交易的主要内容。

风险成本：基于潜在的罚款、补救成本和诉讼费用的评估，该评估源自法律或监管风险，如：监管需要的数据不完整，出现不应该出现的数据，数据不正确，数据不一致，关键数据泄漏造成的风险等。

数据生命周期成本相对容易估算，其次是风险成本，数据的不可替代性价值最难估。即数据的成本相对容易估算，可以根据既往的历史数据来粗略估算总的成本。市场价值、出售数据与预期的机会等都需要有得到认可的参考案例。即使数据生命周期成本最易估算，也需要厘清、累积与分摊数据的历史成本。最难估算，并不是说其价值无穷，可以尝试寻找合适的数学模型，考虑不同置信度下的估值。

风险管理不会带来直接收益，但不可或缺。风险一旦发生，可能造成不可估量的经济损失，成本-收益-风险是一个三角形关系。风险随着数据使用的增加而增加，减少或降低风险只有两项选择：减少使用或增加防范风险的成本。从投资的角度，高风险高收益，低风险低收益，面对监管，不能从纯粹的投资收益率来做决策。

数据价值的层次

数据因为其丰富的内涵而不可替代，不可替代性、数据的使用价值、数据生命周期成本构成了数据自身固有的价值与成本，降低成本，即相当于增加了收益，不妨统一为内在固有价值（预期可能收益-成本）。数据的使用价值首先产出业务价值，把市场价值与数据出售这些外部市场认可的价值归纳为数据的市场价值。已识别的机会可能产生业务价值与经济价值，也可能演变发展为可销售的市场价值。因此，可以把数据的价值由内而外划分为：内在固有价值、业务价值、经济价值，最后为市场价值，四个层次，当然并不是说数据的市场价值是数据价值的最高层次。业务价值、经济价值、市场价值都是数据内在固有价值的潜在价值。

从数据固有价值到经济价值是一个逐步转化的过程，不是所有的数据固有价值都能转化为业务价值，也不是所有的业务价值都可以转化为经济价值与市场价值。数据首先为支撑业务为业务价值而生。组织为客户提供业务服务，业务因组织而不同，营利性组织的业务服务最终是为转化为经济价值或市场价值，如果非营利性组织的业务服务是为了经济与市场价值则背离了初心。数据支撑业务，业务带来经济价值，但不能得出经济价值全部是由数据所带来的结论，需要依靠人与资金的共同支撑才能发挥出来。数据价值不能完全用转化为经济与市场的价值来考量，还要考虑社会价值、风险价值。

不同行业业务内涵千差万别，不可能用一致的定量的价值标准来衡量。可以做同业比较，比如两家银行开展的业务范围、客户群差异等。数据固有价值的一个表现为数据质量，低质量数据代表成本和风险，数据质量的衡量可以与其自身历史比较，比如历史上数据质量的变化。也可以在不同业务系统之间比较，比如来自不同业务系统的客户信息的完整性、时效性、准确性，来自不同业务源系统的账务信息的准确性等。

数据资产的价值源自其最基础的内在固有价值，为有效地管理数据资产，先从数据生命周期管理开始，从数据生命起点提升数据的内在固有价值，在此基础上，进一步将财务价值与数据关联，从财务角度理解资产，做出科学一致的决策。 

DAMA-DMBOK2.0数据管理的定义是：在数据和信息资产生命周期内，对交付、控制、保护和提高数据和信息资产的价值的规划、政策、项目和实践的开发、执行和监督。这句话拆分开来理解有三层意思：1）首先，管理数据全生命周期；2）其次，为交付、控制、保护和提高数据和信息资产的价值，需要规划、政策，启动相关的项目和实践执行这些规划与政策；3）数据管理的任务是开发、执行和监督这些规划、政策、项目和实践。

数据管理的目标

数据管理的主要驱动力是使组织能够从其数据资产中获取价值，就像对财务和实物资产的有效管理使组织能够从这些资产中获取价值一样。数据管理的直接驱动因素包括合规与业务两个方面，一些行业监管部门提出了明确的数据管理方面的合规要求。

DAMA-DMBOK数据管理明确了以下战略目标:

1) 理解并支持企业及其利益相关者的信息需求，主要由数据治理与数据架构等知识领域来支持。

2) 捕获、存储、保护数据并确保数据资产的完整性，主要由数据治理、数据架构、数据建模和设计、数据存储和操作等知识领域来保证。

3) 确保数据和信息的质量，主要由数据治理、数据架构、参考数据与主数据、元数据、数据质量等知识领域来保证。

4) 确保利益相关者数据的隐私性和机密性，主要由数据治理、数据架构、元数据、数据安全等知识领域来支持。

5) 防止未经授权或不当访问、操纵或使用数据和信息，相关知识领域包括数据治理、数据架构、元数据、数据安全等。

6) 确保可以有效地使用数据为企业增值，与所有知识领域相关。

相比第一版删除了非战略目标，如果达到了以上这些战略目标，控制数据管理成本、保证跨组织管理信息的一致性、提升对数据资产价值的更广更深的理解等这些非战略目标自然就实现了。

数据管理的对象

与管理传统资产一样，我们首先要理清楚数据管理的对象是什么以及拥有哪些数据资产，不但要分析可用数据资产可以做什么，以如何更好地使用数据资产来实现目标，还要分析哪些资产出了状况，可能造成哪些影响。

管理数据首先从对所管理的对象进行分类开始，许多数据管理工具大都集中在分类和控制方面。数据有多种分类方法，可以按数据类型、数据业务内容或按格式或数据所需保护级别，甚至按数据的存储或访问方式和位置进行分类。其中数据的格式、保护级别、存储或访问方式和位置这些分类大多是物理概念，没有体现业务本质与要求。按数据业务内容分类太个性化，不具备各行业通用性，需要进一步抽象。因此在管理数据时一般按照数据类型分为交易数据、参考数据、主数据以及关于这些数据的元数据(DAMA-DMBOK等)。不同类型的数据具有不同的生命周期管理要求，例如主数据与交易数据的用途不同，管理要求也不同。有些机构把数据分为元数据、主数据和业务数据，不知这种分类的逻辑是什么？有些主数据也是业务数据，业务数据一般包括业务主数据与交易数据等。在DAMA-DMBOK中，管理对象还包括文档与内容这些非结构化数据。

元数据是关于数据的数据，帮助理解数据、系统和工作流程，有助于处理、维护、集成、保护、审核和管理其他数据，最终需要管理的对象是日常运营中产生的或需要的主数据、参考数、交易数据，以及基于这些数据的衍生汇总数据等。

数据管理特征

数据资产管理，与银行信贷资产管理有以下相似之处：

1） 资产形态都可以分为正常资产与不良资产。可以把质量低劣的数据认定为不良数据资产。

2）整体管理周期相似。信贷资产的管理整体上分为贷前与贷后，贷前审批对资产质量的管理起关键作用。数据资产的管理整体上也可以分为数据产生前的管理与数据生成后的管理，数据质量水平主要决定于数据产生前的管理。

3）管理数据与管理信贷资产的核心都是管理资产的质量与风险。在贷款发放之前需要深入调研客户背景、贷款用途、押品、还款来源等以保证资产安全。在数据产生前要经过需求分析、设计评审等过程，经过严格的测试验证才能投产。贷后管理要严密跟踪已发放贷款的客户经营状况、资金真实用途等，防止成为不良资产，及时催收逾期不良资产，减少不良资产可能造成的损失。数据生产后的管理类似，要及时解决低质量数据问题防止问题蔓延，监控数据的安全使用，防止丢失、被盗或滥用等。

与其他传统资产管理比较，数据生命周期的管理更复杂，主要存在以下不同点：

1）数据管理是全组织的工作。传统资产管理一般涉及少数个别部门的工作，数据管理不仅仅是科技部门IT人员的工作，也是各部门管理与操作人员的工作。有效管理数据涉及一系列复杂的过程，这些过程需要跨部门甚至跨组织的协调、协作和承诺，必须有明确的愿景和目标，并得到领导者坚定的承诺。

2）数据管理需要跨职能技能和专业知识。数据在组织内甚至组织间流动，数据的创建和使用方式以及数据使用者都在变化中，同时也在不断发展，需要从企业角度出发的更广的跨职能的一系列技能和专业知识。

3）数据管理需求驱动信息技术决策：数据和数据管理与信息技术和信息技术管理息息相关，技术必须服务战略数据需要，数据需求驱动信息技术决策。

4）管理数据首先意味着管理数据质量。数据资产的质量内涵比信贷资产要复杂得多，信贷资产等传统资产的质量管理有成熟通行的标准（如风险等级）、方法论与管理考核制度，而数据质量的管理没有统一的衡量标准，虽有质量评价与管理方法、流程，但大多停留在纸面上，没有得到严格的执行。

5）需要元数据来管理数据。因为数据无形，无法触摸数据，从数据到信息，需要以元数据的形式定义数据的含义与关系，以及说明如何使用数据，以方便数据的管理者与使用者解析与使用数据。

数据是新货币,如何管理它决定了它的价值，可以充分利用它，也可以将其浪费掉。

数据管理由来已久，并不是最近几年来的新词，历史要远远早于“大数据”，不是有了大数据才需要管理数据。数据管理的是全组织的数据，不局限于某个具体的平台。单个平台实现不了全局的数据管理。

从广义的数据管理角度看，数据管理职能包括数据库管理Database Administration（设计、实施与产品支持）以及数据管理Data Administration。最早的数据管理系统是文件系统，DBMS诞生代替文件系统管理数据后，数据管理的工作得以广泛开展。

DAMA-DMBOK引入了彼得·艾肯（Peter Aiken）框架，使用DMBOK知识领域来描述数据管理实践的四个发展阶段（见下图）。金字塔显示了知识领域之间的关系，他们有各种各样的相互依存关系。

第一阶段: 组织购买或设计开发了包含数据库功能的应用

DBMS系统比文件系统对数据的管理有多方面的提升，不但扩大了管理的数据量，简化了操作，实现了对数据的有效存取管理，也提升了数据的完整性、一致性与安全性，因此包含数据库功能的应用得以快速增长。组织购买或设计开发了包含数据库功能的应用，也就是按照数据库设计的流程，经历了数据建模的概念、逻辑与物理设计过程，在数据库管理与应用操作中实现数据存储和数据安全性，例如，业务系统中设置不同的角色来控制操作权限，不同角色操作员（记账柜员、复核柜员、综合柜员等）可以进入不同的操作界面操作业务交易。

70年代末，中国银行引进第一套理光—8型主机系统,这是中国银行业开始迈入电子化门槛的标志。80年代末开始大规模使用计算机处理业务生产数据，起初都是单机版，各个经营机构只能处理本机构的数据与报表，需要手工录入或拷贝文件合并处理汇总到上一级报表，直到90年代中期开始从电子化走向网络化。随着业务的发展，没有一个集中的业务应用系统能处理所有的业务，分散隔离的应用系统越来越多，应用系统之间的集成和互操作性方面管理需求越来越复杂。

第二阶段: 面对数据质量挑战与数据集成挑战，引入数据架构

企业开始使用应用系统，他们将不得不面临数据质量方面的挑战。由于业务系统的目标是实现业务交易，当从历史与管理分析的角度看交易系统的数据时，会发现交易系统的数据不能满足分析管理需要，因此更多的数据质量问题是在应用数据时发现的。

获取更高质量的数据取决于可靠的元数据和一致的数据架构。同时，受限于当时的技术条件与专业知识，第一阶段没有很好地规划，除了核心业务集中处理外，其他业务系统过于分散，设计系统之间的集成和互操作方案也依赖于数据架构，需要从企业的角度部署业务架构、数据架构、应用架构与技术架构。元数据与数据架构提供了有关来自不同系统的数据如何协同工作的清晰信息，给当前业务应用系统与分析系统的业务与数据分布的设计重构提供了参考指导，企业架构的概念逐步进入管理者视野。

第三阶段:开始部署数据仓库、主数据，引入数据治理

前两个阶段紧跟着各个业务部门的业务需求，为满足面向业务处理设计部署业务应用与分析系统，IT系统环境越来越复杂。解决单个系统的数据质量问题后，放在企业范围内又存在不一致性，企业级数据的一致性、准确性、时效性要求以及监管要求越来越高，开始从企业层面重构业务处理与数据分析系统。

为支持企业级的数据分析应用，减少分散的数据集市烟囱，减少数据冗余，提高信息的一致性，有些组织开始部署企业级数据仓库系统，为利用数据做出决策和创造组织价值开辟了新的可能性。1990年代开始美国构建数据仓库，约十年之后终于在国内落地。

一些企业开始部署企业级的客户主数据系统ECIF，客户数据不再分散在各个业务应用系统中管理。一些企业统一配置参考数据，使各业务应用系统遵循统一的参考数据标准。在EDW实施过程中，为整合企业级的主数据、参考数据，调研了企业几乎所有的相关业务系统，为主数据与参考数据的管理建设提供了参考依据，甚至给这些系统提供初始数据来源。

为规范管理数据质量、元数据、数据架构、数据仓库和商务智能与主数据管理等这些单一职能的实践，需要更高更全面的视角——数据治理为数据管理活动提供结构性支持。数据治理还支持战略计划的执行，这些战略计划完全支持黄金金字塔中的高级实践。

第四阶段:组织利用管理好的数据的好处，并提高分析能力

挖掘分析、大数据应用等需要有良好的数据与管理环境支撑，前三个阶段的成果使得企业级的高级实践成为可能，这是数据管理与使用的高级阶段目标。

数据资产的货币化实现并不是高级阶段的主要目标，很多组织的业务分析能力还很弱，穷于应付监管与日常报表需求，基本停留在初级阶段—回答“发生了什么”问题，更高级的预测分析——可能发生什么（需要使用数据挖掘、模式识别、蒙特卡洛模拟、预测模型等）、应该发生什么、应该做什么使之发生，这些金字塔顶部的业务分析，对数据的要求更高，不仅需要高质量的数据，包括准确性、一致性、时效性，还需要坚实的数据架构、技术架构等基础支撑。大多数组织在开始必须管理数据之前没有定义数据管理策略，他们没有认清组织的数据与能力现状，实际数据质量可能难以满足初级阶段的业务分析要求。

不论组织当前在哪个发展阶段，在有效数据管理的支持下，将会大大提升投资回报率。

联系我们

扫描二维码关注我们

微信：DaasCai

邮箱：ccjiu@163.com

QQ：2286075659

了解更多精彩内容

长按，识别二维码，关注我们吧！

数据工程师

微信号：sjgcs

构建数据工程师生态圈