本篇介绍[数据知识]DAMA数据管理知识体系—数据质量管理篇的学习心得，供大家学习和参考。
[核心要点]
简介
数据质量管理是组织变革管理中的一项持续开展的关键支撑流程，包括整合数据源、创建一致的数据副本、交互提供数据和整合数据，包括：数据质量分析、识别数据异常和定义业务需求及相关业务规则，对已定义的数据质量规则进行合规检查和监控的流程，及数据解析、标准化、清洗和整合，还涉及问题跟踪和合规监控。
数据质量管理目标，适度改进数据质量，满足既定业务预期；定义需求和规格说明，将数据质量控制整合至系统开发生命周期；为度量、监控和报告数据质量水平的一致性提供既定的操作程序。
数据质量项目，是为提升数据质量和数据完整性提供较为严格和经济的解决方案，包括：校正数据、管理数据创建、数据转换和数据传输的整个生命周期，确保满足数据需求。
数据质量管理流程的制度化，取决于识别业务对高质量数据的需求和确定如何度量、监控和报告数据质量，进而采取纠正措施解决紧急问题和消除问题根源。
概念和活动
数据质量预期，反映了业务数据数据预期的3个方面：以一种方式将数据预期记录在业务规则中；以一种方式在该维度上度量数据质量；以及一个可接受度的阈值。
数据质量框架，定义需求、定义检查策略、定义度量和定义反映数据质量和绩效变化的监控措施。
数据质量管理方法。通用模型"戴明环"：计划-实施-监控-行动。首先，识别数据问题，定义数据质量的业务需求、关键维度及关键业务规则；计划，评估数据问题，确定数据问题的代价和影响及评估处理问题的可选方案；实施，剖析数据并执行检查和监控，识别数据质量问题；监控，根据已定义的业务规则对数据质量水平进行动态监控；行动，处理并解决出现的数据质量问题。
开发和提升数据质量意识。"数据质量问题不能仅仅依靠技术手段解决"，它需要组织内对数据质量全面的洞察，应为其建立数据治理框架，保证责任制度的一系列流程和程序。
定义数据质量需求。通常隐含在业务政策之中，需要制定数据质量规则。围绕"适用性"需求定义数据质量维度的基本步骤包括：识别与业务政策相关的关键数据集合；确定被识别的数据集合对业务的影响；评估如何根据一组数据质量维度对数据错误进行分类；详细定义度量数据错误的业务规则；提供一套实施度量流程的方法，从而评估对业务规则的满足情况。数据质量维度体现了高层级的指标度量特点及业务规则分类，需要对度量的粒度进行细化，如数据值、数据元素、数据记录、数据表。数据质量维度包括：准确性、完整性、一致性、时效性、精确度、隐私、合理性、参照完整性、及时性、唯一性、有效性。
剖析、分析和评估数据质量。两种方法：自底而上和自顶而下。自底而上，基于自动流程的处理结果，强调潜在问题的数据集的检查和评价。自顶而下，在理解业务流程和使用哪些数据、哪些数据元素，对业务用户参与的业务流程和关键数据的依赖关系进行诊断。
定义数据质量指标。需要在数据质量战略/设计、规划阶段就开展指标定义工作。数据质量指标特征包括：可度量性、业务相关性、可接受程度、数据认责制度/数据管理制度、可控性、可跟踪性。数据质量指标定义过程：选择一项重要的业务影响；评估与业务影响相关的数据元素及数据创建/更新流程；对每一个数据元素，列出之相关的数据需求；对每一项数据需求，定义相关的数据质量维度及一个或多个业务规则，便于确定数据是否满足需求；对每一个选中的业务规则，描述度量需求满足度的流程；对每一个业务规则，定义可接受程度的阈值。
定义数据质量业务规则。清晰定义检查数据质量是否满足业务规则的流程并监控这些业务规则的符合度。3项流程：使用数据期望值，将不满足业务需求的数据值、记录和记录集与有效的数据值、记录、记录集分别记录下来；生成通知事件，及时警示潜在的数据质量问题；建立自动或事件驱动的缺陷数据纠正机制，满足业务期望。
测试和验证数据质量需求。数据剖析工具可对数据规则进行验证，评估阶段的识别或定义的数据规则，将作为业务流程的一部分用以验证数据的合规性。
确定与评估数据质量服务水平。通过数据质量检查和监控策略和监控数据项对数据质量规则的符合度。
持续测量和监控数据质量。数据质量是否符合业务规则的两条控制和测量脉络：流动式和批量。测量应用于3种粒度：数据值、数据实例/记录、数据集。
管理数据质量问题。需要实施一个好的问题跟踪系统，支撑当前/历史数据质量问题、问题状态和其他人员参与解决问题的因素。涉及领域：将数据质量问题和活动标准化；指定数据问题的处理；管理问题上报程序；管理数据质量解决流程。
清洗和校正数据质量缺陷。通过定义业务规则来监控数据对业务期望的满足度，引入两项活动：确定和消除错误发生的根本原因；分离不正确的数据项，并采用适当措施使其符合预期。数据校正的三种方式：自动校正、人工指导校正、人工校正。
设计并实施数据质量管理操作程序。4项活动：检查和监控、诊断和评估补救办法、解决问题、报告。
监控数据质量管理操作程序和绩效。所有问题的指定专人、团队、部门/组织负责，是监控数据质量治理协议的关键，对问题跟踪系统进行开展绩效数据收集，提供数据质量控制的持续改进。
数据质量工具
数据质量工具按活动分4类：分析、清洗、改善和监控。主要工具包括如下：
数据剖析。通过定量检测和分析审阅来对数据值进行客观的审核。它是一系列算法，主要有两种目的：对数据集进行统计分析和数据质量评估；识别数据集内核集之间的值所存在的关系。
解析和标准化。定义符合规则引擎的模式集，用以区分有效和无效的数据集，在解析一个有效模式时，系统提取并重现排列独立组件，形成标准形式。
数据转换。数据转换建立在数据规则的标准化技术上。需要基于规则的转换将数据值从原来的格式和模式映射为目标格式。
身份识别和匹配。需要使用记录关联与匹配的方法，运用冗余分析与消除向适度的评估方法、合并/清洗、存储方法、数据改善方法、清洗方法，实施数据整合或主数据管理等战略性的数据管理举措。
改善。通过积累基本实体集的各种附加信息，合并所有相关信息以提供集中的数据视图来实现数据质量的提升。
报告。检查和监控数据满足数据质量预期的状态。
综述
指导原则。12项原则，主要是数据项的标准化、数据质量需求、数据治理、业务规则、数据集、数据质量服务水平协议、数据质量报告等。
过程总结。12个活动，主要交付：数据质量需求文档、数据质量评估报告、数据质量度量文档、数据质量业务规则、数据质量测试用例、数据质量服务级别、数据质量管控流程等。
组织和文化问题。善舞智能价值链对数据资源的质量要求直接影响组织的业务目标；数据质量是组织的一项持续稳定工作；企业级的数据架构师确保数据质量工作的最重要工作。
[观点解读]
通过对以上内容的学习，"数据小兵"对于要点补充解读如下：
书中对数据质量的基本概念进行了介绍：数据质量管理、数据质量管理目标、数据质量项目及数据质量制度化，并从数据质量的思想意识开始，构建数据质量框架，提出数据质量的管理方法，结合数据质量的工作步骤：需求、评估、定义指标、定义业务规则、验证需求、评估服务水平、监控、管理问题及质量缺陷，设计操作程序和监控绩效。
"数据小兵"认为：数据质量问题取决于持续测量数据是否符合业务期望的能力。书中对于数据质量管理的基本概念进行了阐述，对于数据质量在特定环境业务场景下的业务规则的细节无法面面俱到，这就要求针对于数据质量管理问题的实际实施方面，做更多的测量和补充。这里数据小兵推荐给大家是支撑数据质量有效落地实施的 御数坊 数据质量系列微文：
大家参考，熟话说的好"可度量、才可管理"，数据管理需要以数据质量的定性和定量分析作为度量基础，这样才能保证企业数据资产的完整性、及时性、有效性、一致性等。
书中对数据治理工具部分也进行了补充介绍，主要有数据剖析、解析和标准化、数据转换、身份识别和匹配、改善、报告等工具。
"数据小兵"认为：工具的使用需要结合业务需求的理解进行运用。好比大家在excel电子表格，需要结合不同的业务场景和需求进行使用。介于书中的质量工具介绍，个人再补充下：数据建模工具、应用软件开发工具、元数据管理工具、ETL工具、数据关系发现或业务规则发现工具、试验模拟器工具等。
[经验体会]
通过本章的学习，"数据小兵"结合自身工作经验，谈一谈理解：
数据质量工作可谓是数据治理工作的基础，且贯穿在数据各个职能领域的应用。所以，可能大家在归集数据质量的经验体会时，往往均涉及方方面慢的理解。这里强调下：从企业视角分析，好的数据质量工作需要构建在企业整体架构的基础上开展工作，这样有利于企业从整体视角对数据的质量工作有效度量。当然数据质量工作是数据战略范畴，数据质量战略是突显企业数据治理能力的核心管控指标，需要企业持续推进数据质量的提升。
还有，"数据小兵"结合项目经验，建议开展数据质量工作，应从企业数据问题出发，不求大而全，但求小而精，着重对重点问题的要害方面解决数据问题，也就是遵从2/8原则解决关键问题。这样对企业开展数据质量工作会更有成效，建议优先级为：企业人员数据、企业财务数据入手，推进数据质量工作。
以上，观点为"数据小兵"的学习心得体会，不代表官方观点，欢迎小伙伴们提出宝贵的建议，"数据小兵"将非常感激！
打造"数据思维、数据知识、数据实践"的学习和分享环境，期待大家的参与！我们共同学习和进步！
数据小兵 http://www.fuduo.wang
