如何利用PDCA模型有效提升企业数据质量？

亿信华辰Pro 2022-01-19

404

数据是企业的重要资产已成为共识，但这份资产能发挥多大的价值，就得乘以数据质量这个重要的系数来看。低质量的数据将直接导致数据统计分析不准确、业务应用难、决策不准确等问题，数据资产价值难以保障。

但数据质量的提升是一项复杂的工程。从数据的整个生命周期来看，任何一个环节都可能会产生数据质量问题，每个环节的数据质量都牵一发而动全身。所以，针对数据质量的管理通常难度较大。它不是单纯业务、技术或管理某单一维度的问题，它涉及到企业标准的制定、规范的落地、以及数据生命周期的管理等多个环节，应该是全组织必须协同遵守的基本规范。

基于此，我们可以应用PDCA循环模型，来对数据质量来进行一个全面、长期的提升与管理。PDCA是一个万能的质量工具，是指按照Plan(规划设计)、Do(改进执行)、Check(监测评估)和Act(长效提升)的顺序进行质量管理，并且循环不止地进行下去的科学程序。

— 01 —

规划设计（Plan）

数据如此庞杂，针对数据质量的提升，理清头绪、确定方向是第一步。

比如：我们需要提升的是哪些数据的质量？怎样去评估这些数据的质量？应该从哪些方面来着手提升这些数据的质量？搞清楚这3个问题，我们针对数据质量的提升路径，就能逐渐清晰。

1.确定范围：我们需要提升的是哪些数据的质量？

并不是企业内所有的数据都需要进行数据质量管控。为了提高效率、精简成本，我们在进行数据质量的提升前，需要首先确定数据质量提升的目标与范围。确定范围时一般遵循重要性和成本效益两大原则：

（1）重要性原则

数据质量管理工作首先应该关注企业最重要的数据。数据的重要性如何划分？我们可以分内外两方面来考量。

对于企业内部，各类主数据，如组织主数据、客商主数据、产品主数据、物料主数据、项目主数据等，它们能支持企业部门间的业务协作、具有较高财务价值，有着较大的客户影响面，往往是关键数据；此外一些痛点问题、关键业务、公司变革、核心KPI所涉及的数据也符合重要性原则。

对于企业外部，关键数据则需要重点关注监管数据。

（2）成本效益原则

任何企业活动的开展均需要进行成本效益的判断，通常，运作成熟且质量较高数据，或者度量成本很高但预期改进很少的数据，可不优先考虑。当然也应注意到，效益分析时也应兼顾社会效益，例如保持高质量的客户数据对于银行来说是一种重要的企业社会责任。

2.搭建体系：怎样评估数据的质量？

数据质量的提高是建立在数据质量的评估的基础上的，一个科学有效的评估体系在数据质量的提高过程中发挥着非常重要的作用。

数据质量评估体系构建时，应该先从通用体系入手，结合业务规则，最后制定具体实施方法。

（1）通用体系

DAMA国际数据管理协会定义了数据质量维度，包括准确性、完整性、一致性、合理性、参照完整性、及时性、唯一性、有效性、精确度、隐私、时效性。对于不同的业务和行业，对于质量的需求有所不同，企业可以根据自己实际情况，来进行一个取舍与平衡。

需要注意的是，指标的量化分析是非常重要的。在这些通用维度中，有些维度是很容易进行度量的，例如完整性。完整性的计算只要统计出缺失的数据量在整个数据集中的占比就可以得出一个具体的值。然而有些维度，例如时效性、一致性等如果要进行度量的话，就不是那么容易了。

我们需要把一些描述性的度量全部转化成为可以量化的数值或者比率，才能够将这些度量结果通过模型计算，最终得出一个质量的评估结果。度量的方法也会分为多种，可以是人工去对比，也可以用程序化的方式进行对比，或者采用统计学的方式来进行度量。

（2）业务规则

数据体系是对业务规则的承载。确定了评估维度后，需结合具体业务情况，来对数据质量的评估体系进行更进一步的完善。数据模型设计应充分考虑业务场景中的关键业务规则，这些业务规则在后续的系统设计、实现中才能承接下来，否则就可能会导致遗漏关键业务信息，而与业务场景不符。

3.对症下药：应该从哪些方面着手提升？

得到了评估结果后，我们还需要找出影响数据质量的关键因素，对症下药。

通常来说，影响数据质量因素主要集中在以下4个方面：

①业务因素：业务源系统变更、业务端数据输入不规范等；

②技术因素：数据开发任务中各种任务的流程、参数、配置等出错；

③管理因素 ：认知层面缺乏质量意识、缺乏有效的数据质量问题处理机制等；

④基础设施：物理资源不足、基础设施不稳定等。

在合理的评估体系与归因分析基础上，我们的提升计划就可以有的放矢，并落实到相应执行。

— 02 —

改进执行（Do）

方向明确，进一步落实到改进执行环节，则又是一个小的PDCA循环。它需要从管理的顶层设计出发，再到业务部门和技术部门实现落地，并在落地的过程中持续优化。

但在这个小PDCA循环中，一开始的P环节可能就格外让人头疼。相信很多企业都出现过这样的状况，一旦出现数据质量的问题，这个问题的溯源就显得尤为困难，业务方指出技术错误，技术定位问题来源却是业务方，多方推诿，找不到症，就下不了对应的药。

我们需要在企业内部达成共识的是，数据质量工作并不是某一个单一团队的工作，而是公司内部所有数据提供者、数据处理者、数据使用者等数据相关人员的共同参与的工作。

在这个过程中，仅针对质量问题出现的环节来点对点地解决，可能改变不了对于数据质量管控“被动灭火”局面，我们还需要针对全企业全组织来进行统一的指导与规范。所以，我们可以把针对数据质量问题的改进执行措施，大致分为两个维度，一个是企业跨组织的变革性改进，另一个则是企业各部门内部人员对现有过程的渐进的持续改进。

1.跨组织变革性改进——顶层设计

跨组织的变革性改进通常在顶层设计层面，需要在企业内部建立关于数据质量统一的标准和完善的制度规范，引导正确的业务行为，提高企业成员的数据意识。

（1）制定标准

数据标准是在全企业范围内确保数据一致的关键，是公司层面需共同遵守的规范。不同部门，不同场景下，大家可能会有不同的数据需求和数据敏感度，这个时候一个统一的数据标准尤为关键，它有助于在全企业范围内确保数据一致，有助于各方在提升数据质量各环节的协作，也有助于推动数据质量管理政策的落实。

企业的数据标准，可以在融合国家标准、行业标准和地方标准的基础上，融合组织自身的业务特色需求来制定。

需要注意的是，标准并不是一成不变的，现今行业变化迅速，标准的制定者也需要紧跟变化与需求，不断完善企业数据标准。

（2）制度完善

a) 闭环管理

明确数据质量问题在各个阶段的归口管理部门，从问题定义、问题发现、问题整改、问题跟踪、效果评估5个方面建立相应的管理及认责机制，从流程实现数据质量的痕迹化管理，避免质量问题发生时的推诿情况，在制度层面落实数据确权，保证数据质量问题全过程的闭环管理。

b) 考核制度

将数据质量专项考核结果纳入对于人员、部门的整体绩效考核体系中。通过评价相关数据质量KPI水平，督促各方在日常工作中重视数据质量，在发现问题时能够追根溯源地主动解决，对于高水平的数据质量工作成果进行激励、表彰，提升企业的数据质量管理意识。

2.渐进性持续改进——数据认责

制度规则层面有了保障之后，如何将规则落实到企业相关人员，并推进各部门内部人员针对现有过程的持续改进则显得尤为重要。我们可以从数据相关方的权责划分的角度进行数据认责，来对提升数据质量措施的落地执行来进行一个明确。

（1）数据提供方

a) 严格执行数据标准

必要时应用自动系统，保证数据的规范化、标准化录入，关键数据需进行复核或者审批。

b) 严禁数据造假行为

有些人员可能会为了业务指标而提交造假的数据，使得数据的准确性无法保证。对于影响关键指标的数据造假行为，应采取零容忍态度。

（2）数据消费者

a) 明确需求

数据质量即满足数据消费者需求的程度，数据消费者从使用视角提出数据质量要求，对于更好的数据质量参数的定义非常重要。

企业内的数据消费者通常为业务部门，业务部门应分析业务领域相关数据质量问题，从业务层面制定数据质量问题的解决方案，提出所负责业务系统数据质量整改需求，提出本业务领域重点监控的数据质量的规则需求。

b) 及时反馈

数据质量提升是一个动态的过程，数据消费者针对数据在应用过程中出现的问题及时反馈，并协同其他方提出解决或提升方案，有助于数据质量的动态提升。

在有业务需求变更时，也应及时同步相关部门，及时做出数据的加工或者数据统计口径的调整，以免影响下游数据质量。

（3）数据处理方

a) 技术规范

技术人员在进行数据的处理时，应首先保障自身的技术规范，避免在数据处理环节污染数据。可以通过数据探查、开发规范以及数据监控，实现在数据加工过程的卡点校验以及数据监控报警机制。

b) 支撑保障

同时，技术人员也在整个数据质量管理过程中，发挥着支撑与保障的作用。

技术人员应配合数据质量提升工作，进行数据应用的开发建设和运维，落实数据管理制度、流程和成果输出；保障数据质量管理工作所需的相关软硬件资源，负责问题涉及系统的开发、测试、上线工作，负责开发数据质量管理工具的开发和运维；协同业务与管理部门，架构科学的数据模型，准确映射业务规则，助力业务增长；通过质量校验规则和质量检查，全方位保障各个数据质量。

— 03 —

监测评估（Check）

数据质量的提升，并不是一蹴而就的，它是一个长期且动态的过程。所以，我们针对数据质量提升的监测与评估，也应贯穿始终，做到过程中实时监控、错误及时反馈，并定期进行相应评估，让整个数据质量提升工作持续优化。

1.实时监控

对于数据质量的实时监控，是整改数据质量问题的有力保障。监控环节涉及数据质量水平监控、质量问题整改考核、数据质量报告发布等内容，力求精确、有效地跟踪企业内部数据质量变化，及时发现问题及时调整问题。

2.错误反馈机制

数据出现问题，如何迅速地定位并解决问题非常重要，不然可能会在下游造成更大的影响，延误业务进行或者造成决策失误，所以我们需要建立一个敏捷的错误反馈机制，及时反馈数据质量问题并进行分析溯源、制定相应解决方案。

在问题分发环节我们需要重点关注的是问题解决方案的类型，如果是数据缺失需要补录的情况，则分发到各业务部门，由业务部门组织补录，如果需要修改系统代码，则分发到系统主管业务部门发起系统变更需求。在问题分发完成后。需要定时确认质量提升效果，并进行核检，确认解决状态。

3.定期评估

定期的数据质量提升成效评估，有助于提升数据治理的成熟度，并为下一阶段的数据质量改进提供参考依据。

整改评估的指标可以从问题率、解决率、解决时效等方面来建立，评估后要整改优化结果来进行适当的绩效考核。这个过程中，各部门之间定期的交流也是非常必要的，大家一起就数据质量问题、产生的原因、采取的措施、改进的结果进行交流，能让更多的人将积极参与到数据质量改进中来，进一步巩固企业的数据文化。

— 04 —

长效提升（Act）

一份数据质量报告、一份评估检查结果并不是数据质量提高的终点。

我们在每个管理周期结束时，要认真梳理分析问题和不足，堵塞风险漏洞，提升数据质量，研究改进措施，提高管理效能。对于长期存在的问题，研究出台解决政策；对于反复出现的问题，通过修订制度加以约束；对于好经验要及时纳入长效机制；对于暂时无法解决的问题，应广泛征求建议，同时将新办法、新制度运用到下一个管理周期中。

— 05 —

小结

数据质量不仅仅是数据治理的过程之一，它同时还是数据治理的目标之一。保证数据质量是数据要素流通的重要基础，也是企业实现数字化转型的关键前提之一。

但数据质量管理不是一个单一过程，它涉及到多方参与、反复打磨。企业可以应用PDCA战略方法，来对数据质量进行一个系统的优化与提升，并将这个过程标准化、长期化、体系化，从源头、过程和结果层面，把控数据质量，从而更好地发挥数据价值。

第 112 篇让数据驱动进步

—— END ——

Tips：

你好，我是亿信华辰的运营罗志恒

在过去的3年里我累积发表了100多篇关于数据分析，数据治理、数据可视化等方向的高质量文章，接下来，我希望借助企业微信为大家提供更多的服务，另外也会不定期的举办直播、线下沙龙等会活动，希望能对你有所帮助，同时也希望我们能一起学习和探讨大数据行业的点点滴滴，欢迎添加我的企业微信！