大数据曾被广泛誉为新石油和新黑金–形象地说明了大数据的经济和商业价值。然而，这种比喻只适用于有限的情况。只有当数据基于一系列定性和定量变量确定为具有高质量时，大数据才成为真正有价值的商品。这些变量或维度可以包括数据准确性、完整性、一致性、时效性、有效性和唯一性。同样, 数据还需要保持其完整性, 以支持可靠决策。
但是，数据完整性通常用作数据质量的代名词。对于数据驱动业务的组织，定义数据质量和完整性的参数和指标存在极大的不同含义。因此, 需要简要说明数据质量与数据完整性之间的区别：
数据质量与数据完整性
数据质量指确定信息可靠性以达到预期目的的特征，包括规划、决策和操作。
正是完整的特征和属性状态，决定了信息满足现实环境和影响下特定需求的可用性。维基百科给出的一系列定义为理解数据质量术语提供了充分视角。
数据完整性是指根据物理和逻辑有效性确定信息可靠性的特征。数据完整性以其生命周期的准确性、有效性和一致性等参数为基础。
两次数据记录连续更新或修改之间，信息没有意外变化。数据完整性可以视为与数据损坏，使得信息无法满足所需数据需求截然相反。维基百科探讨了不同类型的完整性，以及属于数据完整性术语范畴的约束条件。
探索数据质量与数据完整性
从本质上来说，数据完整性是数据质量的一个子集，涉及数据有效性之外的以下特性：
完整性
表示作为满足特定信息需求整个数据集的一部分，可用数据的全面性。这种比例可按百分比测量，并根据特定变量和业务规则定义。
以特定日期之间患者看病，按姓氏和姓名排序的健康记录列表为例。数据源视为100%完整，即使不包括病人地址或电话号码，但包括特定日期内所有必要的健康记录，姓氏和姓名。
缺少任何重要数据项，完整性比例下降。
唯一性
数据集中或与符合相同信息规范或业务规则的另一数据集中对应项相比较含有离散重复的相同数据项。
以前面提到健康记录列表为例，真实环境评估条件下包括100名患者。如果列表超出100项，那么一个或多个患者肯定有重复并作为单独实体列出的数据。
根据数据分析条件和业务要求，这种重复会导致结果出现偏差和不准确。
在数学上，如果真实环境背景下数据项的数量是唯一的，并且等于可用数据集中确定的数据项数量，唯一性可定义为100%。
时效性
数据的最新程度以及可用时间段、时间轴和持续时间。数据驱动决策的价值不仅取决于信息的准确性，而且依赖于快速及时的答案。
实际环境下相关事件的发生时间可以作为参考连续评估测量。数据的价值和准确性可能随着时间的推移下降。
例如，数年前交通事故的数字可能与近期道路基础设施需求的决策完全无关。
有效性
符合定义的业务要求及其定义语法的测量指标。语法范围可以包括允许的类型、范围、格式和其他首选属性。
这个指标可按有效数据项相对于与可用数据集的百分比来测量。在数据完整性背景下，数据有效性包括数据项之间的关系，这种关系可以跟踪并连接到其他数据源进行验证。
有效数据项未与相应的实际环境建立链接，可以视为信息在完整性方面不够充分。
数据有效性是数据质量的一个重要维度，应该与定义数据完整性、准确性和一致性的相关参数一起测量–所有这些都会影响数据完整性。
准确性
数据项描述实际环境背景下对象和属性的正确程度。
实际环境背景可以确定为单一版本既定事实，并作为基准用来识别数据项与这种基准的偏差。
实际环境基准可基于业务要求规定，所有数据项在规定允许的范围内准确反映实际环境中对象的特性可视为信息准确。
数据准确性直接影响决策的正确性，应视为数据分析过程的重要条件。
一致性
这一指标表示基于特定信息要求描述同一对象的数据项之间没有差异。
数据可在同一数据库中进行一致性对比，或与类似规格的其他数据集进行对比。可采用离散测量评估数据质量，也可以按整个数据集中反映同一信息的预期数据百分比来测量。
相比之下, 不一致的数据可能包括存在所需信息不需要的属性。例如，如果活动用户数量大于注册用户数量，含有应用程序用户信息的数据集可视为不一致。
数据质量与数据完整性的对比主要集中于数据的有效性维度。在数据完整性的背景下，数据的完整性准确性和一致性属性也紧密相关，其次是信息完整性。
数据时效性和唯一性更有利于了解数据的整体质量，而不是信息完整性。
除了数据质量这六个关键维度外，每个组织可以使用自己的指标和属性了解可用信息所具有的真正价值。
Wikibon: 自动化大数据管道
了解行业数据管理专家如何转变大型数据基础设施，实现最大业务效果。点击阅读全文立即下载
