1
数据质量管理：6个维度，50个检查项(1).pdf
10墨值下载
数据质量管理：6个维度，50个检查项
大数据时代，数据资产及其价值利用能力逐渐成为构成企业核心竞争力的关
键要素；然而，大数据应用必须建立在质量可靠的数据之上才有意义，建立
在低质量甚至错误数据之上的应用有可能与其初心南辕北辙、背道而驰。因
此，数据质量正是企业应用数据的瓶颈，高质量的数据可以决定数据应用的
上限，而低质量的数据则必然拉低数据应用的下限。
数据质量定义
数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他
们对数据的使用预期。数据质量必须是可测量的，把测量的结果转化为可以
理解的和可重复的数字，使我们能够在不同对象之间和跨越不同时间进行比
较。 数据质量管理是通过计划、实施和控制活动，运用质量管理技术度量、
评估、改进和保证数据的恰当使用。
数据质量维度
1、准确性：数据不正确或描述对象过期
2、合规性：数据是否以非标准格式存储
3、完备性：数据不存在
4、及时性：关键数据是否能够及时传递到目标位置
5、一致性：数据冲突
6、重复性：记录了重复数据
前天谈数据
数据质量分析
数据质量分析的主要任务就是检查数据中是否存在脏数据，脏数据一般是指
不符合要求以及不能直接进行相关分析的数据。脏数据包括以下内容：
1、缺省值
2、异常值
3、不一致的值
4、重复数据以及含有特殊符号（如#、￥、*）的数据
我们已经知道了脏数据有4个方面的内容，接下来我们逐一来看这些数据的产
生原因，影响以及解决办法。
产生原因：
1、有些信息暂时无法获取，或者获取信息的代价太大
2、有些信息是被遗漏的，人为或者信息采集机器故障
3、属性值不存在，比如一个未婚者配偶的姓名、一个儿童的固定收入
影响：
1、会丢失大量的有用信息
2、数据额挖掘模型表现出的不确定性更加显著，模型中蕴含的规律更加难以
把握
3、包含空值的数据回事建模过程陷入混乱，导致不可靠输出
of 10
10墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论