13数据处理流程规范.docx
40墨值下载
目 次
目 次
............................................................................................................................I
1
范围
..............................................................................................................................1
2
规范性引用文件
..............................................................................................................1
3
术语、定义和缩略语
........................................................................................................1
3.1
术语和定义
.............................................................................................................1
3.2
缩略语
...................................................................................................................1
4
数据来源与处理流程
........................................................................................................1
4.1
数据来源
................................................................................................................1
4.2
数据处理原则
..........................................................................................................2
4.3
数据处理流程
..........................................................................................................2
4.4
数据获取与保存
.......................................................................................................3
4.5
数据预处理
.............................................................................................................3
4.6
数据清洗
................................................................................................................4
4.7
数据核检
................................................................................................................4
4.8
数据更新
................................................................................................................4
I
数据处理流程规范
1
范围
本部分按照
GB/T 1.1-2009
给出的规则起草
,
提出了政务信息资源中的数据处理流程，包括数据
预处理和数据清理过程。
2
规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文
件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。
GB/T21063.1
政务信息资源目录体系 第
1
部分：总体框架
GB/T 35274-2017
信息安全技术 大数据服务安全能力要求
3
术语、定义和缩略语
3.1
术语和定义
下列术语和定义适用于本文件。
3.1.1
数据安全
data security
一是数据本身的安全，主要是指采用现代密码算法对数据进行主动保护，如数据保密、数据
完整性、双向强身份认证等，二是数据防护的安全，主要是采用现代信息存储手段对数据进行主
动防护，如通过磁盘阵列、数据备份、异地容灾等手段保证数据的安全。
3.1.2
数据预处理
data preprocessing
数据预处理是指数据在处理、加工之前对数据进行的一系列操作。
3.1.3
脏数据
dirty data
脏数据是指系统中的数据不在给定的范围内或对于实际业务毫无意义，或是数据格式非法，
以及在系统中存在不规范的编码和含糊的业务逻辑。
3.1.4
数据清洗
data cleaning
数据清洗是指利用现有的数据挖掘手段和方法清洗脏数据，将脏数据转化为满足数据质量要
求或应用要求的数据的过程。
3.2
缩略语
下列缩略语适用于本文件。
ETL
：数据仓库技术
(Extract Transform Load)
4
数据来源与处理流程
4.1
数据来源
1
of 5
40墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论