软件-大数据资产管理系统的设计与实现
5墨值下载
2016年 软 件 2016, Vol. 37, No. 02
第 37 卷 第 02 期
COMPUTER ENGINEERING & SOFTWARE
国际 IT 传媒品牌
作者简介：谌迅（1990-），男，硕士，大数据运维、虚拟化云计算
大数据资产管理系统的设计与实现
谌迅
（北京邮电大学 计算机学院，北京市 100876）
摘 要：伴随着大数据时代的到来，存储在云端的数百万的数据想要成为真正的具有价值的资产，就需要一个有
效的管理系统对其进行管理，针对云端数据量大、结构复杂等方面的特点，设计并实现一个能够将数据从采集到处理
再到清理最后直到产品化的整个生命周期进行管理的系统，并将这些杂乱无章的数据资产化。该系统使用
kafka 总结结
构，将数据的资产化过程分为采集、清洗、产出等多个阶段，并配套的设计了多个丰富系统功能的子系统，能够大大
的提高数据资产的使用率。本文介绍了系统的设计和实现过程，详细描述了对系统起到支撑作用的多个子系统，本系
统易扩展，可兼容，研究具有一定的现实意义。
关键词：大数据；远程监控；资产化；运维系统
中图分类号: TP311.5 文献标识码: A DOI：10.3969/j.issn.1003-6970.2016.02.013
本文著录格式：谌迅. 大数据资产管理系统的设计与实现[J].软件，2016，37（02）：50-53
Design and Implementation of Large Data Asset Management System
CHEN Xun
（
China University of Post and Telecommunication
，
Beijing 100876
，
China
）
【Abstract】：With the wide spread of big data，If millions of data stored in the cloud wants to be a truly valuable asset，
an effective management system is needed.Since the data in the cloud，which is large，complex structure and other
aspects of characteristics
，the system is mainly focus at data gathering，data cleaning and data treasuring.The system
uses kafka bus structure
，assets are divided into data collection process，cleaning，and other multiple stages output，
and supporting the design of a number of rich features of sub-systems，can greatly improve the utilization of data as-
sets.This article describes the design and implementation process of the system
，a detailed description of the system
play a supporting role in a number of subsystems
；the system is easy to expand，compatible，which has practical
significance.
【
Key words
】：
Big data
；
Remote monitoring
；
Capitalization
；
Operation and maintenance system
0 引言
伴随着大数据时代的到来
【
1
】
，存数在云端的数据
数以万计。而这些成百上千的数据，在套上了大数据
的背景之后，其价值被重新定位，可以说，在正确的
管理下，数据就是无形的最有价值的资产。然而，数
据本身并不具有资产属性，它需要一个有效的管理系
统完成自动化的采集、处理、清晰、产品化等一系列
流程才能具有价值
【
2
】
。
就目前而言，无论是 IT、金融或者其他部门，都
无时不刻的产生着大量的数据，然而随着数据的增多，
以及人员交接等问题，数据资源无法被使用，重复使
用等问题大大增加了资源的管理成本，给管理部门造
成了很多问题。针对这些问题，我们需要设计一个资
产管理系统，众多的资源管理系统一样，本系统以计
算机作为操作平台，采用
B/S 结构和分布是数据库对
资源的整个生命周期（产生、采集、整理、盘点、报
废进行全方位监管）。
【
3
】
通过数据的资产目录建立，对
数据质量的治理，使得数据能够被管理者应用，并设
计实现了数据资产的后期运营，可以支持企业数据资
产的分发、开放、交易等数据嫁接的实现，从而促进
数据资产的价值实现。
谌迅：大数据资产管理系统的设计与实现
51
《软件》杂志欢迎推荐投稿：cosoft@163.com
1 系统架构设计
渐进的方式向资产运营目标过渡。系统大致分为
数据目录管理模块，用来解决有哪些数据的问题，以
及数据资产运营模块，用来方便后期运维，用户根据
特定的资产稽核规则，这个数据资产管理系统的核心
设计思路是从大数据资产治理入手，兼顾数据应用，
以对系统中的资源进行监控，评测，保证数据在运行
期的质量，方便生产部门将数据进一步加工成产品。
系统大体的体系架构设计如图
1：
元数据库
数据资产目录管理
接口层数据管理
中间层数据管理
产品层数据管理
数据处理与存储
接口层
数据资产质
态库
中间层
模型层
产品应用层
接口汇集区
生产区
产品加载区
数据资产质态分析
接口层数据质量分析
中间层标签库视图
产品层数据资产视图
元数据展现分析
血缘分析
数据地图
数据资产目录视图
影响分析
ETL依赖分析
ETL
1
2
3
4
5
6
图 1 数据资产目录及质量管理结构
（1）元数据库：用了存放系统中原始数据的数据
库，各种类型的数据通过目录管理模块，形成统一的
格式，存入元数据库中，此时的数据仅仅是数据，不
具有资产属性，也不能变成产品，只有经过后续的加
工才能成为产品，相当于一个原始数据的存储模块，
只是规定了统一的接口。
（2）数据目录管理：系统的第一个子模块，建立
并维护一个数据资产目录，目的就是将纷繁复杂的数
据资源整合起来，在商定好统一的接口之后，发送给
源数据库。
（3）数据资产质态库：元数据库中的数据进过接
口汇集、产品加载等一系列流程（采集、校验、清洗、
脱敏）处理，进入数据质态库，这里的数据可以称之
为数据资产了，它具有统一的格式，形成相应的视图，
并且需要对其属性进行长期监控
（4）数据质量稽核：由于该系统每天都要上报大
量的数据，所以要对质态库中的数据质量进行分析，
也就是数据资产的后期维护功能，他决定着系统能不
能在第一时间发现并解决数据、设备故障的问题，是
保证系统正常运行的关键。
系统的工作流程大致如下：数据资产目录模块负
责整理云端的数据，并将其存入系统的元数据库，然
而元数据库的数据作为原始数据，并不具有资产属性，
经过处理和相应的盘点进入数据资产状态库，在通过
对这些资产状态进行分析成为大数据资产，从而可以
被相应的部门使用
[4]
。
2 系统实现
如上一章中所提到的，系统由两个数据库和两个
子系统实现，这两个子系统分别是目录子系统和稽核
子系统，其中目录子系统负责解决系统由什么资源的
问题，稽核子系统解决这些资源是否正常的问题，以
下为详细介绍：
2.1 数据资产目录子系统
如前文所提到的该子系统维持了一个整理数据资
产的方式，集中解决的是整理系统由哪些资源的问题：
所以在此模块的设计涉及到数据的存储模式：例
如
DPI 类的数据、ODS 类的数据如何定义成统一的格
式，规定一个统一的接口，定义各个层级的功能和规
范，还需要定义各资产的硬件存储环境，统一字段属
性，并且最终形成资产目录视图
【
5
】
。图 2 为资产目录
子系统的总体设计思路：
图 2 资产目录子系统的总体设计图
（1）目录架构：此处定义了数据的分类以及数据
所属的层次，下图
3 为目录架构表：
图 3 目录架构表
Key
含义
1 ODS
2 VSOP
3 ODMS
4
终端自注册
5
综合平台
6
用户详单
7
固网 DPI
8
移动 DPI
9 TSM
10 OIDD
of 4
5墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论