数据汇聚平台

一、数据汇聚平台

汇聚平台主要是从数据存储角度来表述，指将原始数据进行集中存放，便于后续使用的读取使用。

数据汇聚平台的主要目标是将不同来源的异构数据存放到数据仓库中。企业一般数据分成几类：

业务数据，指企业业务办理过程中产生的数据，比如订单数据、客户数据、商品数据、供应链数据。这类数据由业务信息系统产生，已存放在现有信息系统中，比如ERP系统、CRM系统等。在线监测数据，比如企业自有媒体上部署代码能够获得用户媒体行为日志数据；或者传感器实时产生的监测数据。这类数据需要实时在线服务接收并记录相应的日志数据。第三方平台数据，数据存在第三方平台，比如微信公众号、支付宝等平台数据。这类数据平台往往提供API能进行数据拉取。数据汇聚，或者称作ETL，将不同的业务系统的数据加载到数据仓库中。数据汇聚有多种方式，按照数据汇聚的传输方式，可以分为文件传输、数据抽取、消息推送等方式。

数据汇聚平台依托于基础支撑软件和基础网络设施，通过图形化的配置界面实现分布的、异构的、跨网络的各场景数据汇聚，主要结构如下：