数据中台“集存通用治”功能场景说明

科技飞速发展的时代，企业信息化建设会越来越完善，越来越体系化，当今数据时代背景下更加强调、重视数据的价值，以数据说话，通过数据为企业提升渠道转化率、改善企业产品、实现精准运营，为企业打造自助模式的数据分析成果，以数据驱动决策。

数据中台把将据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。支持海量数据的存储、计算、产品化包装过程，为前台基于数据的定制化创新及为业务中台基于数据反馈的持续演进提供强大支撑。数据中台可以解决数据孤岛、数据资产流失、数据服务能力不足、数据价值低的问题，最终使数据能够赋能业务场景、产生业务价值。

数据中台分了三个模块：数据分析平台（DAP）、主数据治理平台（MDM）、数据集成平台（ESB），数据中台部署环境采用K8S云平台部署，MDM实现基础数据管理，业务数据由源头业务系统提供，通过ESB的数据集成，实现基础数据、业务数据从源头系统到数仓的同步。

数据中台是基于公司的三款核心产品DAP、MDM和ESB组成的解决方案，主要实现基于数据治理分析的中台建设，通过MDM将企业内部的基础数据标准化、规范化、整合化后，由DAP进行数仓建设以及最终数据分析的可视化展现，ESB通过数据集成完成整个数据中台的主数据分发和数仓的数据汇聚。

介绍一下DAP的数据中台方案集成框架：

数据中台方案方案主要的产品组合是DAP数据分析平台通过与ESB应用集成平台结合使用场景主要是通过配置调度任务，通过执行调度任务调用ESB数据同步流程，实现数据的采集、抽取、转换、传输、调度等操作，基础数据为DAP提供同源并标准的、一致的数据保障数据分析分析数据的准确性，然后通过Portal门户集成平台展现给客户。

通过数据中台的“集”、“存”、“通”、“用”、“治”打通企业的数据环节，实现全生命周期的数据管理，通过数据中台建设数据管理体系，实现各个业务系统数据的有效整合，通过基础数据治理保证底层基础数据的一致性，基于业务指标进行前端的动态展现，结合数据指标的多维度穿透，实现不同形式、不同维度的分析展现。

数据存储部分是通过在各个业务系统采集的数据建立数据仓库，在数据分析与决策支持等方面为用户或机器学习提供服务，将采集及处理后生成的数据集持久化到计算机中，从而提升数据的价值，帮助企业进行决策分析。

最终将有价值的数据以可视化的形式进行展现，能够有效帮助企业清晰地分析优劣势，从而调整企业策略，加快企业的信息化发展与整体竞争力，并可以通过数据服务来对外发布加强对数据可利用性，保证数据应用方可以得到准确完整的数据。

如何帮助数据准确、完整，这就需要对数据进行数据治理，通过数据中台治理企业数据，梳理业务流程，可以打破数据孤岛，为企业发展提供战略支撑，为后续信息化建设奠定数据基。

上述所说数据采集是整合各个业务系统数据，而业务系统数据源越来越多、越来越复杂，除了传统的应用系统以外，互联网的兴起形成了更为广泛的外部渠道，面对如此复杂的数据源，如何有条理地对数据进行选择、采集是接下来所要讲解的。

数据采集是数据采集的步骤，把业务系统的数据采集到数据中台中，数据分为业务数据和基础数据，基础数据是采用MDM基础数据管理平台进行数据采集同步到平台中进行数据管理，业务数据是通过DAP选择业务系统不同的数据表，采集到ODS中间库中进行定义和筛选，采集过程都是通过ESB应用集成平台实现现异构、分布式系统之间互联互通。

在数据中台收集数据的过程中通过ESB预置的各种适配器组件，连接现有各孤立应用系统，以图形化、拖拽方式构建集成流程和服务，提高应用系统集成工作效率，降低异构系统集成风险。针对未来可能出现的业务需求变更，在应用集成平台上进行动态调整，实现各应用系统之间的集成策略平滑升级。

1.基础数据采集过程

首先数据建模配置主数据的来源系统：

每个数据预制同步接口：

首先要调用同步临时表接口，先同步到临时表：

数据导入功能：

点击同步按钮同步到真实表中或者调用同步真实表接口：

接口API说明：

主数据采集到数据管理中：

2.业务数据采集过程：

业务数据采集过程是从业务系统到ODS的过程，首先定义应用系统：

然后定义数据库：

进行ODS定义：ODS来源方式分为源库读取（一般是MDM基础数据平台的主数据表）、流程同步、接口推送。

1.源库读取：把业务系统变成从库，直接会通过业务系统同步到数仓中。

2.接口同步：接口同步是业务系统调用此接口进行数据同步。

3.流程同步：流程同步是与ESB结合生成调度流程进行数据同步。

ODS流程同步分为时间戳和字段对比。

下图是字段对比：配置比较字段：

还可以配置通过时间戳查询：需要配置时间戳字段。

下面是选择对应信息，通过集成接口生成对应的流程。

点击flash后，会生成调度资源：

通过调度任务点击执行，会调用此流程，然后就会把数据同步到ODS中：

集成结果：

数据收集后要更好地为企业所用，就必须在数据中台中进行数据存储，从而进行数据的的应用，只有加强这方面的重视，才能更好地将数据变成资产。

数据存储也是分为基础数据存储和业务数据存储，基础数据存储就是上述通过主数据同步接口同步到MDM产品中进行管理，业务数据存储是通过ODS采集后，进行数仓的建设，通过ODS转换到数仓步骤来建立维度表、事实表、汇总事实表，在创建数仓模型。

数据和数据之间天然存在着显性和隐性的关系，数据的极致魅力在于通过这些关系的识别和挖掘，创造前所未有的应用场景，带来预想不到的巨大价值。而要实现这一切，首先需要将数据进行物理层面的汇聚，让有价值的信息自动、快速地整合到统一的存储空间，为后续的数据开发、数据分析打好坚实的基础。

1.基础数据存储

主数据管理：

参考数据管理：

类别列表：

编码列表：

业务数据存储：

通过ESB把ODS数据存储到数仓中的维度表、基础事实表、汇总事实表：

下面是维度表配置，维度表的来源表就是ODS表因此点击选择表会进入相应的ODS表选择页面，选中相应的ODS表后，便可回写到前端页面上，如下：

之后填完对应的数据后，这里为了限制维表必须选择来源表添加对应限制，当选择来源表后点击保存，为了更加的人性化我们直接弹窗提示是否为已经选择的表添加相应的关联关系，如下：

选择ok进入点击页面，下面我们就可以为两表的字段设置相应的关联关系，之后，点击确定录入相应的关联关系。并且首页的状态调整为编辑样式，如下：

我们可以在编辑状态下的明细页面找到我们配置的关联关系。如下：

因为我们在明细页面选择了来源表，因此在字段信息页面的倒入字段功能中，仅可以在你选择的来源表中倒入字段，具体样式如下：

这里表名的下拉选中只有我们上文中选中的表名称，如下：

选中后便会出现该表中的相应字段，在选择后再次进入后已选择的字段将不会再次选择，同时在字段信息页面中存在删除功能，当我们删除了通过导入字段功能导入的字段，该字段便会复原在原来的表格中，如下：

下面是基础事实表配置过程事实表会根据不同的类型进行选择相应的来源表，首先选择基础事实表，基础事表来源可以是维表、ODS，如下：

配置映射字段和来源字段：

存储效果：

企业内部各个系统间进行集成，对数据进行治理，实现数据的同步和分发，实现信息共享。同时企业内部与外部、线上与线下的集成，能够打通业务边界，实现生态化。

通过主数据管理进行企业内部统一数据标准，为主数据标准化提供一个统一的集中式管理平台，为所有信息交互和数据交换集成提供统一的编码数据。在主数据治理的过程中，企业服务总线作为辅助工具，完成数据的同步与分发。

随着互联网的发展，企业所要求的业务连通不仅局限于传统形式下的内部之间的业务集成整合。业务之间的联动是企业各层级统一存在的需求，只有从最基础的数据开始，打好底层基础，之后到系统之间的信息功能整合，屏蔽边界，最后实现整体业务流程的联动，才能避免信息孤岛的产生，真正实现企业内部信息的互联互通。

基础数据数据分发：

基础数据分发首页通过应用配置分发主数据和字段：

配置分发字段：

通过配置分发权限，配置主数据分组能够分发那些业务系统。

调用分发API接口调用统一分发：

通过BPM流程打通各个业务系统：

数据中台建设是一个综合性的系统工程，数据中台的本质是支撑快速孵化数据应用，用技术连接数据计算储存能力，用业务连接数据应用场景能力的平台。

通过多维分析技术实现多维度、多角度、全方位的实时在线分析，包括数据的行列转置、钻取联动、层层穿透等多种分析样式，帮助管理者全局性掌握公司运营现状，数据展现部分提供多样化、丰富化的展现方式，包括但不限于饼图、柱状图、折线图、气泡图、面积图、省份地图、词云、瀑布图、漏斗图等酷炫图表。

数据应用另一种数据服务，数据中台集成业务系统数据，一般情况展现层的数据不是本身系统的数据，是不可能再去业务系统抽取，那样的抽取的性能会变差，因为业务系统数据已经到数据中台中而且是治理后标准数据，所以应用从数据中台中获取，而获取的途径就是DAP数据服务，而其它产品数据可视化数据也是可以通过数据服务获取有效数据进行展现的。

通过数据可视化，业务组织可以提高他们在需要时查找所需信息的能力，并且比其他公司更高效地完成这些工作。

1.数据可视化应用：

通过不同的组件展现不同数据，在不同端、不同分辨率上展现不同的分析图表：

PC看板：

大屏展示：

移动展示：

2.数据服务应用:

业务数据对外提供的数据服务：

查询服务：

统计服务：

指标服务：

业务服务：

可以对采集到的所有海量数据进行分析，分析用的数据有由采样数据扩展至全部数据；其次，分析用的数据源从传统单一领域的数据扩展到跨领域的数据，大数据可以将不同领域的数据组合后进行分析；再次，数据基于有关系的数据源分析预测出正确的结果。