打通孤岛，数据融通四步走

数据工程师 2020-11-18

1758

统一数据实体

数据中台在数据方面的四个关键是：数据全面、数据打通、数据统一、数据闭环。这依赖如下三套体系：

企业级数据体系的建设过程中，不是一开始都有归拢的数据模型，往往是各个体系分为几个部门进行烟囱式开发，其各自不同的数据源表结构、存储方式、给数口径形成的壁垒阻止了数据的整合，在不同条线形成一个个数据孤岛。这种情况，不利于用户整体和统一画像的形成，甚至最基本的营销活动会因为各方看到数据的不同而产生规则分歧。

数据的价值转化，首先是数据的融通整合。而在数据融通的过程中，需要保证数据的准确、齐全和统一，在这个方面，起到关键作用的便是统一数据实体，即所谓ONE DATA。

实践中，统一实体，是一个“无限逼近”的过程。在广度层面，一方面是规划设计数据实体的维度信息，一方面还要根据业务需求和采集数据的扩展不断丰富这个实体；在精度层面，需要通过数据治理的标准化和规范化管理，不断保持数据项、标签、指标之间的动态关联信息，保持数据采集、加工规则的统一。考虑到这个工作的在体量和质量方面的高要求，统一实体数据的管理工作需要有自己的模型工具和管理流程。

统一实体的应用

以商业银行的客户画像数据统一为例，总体分为四大步骤，以实现从数据到信息，到知识，到智慧的萃取过程。

第一步，数据治理。

这是第一步也是最重要的一步。一个商业银行存在着来自多个部门的数个源表系统，其各自口径不同，给数平台也不同，形成了多个数据孤岛各自为战，机械地全盘接入难保数据质量。

所以，首先要解决的是数据打通问题，这需要行内数据治理部门建立一个全行统一的数据标准，并由专人负责推进源表改造，接口维护和标签验证。前两者保证了接入数据的统一性，便于归拢，而后者标签验证可以保证数据质量，即通过双重验证，确保业务部门拿到的数据是齐全及准确的。

在标签验证过程中，一大难点即是各部门建库时的标准不一，导致各大源系统内标签命名不同，格式不同，同一个指标的口径也不尽相同。同时由于验证过程就是发现问题的过程，源系统、开发、验证、业务人员之间沟通的种种困难也会给标签加工，数据融通的工作增添了较大的阻力。这需要建立一个大家都认可的、公开更新的平台，明确责任划分，消除推诿护短等情况。

另外，客户隐私的保护也是银行的着力点，敏感信息的物理隔离，乃至脱敏，下放流程，都需要一套严谨的标准，保证客户信息从根源上断绝泄露风险。

第二步，信息归拢。

在解决了数据打通、数据统一问题后，我们可以从多个存贷业务条线下、以及营销活动下的用户信息表内萃取出自然及社会属性，性别、年龄、职位、社会关系、住址、资产状况等，表间将由由脱敏后的唯一用户编码关联，构成了该用户的基本信息。

除此之外手机APP的埋点日志表亦会记载设备信息、定位、前页面信息和系统版本的打点记录。通过对存款净值、理财购买情况、贷款业务、第三方存管的数据归拢可以初步形成用户的资产负债情况。

而埋点记录里的搜索日志、营销活动报名信息、厅堂记录的到店办理情况、包括借记卡及信用卡的海量消费记录都应加以整合归拢，以萃取出用户行为信息，为后续标签生成服务。

第三步，生成标签。

对于用户基本信息、资产负债状况、行为偏好的信息归拢后，我们可以把要生成的标签分为两大类，核心属性及兴趣消费偏好。

核心属性一般是定性标签，是确定性的且不需要复杂模型来生成。对于商业银行来说经济状况也就是资产负债状况是需要注意的点，经济状况标签不仅需要采集风险偏好测评表，对单一用户的收支、消费情况、投资理财产品的购买及赎回行为、金额、时间跨度等都可以作为模型参数进行建模。

而对于消费偏好，应使用聚合模型，将手机银行APP内的消费记录、搜索日志表、营销活动报名及投票记录、功能及活动收藏夹、满意度、定位信息、页面访问记录都应纳入模型，聚合、生成其关注的活动、商品类型标签，进一步萃取为消费倾向和兴趣偏好。

第四步，关系及全域行为刻画。

归拢了实体，贴上标签之后，实现以高价值统一实体为核心的关系刻画也就成为了可能。当立体画像能明确对应一位用户及其背后的所有社会属性，便可以找出亲属同事等的社会关系，通过不断完善其社交网络图谱，营销效率将再一次得到提升。

在完成了前几步的基础上，补充归集其行为数据，即可刻画出完整的一个用户实体，此实体包含了其社会经济属性和产品偏好、行为，商业银行便能提供给行内数据分析平台以完成用户画像，生成个性化服务，为客户提供千人千面的产品线及促进精准营销，提升营销效率和满意度。

结语

数据实体的逻辑层面的统一实体，还需要实施层面的落实和支撑。在商业银行数据中台的建设过程中，统一数据实体是一项贯穿始终、需要长期坚持和不断优化完善的工作，由于商业银行内部系统普遍处于新旧混存、迭代升级、交替更新的状态，因此其会受到物理实施层面的制约，在交付的时间上和存储的空间上需要进行更加精准的规划。

在建立了精准的、与时俱进的全局规划体系下，数据工作者借助模型工具可有效提升管理效能，辅以适当的流程，才能够使系统与数据模型的迭代始终保持同步，才不会在消除数据孤岛的同时产生新的数据孤岛，使统一实体体系能够保证数据中台数据融通的本职功能，加强数据中台持续稳定输出服务的能力。