寿险公司数据质量治理实践与思考.pdf

wzf0072

2页

1次

2024-01-21

5墨值下载

保险专栏

Insurance column

近

年来，寿险公司在数字化转型的过程中面临着日趋严格

的外部监管要求和日益提高的内部业务发展需求。为贯

彻人民银行反洗钱、中保信报送等要求，落实“以用户为体验

为中心的数字国寿”建设规划，我司于 2017 年 12 月成立了

数据管理委员会，启动了数据质量治理工作。2018 年，在总

公司信息技术部的指导下，研发中心着手实施数据质量治理工

作，取得了初步成效，数据准确性、一致性、完整性、及时性

得到提高。

数据质量治理的目标、思路和策略

公司数据质量治理的总体目标是提高数据的准确性、一

致性、完整性、及时性、稳定性和可用性。2018 年，研发中

心将数据质量治理工作的重点聚焦到提高数据“准确性、一致

性、完整性、及时性”。针对四项工作目标，在分析其关联性

及特殊性后，采取以下举措：通过“事前校验、事中检查、事

后检核”机制保障数据准确性；通过客户、销售类数据整合提

高数据完整性；通过完善数据加工逻辑、建立上下游系统表级

血缘关系、建设上下游系统数据比对工具保障数据一致性；通

过实时计算平台及服务化改造提高数据及时性。

为了落地以上举措，研发中心采取“价值导向，治理并举”

的策略。“理”，是指以建设数据质量治理平台为抓手，落实数

据质量治理的标准、规范和管理要求，提供数据治理公用工具；

“治”，是指以提升客户、运营、监管类重点系统数据质量为抓

手，落地配套举措，提升用户满意度。

建设数据质量治理平台和提高系统数据质量是关键

按照以上工作策略，具体工作主要围绕建设数据质量治

理平台和提升重点系统数据质量两个方面展开，同时调整完善

数据库设计流程等操作规范。

1. 建设数据质量治理平台

（1）数据标准。在信息技术部指导下，协同业务部门整

理 11 个业务领域 2136 条数据标准，包括业务标准和技术标准，

文‖中国人寿保险股份有限公司研发中心熊军军陈志成孙健赵越超

寿险公司数据质量治理实践与思考

这些数据标准可在统一数据建模工具中直接引用。整理重点数

据项的数据代码，并映射到核心业务系统的具体字段，以便对

这些字段的代码值进行合规性检查。

数据标准的建立，有利于提升数据准确性和一致性，提

高开发效率。例如，通过数据标准中的约束条件，校验客户信

息，实现“事前校验”，保障数据准确性；通过统一的数据定义，

各业务系统数据加工口径一致，保障中保信报送的统计指标准

确；通过统一数据代码，各系统不需要做过多的数据映射转换，

提高工作效率。

（2）数据模型。提供云桌面统一数据建模工具 DDM，维

护各系统数据逻辑模型和物理模型，同时通过解析生产环境元

数据，实现生产数据模型和开发数据模型比对。

数据模型配套功能，提供了组织级资产管理工具，使全

中心所有数据模型随时可查，不会缺失；提供了高效的数据建

模工具，内嵌数据标准，支持逆向建模、模型数据导入导出，

模型版本管理，支持项目组高效协作；提供了开发模型和生产

模型比对工具，既可以督促团队及时更新开发模型，也可以检

查生产库索引是否正确维护，保障生产系统高效运转。

（3）数据质量。提供业务规则和技术规则定义功能，并

支持连接生产环境定期自动运行质量检查任务。该模块提供了

统一的数据质量检查平台，任一系统通过简单配置业务规则和

技术规则，制定适当的检查任务运行策略后，均可定期开展数

据质量检查任务。在系统的运行过程中，及时监控发现数据质

量问题，为“事中检查”提供有效手段，也便于各团队根据检

查报告分析系统主要问题，优化设计方案，保障数据准确性。

此外，结合系统间数据比对工具，可以实现上下游异构数据库

的数据比对，实现“事后检核”。

（4）数据血缘。可通过 Excel 文件导入数据血缘关系，

也可自动解析 SSIS 和部分存储过程中的数据血缘关系，并

可在上游数据模型变化时自动邮件通知下游系统数据库管

理员。

该模块提供了全面的数据关系视图，可以指导数据架构

保险专栏

Insurance column

设计和数据问题诊断。在上游数据结构变更时，在开发模型维

护阶段就及时通知下游，确保上下游数据一致性，减少因数据

结构不一致导致的数据滞后和数据修复。同时，数据血缘关系

为所有系统数据重要性分级提供分析路径，便于数据分级管理。

2. 提高重点系统数据质量

（1）客户类系统。为了充分发挥数据价值、提升业务支

撑能力，客户主数据管理系统团队数据治理专项小组，本着 "

分步实施，从易到难，逐个击破 " 的原则，实施两大批次数据

治理。

第一批次从数据加工逻辑着手，从数据整合、数据归并、

数据服务三个方面分析，解决数据库同步机制问题、归并逻辑

存在的问题、开户逻辑控制不严导致重复开户问题等 10 余个

问题 , 重新归并数百万客户数据，修复 20 余万身份认证问题

数据，解决了客户绑定保单有误、借款验证不通过两大类问题。

第二批次从全部存量数据准确性检核着手，通过数据比对

解决了客户主数据系统与 4 核心系统的数据不一致的问题，修

复客户及保单不一致数据一千余万，删除多余数据数百万万，

补充了数百万客户信息，大幅提高了客户数据的准确性和完整

性。项目组基于阿里异构数据采集工具 DataX 和大数据比对

技术，开发数据比对工具，高效比对核心系统与 CMDS 数据，

指导数据修复，实现“事后检核”。

（2）运营类系统。为了快速支持一线业务，降低数据修

改工单，总分公司协作，在保全系统开发并推广 19 项新的保

全功能，解决导致核心生产类数据修改工单量最大的 20 个问

题，可望大幅提高数据修改效率，支持分公司业务发展。

（3）监管类系统。落实人民银行反洗钱监管要求，对反

洗钱系统、销售 APP、客服 APP、健康保险业务管理系统等

19 个系统进行客户信息质量管控，主要包括客户关键信息录

入校验、客户整合信息查询、客户差错信息提示三个方面的工

作，其中客户关键信息录入校验涵盖 19 项个人客户关键信息

和 6 项团体客户关键信息。通过以上系统的改造，实现了客户

信息数据的入口控制、差错标识和差错处理，落实了监管要求，

提高了客户信息质量。

提高中保信报送数据质量，一是与业务、核心、分公司

多渠道及时沟通，解决中保信数据质量核查反馈的问题。二是

对每日增量加工的数据进行校验，并将结果进行曝光。三是完

成了中保信大数据检核功能开发，定期检查报送数据质量。

综上，通过对重点系统数据“事前校验、事中检查、事

后核对”，提高了数据质量，满足了客户和监管机构的要求，

提高了运营人员工作效率。

主要经验和未来设想

1. 关注业务价值，解决实际问题

数据治理工作必须从价值出发，不能“空中楼阁”，要找

准主要系统的关键问题，论证技术方案，共享经验，采取多种

举措提升数据质量。

2. 重视 IT 用户体验，建设数据质量治理平台

数据质量治理平台作为一个 IT 人员使用的辅助管理类系

统，建设之初就高度重视用户体验，功能上尽量不与现有系

统功能耦合，易用性方面提出较高要求。例如：上游数据结

构变更自动通知下游系统功能，通知邮件中不仅描述系统间

关系，而且附带一个 Excel，详细说明上游系统字段变更情况；

数据模型管理功能，提供云桌面能访问的统一建模工具，而

且通过开发模型和生产模型比对功能来保障及时更新开发模

型基线。

3. 加强各方协作，提高工作质量

在数据标准制定过程中，积极配合信息技术部、业务部

门制定业务标准，并与关联项目组核实技术标准。在数据质量

治理平台功能设计和验收中，邀请各部门 DBA 参与并吸收宝

贵意见。

4. 总结经验与不足，实现全方位提升

（1）数据标准方面。提高数据标准的质量，减少数据冗余，

去除不一致的信息。实现公共的数据代码统一管理与服务。

（2）数据模型方面。完善数据建模工具功能，支持更多

数据库类型，研究数据建模工具如何更高效嵌入开发测试流程。

（3）数据质量方面。建设公共数据质量检核层，支持异

构数据库的数据集成与比对，支持灵活的任务调度，实现“事

中检查”和“事后检核”统一管控。

（4）数据血缘方面。建立全中心各系统数据血缘关系，

并及时更新。并与服务治理联动，将通过服务方式建立的血缘

关系纳入管理。

（5）元数据管理。建立元数据门户，明确有哪些业务领

域数据、在哪些系统存放、如何产生、如何提供。用于指导中

心各团队数据建模和数据加工。

（6）数据质量治理平台报表功能。开发统计报表功能，

分析各项工作开展情况，评估各团队数据治理水平。如质量检

查报表、开发模型和生产模型差异报表、数据标准引用率报表

等。

保险专栏

Insurance column

近

年来，寿险公司在数字化转型的过程中面临着日趋严格

的外部监管要求和日益提高的内部业务发展需求。为贯

彻人民银行反洗钱、中保信报送等要求，落实“以用户为体验

为中心的数字国寿”建设规划，我司于 2017 年 12 月成立了

数据管理委员会，启动了数据质量治理工作。2018 年，在总

公司信息技术部的指导下，研发中心着手实施数据质量治理工

作，取得了初步成效，数据准确性、一致性、完整性、及时性

得到提高。

数据质量治理的目标、思路和策略

公司数据质量治理的总体目标是提高数据的准确性、一

致性、完整性、及时性、稳定性和可用性。2018 年，研发中

心将数据质量治理工作的重点聚焦到提高数据“准确性、一致

性、完整性、及时性”。针对四项工作目标，在分析其关联性

及特殊性后，采取以下举措：通过“事前校验、事中检查、事

后检核”机制保障数据准确性；通过客户、销售类数据整合提

高数据完整性；通过完善数据加工逻辑、建立上下游系统表级

血缘关系、建设上下游系统数据比对工具保障数据一致性；通

过实时计算平台及服务化改造提高数据及时性。

为了落地以上举措，研发中心采取“价值导向，治理并举”

的策略。“理”，是指以建设数据质量治理平台为抓手，落实数

据质量治理的标准、规范和管理要求，提供数据治理公用工具；

“治”，是指以提升客户、运营、监管类重点系统数据质量为抓

手，落地配套举措，提升用户满意度。

建设数据质量治理平台和提高系统数据质量是关键

按照以上工作策略，具体工作主要围绕建设数据质量治

理平台和提升重点系统数据质量两个方面展开，同时调整完善

数据库设计流程等操作规范。

1. 建设数据质量治理平台

（1）数据标准。在信息技术部指导下，协同业务部门整

理 11 个业务领域 2136 条数据标准，包括业务标准和技术标准，

文‖中国人寿保险股份有限公司研发中心熊军军陈志成孙健赵越超

寿险公司数据质量治理实践与思考

这些数据标准可在统一数据建模工具中直接引用。整理重点数

据项的数据代码，并映射到核心业务系统的具体字段，以便对

这些字段的代码值进行合规性检查。

数据标准的建立，有利于提升数据准确性和一致性，提

高开发效率。例如，通过数据标准中的约束条件，校验客户信

息，实现“事前校验”，保障数据准确性；通过统一的数据定义，

各业务系统数据加工口径一致，保障中保信报送的统计指标准

确；通过统一数据代码，各系统不需要做过多的数据映射转换，

提高工作效率。

（2）数据模型。提供云桌面统一数据建模工具 DDM，维

护各系统数据逻辑模型和物理模型，同时通过解析生产环境元

数据，实现生产数据模型和开发数据模型比对。

数据模型配套功能，提供了组织级资产管理工具，使全

中心所有数据模型随时可查，不会缺失；提供了高效的数据建

模工具，内嵌数据标准，支持逆向建模、模型数据导入导出，

模型版本管理，支持项目组高效协作；提供了开发模型和生产

模型比对工具，既可以督促团队及时更新开发模型，也可以检

查生产库索引是否正确维护，保障生产系统高效运转。

（3）数据质量。提供业务规则和技术规则定义功能，并

支持连接生产环境定期自动运行质量检查任务。该模块提供了

统一的数据质量检查平台，任一系统通过简单配置业务规则和

技术规则，制定适当的检查任务运行策略后，均可定期开展数

据质量检查任务。在系统的运行过程中，及时监控发现数据质

量问题，为“事中检查”提供有效手段，也便于各团队根据检

查报告分析系统主要问题，优化设计方案，保障数据准确性。

此外，结合系统间数据比对工具，可以实现上下游异构数据库

的数据比对，实现“事后检核”。

（4）数据血缘。可通过 Excel 文件导入数据血缘关系，

也可自动解析 SSIS 和部分存储过程中的数据血缘关系，并

可在上游数据模型变化时自动邮件通知下游系统数据库管

理员。

该模块提供了全面的数据关系视图，可以指导数据架构

保险专栏

Insurance column

设计和数据问题诊断。在上游数据结构变更时，在开发模型维

护阶段就及时通知下游，确保上下游数据一致性，减少因数据

结构不一致导致的数据滞后和数据修复。同时，数据血缘关系

为所有系统数据重要性分级提供分析路径，便于数据分级管理。

2. 提高重点系统数据质量

（1）客户类系统。为了充分发挥数据价值、提升业务支

撑能力，客户主数据管理系统团队数据治理专项小组，本着 "

分步实施，从易到难，逐个击破 " 的原则，实施两大批次数据

治理。

第一批次从数据加工逻辑着手，从数据整合、数据归并、

数据服务三个方面分析，解决数据库同步机制问题、归并逻辑

存在的问题、开户逻辑控制不严导致重复开户问题等 10 余个

问题 , 重新归并数百万客户数据，修复 20 余万身份认证问题

数据，解决了客户绑定保单有误、借款验证不通过两大类问题。

第二批次从全部存量数据准确性检核着手，通过数据比对

解决了客户主数据系统与 4 核心系统的数据不一致的问题，修

复客户及保单不一致数据一千余万，删除多余数据数百万万，

补充了数百万客户信息，大幅提高了客户数据的准确性和完整

性。项目组基于阿里异构数据采集工具 DataX 和大数据比对

技术，开发数据比对工具，高效比对核心系统与 CMDS 数据，

指导数据修复，实现“事后检核”。

（2）运营类系统。为了快速支持一线业务，降低数据修

改工单，总分公司协作，在保全系统开发并推广 19 项新的保

全功能，解决导致核心生产类数据修改工单量最大的 20 个问

题，可望大幅提高数据修改效率，支持分公司业务发展。

（3）监管类系统。落实人民银行反洗钱监管要求，对反

洗钱系统、销售 APP、客服 APP、健康保险业务管理系统等

19 个系统进行客户信息质量管控，主要包括客户关键信息录

入校验、客户整合信息查询、客户差错信息提示三个方面的工

作，其中客户关键信息录入校验涵盖 19 项个人客户关键信息

和 6 项团体客户关键信息。通过以上系统的改造，实现了客户

信息数据的入口控制、差错标识和差错处理，落实了监管要求，

提高了客户信息质量。

提高中保信报送数据质量，一是与业务、核心、分公司

多渠道及时沟通，解决中保信数据质量核查反馈的问题。二是

对每日增量加工的数据进行校验，并将结果进行曝光。三是完

成了中保信大数据检核功能开发，定期检查报送数据质量。

综上，通过对重点系统数据“事前校验、事中检查、事

后核对”，提高了数据质量，满足了客户和监管机构的要求，

提高了运营人员工作效率。

主要经验和未来设想

1. 关注业务价值，解决实际问题

数据治理工作必须从价值出发，不能“空中楼阁”，要找

准主要系统的关键问题，论证技术方案，共享经验，采取多种

举措提升数据质量。

2. 重视 IT 用户体验，建设数据质量治理平台

数据质量治理平台作为一个 IT 人员使用的辅助管理类系

统，建设之初就高度重视用户体验，功能上尽量不与现有系

统功能耦合，易用性方面提出较高要求。例如：上游数据结

构变更自动通知下游系统功能，通知邮件中不仅描述系统间

关系，而且附带一个 Excel，详细说明上游系统字段变更情况；

数据模型管理功能，提供云桌面能访问的统一建模工具，而

且通过开发模型和生产模型比对功能来保障及时更新开发模

型基线。

3. 加强各方协作，提高工作质量

在数据标准制定过程中，积极配合信息技术部、业务部

门制定业务标准，并与关联项目组核实技术标准。在数据质量

治理平台功能设计和验收中，邀请各部门 DBA 参与并吸收宝

贵意见。

4. 总结经验与不足，实现全方位提升

（1）数据标准方面。提高数据标准的质量，减少数据冗余，

去除不一致的信息。实现公共的数据代码统一管理与服务。

（2）数据模型方面。完善数据建模工具功能，支持更多

数据库类型，研究数据建模工具如何更高效嵌入开发测试流程。

（3）数据质量方面。建设公共数据质量检核层，支持异

构数据库的数据集成与比对，支持灵活的任务调度，实现“事

中检查”和“事后检核”统一管控。

（4）数据血缘方面。建立全中心各系统数据血缘关系，

并及时更新。并与服务治理联动，将通过服务方式建立的血缘

关系纳入管理。

（5）元数据管理。建立元数据门户，明确有哪些业务领

域数据、在哪些系统存放、如何产生、如何提供。用于指导中

心各团队数据建模和数据加工。

（6）数据质量治理平台报表功能。开发统计报表功能，

分析各项工作开展情况，评估各团队数据治理水平。如质量检

查报表、开发模型和生产模型差异报表、数据标准引用率报表

等。

of 2

5墨值下载

寿险公司数据质量治理实践与思考

关注

评论