农业银行：图数据库技术实践与展望

银融时代 2021-07-26

466

文/罗晓峰李鲲杨李博

现如今，随着金融行业数字化转型的深入，挖掘深度关联关系背后的价值愈发重要，大客户推荐、信贷风险防控、智能运维分析等等都需要关联数据的挖掘，传统关系型数据库和近年来新兴的 NoSQL 大数据产品已无法完全满足数据处理的要求。图数据库通过图结构组织数据，克服了其他数据库无法克服的深度关联数据分析挑战，为构建银行知识图谱，搭建 AI 决策引擎，实现深度业务知识和价值挖掘提供重要科技保障和技术指引。在此背景下，农业银行图计算平台建设工作于2019年正式启动，通过引入图数据库技术，增强农业银行在信贷监测、客户营销、风险控制等领域的数据挖掘能力，为业务创新提供基础支撑。

一、农业银行图数据库发展现状及应用场景

农业银行通过引入图数据库技术，旨在打造行业领先的图计算基础服务平台，建立统一的、规范的、全行级图计算服务体系，完善农业银行数据中台建设。利用图数据库技术，为行内各大系统提供丰富全面的应用支持，不断丰富拓展业务场景。

从2019年始，农业银行基于开源图数据库Neo4j，探索搭建图计算平台，支撑全行各类图计算需求，深度挖掘图数据价值，支撑全行应用系统深度关联数据分析处理，为农业银行提供高性能图存储、图计算公共服务。目前，图计算平台已经落地多个应用，在图计算业务场景建设方面取得了初步成果。

信贷资金多贷一用监测

基于图计算平台，进行信贷资金监测，提升风险防控水平。多贷一用是指贷款发放以后一段时间内，多名客户将资金转至同一账户（同客户号或同名或同账号），且金额达到一定数目的情况，这种情况的发生往往伴随着信贷诈骗的情况发生。为提升农业银行信贷反欺诈能力，基于图计算平台建立信贷资金多贷一用监测，及时发现符合多贷一用条件的客户，并设定为风险用户，实时监测贷款客户名下所有账户（活期账户、借记卡和信用卡）流出，从而提升农业银行信贷安全防控水平。

图1 多贷一用结果图

应用系统关联关系分析

对于一个现代企业或组织，可能拥有成百上千的IT系统需要运维管理。随着数据共享、流程互通等技术发展，这些系统之间往往不是孤立存在的，它们之间通常有各种各样的依赖关系，形成一个IT系统网络。如果一个节点出现故障，可能影响一个或多个下游系统的运行。而当以模块或者更小粒度去管理这些内容时，这些网络关系信息将变得更加庞杂。

图计算平台关联关系分析模块能够在复杂的网络中，清楚的描述这些关系，当一个节点发生故障时，能够快速地分析出可能影响运行的下游节点以及影响程度，应用系统关联关系分析模块为大型企业提供了一种系统故障影响分析方法，利用图结构表示和分析系统间的数据依赖关系，可以根据故障节点信息，快速地分析出受影响的下游节点以及影响程度，从而极大地提升公司企业的运维水平。

图2 应用系统关联关系分析

集团客户分析

相比于传统银行授信业务，集团客户授信需要对集团公司及各个子公司间关联关系进行深入分析，并在单一企业风险分析维度的基础上从集团整体的角度进一步分析集团整体的风险。对此，农业银行基于关联图谱及图挖掘技术建立了集团企业关联关系分析的解决方案。

对于商业银行的信用风险评估，客户所属隐性集团的识别难度较高，往往只能凭借人工经验。这种隐性集团客户具有关联关系复杂，隐蔽性强，风险系数高的特点。所以，有效的客户所属隐性集团识别方法具有现实意义。图计算平台依托于图数据库，利用图遍历算法，获取与目标企业存在并表关系、表决权、实际控制人、投资、担保、资金往来、亲属关联、高管关联、同一地址关系的疑似集团，极大地提升了农业银行在信用风险评估领域的水平。

图3 集团客户隐性集团识别

二、图数据库技术实践过程

利用图数据库技术，创新农业银行业务应用场景，图数据库在具体实践过程中环环相扣。概括来说，一个完整的图数据库应用开发过程包括：

1）分析业务人员提出的需求；

2）图数据库技术人员通过与业务人员的交流和自身具备的图库专业知识，根据需求设计图模型；

3）对相关的数据进行加工，使业务数据符合图数据的标准，并将数据输入到图数据库中，当收到图查询等请求时，图数据库根据业务逻辑和技术指标对数据进行图计算后输出结果；

4）由业务人员对图数据库的输出进行业务验证;图数据库的日常运维工作。

图4 图数据库实施过程示意图

需求理解

图数据库的应用实施，需要对相关业务需求充分的理解。图数据库应用场景广泛，业务复杂程度不一，充分理解业务需求是后期设计实施的重要保证。这一过程往往是通过图数据库技术人员和业务人员不断沟通中完成的。作为一名业务人员，首要的是将业务场景、待解决问题、数据规模、性能指标等需求描述清晰，而图数据库技术人员需要将业务场景转化为对应的图问题，对数据传输、数据存储、系统对接方式等等进行确认，并与业务人员持续沟通，确保业务需求和输出一致。

图模型设计

将普通数据转化为图数据，图模型的设计是不可或缺的。图模型包含图中的节点和关系，设计图模型就是将传统关系型数据库中的字段信息等一一转化为图结构的过程。因此，图模型的设计必须在充分理解业务需求的基础上，进行科学的设计，保证功能的同时兼具性能。

具体来讲，图模型的设计首先要考虑的就是图数据库中的基本元素：节点和边。根据业务需求，确定节点的类型、属性，考虑节点的全面性和业务属性。确定节点后还需要考虑表示节点间关系的边，关系是否具有自相关性等等。图结构是千变万化的，对于同一业务需求，可能存在不同的图模型可以解决该业务问题，所以采用性能更优的模型也是优化应用场景的一种思路。

数据加工

目前，业内的大量数据还是存储在关系型数据库中，数据的结构化特点与图数据库的数据结构要求并不相符，业务数据没有按照点和边的形式存在。因此，对于需要使用图数据库分析的数据，首先需要进行转化处理，将常规的结构化数据转换成以点和边的形式存在的数据。

根据不同的实效性要求，数据加工可以分为联机处理和批量处理两种。联机处理是在接收到业务数据的同时，直接将其处理成图数据库库中点和边的形式，通过图数据库相应的API，进行增删改查等基本操作。批量处理通常用于处理时效性要求不高，数据量大的业务数据，一般的图数据库都提供了数据批量导入工具，可以导入csv等格式的批量数据。

业务验证

数据经过加工，存储到图数据库中，为了确保我们设计的模型能够正常使用，需要验证数据加工过后是否正确，生成的点、边数据是否都符合预先的期望。除此之外，运用图数据库的目的是为了更加高效的解决业务问题，也需要关注执行业务对应的图查询语句时，能否得到符合业务预期的结果。

运维

运维工作是数据库系统正常有序工作的重要保障，为了使用图数据库应用能够稳定持续工作，图数据库技术人员需要确保以下几点：

（1）数据库监控：对数据库容量进行实时监控，保证存储容量大于数据量，对冗余数据进行定期清理，保证数据库处于良好的存储状态。

（2）数据备份：一个性能优秀的图数据库系统应该支持完整的和增量的数据库热备份功能，保证数据的可恢复性。

（3）灾备方案：允许跨数据中心进行灾备部署，在每个数据中心维持高性能、图数据库完整性。支持在所有数据中心内部和之间进行故障转移以便应用始终能够访问到距离最近的集群成员来处理数据库请求。

另外，图数据库的实施要充分考虑容错特性，在某个节点出现故障的时候将相关请求重新路由到其他正常运行的服务器。如果主导的主服务器节点（lead server)出现故障而无法响应，另外的一个主服务器节点会自动成为新的主导节点。如果出故障的是只读节点（read server)，那么其他只读节点或者主节点会自动承担服务请求。

三、图数据库技术在农业银行的发展愿景

目前，农业银行图数据库引入一期工作已经建设完成，基于开源版图数据库技术，行内在应用场景建设和具体的技术实践方面均已积累了一定经验。在二期规划中，农业银行会采用商业版的图数据库来丰富产品线，尝试不同的体系架构，一方面在系统性能上做强大，另一方面增加不同建模算法、模型包，以便提供不同应用场景使用，最终使图数据库成为农业银行在数据中台中的重要组成。在未来，农业银行对图数据库技术的应用有着更高的展望与愿景。

商业开源双线并举

图数据库技术尚处于发展期,开源与商业混搭并举是目前主流的技术发展趋势。农行图数据库的引入目前也是通过开源与商业结合的方式，一方面通过开源版本进行产品的试用，充分验证场景，另一方面在加快商业版本的采购，为行内的图计算需求提供更全面更强大的技术支撑。

待商业版本采购落地之后，农业银行将继续推行开源和商业版本并行的模式，重点项目放在商业系统上运行，商业版本集成架构更强，可以支持企业级定制，提供专业的接口和随时随地的技术支持和服务。试用产品和项目探索放在开源系统上运行，充分利用了开源版本成本低、灵活性高、自由度高等优势。

联合实验室

目前图数据库尚不完善，各厂商的技术架构、实现模式、技术思路各不相同。很多的高校研究团队也是在图数据库方向发力，进行技术探索研究。农业银行可以和高校、厂商进行合作，成立联合实验室，共同对新技术进行探索研究，高校提供理论支持，厂商提供商业产品，农业银行提供金融实践，共同促进图数据库发展，同时加强农业银行图数据库人才的培养。

搭建平台对外输出

随着金融科技子公司的成立，产品和技术的输出也是未来的一个主要方向。农业银行搭建的图计算平台，有志于达到金融同业领先水平，可以作为未来技术输出方向之一。

四、结语

在数字化转型的浪潮中，图数据库技术无疑是大数据分析领域的一把利器。可以预见，未来几年，图数据库技术仍将不断进化、高速发展，而掌握并深入运用图数据库技术，也将给正在如火如荼进行的数字化转型工作注入一剂强有力的催化剂。

（来自：我们的开心）

数据库

文章转载自银融时代，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

农业银行：图数据库技术实践与展望

评论