农业银行信用卡分布式核心系统建设实践

文丨中国农业银行研发中心上海研发部 王泳滨

银行业作为关乎国计民生的重要行业，其核心系统是业务稳健发展和产品创新迭代的基础支撑。传统的信用卡集中式系统架构因缺乏快速有效的横向扩容能力、单体规模过于庞大，难以有效应对互联网类业务的瞬时高并发、大数据量、快速迭代等发展需要；同时，信用卡业务呈现渠道线上化、产品多元化的趋势，原有的系统架构底层设计难以满足场景额度、灵活计价等方面的新需求。在此背景下，农业银行于2021年1月启动信用卡核心系统技术架构转型，并同步进行业务架构重构升级。2023年4月6日，农业银行信用卡分布式核心系统(OVC)顺利投产，实现亿级客户规模的数据迁移及流量切换，标志着农业银行第三代信用卡核心系统全面建成。

面对基础架构全面替换、研发技术栈转型、业务架构同步重构升级、多项企业级工程和其他分布式核心模块关联改造同步进行等诸多挑战，农业银行由科技和业务部门组成的联合项目组按照行党委“稳字当头、准备充分、协同行动、有序推进、确保成功”的要求，秉持“以客户为中心”的初心，坚持“业务连续、资产安全”的原则，历时两年零四个月，全面完成信用卡分布式核心系统建设和数据迁移，实现了“在高速航行的飞机上更换引擎”。

在充分进行内部梳理讨论、同业调研的基础上，农业银行选择了技术架构迁移与应用架构升级同时进行的实施路径，满足以多层级额度、交易级账户、差异化定价等核心功能为基础的业务需求，确立系统顶层设计方案。

2021年1月，农业银行研发中心上海研发部和信用卡中心成立联合工程组，采用全程集中办公的方式，保持目标和节奏高度一致，以保障交付质量和效率；以联合攻坚突击队为抓手实现业技深度融合，高效、平稳、安全地推进信用卡分布式核心系统建设工作，保障了整体数据迁移和投产切换的顺利进行。

项目组逐一攻克单元化设计、分布式事务实现、熔断限流等关键问题，扫清技术障碍；合理进行系统模块和微服务划分，有力支持产品创新和新兴能力构建，确保数据完整、过程安全、业务连续。

面对系统升级带来的分布式架构、微服务部署变化，以及业务模型升级等要求，工程组有针对性地开展分布式事务测试和混沌测试，以保障系统服务的连续性和健壮性；通过回放对比测试，精准核对新老系统的交易处理结果，验证数据迁移的一致性和程序逻辑的正确性；通过多轮账务全流程测试，有力保障核算账务“账平表对”。

工程组全面分析亿级客户迁移的难度及风险，创造性地提出“多维度比对、并行环境运行、分批次迁移、停机不停机有机结合”的迁移方案。通过统计比对、卡账客信息比对、抽样比对和交易回放比对四道防线，确保迁移数据的正确性、完整性和一致性；通过并行环境验证，长时间交叉核对系统运行及数据的正确性，发现深层次的迁移问题；在生产上，通过部分客户分批不停机迁移的方式最大限度验证迁移性能和可行性；通过“存量铺底+增量处理”的方式将对客影响降到最低，最终实现全量客户短时停机一次性迁移，确保了业务连续性。

信用卡分布式核心系统历经原型验证、核心功能实现、全量功能实现三大里程碑式阶段，通过15次流量切换、4批客户迁移，实现从无到有的跨越式发展。

2022年3月，信用卡分布式核心系统并行验证系统投产上线，用于验证核心功能;同年10月，正式技术投产上线，实现了代理先行、平稳切换的既定目标。2023年4月6日，完成最终批次客户数据迁移和业务流量切换，并有效保障系统平稳迁移、业务平稳过渡、客户服务平稳连续。作为农业银行第一个分布式架构大型应用系统，信用卡分布式核心系统的上线标志着农业银行迈入分布式核心系统大规模应用的新阶段。

信用卡分布式核心系统在从集中式架构向分布式架构转型的过程中面临多项技术挑战：在基础设施方面，基于大型主机的集中式架构难以满足全新技术栈和业务创新需要；在架构设计方面，分布式微服务架构增加了设计、研发、运维的复杂度；在服务能力方面，核心系统对业务连续性和事务一致性有极高的要求，并要求支持海量高并发的交易场景；在系统关联方面，信用卡系统与其他核心系统、众多外围系统间存在紧密的耦合关系，内外部关联影响复杂。工程组基于农业银行分布式核心技术栈，结合信用卡业务特点，开展了各项专题攻关工作。

一是全面更换基础设施与技术栈，为业务快速发展提供能力保障。信用卡分布式核心系统架构由基于大型机、封闭式中间件转向基于“云平台+分布式数据库”，实现了系统高性能、高可用、易扩展，大幅度提升了横向扩缩容能力和容灾能力，并针对当前新型业务瞬时高并发、大数据量、快速迭代等特点进行功能升级，高效支持产品创新及市场发展。此外，该系统通过云原生容器环境，构建了安全稳定运行的云平台，实现了应用全面上云；利用分布式数据库，提升了灵活扩展能力，可以满足大容量和突发峰值等场景的需求，为亿级客户的经营与管理提供了安全稳定的数据服务支撑。

二是基于微服务的应用架构转型，提供更好的业务能力支撑。信用卡分布式核心系统将原有的集中式单体化应用逐步按照业务模块进行拆解，根据交易类型分为联机微服务群与批量微服务群，并按额度、合约、账务等业务功能再细分成多个微服务，形成高内聚、低耦合、规模适中的独立功能模块，实现应用架构解耦；通过明确模块功能和微服务边界，各模块独立开发以提高交付效率，独立运行以提高系统健壮性，独立扩展以提升弹性扩缩容能力；有效提升应用自动部署与持续交付能力，更好地融入DevOps流水线体系，使研发、测试、投产部署、运维管控等实现一键式的体系化、流程化贯通。

三是以单元化分布式数据架构构建面向客户的高可用数据服务能力，提升容灾水平。信用卡分布式核心系统采用分区多活架构设计，数据组织方式从原有以机构维度为主的集中式转变为以客户为主的单元化多分片式，通过分布式数据库支撑上层微服务应用单元化能力。

在数据分布上，信用卡分布式核心系统根据数据量、交易量，以客户为中心、兼顾机构维度确定数据分片规则，按水平维度进行数据表拆分，采用“一主五副本”方式进行部署，并在数据全生命周期管理中形成在线、近线、离线的多层次数据分布规划，全面提升数据应用和数据安全服务能力，夯实以客户为中心的多级数据服务基石。

在应用部署上，信用卡分布式核心系统将重要业务和其对应的系统横向切分为若干单元，每个单元都具备全量服务能力，并构建了“同城双活+异地灾备”的容灾体系，具备灰度发布和快速故障隔离能力，实现故障情况下应急切换、重要数据有备份、重要业务不中断，从而保证业务的连续性。

四是以分布式事务解决方案保障业务流程合规和资金安全。工程组针对信用卡多样化的交易场景，充分利用SAGA、TCC分布式事务框架的特点，设计适应信用卡特色的分布式事务处理方案，为满足数据强一致性要求的业务场景提供高性能、一致性的事务保障;基于农业银行太行技术组件，以保障客户资金安全为出发点，逐场景、逐交易设计和编排分布式事务，切实提升事务一致性能力，以防控资金风险，保障信用卡交易安全；完善异常差错处理机制，打通跨服务、跨数据库、跨数据分片的流程断点，实现分布式异常差错信息的实时共享、业务集中处理、服务无缝对接，保障客户服务的及时性和账务处理的准确性，切实增强风险管控和自动化处置能力。

五是提升一体化运营能力，保障安全生产。工程组构建了运维能力成熟度模型，实现模型全自动化评级；围绕新技术底座，深度适配分布式核心新技术栈，提升分布式核心平台化运营能力；通过统一规划、专项匹配等方式，实现分布式核心平台化运营能力下沉，充分支撑分布式核心系统“监、控、管、配、析”一体化运营能力，保障系统生产运行的稳定性。

农业银行信用卡分布式核心系统在原有主机系统功能实现全产品、全场景、全渠道业务可覆盖及全兼容的基础上，对客户化、数字化、数字货币等市场和产品的发展趋势进行前瞻性架构设计及功能储备，通过构建7种关键能力来满足未来业务与市场发展需求。

一是重构额度架构，构建管控灵活、动态开放的额度图谱体系，实现多样性额度经营和管理能力提升。

二是构建全新的交易级余额子账户体系，满足精细化资产管理、精准化账务管理、高质量账户服务需要。

三是建立信用卡核算引擎，实现会计分录配置的参数化与可视化。

四是建立差异化定价体系，覆盖场景、产品、客户等维度，构建了多维度交易级定价能力，支持地域差异化、客户精细化经营。

五是升级分期产品灵活定制化体系，支持分期产品参数分类分层管理，并可按场景、按模式灵活授信用信，同时支持新产品快速上线。

六是升级授权风控体系，实现授权规则参数化。

七是构建灵活的卡账客架构，支持全产品、全渠道数字化发行，实现信用卡“即办即享即惠即贷”，全面提升客户服务体验。

在农业银行科技工作全面步入“深度应用、价值释放”的新阶段，信用卡分布式核心系统将持续释放新一代核心技术栈的科技动能，在客户经营、产品创新、客户服务、数据建设等方面创造领先优势，充分发挥金融科技在数字经营中的核心引擎作用，谱写信用卡业务发展的新篇章，为农业银行高质量发展贡献科技力量。