项目背景
某全国性股份制商业银行，致力于打造成为客户最佳体验的现代财资管家。自成立以来，该全国性股份制商业银行抓住多项国家战略实施与金融科技发展带来的时代机遇，已形成业务网络辐射全国、国际化业务蓄势待发、技术产品创新快速迭代的态势，实现了高质量、跨越式发展。
在金额科技领域，该全国性股份制商业银行无历史科技包袱、无历史不良资产，在信贷风控、不良资产率、资产负债比等多项银行业核心资产上位于全国前列，整体科技水平位列行业前茅。
问题与需求
该全国性股份制商业银行数据仓库及数据集市原采用Oracle数据库作为底层数据库进行数据的存储、计算、加工。自近年来后随着互联网银行、手机银行、移动支付等相关新兴银行业务的不断开展，该全国性股份制商业银行数据仓库的使用已逐渐出现了以下问题：
1. 现有的存储资源不够用；
2. 半结构、非结构数据存储运用效率不高；
3. 大数据量的情况下，传统数据数据库技术已经出现了出现严重效率不高，已开始逐步影响行内业务部门的日常工作；
4. 部分监管数据无法及时汇总计算，部分大数据量应用系统查询出现高延时性等待。
面对上述问题，2018年底，该全国性股份制商业银行开始大数据平台市场调研与技术选型。在历时近1年的产品调研与技术选型中，星环科技Transwarp Data Hub极速大数据平台（以下简称TDH）与国内外多家大数据平台厂商同台竞技。客户方从平台功能成熟度、平台部署易用性、实际场景测试、产品性能、产品易用度等多个方面进行综合评比，最终星环科技凭借其成熟的产品、先进的技术、经验丰富的团队等优势，成功与该全国性股份制商业银行在大数据平台层面达成技术合作。
解决方案
该全国性股份制商业银行原有数据仓库采用Oracle数据库作为主要存储计算，引入星环科技TDH极速大数据平台后，考虑原有方案投产时间较短等因素，采用原有Oracle对数据仓库部分业务做继续支撑，对于历史数据的归类、部分数据集市、半结构、非结构化数据的支撑采用TDH支撑，并在远期规划中将逐步扩大TDH的使用场景，实现数据层面OLAP的有力支撑。
图1：全国性股份制商业银行大数据平台总架构图
1、对于历史数据的支撑
目前该全国性股份制商业银行数据仓库存储周期为1-13个月的数据，主要支撑近一年的所有数据仓库数据、财务系统、部分监管报送数据等，与TDH历史数据集群间的同步采用T+1同步的方式，TDH的关系型分析引擎Inceptor 目前已完全支持Oracle的SQL方言及PL/SQL语法，在数据同步的过程中无SQL改造工作。同时针对于并发性要求较高或经常查询的表，数据入库分布式文件系统TDFS后快速与宽表数据库HyperBase做对应关联，满足高并发、及时性要求较高的查询场景。
随着该全国性股份制商业银行历史数据查询平台的上线，所有基于T+1历史数据查询的数据目前全部基于历史数据平台通过TDH进行查询。如图1所示，数字1部分为数据Oralce区；数字2部分为历史数据集群。
2、对非结构化数据的支撑
非结构化数据原有为分散状态，且部分数据未采集，由各个涉及到非结构化系统的应用自行进行非结构化数据的存储与管理，未实现非结构化数据的统一管理。
建设TDH 非结构化数据处理集群，实现了该全国性股份制商业银行对所有非结构化数据的统一接入、存储、管理、应用，高效率地支撑相关业务系统及归档部门对于非结构化数据的使用需求。星环科技宽表数据库HyperBase在大文件处理效率上进行了大量优化，解决了由大文件引起的频繁操作所导致的效率问题，同时也支持多种文件存储方案，供实际开发人员根据不同的数据场景进行最优选择。如图1所示，数字3部分为未非结构化数据集群。
3、对大数据量高并发应用的支撑
原有应用系统数据的跑批及查询等相关操作主要基于传统数据库做支撑，随着数据量的不断激增以及新的业务需求，在存储空间、跑批效率、查询效率等多个方面已无法满足部分业务场景，部分系统多次尝试使用去范式化的数据结构调整、索引的优化及重建、数据表的分区重新设计、SQL代码逻辑的优化与重构但均没有显著的提升效果。
在使用了星环科技TDH大数据平台后，将原有的数据逻辑低成本甚至无成本的迁移，显著提升了数据的加工、查询效率，同时基于现有逻辑的索引创建、架构优化、分区分桶设计轻松满足了业务部门的相关性能需求。
目前在该全国性股份制商业银行已由TDH支撑了指标服务平台、内控合规平台、报表平台、EAST报送平台、大额风险暴露平台、信用卡系统等多个应用系统。如图1所示，数字5部分为目前支持的应用系统。
典型场景——EAST报送平台
EAST（Examination and Analysis System Technology，EAST）是中国银保监会自2012年开始对于银行业的主要非现场监管要求之一，包含银行标准化数据提取、现场检查项目管理、数据模型生成工具、数据模型发布与管理等功能模块。在银行业的实际报送过程中存在：报送数据量大、设计业务范围广、校验规则要求细、监管要求严等多项难点。
该全国性股份制商业银行原EAST报送平台底层使用传统数据库做数据的存储与加工，用以支撑数据的存储、加工、校验、打包等。因EAST报送时间要求为月报（部分地区要求为天报送），每次EAST报送前需要加工、校验、打包的数据量大，在传统数据库上的作业任务明显出现了时间慢的问题，留给合规报送人员的处理时间不够，经常需要在临报送前进行加班。针对于数据加工、数据质量校验、数据打包三大主要作业任务作业时间长，该全国性股份制商业银行尝试过增设传统数据库的计算资源、优化存储过程、重新设计部分表结构、任务拆分等多种优化策略，但大部分优化在调整后短期有一定效果，系统运行一段时间后相似问题还会出现，未从根本上解决问题。
图2：全国性股份制商业银行EAST报送业务痛点
在2018年底，该全国性股份制商业银行经过相关市场调研及技术栈论证，确定采用TDH与传统数据库混合的方式来支撑EAST报送系统的需求。TDH与传统数据库的职责划分为：TDH负责数据存储、批处理计算、检验规则任务、打包等；传统数据库负责支撑EAST报送系统OLTP需求及报送数据的补录等，在数据通过传统数据库进行补录以后采用定时及事件驱动结合的方式实现补录数据与TDH对应数据表及时同步。总体架构如下图：
图3：全国性股份制商业银行EAST报送平台整体架构图
1、数据加工，跑批效率为迁移前的7倍
EAST报送数据要求共有数十张表信息，涉及到银行日常经营信息、存款信息、卡信息、交易明细信息、员工信息等多项信息，几乎覆盖到银行日常经营过程中的全部信息，并且报送信息分为明细与统计信息，在实际数据业务端发生后留给银行进行数据准备的窗口期相对较紧张，使用原有的传统数据库过程中已明显出现时间窗口紧、出现问题修改时效性低等问题。在对比测试中发现，原有总体加工时间在20小时以上，将原有的数据逻辑迁移到TDH大数据平台后，总体数据加工时间可控制在4个小时左右，效率是迁移前的500%以上。通过加工逻辑的优化，目前整体数据加工跑批时间缩短至3个小时左右，效率为迁移前的7倍，为后续的数据校验、数据补录、数据打包提供了较充裕的处理时间。
2、数据校验，100%的效率提升保障了当天校验，当天出结果
EAST报送系统要求有近千条校验规则，含上部分地方银监局的特殊要求及行内自有数据要求，总体校验规则破千条，并需要按照监管要求的格式生成对应的数据校验报告。
由原有传统数据库校验需要消耗5小时左右的时间，使用星环科技TDH大数据平台可将数据校验时间控制在2小时以内，数据校验实现了100%的效率提升，满足了业务人员当天校验当天出结果的使用需求。
3、数据打包，400%的效率提升
数据打包方面，从数据库中读取到对应的数据再通过JavaEE架构将对应的数据按照监管要求进行数据打包，数据打包的过程中主要的时间消耗在从海量的历史数据中查询到本次打包所需要的数据。
原有传统数据库的支撑从数据打包开始到数据打包结束需要经过20个小时左右，通过TDH的Hyperbase做数据库支撑可以将数据打包时间消耗控制在4个小时以内，实现了400%的效率提升，有效的降低了合规报送人员的等待时间，为打包后的数据的复查及修正提供了更多的处理时间，在最终数据报送的质量、监管合规要求的符合度等方面得到有效提升。
4、历史数据查询，从分钟级至秒级的效率突破
依据某一条数据的关键信息，在小数据量场景下使用传统查询可以得到秒级甚至毫秒级的响应，但在大数据量场景下（单逻辑表数据量上亿或者总体数据量超过百G），使用传统数据库查询所需要的时间在分钟级别甚至更长。在正常使用EAST报送系统的历史数据查询功能时，部分表的查询等待时间超过1分钟甚至十多分钟，严重影响了用户工作效率。
经过系统排查定位发现是传统数据库在查询数据时的效率所导致，后将数据库调整到TDH的Hyperbase，实现了数据查询时间从分钟级降低到秒级的突破，满足了查询的正常需求。
实施成效
使用星环科技TDH极速大数据平台后该全国性股份制商业银行：
1、填充了大数据技术的空白；
2、实现非结构化数据与结构化数据技术架构的统一及非结构化数据的统一管理；
3、有效地解决了历史数据应用场景；
4、提升了数据仓库及部分大数据量应用的处理效率，全方位的提升了该全国性股份制商业银行的经营效率，为以后的银行AI等创新型场景打造了夯实的基础。
该全国性股份制商业银行在基于TDH的EAST报送系统上线的半年多时间中，高效的满足监管机构的监管报送要求。在系统计算效率，系统易用度等方面均得到了很大程度的提升。
对科技人员：有效缓解了每一次报送前都要进行加班加点的压力，减少了系统处理等待的时间，提高了科技人员的工作效率；
对业务人员：数据查询效率的提升，大大提高了业务人员在数据核对时以及数据补录调整后的再校验工作场景的效率，实现了从原有的“一天只能校验一次”到“一天校验多次”的质变提升。
总而言之，该全国性股份制商业银行基于星环科技TDH大数据平台建立的EAST监管合规系统，是该全国性股份制商业银行在新金融监管要求下的第一个监管报送系统层面的技术革新，在响应人民银行、银保监会等部门“创新型监管技术”要求的同时，提升了银行合规人员的工作效率，未来，该全国性股份制商业银行会在监管科技方面做更多前沿性技术的创新与尝试。
点击了解更多金融风控案例：
1、星环科技助力华夏基金大数据平台建设
2、星环科技助力郑州商品交易所搭建AI预测模型，提升智能决策水平
3、星环科技助力商业银行机器学习平台建设
4、银河证券：借力星环科技Sophon部署机器学习平台
对金融风控数智化转型解决方案感兴趣的，可点击阅读原文了解星环Pierce金融风控解决方案。
☟关注下方视频号☟
发现更多精彩内容
-扫码关注-
