随着互联网时代的到来,人们足不出户用手机就可以办理各种银行业务。
事物总有两面性,便捷的网上交易使得银行系统中积累的数据量越来越大。因此,为了保证核心数据存储系统正常工作,常规银行无法实时查询五年以上的历史数据。
普通业务办理,可以预约等待。
但如果遇到公安办案、监管部门查交易明细等紧急情况时,无法满足实时查询的需求会影响办案的时效性。
随着时间的流逝,历史数据查询难度日益增加。
源起:银行数据存贮、服务现状
目前银行核心系统一般只保存近13个月左右的数据,所有历史数据几乎离线保存在如磁带库、光盘库中,以减轻核心系统压力。

出于“IT系统技术瓶颈”和“成本”双重原因,银行目前未提供“历史数据查询”在线服务。
市场迫切需求及面临技术挑战
市场需求:信息技术及行业应用快速发展,使得各种信息记录积累已经跨越了较长时间周期。在大量日常工作、生活社交、资质证明、诚信保证、免责、诉讼等场景中,越来越多的个人/机构用户对历史数据查询有迫切需求。
技术挑战:若想实现“历史数据实时查询服务”,首先系统得具有海量数据存储能力;其次,系统能支撑高并发实时查询支持柜台、网银、手机APP 7 * 24小时服务;最后,有强大的算力做数据海量数据格式统一。
天云数据解决方案全量·全渠道·多维度·7*24h·性能优
天云数据历史数据查询系统架构底层为Hubble数据库,将海量数据存储其中,支撑海量数据快速访问。服务层由查询服务、权限管理、审计管理、系统管理、告警管理、任务调度构成。接口层由8583报文、REST组成的,客户所查询的内容通过系统请求交换信息——将用户所查询的进行状态转移进而给客户反馈。应用层由柜面、Web界面、自助终端、手机银行、网银五个渠道组成。
整个系统是一个支持高并发、全渠道、多维度的7*24小时实时历史数据查询系统。通过独立底层Hubble数据库,所有数据单独存储,安全高效且具有海量数据存储能力,可以极大地提高历史数据查询效率,高效完成日常业务,推动银行等金融企业走向历史数据规范化、国产化的管理。
可实现的查询效果:
历史数据、多维度数据查询:对公历史数据查询权限、对公活期历史数据查询权限、对公定期历史数据查询权限、对公批量历史数据查询权限、对公单位卡历史数据查询权限、对私历史数据查询权限、对私活期历史数据查询权限、对私定期历史数据查询权限、对私批量历史数据查询权限、交易日志历史数据查询权限等均可实现。
全渠道查询:网银、手机APP、柜面等
查询时间:7*24小时查询。
实践案例
该银行已经汇集了近30年的历史数据,但是核心业务系统只能提供短则几个月的客户历史交易明细,且单次查询时间段跨度不能超过一年;
一年前的交易数据以光盘库、磁带库等形式存放,导致查询效率低查询成本高。
解决方案
•采用Hubble分布式数据存储的方案,搭建高性能、可扩展的实时数仓。
•将过往存储在不同的介质上的历史数据数据导入Hubble数据库,通过SQL语句实现数据编码格式转换、字段分隔符、校验等清洗及加工,提供在线查询服务。
•通过优化+索引的数据字段定义格式存储,提升查询速度。
•定制开发可通过前端界面查询的分析系统,提升业务处理能力。
项目结果
该项目实现了该银行全量积累的近400亿笔交易数据在线实时、异步长时间跨度的查询功能;
实时查询交易平均响应时在200毫秒左右,异步查询交易平均完成时间在1分钟左右;
定制开发的查询分析系统,能同时实现对公活期定期历史交易明细查询、内部帐历史交易明细查询等十余种大批量查询;
采用分布式架构,解决海量数据在线服务问题,稳定性提高至原来的300%、处理效率提高了1186%;
本项目不仅实现了该银行业务目标,同时也助力该银行获得了同年度中国金融行业最佳创新项目奖。




