暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

天云数据历史数据查询解决方案,全量·全渠道·多维度·7*24h随时随地想查就查

原创 Hubble 2023-01-30
173

随着互联网时代的到来,人们足不出户用手机就可以办理各种银行业务。

事物总有两面性,便捷的网上交易使得银行系统中积累的数据量越来越大。因此,为了保证核心数据存储系统正常工作,常规银行无法实时查询五年以上的历史数据。

普通业务办理,可以预约等待。

但如果遇到公安办案、监管部门查交易明细等紧急情况时,无法满足实时查询的需求会影响办案的时效性。

随着时间的流逝,历史数据查询难度日益增加。 


源起:银行数据存贮、服务现状

目前银行核心系统一般只保存近13个月左右的数据,所有历史数据几乎离线保存在如磁带库、光盘库中,以减轻核心系统压力。



出于“IT系统技术瓶颈”和“成本”双重原因,银行目前未提供“历史数据查询”在线服务。


市场迫切需求及面临技术挑战


市场需求:信息技术及行业应用快速发展,使得各种信息记录积累已经跨越了较长时间周期。在大量日常工作、生活社交、资质证明、诚信保证、免责、诉讼等场景中,越来越多的个人/机构用户对历史数据查询有迫切需求。

技术挑战:若想实现“历史数据实时查询服务”,首先系统得具有海量数据存储能力;其次,系统能支撑高并发实时查询支持柜台、网银、手机APP 7 * 24小时服务;最后,有强大的算力做数据海量数据格式统一。 


天云数据解决方案全量·全渠道·多维度·7*24h·性能优

天云数据历史数据查询系统架构底层为Hubble数据库,将海量数据存储其中,支撑海量数据快速访问。服务层由查询服务、权限管理、审计管理、系统管理、告警管理、任务调度构成。接口层由8583报文、REST组成的,客户所查询的内容通过系统请求交换信息——将用户所查询的进行状态转移进而给客户反馈。应用层由柜面、Web界面、自助终端、手机银行、网银五个渠道组成。

整个系统是一个支持高并发、全渠道、多维度的7*24小时实时历史数据查询系统。通过独立底层Hubble数据库,所有数据单独存储,安全高效且具有海量数据存储能力,可以极大地提高历史数据查询效率,高效完成日常业务,推动银行等金融企业走向历史数据规范化、国产化的管理。


可实现的查询效果:

历史数据、多维度数据查询:对公历史数据查询权限对公活期历史数据查询权限对公定期历史数据查询权限对公批量历史数据查询权限对公单位卡历史数据查询权限对私历史数据查询权限对私活期历史数据查询权限对私定期历史数据查询权限对私批量历史数据查询权限交易日志历史数据查询权限等均可实现。

全渠道查询:网银、手机APP、柜面等

查询时间:7*24小时查询。


实践案例

某股份制商业银行全量数据存储查询分析
项目背景

该银行已经汇集了近30年的历史数据,但是核心业务系统只能提供短则几个月的客户历史交易明细,且单次查询时间段跨度不能超过一年

一年前的交易数据以光盘库、磁带库等形式存放,导致查询效率低查询成本高。

解决方案

•采用Hubble分布式数据存储的方案,搭建高性能、可扩展的实时数仓。

•将过往存储在不同的介质上的历史数据数据导入Hubble数据库,通过SQL语句实现数据编码格式转换、字段分隔符、校验等清洗及加工,提供在线查询服务。

•通过优化+索引的数据字段定义格式存储,提升查询速度。

•定制开发可通过前端界面查询的分析系统,提升业务处理能力。

•提供全量数据在线备份,保证数据完整性。提供完整的数据入库流程检查,后续如果出现数据问题轻松查明产生原因。同时,为了应对银行的主备集群灾备策略,提供增量数据备份功能。


项目结果

该项目实现了该银行全量积累的近400亿笔交易数据在线实时、异步长时间跨度的查询功能

实时查询交易平均响应时在200毫秒左右异步查询交易平均完成时间在1分钟左右

定制开发的查询分析系统,能同时实现对公活期定期历史交易明细查询、内部帐历史交易明细查询等十余种大批量查询

采用分布式架构,解决海量数据在线服务问题,稳定性提高至原来的300%处理效率提高了1186%

本项目不仅实现了该银行业务目标,同时也助力该银行获得了同年度中国金融行业最佳创新项目奖

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论