采用Hubble分布式数据存储的方案，搭建高性能、可扩展的实时数仓。 将过往存储在不同的介质上的结构化、半结构化和非结构化数据数据导入Hubble数据库的TP库，通过SQL语句实现数据编码格式转换、字段分隔符、校验等清洗及加工，通过AP库为查询分析系统提供查询服务。 通过优化+索引的数据字段定义格式存储，提升查询速度。 流处理方式将在业务系统数据进行实时同步。 定制开发可通过前端界面查询的分析系统，提升业务处理能力。 提供全量数据在线备份，保证数据完整性。提供完整的数据入库流程检查，后续如果出现数据问题轻松查明产生原因。同时，为了应对银行的主备集群灾备策略，提供增量数据备份功能。
项目结果
该项目实现了该银行全量积累的近40亿笔交易数据在线实时、异步长时间跨度的查询功能；
实时查询交平均响应时在200毫秒左右，异步查询交易平均完成时间在1分钟左右；
定制开发的查询分析系统，能同时实现对公活期定期历史交易明细查询、内部帐历史交易明细查询等十余种大批量查询；
采用分布式架构，解决海量数据在线服务问题，稳定性提高至原来的300%、处理效率提高了1186%；
本项目不仅实现了该银行业务目标，同时也助力该银行获得了同年度中国金融行业最佳创新项目奖。
「喜欢这篇文章，您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文章的来源（墨天轮），文章链接，文章作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
