传统的低成本存款来源和广大客户优势正在受到挤压的侵蚀,利用科技重塑金 融服务模式是当务之急。为满足业务发展需要,国内某资金清算中心需要提升数据仓库的 应用价值,整合信息孤岛,通过大数据挖据及时掌握客户需求和流动情况,提高营销水平。
关注问题
客户维护混合数据中心环境的代价非常高昂,IT预算的很大一部分用于确保所有这 些不同组件之间良好协作,更重要的是要确保每个组件在其生命周期内都能正常工作。维护不同的服务器和存储孤岛还会导致效率显著降低。通常会为每个系统过量供应一些多余 的处理和存储容量,这会导致整个数据中心存在大量未能充分利用的资源。为提供期望的 性能、可用性和安全性而对每个系统进行单独管理,不但效率低下,而且成本高昂。
建设要求
为了解决问题,客户采购新数据库产品需要满足以下要求:
/能够处理多种数据并与各类上层应用整合
/能够进行多维数据处理,支持常用的星型、雪花型模型
/支持标准化查询接口
/具有一定的扩展能力和潜力
/技术符合目前数仓大数据发展需要,具有一定先进性
数据仓库技术指标要求如下:
/支持海量数据;
/支持在线的横向扩展、支持超大规模的集群
/每天3小时内完成复杂作业处理;
/具备高数据压缩、并行加载等特性;
/ 7x24小时不间断服务,具备备份和容灾能力,无故障数据丢失;
/ 支持 x86、Linux;
/标准统一,满足SQL92及JDBC、ODBC接口;
解决方案
客户在北京市基于南大通用的GBase 8a MPP Cluster数据库软件搭建了数据仓库
系统,其上运行了数据统计和风控等数据类应用,该项目共搭建了近10个节点的集群。系
统架构如下:

主要技术说明如下:
>数据挖掘集市
数据挖掘集市包含总计近10个节点的集群,包括对贴源层资金、交易、台账等各个系 统的数据挖掘、查询、分析,源系统通过ETL将数据汇集至挖掘集市进行分析挖掘,提取 重点信息内容。
>共性加工层
针对集市共性指标维度等进行整理和整合,对数据进行标准化处理,统一口径、统一 维度、统一指标,为后续数据整合提供标准基础。
>基础整合层
对所有分析类指标维度进行基础整合,对目标结果进行计算与整合,完成复杂计算, 对结果数据进行存储,完成星型模型的构建和处理。
>数据查询支持
以大规模并行查询和列存储的优势对数据进行展示,负责复杂关联查询、统计类查询 需求,保证系统查询响应时间和结果正确性。
应用效果
实施情况
本项目共完成规模化集群安装部署,汇聚了大规模业务数据,支持客户审计、风控、数据统计等各类业务的数据支持和分析查询支持。
效果及价值
主要效果及价值体现有:
/满足了业务支撑,包括:审计、统计、风控等业务的需求,提升客户营销水平;
系统支持包括线性回归、聚类等高级分析算法,提升客户数据分析技术水平。
/响应速度明显加快,复杂查询秒级响应。每天批处理时间大大缩减,原有系统系
统批处理分析需要T+1才能完成,应用GBase 8a MPP后复杂业务最长处理时间不 超过3小时,时效性分析可以实时完成;
/支持基于X86的横向扩展,极大节省了原有单机数据库扩容依靠纵向扩展的模式。
通过横向扩展,将系统总建设成本降低50%;
/实现全行资金清算基础软件IT架构统一,节省30%原技术组件的协调同成本,
使系统更加稳定可靠;
/由于整合分散系统,打通全行数据孤岛,将原有碎片化资源得到充分利用,统一 分析、统一处理,提升客户数据价值,大大节省计算和存储成本。




