暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

案例分享|某资金清算中心

天之痕 2022-01-21
359

传统的低成本存款来源和广大客户优势正在受到挤压的侵蚀,利用科技重塑金 融服务模式是当务之急。为满足业务发展需要,国内某资金清算中心需要提升数据仓库的 应用价值,整合信息孤岛,通过大数据挖据及时掌握客户需求和流动情况,提高营销水平。

关注问题

客户维护混合数据中心环境的代价非常高昂,IT预算的很大一部分用于确保所有这 些不同组件之间良好协作,更重要的是要确保每个组件在其生命周期内都能正常工作。维护不同的服务器和存储孤岛还会导致效率显著降低。通常会为每个系统过量供应一些多余 的处理和存储容量,这会导致整个数据中心存在大量未能充分利用的资源。为提供期望的 性能、可用性和安全性而对每个系统进行单独管理,不但效率低下,而且成本高昂。

建设要求

为了解决问题,客户采购新数据库产品需要满足以下要求:

/能够处理多种数据并与各类上层应用整合

/能够进行多维数据处理,支持常用的星型、雪花型模型

/支持标准化查询接口

/具有一定的扩展能力和潜力

/技术符合目前数仓大数据发展需要,具有一定先进性

数据仓库技术指标要求如下:

/支持海量数据;

/支持在线的横向扩展、支持超大规模的集群

/每天3小时内完成复杂作业处理;

/具备高数据压缩、并行加载等特性;

/ 7x24小时不间断服务,具备备份和容灾能力,无故障数据丢失;

/ 支持 x86、Linux;

/标准统一,满足SQL92及JDBC、ODBC接口;

解决方案

客户在北京市基于南大通用的GBase 8a MPP Cluster数据库软件搭建了数据仓库

系统,其上运行了数据统计和风控等数据类应用,该项目共搭建了近10个节点的集群。系

统架构如下:


 3-1系统架构图

主要技术说明如下:

数据挖掘集市

数据挖掘集市包含总计近10个节点的集群,包括对贴源层资金、交易、台账等各个系 统的数据挖掘、查询、分析,源系统通过ETL将数据汇集至挖掘集市进行分析挖掘,提取 重点信息内容。

共性加工层

针对集市共性指标维度等进行整理和整合,对数据进行标准化处理,统一口径、统一 维度、统一指标,为后续数据整合提供标准基础。

基础整合层

对所有分析类指标维度进行基础整合,对目标结果进行计算与整合,完成复杂计算, 对结果数据进行存储,完成星型模型的构建和处理。

数据查询支持

以大规模并行查询和列存储的优势对数据进行展示,负责复杂关联查询、统计类查询 需求,保证系统查询响应时间和结果正确性。

应用效果

实施情况

本项目共完成规模化集群安装部署,汇聚了大规模业务数据,支持客户审计、风控、数据统计等各类业务的数据支持和分析查询支持。

效果及价值

主要效果及价值体现有:

/满足了业务支撑,包括:审计、统计、风控等业务的需求,提升客户营销水平;

系统支持包括线性回归、聚类等高级分析算法,提升客户数据分析技术水平。

/响应速度明显加快,复杂查询秒级响应。每天批处理时间大大缩减,原有系统系

统批处理分析需要T+1才能完成,应用GBase 8a MPP后复杂业务最长处理时间不 超过3小时,时效性分析可以实时完成;

/支持基于X86的横向扩展,极大节省了原有单机数据库扩容依靠纵向扩展的模式。

通过横向扩展,将系统总建设成本降低50%;

/实现全行资金清算基础软件IT架构统一,节省30%原技术组件的协调同成本,

使系统更加稳定可靠;


/由于整合分散系统,打通全行数据孤岛,将原有碎片化资源得到充分利用,统一 分析、统一处理,提升客户数据价值,大大节省计算和存储成本。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论