从流程驱动到数据驱动 银行业数据平台架构的演进

HashData 4天前
18
酷克数据首席解决方案架构师牛云飞

第十五届中国系统架构师大会(SACC2022)近日在线上举行,本次大会以“激发架构性能 点亮业务活力”为主题,云集国内CTO、研发总监、高级系统架构师、开发工程师和IT经理等技术专家,共议IT系统架构发展的新技术、新趋势、新特点。

在会上,酷克数据首席解决方案架构师牛云飞发表了题为《从分析视角的变化看银行业数据平台架构演进》的主题演讲。他提出,随着数字化转型的持续推进,越来越多的银行正在从流程驱动型向数据驱动型演进。在这一过程中,数据逐步成为银行核心资产,其衍生价值越来越大。

随着数据衍生价值的增大,银行对数据分析的需求也从面向过去的描述型分析,逐渐演变成面向过去、未来和现在的全视角、智能化分析。同时,银行业的数据平台正从单一架构的传统数仓平台,演进为湖仓一体、存算分离的一体化数据平台,以HashData、SnowFlake为代表的云原生分析型数据库,正成为银行业数据平台建设的首选技术路线。

银行业数据分析演进过程

金融行业,尤其是银行业是对数据库依赖度极高、又对数据库要求最为严苛的行业。随着互联网及移动互联网技术的兴起,网上银行、手机银行、电子支付等新业态出现,高并发、海量数据、超高峰值等挑战接踵而至,导致数据资源存储、计算和应用等需求大幅提升。

牛云飞在演讲中分享了银行业数据平台演进过程,论述数据平台如何通过架构演进,帮助银行最大限度释放数据资源价值。

他指出,银行对数据分析的需求,可以分为三个阶段。在数据分析1.0阶段,银行积累了大量业务数据,希望通过数据了解一段周期内的企业经营情况。因此,这一阶段银行以看到过去的描述型分析为主。

在数据分析2.0阶段,银行不仅仅要对已经发生的业务进行评估,还需要对业务进行前瞻性预测。因此,这一阶段银行在描述型分析的基础上,又会大力开展面向未来的预测型分析:需要建立数据科学团队,针对海量数据进行探索、研究,从数据中洞察业务趋势。

随着云计算技术的普及,企业数据分析正进入3.0阶段。在这一阶段,银行希望提高数据分析的时效性,打通前后端,将分析发现的业务洞察嵌入业务流程,自动化、智能化驱动业务。因此,银行逐步开展“决定现在的运营型分析”,在开展业务流程或活动过程中,直接调用数据产品或服务,利用数据分析成果,驱动业务向希望的方向发展。

银行需要支撑全视角的数据分析

牛云飞认为,数据驱动型银行应具备全视角数据分析能力,传统BI平台已无法满足全视角分析需求,银行需要建设一体化的数据平台。

一体化数据平台要具备三项基础能力:多形态数据管理能力、多样化分析计算能力和多维度的弹性伸缩能力。
牛云飞表示,一体化数据平台应该能够兼容结构化、半结构化、非结构化等不同形态、不同时效性的数据,进行多样化的计算和分析,并根据业务需求变化进行弹性伸缩。在实现上述能力的基础上,银行可以通过一体化数据平台满足内部业务客户、司法审计用户、金融监管用户的业务需求。

在银行业数据分析需求转变过程中,银行也从自身的金融科技发展角度看到了新技术在性能、弹性和成本管理上的优势,越来越多的银行开始应用分布式技术,建设全行级的一体化数据平台,整合全域数据,形成面向整个银行统一的数据视图,支撑全视角数据分析。

一体化数据平台建设思路

“银行一体化数据平台的建设不是一蹴而就的”,牛云飞说,它的发展同样经历了长期的演进过程。

在数据分析1.0阶段,银行主要采用传统的数仓平台,主要针对银行内部的结构化数据,支撑报表、查询、多维分析、数据分发等描述型分析,辅助日常决策。这一阶段采用的技术路线以传统MPP数据库(以一体机为主)加Oracle为主。

最初,传统的分析型数据库普遍采用共享磁盘并行处理架构(基于SAN存储),节点规模通常不大,并且随着扩容,系统性能提升幅度会越来越小,存在网络资源竞争激烈、扩展性差等缺陷。这种架构主要面向业务条线或部门的分析应用、数据集市等场景。

为了满足搭建银行全行数据平台的需求,基于完全无共享的MPP架构逐渐成为构建面向全行统一数据视图的一种主流技术路线。这种架构的产品以一体机为主,成本相对较高。随着数据规模的扩大,对企业造成的成本压力也越来越大。同时,这种架构由于采用存储计算紧耦合的设计,无法满足高并发、混合工作负载等方面的需求。

近些年,随着银行信息化建设的推进,传统数仓平台应用面临挑战着诸多挑战:
  • 业务场景单一:数据平台支撑的分析主要针对已经发生的业务情况进行反映或诊断,不能对业务进行灵活探查,无法满足业务人员自主用数需求,更缺乏前瞻性预测能力;
  • 业务体验不佳:很多银行随着业务的发展,数据规模的增长,数据平台面临计算能力和扩展能力的瓶颈,这导致日常数据处理时间过长,跑批经常出现延迟,严重影响了业务体验和业务决策;
  • 数据整合不足:很多数据平台虽然定位是企业级,但是整合数据范围受限,没有形成企业级数据视图。此外,针对企业混合数据生态,尤其是半结构化、非结构化数据、或高时效数据,更是缺乏整合能力;
  • 数据支撑受限:由于数据整合的范围受限,难以构建面向全行的、统一的数据视图,无法对下游分析应用形成有效支撑;
  • 建设成本过高:很多银行数据平台采用封闭的一体机,随着建设的深入,算力和存储能力驱动的扩容越来越频繁,专有设备每次扩容耗费了大量的人力、物力和财力,成本居高不下。

面对传统数据仓库带来的挑战,很多咨询机构都提出了多元化、混合架构的思路,技术上引入了纯软的MPP数据库和Hadoop。但随着银行业务负载越来越复杂,需求越来越多,多元化平台无法实现高并发、负载无法隔离等缺陷愈发凸显,同时还存在业务体验波动、数据整合不足、数据支撑不佳、运维管理复杂等缺点。

对此,多家市场调研机构发布的报告显示,云原生数据仓库的优势大大超越传统数据仓库。Gartner预计到2023年,全球75%的数据库都会运行在云端。

在这样的背景下,国内外主流的公有云厂商,均推出了基于云原生架构的数据库产品。同时,Snowflake、Databricks等独立软件厂商也推出存算分离、湖仓一体架构的产品。
其中,Snowflake提出了基于对象存储的多集群弹性并行处理架构(Elastic Parallel Processing,简称EPP),这种架构具有MPP执行引擎、标准SQL接口,元数据、计算和存储三者分离、多集群统一数据存储层、对象存储作为数据持久层等特点。

酷克数据作为国内最早专注于云原生数仓研发的独立软件厂商,旗下核心产品HashData基于领先的EPP架构,采用对象存储作为数据持久层,实现了存算分离、湖仓一体化,具备高可用、高并发、近乎“零运维”等特点,全面支持银行构建一体化数据平台。

凭借领先的技术优势,结合自身丰富、成熟的实践经验,HashData目前已广泛应用于金融、政务、运营商、交通物流、能源和互联网等领域。

在银行业,HashData为国有大行、政策性银行、金融监管机构、股份制商业银行、省农信等提供数据管理、分析服务,助力银行构建面向全行统一的数据视图。HashData支撑了全球最大规模的金融行业集群,期待将服务头部客户的实践经验广泛推广,帮助金融企业完成业界领先的技术架构升级,降低数据分析门槛,充分释放数据价值。


相关阅读


HashData的“云上之路”
HashData助力企业构建数据分析新范式
PostgreSQL 15发布  HashData贡献关键力量
HashData联合华为推出云原生数仓存储解决方案
HashData携手恒丰银行 入选信通院金融科技创新应用五大“最受关注案例”
            

最后修改时间:2022-11-25 23:31:55
文章转载自HashData,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论