暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

存算分离最佳实践!海量数据联合华为存储助力金融业数字化转型

海量数据库 2024-10-18
450


海量数据 出席

2024金融业数据库技术大会

近日,由海量数据联合华为数据存储创新打造的存算分离解决方案,在2024 金融业数据库技术大会上荣获“数据库存算分离最佳实践”


该解决方案通过海量数据库Vastbase G100资源池化+OceanStor Dorado存算分离架构,使用全栈鲲鹏体系,打造出行业领先的数据库高可用解决方案,引领行业全栈创新。


2024 金融业数据库技术大会

“2024金融科技大会之分论坛——2024金融业数据库技术大会”由中国金融电子化集团金融信息化研究所举办。

近年来,我国金融业在信息技术升级迭代的过程中,高度重视核心关键技术的安全可控,持续加大对国产数据库技术产品的应用。而大模型等前沿技术的飞速发展,数据量的快速增长,也为金融业数据库的创新和安全带来新的机遇和挑战。

在该金融业数据库技术大会上,围绕大模型时代下的数据库创新发展议题,金融信息化研究所联合海量数据、华为数据存储等行业力量,发布《金融数据库存算分离架构选型白皮书》、《数据库存算分离最佳实践与 FAQ》等多项成果。

海量数据金融行业副总经理  李超超 (最右)



01

打造高可用解决方案

海量数据&华为全闪存存储


同样是作为支撑数字经济发展的重要基础设施,数据库和存储从来都不是两个相互割裂的部分,只要有数据的读写和流动,就会有数据一致性、可靠性、集约型的挑战,而专业的存储系统能够为数据库提供一个坚实的硬件底座,同时也是保证数据可靠性和访问性能的基础。

因此,海量数据也在不断探索和华为存储在产品、解决方案及商业市场等全方位的合作,特别在高可用解决方案方面,我们早在2021年就与华为存储展开了深入的探索和合作,并共同发布了海量数据库Vastbase &华为全闪存存储的高可用创新方案,该方案利用NoF+高效网络及华为OceanStor Dorado全闪存存储,既能充分发挥海量数据的性能,还提供了存储级安全可控和灾备方案的灵活选择。

这个方案中,首先引入分布式存储服务DSS组件把主备存储层打通,实现主备共享一份存储,一份底层数据服务于多种计算,极大提升了存储资源的利用率,让存储成本降低到原本的50%以上。

同时,还引入分布式内存服务DMS组件实现主备页面实时交换,提供备机实时一致性能力。即主机事务提交后,在备机立即能够读到,不存在延迟读现象。通过同步事务信息和数据库缓存,实现了多节点下的多版本快照一致性读能力,结合RoCE等硬件,实现极致的Commit加速和大容量内存访问等能力。

与此同时,在集群管理方面,基于双重心跳检测、共享盘仲裁、IO Fencing等技术实现集群节点故障自动检测、恢复和隔离,为整个方案提供一个高可靠的运行环境。

在单集群资源池化方案的基础之上,针对金融客户核心业务对可靠性要求更高的场景,我们还推出了双集群容灾的方案。

整体方案由两套OceanStor Dorado/OceanStor 混合闪存存储阵列、服务器主机、Vastbase数据库软件以及容灾管理软件OceanStor BCManager组成方案的物理架构。利用OceanStor Dorado同步复制机制,将生产中心与灾备中心之间的日志复制下移到存储侧,既保证了数据库集群间的故障隔离,又降低了对业务性能的影响,实现了RPO=0的同城零数据丢失容灾,提供满足金融核心系统要求的高可靠、高可用解决方案,为关键业务场景提供更加可靠的数据支持。

02

方案亮点

海量数据&华为全闪存存储

整体方案有以下几大亮点:

1

金融级高可用

通过数据库层和存储层容灾配合,实现同城RPO=0,数据库主集群可读可写、备集群可读的双活高可用容灾架构。

2

存算分离+共享存储

相比本地盘方案集群内多副本归一存储空间节省50%+,通过将日志同步卸载到存储层,数据库主机性能提升20%。

3

端到端NVME

高性能,低时延,性能比FC提高20%。

4

故障隔离更彻底

通过双集群故障隔离机制,避免单一集群跨数据中心容灾场景下集群故障如升级出现问题等对业务造成直接影响。

5

存光协同SOCC

存储与波分协同实现亚健康链路IO快速切换,效率相比业界提升10倍+,保障业务高可靠。


03

应用落地

海量数据&华为全闪存存储


当前,海量数据与华为的联合创新解决方案已经在某证券公司的核心业务系统中得到落地应用并稳定运行。经过测试,该方案在华为全闪存存储FlashLink®算法和端到端的硬件加速等技术加持下,大幅提升了数据并发处理性能,实现时延降低42%,IOPS提高30%的效果。此外,在可靠性方面,利用华为存储的同步复制功能,实现了业界最高水平的双集群容灾RPO=0,结合华为SOCC存光协同创新技术,保证在链路抖动场景下0交易失败


海量数据与华为存储携手发布的存算分离方案最佳实践,不仅是海量数据与华为技术合作的一个重要里程碑,更深刻体现了海量数据对深化生态应用联合创新的执着追求,以及对未来企业数字化转型洪流的敏锐洞察与积极应对。

行耕不辍

履践致远

展望未来

海量数据持续深化

与众生态伙伴的

战略协同

共筑行业生态新高度


• END •


关于海量数据


北京海量数据技术股份有限公司(股票代码:603138.SH)成立于2007年,是国内首家以数据库为主营业务的主板上市企业。公司十余年来秉承“专注做好数据库”的初心,始终致力于数据库产品的研发、销售和服务。核心产品海量数据库Vastbase系列、数据库一体机Vastcube系列、海量大数据Datalink系列,全栈国产化,应用满足度高,目前广泛应用于政务、制造、金融、通信、能源、交通等多个重点行业,已成为国产企业级数据库的首选之一。



文章转载自海量数据库,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论