暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Vast+产品展厅 | Vastcube G3000 数据库一体机核心技术之数据保护(一)

海量数据 2024-01-29
617


Vastcube G3000数据库一体机产品中分布式存储系统提供了数据跨节点的保护能力,在多个硬盘或者节点故障时也能够继续提供服务。通过将应用数据分布至同一个节点池内不同节点的不同硬盘上,使其获得跨节点的可靠性保障和故障快速恢复能力,同时通过硬件设备的冗余配置提高系统可用性。


Part 1. 存储集群可靠性


Vastcube G3000数据库一体机分布式存储采用集群管理方式,从架构上保证了存储系统不会出现单点故障,一个节点或者一块硬盘故障会自动从集群内隔离出来,不影响整个系统业务的使用。


Part 2. 数据一致性


数据一致性意味着当应用成功写入一份数据到存储系统时,存储系统的几个数据副本必然是一致的,当应用再次读时,无论在哪个副本上读取,都是之前写入的数据。


Vastcube G3000分布式存储采取多种方式来保证系统中数据的一致性:



01 副本同步写


当VBS模块将写操作发送给指定主OSD时,该OSD在写入本节点硬盘时,同时将写操作同步到备OSD,同步过程中严格按照IO编号进行,保证了主OSD接收到的IO顺序和同步到备OSD的IO顺序一致。当主备OSD同时完成写操作时,才向应用返回操作成功。同步流程如图所示:

Vastcube G3000分布式存储副本同步写示意图



02 读修复


读修复机制是指在读数据失败时,系统会判断错误类型,如果是磁盘扇区读取错误,系统会自动从其他节点保存的副本读取数据,然后重新写入该副本数据到硬盘扇区错误的节点,从而保证数据副本总数不减少和副本间的数据一致性。



Part 3. 数据冗余保护


Vastcube G3000数据库一体机分布式存储支持两种数据冗余保护机制,一种是多副本方式,一种是Erasure Code(EC,纠错码)方式


多副本方式

Vastcube G3000分布式存储多副本冗余保护机制当前支持2、3副本两种机制。


2副本冗余策略:

支持系统随意故障一块数据盘或故障一个节点,系统存储运行正常。当前两副本只支持主存为SSD盘场景,且单个存储池最大支持96块盘,确保系统单个存储池的高可靠性。


3副本冗余策略:

支持系统随意故障两块数据或故障两个节点(配置5个元数据管理节点),系统存储运行正常。当前三副本可支持版本兼容的所有硬盘类型,单个存储池可支持2048块盘。

在Vastcube G3000分布式存储副本机制中,推荐使用3副本,提供更高的可靠性。


EC冗余策略

该策略在提供高可靠性的同时也能够提供相对副本更高的利用率,且系统的性能会相对副本不会有较明显的下降,甚至在大块场景下有一定提升。


EC配比类型:

Vastcube G3000当前支持的EC配比类型包括,2+2,4+2:1,6+2:1,8+2:1,其中版本默认推荐配比为4+2。


数据折叠的算法:

Vastcube G3000分布式存储在EC特性实现中采用了数据折叠的算法,可支持在3节点上部署4+2:1配置的EC冗余策略,采用数据折叠算法后,系统可靠性还是能保障同时故障两个磁盘,但不能同时故障两个节点,可靠性相对正常的4+2配置会有一定下降。



Part 4. 快速数据重建


Vastcube G3000分布式存储的每个硬盘都保存了多个数据块(Partition),这些数据块的副本按照策略分散在系统中的其他节点。


当Vastcube G3000分布式存储检测到硬盘或者节点硬件发生故障时,自动在后台启动数据修复。由于数据块的副本被分散到多个不同的存储节点上,数据修复时,将会在不同的节点上同时启动数据重建,每个节点上只需重建一小部分数据,多个节点并行工作,有效避免单个节点重建大量数据所产生的性能瓶颈,对上层业务的影响做到最小化。


数据故障自动重建流程如图所示



Vastcube G3000分布式存储支持并行、快速故障处理和重建:



数据块(Partition)及其副本分散在整个资源池内,硬盘故障后,可在资源池范围内自动并行重建。


数据分布上支持跨节点,不会因某个节点故障导致的数据不可访问和不可重建。


故障或者扩容时可以自动进行负载均衡,应用无需调整即可获得更大的容量和性能。


数据自动重建,完全在存储节点内部自动完成,无需依赖于计算节点,不消耗计算节点的性能,将故障对业务的影响降低到最低。


HDD场景下,1TB数据重构最少需要30min;SSD场景下,1TB数据重构最短仅需要15min即可。




Part 5. 硬件可靠性


Vastcube G3000数据库一体机选用高可靠的自研硬件,通过系统冗余设计保证系统可靠性,具有如下特点:



Part 6. 管理可靠性


Vastcube G3000管理独立于存储和计算之外,确保管理与计算和存储互不影响,确保系统运行稳定,通过对管理功能和硬件配置,确保系统高可靠,主要包括:


读到这里,我们可以看出,一方面Vastcube G3000 数据库一体机分布式存储设备通过部件冗余设备,避免出现单点故障;另一方面,又采用系统集群管理机制,隔离并屏蔽故障点。同时提供完善的业务数据一致性和保护机制,保障业务连续性及可持续提供服务能力,且具备独立的系统管理体系,能够确保数据库一体机各体系之间互不影响,从而提升系统整体运行可靠能力。


下一篇我们将继续为您带来Vastcube G3000 数据库一体机分布式存储设备【系统亚健康增强管理】的详细内容,敬请期待。



• END •



关于海量数据


北京海量数据技术股份有限公司(股票代码:603138.SH)成立于2007年,是国内首家以数据库为主营业务的主板上市企业。公司十余年来秉承“专注做好数据库”的初心,始终致力于数据库产品的研发、销售和服务。核心产品海量数据库Vastbase系列、数据库一体机Vastcube系列、海量大数据Datalink系列,全栈国产化,应用满足度高,目前广泛应用于政务、制造、金融、通信、能源、交通等多个重点行业,已成为国产企业级数据库的首选之一。



文章转载自海量数据,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论