

Vastcube G3000数据库一体机产品中分布式存储系统提供了数据跨节点的保护能力,在多个硬盘或者节点故障时也能够继续提供服务。通过将应用数据分布至同一个节点池内不同节点的不同硬盘上,使其获得跨节点的可靠性保障和故障快速恢复能力,同时通过硬件设备的冗余配置提高系统可用性。
Part 1. 存储集群可靠性
Vastcube G3000数据库一体机分布式存储采用集群管理方式,从架构上保证了存储系统不会出现单点故障,一个节点或者一块硬盘故障会自动从集群内隔离出来,不影响整个系统业务的使用。
Part 2. 数据一致性
数据一致性意味着当应用成功写入一份数据到存储系统时,存储系统的几个数据副本必然是一致的,当应用再次读时,无论在哪个副本上读取,都是之前写入的数据。
Vastcube G3000分布式存储采取多种方式来保证系统中数据的一致性:
01 副本同步写
当VBS模块将写操作发送给指定主OSD时,该OSD在写入本节点硬盘时,同时将写操作同步到备OSD,同步过程中严格按照IO编号进行,保证了主OSD接收到的IO顺序和同步到备OSD的IO顺序一致。当主备OSD同时完成写操作时,才向应用返回操作成功。同步流程如图所示:

Vastcube G3000分布式存储副本同步写示意图
02 读修复
读修复机制是指在读数据失败时,系统会判断错误类型,如果是磁盘扇区读取错误,系统会自动从其他节点保存的副本读取数据,然后重新写入该副本数据到硬盘扇区错误的节点,从而保证数据副本总数不减少和副本间的数据一致性。
Part 3. 数据冗余保护
Vastcube G3000数据库一体机分布式存储支持两种数据冗余保护机制,一种是多副本方式,一种是Erasure Code(EC,纠错码)方式。
Part 4. 快速数据重建
Vastcube G3000分布式存储的每个硬盘都保存了多个数据块(Partition),这些数据块的副本按照策略分散在系统中的其他节点。
当Vastcube G3000分布式存储检测到硬盘或者节点硬件发生故障时,自动在后台启动数据修复。由于数据块的副本被分散到多个不同的存储节点上,数据修复时,将会在不同的节点上同时启动数据重建,每个节点上只需重建一小部分数据,多个节点并行工作,有效避免单个节点重建大量数据所产生的性能瓶颈,对上层业务的影响做到最小化。

数据故障自动重建流程如图所示
Vastcube G3000分布式存储支持并行、快速故障处理和重建:
数据块(Partition)及其副本分散在整个资源池内,硬盘故障后,可在资源池范围内自动并行重建。
数据分布上支持跨节点,不会因某个节点故障导致的数据不可访问和不可重建。
故障或者扩容时可以自动进行负载均衡,应用无需调整即可获得更大的容量和性能。
数据自动重建,完全在存储节点内部自动完成,无需依赖于计算节点,不消耗计算节点的性能,将故障对业务的影响降低到最低。
HDD场景下,1TB数据重构最少需要30min;SSD场景下,1TB数据重构最短仅需要15min即可。
Part 5. 硬件可靠性
Vastcube G3000数据库一体机选用高可靠的自研硬件,通过系统冗余设计保证系统可靠性,具有如下特点:

Part 6. 管理可靠性
Vastcube G3000管理独立于存储和计算之外,确保管理与计算和存储互不影响,确保系统运行稳定,通过对管理功能和硬件配置,确保系统高可靠,主要包括:

读到这里,我们可以看出,一方面Vastcube G3000 数据库一体机分布式存储设备通过部件冗余设备,避免出现单点故障;另一方面,又采用系统集群管理机制,隔离并屏蔽故障点。同时提供完善的业务数据一致性和保护机制,保障业务连续性及可持续提供服务能力,且具备独立的系统管理体系,能够确保数据库一体机各体系之间互不影响,从而提升系统整体运行可靠能力。
下一篇我们将继续为您带来Vastcube G3000 数据库一体机分布式存储设备【系统亚健康增强管理】的详细内容,敬请期待。
• END •
关于海量数据
北京海量数据技术股份有限公司(股票代码:603138.SH)成立于2007年,是国内首家以数据库为主营业务的主板上市企业。公司十余年来秉承“专注做好数据库”的初心,始终致力于数据库产品的研发、销售和服务。核心产品海量数据库Vastbase系列、数据库一体机Vastcube系列、海量大数据Datalink系列,全栈国产化,应用满足度高,目前广泛应用于政务、制造、金融、通信、能源、交通等多个重点行业,已成为国产企业级数据库的首选之一。





