暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

专为数据库打造,沃趣 QDFS 文件系统的创新实践

沃趣科技 2025-05-19
289


在需要极致 IO 性能的场景,尤其是企业数据库、大数据分析等领域,NVMe SSD 提供了前所未有的硬件能力。然而,如何有效地将这些本地 NVMe 设备组织起来提供数据保护(如多副本、条带化),并与上层文件系统无缝对接,是一个亟待解决的问题。


传统的存储管理方法,如结合使用 MDRAID、LVM 和通用文件系统(XFS/EXT4),在 NVMe 环境下往往显得复杂且难以充分发挥硬件潜力,给运维带来不便。


为了克服传统存储管理的局限性,沃趣科技自主研发了 QDFS 技术,实现了 NVMe SSD、数据卷和文件系统的一体化管理,为企业用户在数据库场景提供了个统一、高效、专为高性能应用优化的存储底座。


QDFS:真正的数据库专用文件系统


传统的存储管理方式,是将磁盘阵列、卷管理(如 LVM)和文件系统(如 XFS、EXT4)作为相互独立的层次进行管理。这导致管理视图割裂,不同的工具和命令集导致运维复杂性大幅提高。


QDFS 创新性地实现了 NVMe SSD 设备、数据卷和文件系统的一体化融合管理。它摒弃了传统多层叠加的复杂架构,提供了统一的技术栈和简洁的命令行接口(支持白屏化管理),涵盖了从底层设备识别、存储池化、数据保护配置到上层文件系统管理的全部功能 。



与传统方案需要使用多套命令不同,QDFS 命令精简,操作流程显著简化 。这种统一的管理模式降低了运维门槛,让管理数据库存储环境所需的精力大大减少。


打破传统架构束缚,释放 NVMe 潜能


传统的通用文件系统和卷管理器,通常采用通用缓存策略和 IO 调度方式,无法充分发挥 NVMe 的低延迟和高并发特性。


QDFS 作为面向数据库设计的专业文件系统 ,针对高性能应用场景深度优化了 IO 路径,有效提升了 NVMe 性能的利用效率,实测显示,QDFS 在读写吞吐和随机 IO 方面表现优异,相比 XFS 结合软硬件 RAID 方案,IO 吞吐提高 6 倍,IOPS 提升 2 倍 。


数据条带化

QDFS 支持将多达 64 块 NVMe 磁盘组成一个文件系统 ,通过细粒度的数据条带化,确保数据能够并行分布并访问,有助于聚合多块磁盘的 IO 能力。


智能 IO 调度

在配置多副本的情况下,QDFS 支持所有副本参与读操作并通过智能 IO 调度,将读请求导向响应最快的磁盘,有效平衡负载,优化读取延迟。



直接路径 IO

QDFS 支持直接路径 IO 模式。这意味着应用(如数据库)可以直接在自身缓冲区与底层存储设备之间传输数据,减少了不必要的 CPU 数据拷贝和文件系统缓存的开销,提高了数据处理效率和系统稳定性 。


可靠的数据保护与灵活的扩展能力


通用文件系统通常不提供内置的数据冗余功能,需要依赖上层应用(如数据库分布式副本)或底层 RAID 卡/软件 RAID(如 MDRAID)提供数据保护。故障发生时,传统的软件 RAID 重建过程复杂,影响整体系统性能和可用性。


QDFS 在文件系统层面内置了先进的数据保护机制,提供了比传统方案更灵活、高效的冗余和故障恢复能力,并优化了故障处理流程。


灵活的副本数量

支持 1、2、3 种数据副本配置,用户可根据业务对可用性的要求灵活选择。


RAID2.0 细粒度冗余

采用细粒度的 Bucket 条带化和随机分散存储策略,即使是奇数盘也能高效实现双副本保护。数据副本分散在不同磁盘和故障组间,确保数据的高可用性 。


FailGroup 故障组

支持用户自定义故障组,确保副本跨故障组冗余,有效应对 RAID 卡或存储节点层面的故障,提高架构整体的韧性 。任意故障组内所有磁盘损坏不影响文件可用性。


节点内快速重建

发生磁盘故障时,QDFS 在节点内进行数据副本重建,重建数据量仅为故障磁盘大小,速度快,避免了跨节点全副本重建带来的网络和 IO 压力,减少了“雪崩”的可能性 。


极简运维提升易用性和管理效率


存储系统的运维操作,如扩容或更换故障磁盘,在传统方案下流程复杂,往往需要停机或对业务造成明显影响(RTO 风险,性能下降)。文件系统快照功能若采用全量拷贝,会占用大量空间且创建、恢复速度慢。


QDFS 提供了丰富的在线运维能力,并支持高效的快照功能,显著提升了存储系统的易用性和数据管理效率。


在线扩容与数据重平衡

QDFS 支持 Online Rebalance 功能,支持在线增加任意数量的磁盘进行扩容。扩容后,系统会自动将数据均匀分布到所有新老磁盘上,确保始终能利用到所有盘的 IO 能力,重平衡过程不产生数据库 RTO,且可通过 QoS 控制,不影响业务 RTO。 


COW(写时复制)与高效快照

支持 COW 模式,在此基础上提供高效的子卷快照。快照通过记录指针变化实现,仅记录差异数据块,空间占用小,对于读多写少的应用场景尤其高效,方便进行数据备份、恢复或回滚。


在线故障换盘

支持简单的在线故障换盘操作,不影响 RTO 时间,满足金融级业务场景需求。


沃趣 QDFS 文件系统作为沃趣科技自主研发的核心软件技术,是应对 NVMe 时代存储挑战的创新实践。也是沃趣 QData 数据库专有云一体机产品的重要存储引擎。


通过技术革新,我们有效打破了传统存储管理的复杂性壁垒,显著提升了 NVMe 设备的性能利用率和数据可靠性,为企业关键应用提供了坚实、高效、易用的存储基础设施,助力企业构建更强大的数据能力。


而搭载该技术的沃趣数据库专有云一体机产品,则依赖于包括QDFS、QST、NDA等一系列沃趣科技自研的核心技术,为企业数据库提供高性能、高可靠、易管理的存储底座,为用户提供了开箱即用、运维极简、性能领先的数据库基础设施解决方案。

延伸阅读:



文章转载自沃趣科技,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论