暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Vast+产品展厅 | Vastbase资源池化之Nof+兼容

海量数据 2024-02-22
417

-导语-

Vastbase资源池化原来使用FC存储网络的最大带宽仅达到32GE。随着技术的发展,FC存储网络逐渐无法满足数据库的I/O处理要求,正在制约着数据库的性能。


为了降低数据库的I/O处理时延,提升业务处理效率及吞吐量,海量数据Vastbase增加了NoF+存储网络兼容能力,利用NoF+存储网络的高性能、低延迟、高稳定特性,减少I/O处理时延,为客户提供低延迟、高性能、高稳定的数据处理服务。



 兼容存储Nof+协议创建的原因


原有的 Vastbase 资源池化部署使用的是 FC (Fibre Channel,网状通道)存储网络。FC网络的最大带宽是32GE,全闪存时代背景下,传统的FC存储网络制约了Vastbase数据库的性能发挥。


存储网络


为了提升Vastbase资源池化的业务处理能力和业务吞吐量,需要使得Vastbase兼容 NoF+(NVMe over Fabric)存储网络,利用OceanStor Dorado全闪存存储系统的低时延、高性能和高稳定的特点,提升Vastbase的性能和稳定性。


NoF+产生的背景



兼容存储Nof+协议



No.1 原资源池化的FC协议分析


Vastbase 共享存储整理架构图


Vastbase 在处理请求时,需要对数据文件、在线日志等文件进行读写操作。在共享存储架构中, Vastbase 把文件的操作请求发送给 dssserver,dssserver 处理把相应的请求通过网络发送给共享存储设备,把结果反馈给 Vastbase 数据库。


dssserver 收到文件读写操作后,把文件读写操作拆分为多个 I/O 请求操作,依次发送给 perctrl 服务。perctrl 收到 I/O 请求,封装为 SCSI 协议的 I/O 操作,通过网络转发给共享存储设备。


perctrl内部处理请求的exec_perctrl_req 服务流程图


handle->exec实现的12个具体函数:


以exec_register 作为例子进行说明



No.2 添加NoF+协议支持

I/O层 perctrl服务适配NoF+ 


由于 DSS 目前支持 FC 协议的 SCSI3 I/O读写,我们只需要对 SCSI3 读写协议部分逻辑进行修改,自动识别是否支持 NVMe 协议,如果支持NVMe 则使用 NVMe 协议,不支持 NVMe 协议则使用 SCSI3 协议。这样适配可以做到同时兼容 NVMe 和 SCSI3 两种读写 I/O 操作,并优先使用 NVMe 协议。

主要逻辑是:

(1)把原来的 exec_* 重构为 exec_scsi3_* ,区分协议。 

(2)在 exec_perctrl_req 中加入获取协议的逻辑,目前支持SCSI3、NVME两种协议。默认使用SCSI3 协议。通过判断操作的 dev 是否支持 NVMe 协议。

(3)对 perctrl_cmd_hdl_t 接口增加nvme执行函数。


如下所示

根据NoF+接口协议,实现以下12个函数:


安装工具OM适配NoF+ 


安装时的磁盘设备识别适配

Vastbase的OM工具,原来使用/lib/udev/scsi_id获取设备ID,只支持/dev/sd*的设备。


而NoF+存储映射的设备名称是/dev/nvme*,如果使用多路径软件,映射的名称是/dev/ultrapath*,和原来的规则不一样,所以OM无法识别。


针对此问题,我们需要对OM进行适配,支持NoF+存储网络。


采用/usr/bin/udevadm命令获取设备ID,支持FC和NoF+的存储设备。


安装时的perctrl二进制授权

FC协议设备,具备rawio权限既可对设备进行读写与注册操作。


NoF+协议的磁盘权限划分更细,需要同时具备rawio和admin两个权限才能做注册和读写。


所以在安装时,OM需要对perctrl的二进制同时授予rawio和admin两个权限。


集群管理工具CM适配NoF+


集群管理工具有对存储设备的裸I/O读写,主要是原子caw操作(即 compare and write操作)。该操作当前只支持FC存储网络,为了兼容NoF+存储网络,我们需要对其进行适配。

适配过程参考perctrl,在CM中实现一个nvme的CAW操作函数。



性能提升


适配NoF+接口协议后,可以使用NoF+存储网络,打破FC存储网络瓶颈,使其处理更加高效。使用OceanStor Dorado全闪存存储系统NoF+存储网络,在不同场景和数据量下,Vastbase资源池化部署方案性能提升可达10%~30%。




• END •



关于海量数据


北京海量数据技术股份有限公司(股票代码:603138.SH)成立于2007年,是国内首家以数据库为主营业务的主板上市企业。公司十余年来秉承“专注做好数据库”的初心,始终致力于数据库产品的研发、销售和服务。核心产品海量数据库Vastbase系列、数据库一体机Vastcube系列、海量大数据Datalink系列,全栈国产化,应用满足度高,目前广泛应用于政务、制造、金融、通信、能源、交通等多个重点行业,已成为国产企业级数据库的首选之一。



文章转载自海量数据,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论