暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Aerospike|集合索引的优势

Aerospike服务号 2021-09-24
425




Aerospike 数据库 5.6 引入了集合索引Set-index功能,它允许在命名空间中直接对特定集合进行索引设置。 在 5.6 版本之前,在集合中查找特定记录需要对命名空间进行扫描(如果该集合相对于命名空间而言体积较小,则需要花费更多成本),或者可能需要一个新的bin值来创建二级索引。


集合索引何时会有明显优势? 直观来说,索引对于较小的集合而言显然具有优势。 然而,随着集合的大小不断接近封闭命名空间的大小,读取记录所花费的成本也将越来越大,并在很大程度上抵消了索引的优势。 对此我们进行了一些测试,本文将为这些问题提供量身定制的答案。



测试配置


Aerospike在特定环境中对其进行了一系列测试。 测试环境包括1 节点的 Aerospike 集群以及 10GBit 网络环境中可在单独机器上运行的客户端。 该服务器具有以下特点:


Model: Supermicro Ultra SuperServer 1029U-TN10RT

CPU: 2 x Intel Xeon Gold 5220R Processor 24-Core 2.2GHz (96 vCPU total)

DRAM: 384 GiB DDR4 2933MHz

SSD: 5 x 3.2TB Micron 9300 MAX Series U.2 PCIe 3.0 x4 NVMe

Network: 10GBit Ethernet (RJ-45)

型号:Supermicro Ultra SuperServer 1029U-TN10RT

CPU:2 x Intel Xeon Gold 5220R 处理器 24 核 2.2GHz(共 96 个 vCPU)

DRAM:384 GiB DDR4 2933MHz

固态硬盘:5 x 3.2TB Micron 9300 MAX 系列 U.2 PCIe 3.0 x4 NVMe

网络:10GBit 以太网 (RJ-45)


测试命名空间包含 20 亿条 100 字节的记录。 在该命名空间中,创建了六个测试集:


Set A:20 亿条记录(100% 的命名空间)

Set B:1 亿条记录(命名空间的 5%)

Set C:100 万条记录(命名空间的 0.05%)

Set D:10,000 条记录(命名空间的 0.0005%)

Set E:1,000 条记录(命名空间的 0.00005%)

Set F:100 条记录(命名空间的 0.000005%)



测试矩阵


对于每个测试集,我们分别在启用及不启用设置索引的情况下执行相关扫描,并测量所需时间。 此外,我们会通过改变一些相关参数来评估索引集对基础测试的影响:


SSD 存储:获取记录的速度比列式存储慢1000 倍。

DRAM 存储:对于列式存储中的命名空间而言,获取记录的速度非常快。

4 个线程扫描:这由单线程的配置参数控制,默认值为4。

128 个线程扫描:这是单扫描线程的最大允许值。



 结果


表 1 显示了 SSD 数据存储中的测试结果。该测试对于整体结果来说至关重要,从 DRAM 检索记录相比,从 SSD 数据存储中的检索成本较高。


数据结果验证了以下假设:索引对较小的集合用处较大,因为相比检索大量无关记录(因为它们不在感兴趣的集合中)的成本而言,维护索引的成本较小。


表1:SSD中的数据


随着集合的大小越来越接近命名空间的大小,使用优势将被减弱,因为此时大部分被检索到的记录将与扫描相关。 但是,与SSD I/O相比,维护索引的成本并不是很高,因此即使在极限情况下,索引所消耗的额外DRAM和CPU也只会导致性能的小幅下降。


如图 1 所示,数据曲线将显示的更加清楚。在图中,启用了索引设置索引的结果以实线和圆圈作为数据标记显示; 禁用索引的结果以虚线和菱形作为数据标记显示。


无论用于执行扫描的线程数量如何,随着集合大小的增加,设置索引的性能将逐渐接近未索引设置情况下的性能。 从这组特定的测试结果中可见,当测试集达到 1 亿条记录(大约命名空间的 5%)时,就会出现收敛的情况。


图1:SSD中的数据



结论


Aerospike 5.6 版本的索引设置索引是一个较为成功的改进。 该功能大大缩短了扫描时间,同时节省内存。



关于Aerospike

Aerospike 克服了看似不可能消除的数据瓶颈,以可以降低基础架构复杂性、减少传统 NoSQL 数据库成本的功能优势,在与其他数据库的竞争中获得了众多公司的认可。Aerospike 使客户能够立即打击欺诈行为,它大大增加了购物车的大小,部署了全球数字支付网络,为数百万客户提供了即时的一对一个性化服务。



点击阅读全文,获取能多信息

文章转载自Aerospike服务号,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论