暂无图片
暂无图片
1
暂无图片
暂无图片
暂无图片

鲲鹏认证|GBase 8a使用kunpeng920 zlib加速特性提高压缩和解压性能

原创 LinuxPerf 2022-01-11
2317

    TaiShan 200服务器基于Kunpeng 920处理器提供了硬件加速解决方案,包含了对称加密、非对称加密和数字签名,压缩解压缩等算法,用于加速SSL/TLS应用和数据压缩,可以显著降低处理器消耗,提高处理器效率。此外,加速引擎对应用层屏蔽了其内部实现细节,用户通过OpenSSL、zlib标准接口即可以实现快速迁移现有业务。目前加速引擎主要支持以下算法:

●摘要算法SM3/MD5,支持异步模型。

●对称加密算法SM4,支持异步模型,支持CTR/XTS/CBC/EBC/OFB模式。

●对称加密算法AES, 支持异步模型,支持ECB/CTR/XTS/CBC模式。

●非对称算法RSA,支持异步模型,支持 Key Sizes 1024/2048/3072/4096。

●密钥协商算法DH, 支持异步模型,支持 Key Sizes768/1024/1536/2048/3072/4096

●压缩解压缩算法,支持zlib/gzip。

通过加速引擎可以实现不同场景下应用性能的提升,例如在Web服务应用场景下,通过KAE加速RSA算法可以加速握手连接;在智能安防场景下,通过KAE加速SM4对称加解算法加速视频流数据存储;在分布式存储场景下,通过zlib加速库加速数据压缩和解压。

    GBase 8a MPP通过支持zlib压缩,可以利用Kunpeng920 zlib加速特性,提高数据压缩和解压性能,在大量数据入库和读取分析场景缓解IO压力。

    以数据加载为例,测试数据采用TPC-H 10T模型中的orders表(单表数据量1760G),GBase 8a建表采用不同的压缩参数,默认是compress(5,5)压缩,更高压缩比的compress(1,3)压缩;zlib压缩选择两个不同级别compress(‘zlib’,2)和compress(‘zlib’6)。针对zlib压缩,在使用标准库测试后,也开启kunpeng 920的硬压缩支持进行对比。

    经过测试,不同压缩参数下性能如下:

压缩参数

compress(5,5)

compress(3,1)

compress(‘zlib‘,2)

compress(’zlib’,6)

compress(’zlib’,2)硬加速

compress(’zlib’,6)硬加速

load time(s)

347

580

438

627

297

303

压缩后大小

704G

352G

448G

416G

448G

416G

压缩比

2.5

5

3.9

4.2

3.9

4.2

GBase8a默认采用compress(5,5)压缩,能够提供比较平衡的性能和压缩比。追求更高的压缩比则要损失一定的性能,如compress(3,1);标准zlib压缩相比而言,性能和压缩比不如compress(5,5)和compress(3,1)。但是通过kunpeng 920的硬加速,可以显著提高zlib压缩性能:compress(‘zlib’, 6)硬加速能提高1倍性能;compress(‘zlib’, 2)硬加速能提高50%性能。

相比compres(5,5),compress(‘zlib’,6)能够提供更高的压缩比,和更好的性能。












「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论