暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

openGemini v1.1.0-rc1发布,性能再次提升200%-300%

原创 openGemini 2023-09-05
262

openGemini是一款开源、高性能、分布式时序数据库,专注于海量遥测数据存储与分析,采用MPP大规模并行处理架构,兼容InfluxDB的API接口、InfluxQL及其周边工具集,具备高扩展性,支持100+节点的集群规模。本次社区发布的v1.1.0-rc1版本,重点优化查询性能,取得了理想的效果。

本文主要内容包括:

  • 性能优化获重大进展,横向对比性能领先,纵向对比提升200%-300%
  • 新特性发布:数据订阅
  • rc版本解读


性能优化获重大进展,横向对比性能领先,纵向对比提升200%-300%

性能优化是社区长期坚持的主要工作,在openGemini开源之初(v0.1和v0.2),其性能已实现对InfluxDB的全面超越,当前版本相比于v1.0.1,获得重大进展,对比如下:

纵向对比

场景并发数v1.1.0-rc1(平均时延ms)v1.0.1-(平均时延ms)
single-groupby-1-1-12327.1717.07
single-groupby-1-1-1323.126.67
single-groupby-1-8-1327.313.35
single-groupby-5-1-123213.3536.37
single-groupby-5-1-1324.5512.41
single-groupby-5-8-13210.123.01
cpu-max-all-1326.8919.54
cpu-max-all-83216.8840.01
double-groupby-1824,71930,408.05
double-groupby-5851,478.4367,023.02
double-groupby-all877,594.5285,673.76
lastpoint854,672.3564,107.8
groupby-orderby-limit29,225.74116,212.15
high-cpu-13219.9937.65
high-cpu-all135,201.1109,319.78

场景说明,比如single-groupby-1-1-12 代表什么意思,见TSBS 基准测试场景介绍

横向对比

场景并发openGemini v1.1.0-rc1InfluxDB 2.x OSS其他 OSS
single-groupby-1-1-12327.1724.8914.18
single-groupby-1-1-1323.124.2810.72
single-groupby-1-8-1327.312.1780.05
single-groupby-5-1-123213.35101.6319.75
single-groupby-5-1-1324.5512.0413.67
single-groupby-5-8-13210.148.6109.96
cpu-max-all-1326.8913.8617.84
cpu-max-all-83216.8891.8213.23
double-groupby-1824,719243,356.06141,016.09
double-groupby-5851,478.43122,317.54205,317.78
double-groupby-all877,594.52OOM>5min
lastpoint854,672.35OOM826,563.36
groupby-orderby-limit29,225.74OOM503,419.97
high-cpu-13219.9923.4119.78
high-cpu-all135,201.1OOM查询失败

写性能

数据库并发数30万时间线(rows/sec)1rows=10tag+10field磁盘大小
openGemini v1.1.0-rc132392,915.4515GB
InfluxDB 2.x OSS3287,196.6314GB
其他 OSS32361,871.2520GB

测试场景

压测工具TSBS (https://github.com/timescale/tsbs)
数据模型devops1DB 1个表 10tag 10field
数据量30万时间线;25.92亿points,原始数据大小(gzip压缩) 88G
节点数单机(非集群)
机器规格32U128G

通过性能数据可以发现

  • 相比v1.0.1版本,简单查询场景(single-*,cpu-*)提升2x-3x。复杂查询场景(double-*, last-*, high-cpu-all)提升20%-30%,即10秒左右,虽然提升幅度看似不大,但对于应用来说,这个结果是一个非常可观的性能提升。
  • 相比其他时序数据库,openGemini具有明显性能优势。


新特性发布:数据订阅

openGemini数据订阅是将写入openGemini的数据实时复制到本地或远端支持HTTP或HTTPS的节点,通常可用于数据异常检测和数据同步等应用场景。

数据订阅以DB为单位,一个终端可以订阅多个DB数据,一个DB可以被多个终端订阅数据。

管理数据订阅任务,请参考官网文档


rc版本解读

按照社区版本规划,每年一个大的版本,因此正式的v1.1.0版本计划在年底前发布,它将包含完整的数据副本和高基数功能。

v1.1.0-rc0是第一个rc版本,该版本包含了高基数存储引擎,但是该引擎并不支持生产使用,还缺乏与新引擎适配的聚合函数,因此作为rc版本提供。

v1.1.0-rc1开启对数据副本的研发,由于高基数存储引擎和数据副本仍在开发和完善中,因此本次版本继续使用rc版本。

虽然是rc版本,除正在开发的新功能外,并不影响其他功能,因此同样可以正常下载使用。

下载地址:https://github.com/openGemini/openGemini/releases/tag/v1.1.0-rc1

OS支持:Linux (openEuler, Ubuntu, CentOS, Redhat等主流操作系统),Windows,MacOS (darwin)

平台支持:x86,ARM64

快速上手:https://docs.opengemini.org/zh/guide/quick_start/

国内镜像:https://gitee.com/mirrors/opengemini

问题反馈:请在社区提Issue反馈具体问题,社区会及时响应。


总结

openGemini作为一款开源的时序数据库系统,社区蓬勃发展是广大开发者共同的心愿。性能作为数据库最为关键指标之一,很大程度上决定了社区未来能走多远。另一方面,数据库已经成为了企业信息化建设的重要组成部分,而数据库的性能则是企业信息化建设的关键因素之一。数据库性能的好坏直接影响到企业的业务流程和效率,因此,对于数据库的性能优化是非常重要的。正是如此,社区一直以来都将性能优化工作作为社区长期工作来抓。

如何参与社区贡献,参考:

https://docs.opengemini.org/zh/dev-guide/get_started/

https://docs.opengemini.org/zh/guide/contribution/Document.html


openGemini 官网:http://www.openGemini.org

openGemini 开源地址:https://github.com/openGemini

openGemini 公众号:

  1. 欢迎关注~ 诚邀你加入 openGemini 社区,共建、共治、共享未来!

最后修改时间:2023-09-05 17:58:54
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论