暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

多模融合 | Klustron 1.3 性能提升,功能全面完善

点击上方蓝字关注我们





导读

本周泽拓昆仑Klustron 1.3.1版本正式发布,可以按照以下文档进行体验。


  • Klustron 1.3版本下载:

    https://www.klustron.com/download


  • 在线安装:

    https://doc.kunlunbase.com/zh/Deploy_the_klustron_cluster_with_one_click.html


  • 离线安装:

    https://doc.kunlunbase.com/zh/user_notes_Installation_Guide.html


本文概览Klustron 1.3版本新增功能、技术规范及相关测试报告。


关键词:Klustron、MySQL、PostgreSQL、技术规范、测试报告



01  
Klustron 1.3新增功能

泽拓昆仑Klustron研发团队在Klustron-1.2版本基础上,研发了下列新的主要功能,并且对现有功能做了完善和增强。

  • 支持PostGIS和GIS数据管理 (附带定制修改后的PostGIS插件);
  • 改进JSON 数据管理 --- 效率更高,性能更好;
  • 支持PGVector做向量数据管理(附带定制修改后的pgvector插件);
  • 支持PostgresML机器学习插件 (附带PostgresML插件);
  • 支持PostgreSQL生态的所有外部数据源接口(FDW, 附带了 Oracle, SQL Server, Hive, MySQL, PostgreSQL 的FDW插件);
  • 支持PostgreSQL生态的常见存储过程语言插件(附带了 python, java, lua, perl 的插件);
  • 全面支持RocksDB存储引擎 --- 故障恢复和高可用、全局死锁处理机制以及global MVCC;
  • 全面完善MySQL 兼容能力,包括支持MySQL 常见DDL语法,以及提供与MySQL 的information_schema中相同的系统视图和系统表;
  • 支持存储物理和逻辑备份数据到公有云对象存储(S2, OSS);
  • AI自动客服(基于GPT3.5);
  • 私有云多租户以及多租户功能增强;
  • XPanel支持多语言(目前中文和英文);
  • 集群热升级工具;
  • 可观测性系列功能;
  • CDC并行重放以及输出到Kafka消息队列;
  • 导出 Apache Parquet文件。


02  
Klustron 1.3 技术规范 

Kluston-1.3 技术规范
开放的架构
· 兼容PostgreSQL&MySQL 连接协议和常用SQL语法
· 支持Innodb & RocksDB存储引擎
· 数据变更流式并行导出(CDC)服务,中断后可以续传,故障自动恢复
· 计算节点支持挂载第三方功能扩展插件:外部数据源(FDW),存储过程编程语言(python/perl/java/lua),PostGIS,PGVector


兼容 MySQL
· Text和Binary协议
· MySQL所有DML语法和常用DDL语法
· Prepared Statement
· MySQL变量读写语法
· AUTO_INCREMENT语法和功能
· 切换AutoCommit模式
· 事务中语句错误处理 -- 客户端决定
· 事务隐式启动和隐式提交
· 常用 SHOW 命令集合
· 支持MySQL和PostgreSQL词法规则
遵从 SQL-2016 标准
· Standard SQL
· 子查询, 表连接
· 视图,物化视图
· 触发器
· Prepared Statement
· 存储过程
· 用户自定义函数
· Window 函数 和 CTEs
· GROUPING SETS,CUBE,ROLLUP
· 高级数据管理功能
· Domain, Check
· Row level security(RLS)
· 支持常见字符集(Unicode,GBK)
· 完整的i18n和l10n支持

查询优化器
· Cost-based Optimizer
· 查询重写
· 分区裁剪
· Column Projection
· 谓词下推,聚合算子下推,排序算子下推,Join下推
· Distinct和Limit下推
· 多层级并行查询优化
· 统计信息收集、汇总和利用

高可用
· FullSync HA
· 元数据RBR HA
· 全局事务容灾
· 存储主节点故障自动切换
· 数据零丢失
· 同城/异地双活
· 同城/异地多机房高可用

备份和恢复
· 导出 Apache Parquet文件
· 集群热备份
· 全量物理备份,增量日志备份
· 逻辑备份库/模式/表
· 逻辑恢复库/模式/表
· 物理恢复到指定时间点
· 物理恢复到指定的事务ID
· 脚本化的命令行工具
· 备份到HDFS, 公有云对象存储(OSS, S3),以及挂载的文件系统
· 数据变更流式导出(CDC)
· 数据批量导入导出和迁移工具

应用接口
· 常见语言PostgreSQL connectors
· 常见语言MySQL connectors
· JDBC,ODBC

安全
· 多层级多粒度的数据访问控制
· 数据库角色管理
· 多种鉴权方式
· 密码管理
· 数据文件和binlog文件加密存储
· 备份文件加密存储

高性能
· 读写分离
· 资源隔离
· 数万并发连接,百万QPS
· B+树索引2
· 集群状态监控,诊断和SQL跟踪
· 计算/存储节点水平扩展

OLTP 负载和事务支持
· ACID 事务支持
· 增删改支持行级锁
· 只读查询多版本并发控制
· 分布式事务处理
· 支持多种事务隔离级别:读已提交,可重复读,串行化
· 自动全局和局部死锁检测 ·
全局多版本并发控制(Global MVCC)
· InnoDB引擎和RocksDB引擎


OLAP 负载优化
· 用户自定义聚集函数
· (OLAP)分析型函数支持


数据分片
· 支持三种分片方式- Hash, Range, List
· 镜像表(复制表)
· Table Groups

XPanel 图形化集群管理配置 GUI
· 集群创建/删除
· 集群物理备份/回档
· 集群逻辑备份/回档
· 增加/删除计算节点
· 增加/删除存储节点/Shard
· 存储节点主备切换
· 元数据集群管理
· 告警机制
· 节点运行状态监控
· 集群扩缩容
· Online DDL & repartition
· 集群日志ES收集和Kibana检索
· CDC配置
· 集群多活配置
· 多机房高可用配置
· 私有部署的多租户模式
· 多语言和国际化

备注:
  • 不支持外键。
  • 不支持 Hash 索引。虽然支持创建Hash索引的语法,但是底层创建的是 B+ 树索引。


03  
Klustron 1.3 性能测试报告

版本:v1.3.1

集群拓扑及配置:


集群说明:

  • 计算节点:3台机器各部署一个计算节点。
    存储节点:3个shard,每一个shard为单主,三个shard的单主分别分布在这三台机器上。
    管理节点:管理集群有三台机器组成,为3个节点,1主两备。
  • 机器配置:CentOS8.5 32c 128g 1.9Tnvmessd 万兆网卡。
  • 负载均衡:haproxy 2.5.0
  • sysbench:1.0.20
  • benchmarksql:5.0

压测前准备:

  • 创建3shard-3计算节点集群
  • 压测前计算节点系统变量修改:

    alter system set statement_timeout=6000000;
    alter system set mysql_read_timeout=1200;
    alter system set mysql_write_timeout=1200;
    alter system set lock_timeout=1200000;
    alter system set log_min_duration_statement=1200000;
    alter system set effective_cache_size = '8GB';
    alter system set work_mem = '128MB';
    alter system set wal_buffers='64MB';
    alter system set autovacuum=false;
    注意:各个节点节点修改后需重启生效。

    压测前存储节点系统变量修改:

      mysql -h xxx -P xxx -upgx -ppgx_pwd #登录到各个shard的主上进行修改
      set global innodb_buffer_pool_size=32*1024*1024*1024;
      set global lock_wait_timeout=1200;
      set global innodb_lock_wait_timeout=1200;
      set global fullsync_timeout=1200000;
      set global enable_fullsync=false;
      set global innodb_flush_log_at_trx_commit=2;
      set global sync_binlog=0;
      set global max_binlog_size=1*1024*1024*1024;
      set global enable_fullsync=off;


      为各个shard设置免切,XPanel上操作【集群管理】->【集群免切设置】。
      删除各个shard的备机。

      Sysbench

      oltp_point_select


      oltp_update_non_index


      oltp_update_index


      oltp_read_write


      oltp_read_only


      oltp_write_only


      oltp_insert



      TPC-C

      压测时间
      10min
      10min
      10min
      10min
      10min
      10min
      10min
      10min
      10min
      10min
      10min
      10min
      warehouse
      500
      500
      500
      500
      500
      500
      500
      500
      500
      500
      500
      500
      并发数
      50
      50
      60
      70
      80
      90
      100
      150
      200
      300
      400
      500
      tmpC(每分钟处理的订单数)
      86851.53
      86653.63
      84991.98
      84124.6
      81586.18
      83623.86
      46545.82
      32384.51
      21039.78
      21356.62
      21970.13
      22568.62
      tmpTotal
      193198.13
      192866.59
      188799.55
      186880.09
      181188.01
      185844.57
      103319.45
      71928.44
      46754.49
      47422.62
      48836.39
      50230.18
      备注
      node:18,19,20
      node:20,21,22










      cpu(32vC)
      18:40% 19:39% 20:36%
      20:35% 21:33% 22:33%
      20:38% 21:35% 22:36%
      20:37% 21:32% 22:36%
      20:37% 21:34% 22:36%
      20:36% 21:29% 22:35%
      20:32% 21:30% 22:33%
      20:11% 21:31% 22:29%
      20:26% 21:9% 22:8%
      20:27% 21:8% 22:8%
      20:25% 21:7% 22:8%
      20:27% 21:19% 22:45%
      内存(128g)
      18:25% 19:20% 20:20%
      20:23% 21:20% 22:21%
      20:23% 21:22% 22:22%
      20:24% 21:22% 22:23%
      20:25% 21:22% 22:23%
      20:26% 21:22% 22:23%
      20:26% 21:23% 22:24%
      20:27% 21:24% 22:25%
      20:27% 21:24% 22:25%
      20:27% 21:24% 22:26%
      20:28% 21:24% 22:26%
      20:28% 21:24% 22:26%
      io使用率
      18:70% 19:75% 20:72%
      20:65% 21:67% 22:62%
      20:73% 21:67% 22:72%
      20:78% 21:75% 22:71%
      20:62% 21:65% 22:66%
      20:82% 21:83% 22:85%
      20:81% 21:89% 22:89%
      20:30% 21:35% 22:55%
      20:28% 21:36% 22:44%
      20:22% 21:32% 22:21%
      20:25% 21:24% 22:23%
      20:25% 21:24% 22:31%


      TPC-H

      queries
      cost(seconds)
      result
      error
      Q1
      15.8
      succ

      Q2
      1.36
      succ

      Q3
      1598.1
      succ

      Q4
      3.12
      succ

      Q5
      30.23
      succ

      Q6
      2.6
      succ

      Q7
      2262.64
      succ

      Q8
      5.3
      succ

      Q9
      14.33
      succ

      Q10
      5.15
      succ

      Q11
      0.88
      succ

      Q12
      3.77
      succ

      Q13
      2.54
      succ

      Q14
      2.79
      succ

      Q15
      5.36
      succ

      Q16
      0.88
      succ

      Q17
      10.97
      succ

      Q18
      13.9
      succ

      Q19
      3.14
      succ

      Q20
      4.28
      succ

      Q21
      9.64
      succ

      Q22
      0.71
      succ



      TPC-DS
      totalCost: 2986.81s

      query
      cost(seconds)
      result
      error
      Q1
      0.24
      succ

      Q2
      4.84
      succ

      Q3
      1.51
      succ

      Q4
      30.63
      succ

      Q5
      5.18
      succ

      Q6
      141.67
      succ

      Q7
      5.73
      succ

      Q8
      2.1
      succ

      Q9
      11.49
      succ

      Q10
      6.03
      succ

      Q11
      20.22
      succ

      Q12
      0.52
      succ

      Q13
      2.21
      succ

      Q14
      9.95
      succ

      Q15
      1.08
      succ

      Q16
      0.75
      succ

      Q17
      6.73
      succ

      Q18
      4.26
      succ

      Q19
      1.77
      succ

      Q20
      1.03
      succ

      Q21
      5.88
      succ

      Q22
      13.06
      succ

      Q23
      20.25
      succ

      Q24
      4.44
      succ

      Q25
      1292.55
      succ

      Q26
      3.52
      succ

      Q27
      3.47
      succ

      Q28
      7.56
      succ

      Q29
      2.66
      succ

      Q30
      0.35
      succ

      Q31
      19.19
      succ

      Q32
      2.14
      succ

      Q33
      3.07
      succ

      Q34
      0.09
      succ

      Q35
      5.05
      succ

      Q36
      0.07
      succ

      Q37
      0.04
      succ

      Q38
      4.56
      succ

      Q39
      15.45
      succ

      Q40
      1.38
      succ

      Q41
      0.05
      succ

      Q42
      1.6
      succ

      Q43
      0.06
      succ

      Q44
      1.1
      succ

      Q45
      1029.89
      succ

      Q46
      0.07
      succ

      Q47
      6.47
      succ

      Q48
      2.05
      succ

      Q49
      3.12
      succ

      Q50
      4.58
      succ

      Q51
      4.21
      succ

      Q52
      1.52
      succ

      Q53
      1.61
      succ

      Q54
      0.85
      succ

      Q55
      1.59
      succ

      Q56
      3.08
      succ

      Q57
      2.86
      succ

      Q58
      9.27
      succ

      Q59
      6.34
      succ

      Q60
      3.1
      succ

      Q61
      0.14
      succ

      Q62
      1
      succ

      Q63
      1.63
      succ

      Q64
      11.11
      succ

      Q65
      3.68
      succ

      Q66
      1.37
      succ

      Q67
      10.05
      succ

      Q68
      0.09
      succ

      Q69
      5.24
      succ

      Q70
      5.04
      succ

      Q71
      1.62
      succ

      Q72
      28.57
      succ

      Q73
      0.09
      succ

      Q74
      7.49
      succ

      Q75
      5.74
      succ

      Q76
      1.54
      succ

      Q77
      4.75
      succ

      Q78
      25.25
      succ

      Q79
      2.49
      succ

      Q80
      6.69
      succ

      Q81
      0.33
      succ

      Q82
      5.95
      succ

      Q83
      1.2
      succ

      Q84
      19.2
      succ

      Q85
      2.63
      succ

      Q86
      0.73
      succ

      Q87
      4.54
      succ

      Q88
      10.27
      succ

      Q89
      1.85
      succ

      Q90
      0.79
      succ

      Q91
      1.12
      succ

      Q92
      1.1
      succ

      Q93
      3.59
      succ

      Q94
      0.52
      succ

      Q95
      32.88
      succ

      Q96
      1.25
      succ

      Q97
      3.23
      succ

      Q98
      1.83
      succ

      Q99
      2.03
      succ



      END

      为促进团队内外的沟通联系,我们Klustron团队的bbs论坛开始上线,欢迎各位同学使用!链接:https://forum.klustron.com/,或者点击文末“阅读原文”,即可跳转

      论坛目前是测试版,可能还存在不稳定的现象,欢迎各位老师、朋友共享信息,如果遇到问题还请谅解。

      欢迎大家下载和安装Klustron数据库集群,并免费使用(无需注册码)

      Klustron 完整软件包下载:
      http://downloads.klustron.com/

      如需购买请邮箱联系sales_vip@klustron.com,有相关问题欢迎添加下方小助手微信联系🌹
      产品文档

      Klustron 快速入门:
      https://doc.klustron.com/zh/Klustron_Instruction_Manual.html

      Klustron 快速体验指南:
      https://doc.klustron.com/zh/Klustron_Quickly_Guide.html

      Klustron 功能体验范例:
      https://doc.klustron.com/zh/Klustron-function-experience-example.html

      Klustron 产品使用和测评指南:
      https://doc.klustron.com/zh/product-usage-and-evaluation-guidelines.html


       点击👆上方,关注获取源代码及技术信息~






      文章转载自KunlunBase 昆仑数据库,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

      评论