点击上方蓝字关注我们

点击上方蓝字关注我们



支持PostGIS和GIS数据管理 (附带定制修改后的PostGIS插件); 改进JSON 数据管理 --- 效率更高,性能更好; 支持PGVector做向量数据管理(附带定制修改后的pgvector插件); 支持PostgresML机器学习插件 (附带PostgresML插件); 支持PostgreSQL生态的所有外部数据源接口(FDW, 附带了 Oracle, SQL Server, Hive, MySQL, PostgreSQL 的FDW插件); 支持PostgreSQL生态的常见存储过程语言插件(附带了 python, java, lua, perl 的插件); 全面支持RocksDB存储引擎 --- 故障恢复和高可用、全局死锁处理机制以及global MVCC; 全面完善MySQL 兼容能力,包括支持MySQL 常见DDL语法,以及提供与MySQL 的information_schema中相同的系统视图和系统表; 支持存储物理和逻辑备份数据到公有云对象存储(S2, OSS); AI自动客服(基于GPT3.5); 私有云多租户以及多租户功能增强; XPanel支持多语言(目前中文和英文); 集群热升级工具; 可观测性系列功能; CDC并行重放以及输出到Kafka消息队列; 导出 Apache Parquet文件。

| Kluston-1.3 技术规范 | |
· 兼容PostgreSQL&MySQL 连接协议和常用SQL语法 · 支持Innodb & RocksDB存储引擎 · 数据变更流式并行导出(CDC)服务,中断后可以续传,故障自动恢复 · 计算节点支持挂载第三方功能扩展插件:外部数据源(FDW),存储过程编程语言(python/perl/java/lua),PostGIS,PGVector 兼容 MySQL · Text和Binary协议 · MySQL所有DML语法和常用DDL语法 · Prepared Statement · MySQL变量读写语法 · AUTO_INCREMENT语法和功能 · 切换AutoCommit模式 · 事务中语句错误处理 -- 客户端决定 · 事务隐式启动和隐式提交 · 常用 SHOW 命令集合 · 支持MySQL和PostgreSQL词法规则 遵从 SQL-2016 标准 · Standard SQL · 子查询, 表连接 · 视图,物化视图 · 触发器 · Prepared Statement · 存储过程 · 用户自定义函数 · Window 函数 和 CTEs · GROUPING SETS,CUBE,ROLLUP · 高级数据管理功能 · Domain, Check · Row level security(RLS) · 支持常见字符集(Unicode,GBK) · 完整的i18n和l10n支持 查询优化器 · Cost-based Optimizer · 查询重写 · 分区裁剪 · Column Projection · 谓词下推,聚合算子下推,排序算子下推,Join下推 · Distinct和Limit下推 · 多层级并行查询优化 · 统计信息收集、汇总和利用 高可用 · FullSync HA · 元数据RBR HA · 全局事务容灾 · 存储主节点故障自动切换 · 数据零丢失 · 同城/异地双活 · 同城/异地多机房高可用 备份和恢复 · 导出 Apache Parquet文件 · 集群热备份 · 全量物理备份,增量日志备份 · 逻辑备份库/模式/表 · 逻辑恢复库/模式/表 · 物理恢复到指定时间点 · 物理恢复到指定的事务ID · 脚本化的命令行工具 · 备份到HDFS, 公有云对象存储(OSS, S3),以及挂载的文件系统 · 数据变更流式导出(CDC) · 数据批量导入导出和迁移工具 | · 常见语言PostgreSQL connectors · 常见语言MySQL connectors · JDBC,ODBC 安全 · 多层级多粒度的数据访问控制 · 数据库角色管理 · 多种鉴权方式 · 密码管理 · 数据文件和binlog文件加密存储 · 备份文件加密存储 高性能 · 读写分离 · 资源隔离 · 数万并发连接,百万QPS · B+树索引2 · 集群状态监控,诊断和SQL跟踪 · 计算/存储节点水平扩展 OLTP 负载和事务支持 · ACID 事务支持 · 增删改支持行级锁 · 只读查询多版本并发控制 · 分布式事务处理 · 支持多种事务隔离级别:读已提交,可重复读,串行化 · 自动全局和局部死锁检测 · 全局多版本并发控制(Global MVCC) · InnoDB引擎和RocksDB引擎 OLAP 负载优化 · 用户自定义聚集函数 · (OLAP)分析型函数支持 数据分片 · 支持三种分片方式- Hash, Range, List · 镜像表(复制表) · Table Groups XPanel 图形化集群管理配置 GUI · 集群创建/删除 · 集群物理备份/回档 · 集群逻辑备份/回档 · 增加/删除计算节点 · 增加/删除存储节点/Shard · 存储节点主备切换 · 元数据集群管理 · 告警机制 · 节点运行状态监控 · 集群扩缩容 · Online DDL & repartition · 集群日志ES收集和Kibana检索 · CDC配置 · 集群多活配置 · 多机房高可用配置 · 私有部署的多租户模式 · 多语言和国际化 |
不支持外键。 不支持 Hash 索引。虽然支持创建Hash索引的语法,但是底层创建的是 B+ 树索引。


计算节点:3台机器各部署一个计算节点。
存储节点:3个shard,每一个shard为单主,三个shard的单主分别分布在这三台机器上。
管理节点:管理集群有三台机器组成,为3个节点,1主两备。机器配置:CentOS8.5 32c 128g 1.9Tnvmessd 万兆网卡。 负载均衡:haproxy 2.5.0 sysbench:1.0.20 benchmarksql:5.0
创建3shard-3计算节点集群 压测前计算节点系统变量修改:
alter system set statement_timeout=6000000;alter system set mysql_read_timeout=1200;alter system set mysql_write_timeout=1200;alter system set lock_timeout=1200000;alter system set log_min_duration_statement=1200000;alter system set effective_cache_size = '8GB';alter system set work_mem = '128MB';alter system set wal_buffers='64MB';alter system set autovacuum=false;
mysql -h xxx -P xxx -upgx -ppgx_pwd #登录到各个shard的主上进行修改set global innodb_buffer_pool_size=32*1024*1024*1024;set global lock_wait_timeout=1200;set global innodb_lock_wait_timeout=1200;set global fullsync_timeout=1200000;set global enable_fullsync=false;set global innodb_flush_log_at_trx_commit=2;set global sync_binlog=0;set global max_binlog_size=1*1024*1024*1024;set global enable_fullsync=off;








文章转载自KunlunBase 昆仑数据库,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。





