YMatrix 5.3.8 版本发布

YMatrix 2025-01-07

YMatrix 超融合数据库版本 5.3.8 已正式发布。

增强与改进

1. 存储引擎

增加 ColumnStore 的 RangeFile 校验逻辑（#IB7V4S）

2. MatrixShift

当配置文件的 scope 段落里，存在重复的表或者父表和某些子表同时出现在 table-list 中时，新增自动去除重复的表且报出 warn 警告的能力 (#72ffcea)

对配置文件引入了更严格的检查，错误的配置项将会在 mxshift 启动时报错并提示。例如 disable-connector=true 应该写在 [scope] 段落下，如果误写在其他段落下会报错（#IB5002）

3. MatrixGate

mxgate 到 segment 节点之间的数据传输默认不启用压缩以节省更多的内存资源。原默认值为启用压缩（#IBD0PW）

transfer 模式下，允许 mirror 节点为 Down 状态时移动数据（#IBCQPB）

4. MatrixUI

安装部署或者扩容新机器时，会检查 /etc/ssh/sshd_config
内是否会有 AllowUsers/AllowGroups/DenyUsers/DenyGroups 等可能会导致安装过程中配置集群内主机 ssh 互信操作失败的配置项目，并给出具体的错误信息和修改提示（#IB80HF）

5. mxbox

用 mxrecover 对集群进行 rebalance 操作时，通过添加 CHECKPOINT 缩短了该操作带来的数据库停机时间。同时增加了 --skip-checkpoint
参数可跳过该行为（#IBCVOL）

用 mxrecover 对集群进行 rebalance 操作时，改进了该命令在控制台的输出（#IBCVOS）

mxrecover 增加了 --prepare-timeout
参数。在 mxrecover 启动时，可通过 etcd 采集集群状态信息的超时, 默认为 1 分钟（#IBCVOS）

mxstart 的默认超时时间从 1 分钟增加到 5 分钟，仍支持用户用 -t
参数数自定义超时时间（#9ab2957c）

支持用户自定义 postmaster 进程启动时的环境变量（#39575ad3）

当集群出现 double failure 时，允许通过重启数据库启动最近的 primary 节点（#IBCF5U）

6. 高可用

新部署的集群，其 supervisor 启动 etcd 的参数去掉了 --enable-pprof
选项，能够改善多节点大规模集群下的稳定性（#44edf1e）

当用户的 /etc/hosts
文件里故意删除掉了 localhost 的条目时， YMatrix 安装之后，supervisor 也可正常启动（#10435b7）

主机重启或首次运行 YMatrix 时，能够自动创建资源组 cgroup 依赖的相关路径（#IB5G9O）

提升了 supervisor 服务和 etcd 进程的 max open files 数，解决了在超大规模集群下 etcd 服务频发 too many open files 错误的问题（#6ca5293dcd0）

错误修复

1. 存储引擎

修复了 CV 处理 one time filter 的问题 (#IBDPTO)

修正了 mars3 的 pg_index_size 的计算问题 (#IB2XK1)

修复了 mars3 VACUUM 执行导致 relcache 失效的问题 (#IBBBQX)

修正了 mars3 空表计算 relfrozenxid 的逻辑 (#IBCD7Q)

修复了 mars3 index 的快照问题

修复了 ObjectStore 的 datalength=0 的问题（#IBBW8O）

修复了 mars3 行列混合读数据 crash 问题（#IB9X9X）

修复了 unique 模式下，mars3 btree 比较 uid 的问题

修复了 ObjectStore crash recovery 数据不一致的问题（#IB7V4S）

2. MatrixShift

修复了当原数据库的 /tmp
目录未开放读写权限，主机上存在多个 primary 节点且指定了 connector-port 参数时，会导致 mxshift connector 启动失败的问题（#05c7e4a）

修复了 mxshift 同步数据期间手动 cancel 进程不结束的问题（#IB7S5D）

修复了 DDL 迁移时，ALTER MATERIALIZED VIEW 语法错误的问题，并支持 GP6 的 MATERIALIZED VIEW 语法迁移（#3ba9664）

3. MatrixGate

修复了在个别环境下，YMatrix 集群重启后，mxgate 无法继续从 kafka 消费到数据的问题（#IB6HEL）

4. MatrixUI

修复了 mxui 页面不显示 en 开头的网络 I/O 指标数据的问题（#IB8ZR1）

5. mxbox

修复了用 mxrecover -r 同时恢复 master 和 data shard 时，有小概率可能超时的问题（#IBD71J）

修复了 replication 服务停止 postgres 实例时，有概率会报 NotFound 错误的问题（#IBD8H7）

修复了当 replication 服务对 postmaster 进行 probe 时，postmaster刚好意外崩溃，有几率导致 replication 服务 hang 住的错误（#ab77de4e）

修复了系统启用 mxmgr 的监控功能，mxdeletesystem 时没有删除监控相关的服务进程的问题（#IBB9SM）

修复了 mxdeletesystem 时，如果物理机集群内的某些主机上没有 segment，会导致该主机上的一些服务（shard 和 cluster）残留的问题（#63c34070）

6. 高可用

修复了当 master 和 primary 节点同时崩溃时，自动切换到 standby 时 dtx recovery 需要 15 分钟才能完成 dtx recovery 的问题。现在 standby 上的 dtx recovery 预期能在 1 分钟内完成。（#73785ab4f2c）

如在升级过程中遇到任何问题，欢迎联系 YMatrix 技术支持团队。我们将提供专业的指导和帮助，确保您的系统顺利过渡到最新版本。

更具体的内容展开，可参考官方文档：

https://ymatrix.cn/doc/5.3/version_list

感谢你的阅读，YMatrix 期待与志同道合的你一起同行。

扫码添加小 M 助手

加入官方技术交流群

电话｜ 400-800-0824

官网｜www.ymatrix.cn

推荐阅读

Domino 流计算快速上手 - 3. 双流关联

YMatrix 与帆软科技完成产品兼容性认证

某大型连锁便利店：从 Greenplum 到 YMatrix，报表查询性能提升 10 倍

文章转载自YMatrix，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

YMatrix 5.3.8 版本发布

评论