行云数据库数据均衡方法

IT那活儿 2023-07-19

475

点击上方“IT那活儿”公众号，关注后了解更多内容，不管IT什么活儿，干就完了！！！

前言

行云数据库集群各节点数据存在不均衡情况（整体使用率未超过90%，但部分节点达到了98%）。可通过数据均衡的方式进行目录均衡。

数据均衡的命令

1. 用Hadoop用户在非namenode 的某个节点上执行

hdfs dfsadmin -setBalancerBandwidth 104857600

这个命令是设置带宽的大小，单位是字节，如果带宽太大会使集群之间的IO通信负担过大，可能会使集群的部分进程挂掉，太小会让数据均衡执行太慢，所以要根据集群的性能来设置，默认是10M，推荐用100M。

2. 在Hadoop的sbin目录下执行

./start-balancer.sh -threshold 5

这个命令是数据均衡开始执行，命令中-threshold 参数后面跟的是HDFS达到平衡状态的磁盘使用率偏差值。

参数取值范围：0-100；

参数含义：判断集群是否平衡的目标参数，每一个 datanode 存储使用率和集群总存储使用率的差值都应该小于这个阀值，理论上，该参数设置的越小，整个集群就越平衡，但是在线上环境中，hadoop集群在进行balance时，还在并发的进行数据的写入和删除，所以有可能无法到达设定的平衡参数值。

默认设置：10，推荐用5。

3. 执行

hdfs dfsadmin -report | grep “Dfs Used%”

这个命令是查看hdfs的使用情况。

4. 如果想停止数据均衡在Hadoop的sbin目录下执行

./stop-balancer.sh

注意数据均衡开始后会影响行云的性能，这些命令都要在同一节点下执行。

END

文章转载自IT那活儿，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。