问题现象
收到GTM服务异常的告警
问题分析及界定
1.登上集群后台执行cm_ctl query -Cvid命令，查看GTM主备状态：
2.正常情三个GTM的状态应该为Primary Standby OK。 GTM主备有自动重连机制，如果此时为OK，那么证明故障已经恢复。如果过了一段时间仍显示为异常状态，需要继续定位，常见的故障有如下几种：
Connection bad
1.查看显示不正常的机器是否正常上电，可否登录。如果没有正常上电，或者登录不上，联系IaaS技术支持进行处理。如果正常上电，且可以登录。那么继续定位。
2.登录状态不正常的GTM节点，进入GTM的日志目录$GAUSSLOG/pg_log/gtm，查看最新的GTM日志，可以根据故障信息评断是什么问题。 比如如下日志显示为网络异常，备机连不到主机。关键词：could not connect
3.主备IP地址互相PING，发现网络联不通，故障定位为网络异常。联系IaaS技术支持进行处理。
4. gtm主备端口进行curl操作，端口不通。查看安全组是否包含gtm的端口，或联系网络进行技术支持。 gtm主备互信的端口，可以在gtm报错日志中查看。
Disk damaged
确认磁盘是否损坏，进入沙箱之后依次检查
查看cm_agent日志，cd $GAUSSLOG/cm/cm_agent , 找到对应时间点的cm_agent-xxx.log日志，会有如下记录： data path disc writable test failed, 之后DN进程会被杀死 killing gtm by force
1.df检查是否正常挂载
2.echo “hello” > /usr/local/gtm/test.txt是否能正写
3.cat /usr/local/gtm/test.txt 是否能正常读。
4.如果损坏(如df -h磁盘没有挂载)，联系I层尝试修复磁盘故障。
5.如果目录被重命名或权限不正确，恢复目录和权限，文件的正确权限为-rw------- 1 Ruby Ruby 39 Mar 11 17:37 gtm.pid，目录的正确权限为drwx------ 3 Ruby Ruby 4.0K Apr 14 19:39 gtm
6.如果短时间无法解决，则联系高斯工程师，执行节点替换，使用另一个磁盘无问题的节点替换该问题节点。
7.如果DN状态仍有问题，执行节点修复，修复该DN节点。
Port conflictingGTM
会监听两个接口：6000接口是GTM监听CN连接，6001接口是GTM的HA接口。
1.登录到该GTM节点，su - Ruby 进入Ruby用户，ps -ux | more | grep gtm， 查看是否有两个名字完全相同的gtm进程，如果有则联系高斯工程师。
2.如果是首次部署的集群，在Ruby用户执行cm_ctl query -Cvidp，查看故障节点上，是否数据库实例之间存在端口相同导致冲突的情况（lsof -i可以看到端口是否被GTM进程之外的程序占用，如6000 6001接口），如果有那么联系华为工程师、集群部署人员，确认并将端口号修改为正确的端口号。
3.lsof -i | grep xxxx(xxxx为GTM的端口号，如6000 6001接口)，查看是否有其他进程占用了GTM需要的端口，如果有，联系集群安装部署人员及进程的拥有者，确认并修改该进程的端口号或者数据库的端口号。
4.如果还没有解决，联系华为工程师，进行进一步的分析定位。
Nic down
1.表示网卡故障, root 用户执行ifconfig命令查看网卡是否down掉，如果是网卡故障联系I层检查并修复；
2.ethx口上的IP是否存在，如果是IP丢失，重新配置IP。
其他状态
7.若GTM节点一直无法启动，处于异常状态。需要联系华为工程师进行定位处理。
处理步骤
1.查看GTM状态是否已经恢复正常。
2.判断是否虚拟机故故障 -> 联系IaaS技术支持进行处理。
3.判断是否节点所在网络故障 -> 联系IaaS技术支持进行处理。
4.判断是否节点所在磁盘故障 -> 联系IaaS技术支持进行处理。
5.其他原因 -> 联系华为工程师进行定位处理。
