告警解释

Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳，则尝试重启改NodeAgent进程，如果连续三次重启失败，产生该告警。

当Controller可以正常接收时，告警恢复。

告警属性

告警参数

对系统的影响

节点业务无法提供。

可能原因

网络断连、硬件故障或操作系统执行命令缓慢。

处理步骤

检查网络是否断连、硬件是否故障或者操作系统执行命令缓慢。

• 在FusionInsight Manager页面告警列表中，单击此告警所在行的，查看该告警的主机地址。
• 使用PuTTY工具，以root用户登录主管理节点。
• 执行ping 故障主机IP地址命令检查故障节点是否可达。
  • 是，执行12。
  • 否，执行4。

• 联系网络管理员查看是否为网络故障。
  • 是，执行5。
  • 否，执行6。

• 修复网络故障，查看告警列表中，该告警是否已清除。
  • 是，处理完毕。
  • 否，执行6。

• 联系系统管理员查看是否节点硬件故障（CPU或者内存等）。
  • 是，执行7。
  • 否，执行12。

• 维修或者更换故障部件，并重启节点。查看告警列表中，该告警是否已清除。
  说明：

  如果节点硬件故障，请参考产品文档中《故障管理》的“应急处理 > 常见紧急故障修复 > 更换故障节点”章节进行处理。

  • 是，处理完毕。
  • 否，执行8。

• 当集群中上报大量的节点故障时，可能是浮动ip资源异常导致controller无法检测agent心跳。

  登录任一管理节点，查看“/var/log/Bigdata/omm/oms/ha/scriptlog/floatip.log”，查看故障出现前后1-2分钟的日志是否完整。

  完整日志为如下格式：

  2017-12-09 04:10:51,000 INFO (floatip) Read from /opt/huawei/Bigdata/om-server_6.5.1/om/etc/om/routeSetConf.ini,value is : yes
  2017-12-09 04:10:51,000 INFO (floatip) check wsNetExport : eth0 is up.
  2017-12-09 04:10:51,000 INFO (floatip) check omNetExport : eth0 is up.
  2017-12-09 04:10:51,000 INFO (floatip) check wsInterface : eth0:oms, wsFloatIp: XXX.XXX.XXX.XXX.
  2017-12-09 04:10:51,000 INFO (floatip) check omInterface : eth0:oms, omFloatIp: XXX.XXX.XXX.XXX.
  2017-12-09 04:10:51,000 INFO (floatip) check  wsFloatIp : XXX.XXX.XXX.XXX is reachable.
  2017-12-09 04:10:52,000 INFO (floatip) check  omFloatIp : XXX.XXX.XXX.XXX is reachable.

  • 是，执行12。
  • 否，执行9。

• 查看检测完wsNetExport后是否打印omNetExport的检测日志或两条日志打印间隔时间超过10s或更长。
  • 是，执行10。
  • 否，执行12。

• 查看操作系统的“/var/log/message”，查看故障出现时间段是否有sssd频繁重启或者nscd异常信息（Redhat操作系统确认sssd信息，SUSE操作系统确认nscd信息）。

  sssd重启样例

  Feb  7 11:38:16 10-132-190-105 sssd[pam]: Shutting down
  Feb  7 11:38:16 10-132-190-105 sssd[nss]: Shutting down
  Feb  7 11:38:16 10-132-190-105 sssd[nss]: Shutting down
  Feb  7 11:38:16 10-132-190-105 sssd[be[default]]: Shutting down
  Feb  7 11:38:16 10-132-190-105 sssd: Starting up
  Feb  7 11:38:16 10-132-190-105 sssd[be[default]]: Starting up
  Feb  7 11:38:16 10-132-190-105 sssd[nss]: Starting up
  Feb  7 11:38:16 10-132-190-105 sssd[pam]: Starting up

  nscd异常信息样例

  Feb 11 11:44:42 10-120-205-33 nscd: nss_ldap: failed to bind to LDAP server ldaps://10.120.205.55:21780: Can't contact LDAP server
  Feb 11 11:44:43 10-120-205-33 ntpq: nss_ldap: failed to bind to LDAP server ldaps://10.120.205.55:21780: Can't contact LDAP server
  Feb 11 11:44:44 10-120-205-33 ntpq: nss_ldap: failed to bind to LDAP server ldaps://10.120.205.92:21780: Can't contact LDAP server

  • 是，执行11。
  • 否，执行12。

• 排查ldapserver节点是否故障，例如业务IP不可达、网络延时过长等；若故障为阶段性，则需在故障时排查，并尝试执行top命令查看是否存在异常软件。