告警解释

系统每60s检查一次节点NTP服务与主OMS节点NTP服务是否正常同步时间，连续两次检测NTP服务未同步上时产生该告警。

若正常同步，当节点NTP服务与主OMS节点NTP服务时间偏差连续两次大于等于20s时产生该告警；当节点NTP服务与主OMS节点NTP服务时间偏差小于20s时恢复该告警。

告警属性

告警参数

对系统的影响

该节点的时间与集群其它节点的时间不同步，可能会导致该节点上的某些FusionInsight应用无法正常运行。

可能原因

• 该节点的NTP服务无法正常启动。
• 该节点与主OMS节点NTP服务不能正常同步时间。
• 该节点NTP认证的key值与主OMS节点NTP服务的key值不一致。
• 该节点与主OMS节点NTP服务时间偏差太大。

处理步骤

检查该节点的NTP服务是否正常启动。

• 打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，在定位信息中查看发生该告警的主机名称。
• 检查ntpd进程是否运行在告警节点上。使用root用户登录告警节点，执行命令：ps -ef | grep ntpd | grep -v grep，检查命令是否输出ntpd进程的信息。
  • 是，执行5。
  • 否，执行3。

• 执行service ntp start（RedHat系统执行service ntpd start）启动NTP服务。
• 10分钟后，检查该告警是否恢复。
  • 是，处理完毕。
  • 否，执行5。

检查该节点与主OMS节点NTP服务是否正常同步时间。

• 查看NTP告警的“附加信息”是否描述“与主OMS节点NTP服务无法同步时间”。
  • 是，执行6。
  • 否，执行15。

• 排查与主OMS节点NTP服务的同步是否有问题。

  使用root用户登录告警节点，执行ntpq -np命令。

  如果显示结果的主OMS节点NTP服务IP地址前有“*”号，表示同步正常，如下：

  remote refid st t when poll reach delay offset jitter 
  ============================================================================== 
  *10.10.10.162 .LOCL. 1 u 1 16 377 0.270 -1.562 0.014

  如果显示结果的主OMS节点NTP服务IP前无“*”号，且“refid”项内容为“.INIT.”，表示同步不正常。

  remote refid st t when poll reach delay offset jitter 
  ============================================================================== 
  10.10.10.162 .INIT. 1 u 1 16 377 0.270 -1.562 0.014

  • 是，执行7。
  • 否，执行18。

• NTP不能正常同步，通常与系统防火墙有关。如果能关闭防火墙，建议尝试关闭防火墙；如果不能关闭防火墙，请检查防火墙配置策略，确保UDP 123端口未禁用（具体遵循各系统下防火墙配置策略）。
• 处理防火墙后等待10分钟，检查该告警是否恢复。
  • 是，处理完毕。
  • 否，执行9。

• 使用root用户登录主OMS节点，执行下列命令，查看key值索引号为“1M”的认证码。

  SUSE系统执行：cat /opt/huawei/Bigdata/om-server/OMS/workspace/conf/ntp.keys

  RedHat系统执行：cat /opt/huawei/Bigdata/om-server/OMS/workspace/conf/ntpkeys

• 执行下列命令，查看key值是否与9的查询值相同。

  SUSE系统执行：diff /opt/huawei/Bigdata/om-server/OMS/workspace/conf/ntp.keys /etc/ntp.keys

  RedHat系统执行：diff /opt/huawei/Bigdata/om-server/OMS/workspace/conf/ntpkeys /etc/ntp/ntpkeys

  说明：

  key值相同时，执行命令后不会返回任何结果，例如：

  host01:~ #cat /opt/huawei/Bigdata/om-server/OMS/workspace/conf/ntp.keys       
  1 M sdYbq;o^CzEAWo<U=Tw5
  host01:~ #diff /opt/huawei/Bigdata/om-server/OMS/workspace/conf/ntp.keys /etc/ntp.keys
  host01:~ #

  • 是，执行11。
  • 否，执行18。

• 执行cat ${BIGDATA_HOME}/om-server/om/packaged-distributables/ntpKeyFile，查看key值是否与9的查询值相同。（请与9查询值的认证密钥索引为“1M”的key值进行对比）。
  • 是，执行18。
  • 否，执行12。

• 使用root用户登录故障节点，SUSE系统执行cat /etc/ntp.keys（RedHat系统执行cat /etc/ntp/ntpkeys），查看key值是否与11的查询值相同（请使用查询出的认证密钥索引为“1M”的key值进行对比）。
  • 是，执行18。
  • 否，执行13。

• 使用root用户或omm用户执行以下命令，修改主OMS节点ntp的key值（RedHat系统请将ntp.keys改为ntpkeys）。

  cd ${BIGDATA_HOME}/om-server/OMS/workspace/conf

  sed -i "`cat ntp.keys | grep -n '1 M'|awk -F ':' '{print $1}'`d" ntp.keys

  echo "1 M `cat ${BIGDATA_HOME}/om-server/om/packaged-distributables/ntpKeyFile`" >>ntp.keys

  查看“ntp.keys”中认证密钥索引字段为1M的key值是否和ntpKeyFile的值相同

  • 是，执行14。
  • 否，请尝试手动将ntp.keys中认证密钥索引字段为1M的key值修改为ntpKeyFile的key值。

• 5分钟后，使用root用户执行以下命令，查看系统配置文件是否已经同步。

  RedHat系统执行：diff /etc/ntp/ntpkeys ${BIGDATA_HOME}/om-server/OMS/workspace/conf/ntpkeys

  SUSE系统执行：diff /etc/ntp.keys ${BIGDATA_HOME}/om-server/OMS/workspace/conf/ntp.keys

  执行命令无返回结果即为已经同步，同步成功后，执行命令service ntp restart，重启主OMS节点ntp服务，15分钟后查看告警是否消除。

  • 是，处理完毕。
  • 否，执行18。