告警解释

系统每60秒周期性检测sssd服务的状态，如果连续4次（3分钟）查询不到sssd进程或者无法获取ldapserver中的用户时，产生该告警。

当进程恢复且可以获取ldapserver中的用户时，告警恢复。

告警属性

告警参数

对系统的影响

sssd服务不可用时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到ldap中的数据，影响上层业务。

可能原因

• sssd服务未启动或启动错误。
• 网络故障，无法访问ldap服务器。
• Name Service服务异常。
• OS执行命令慢导致无法查询用户。

处理步骤

检查sssd服务是否启动或启动错误。

• 在FusionInsight Manager界面，选择“运维 > 告警 > 告警”。记录该告警定位信息中的“HostName”的IP地址为IP1（若出现多个告警，则分别记录其中的IP地址为IP1、IP2、IP3等）。
• 联系运维人员，使用PuTTY工具以root用户登录IP1节点，在该节点执行ps -ef | grep sssd命令，查看是否有/usr/sbin/sssd进程启动。
  • 是，执行3。
  • 否，执行4。

• 查看2中查询的sssd进程是否有三个子进程。
  • 是，执行5。
  • 否，执行4。

• 以root用户执行service sssd restart命令重启sssd服务，执行ps -ef | grep sssd命令，查看sssd进程是否正常。

  正常状态为：存在/usr/sbin/sssd进程和三个子进程/usr/libexec/sssd/sssd_be、/usr/libexec/sssd/sssd_nss、/usr/libexec/sssd/sssd_pam。

  • 是，执行9。
  • 否，执行13。

检查网络是否故障，无法访问ldap服务器。

• 用root用户登录故障节点，在这个节点上使用ping命令检查该节点与LdapServer节点的网络是否畅通。
  • 是，执行6。
  • 否，请联系网络管理员，解决网络故障。

检查Name Service服务是否异常。

• 用root用户登录故障节点，执行命令cat /etc/nsswitch.conf，查看NameService配置中的“passwd”、“group”两项配置是否正确。

  正确配置请参照：“passwd: files sss”、“group: files sss”。

  • 是，执行7。
  • 否，执行8。

• 用root用户执行/usr/sbin/sss_cache -G和/usr/sbin/sss_cache -U命令，等待2分钟，执行id admin和id backup/manager命令，查看是否能查询到结果。
  • 是，执行9。
  • 否，执行13。

• 以root用户执行vi /etc/nsswitch.conf命令，将6中的两项配置项改成正确配置，保存后执行service sssd restart命令重启sssd服务，等待2分钟，执行id admin和id backup/manager命令，查看是否能查询到结果。
  • 是，执行9。
  • 否，执行13。

• 登录FusionInsight Manager界面，等待5分钟，然后查看“ALM-25006 Sssd服务异常”告警是否恢复。
  • 是，处理完毕。
  • 否，执行10。

检查操作系统执行命令是否卡顿。

• 用root用户登录故障节点，执行命令id admin，观察命令返回结果时长，观察执行命令是否缓慢（超过3s即可认为执行命令慢）。
  • 是，执行11。
  • 否，执行13。

• 执行命令cat /var/log/messages，查看sssd是否频繁重启或者存在Can't contact LDAP server的异常信息。

  sssd重启样例

  Feb  7 11:38:16 10-132-190-105 sssd[pam]: Shutting down
  Feb  7 11:38:16 10-132-190-105 sssd[nss]: Shutting down
  Feb  7 11:38:16 10-132-190-105 sssd[nss]: Shutting down
  Feb  7 11:38:16 10-132-190-105 sssd[be[default]]: Shutting down
  Feb  7 11:38:16 10-132-190-105 sssd: Starting up
  Feb  7 11:38:16 10-132-190-105 sssd[be[default]]: Starting up
  Feb  7 11:38:16 10-132-190-105 sssd[nss]: Starting up
  Feb  7 11:38:16 10-132-190-105 sssd[pam]: Starting up

  • 是，执行12。
  • 否，执行13。

• 执行命令vi $BIGDATA_HOME/tmp/random_ldap_ip_order，修改末尾数字，若原本为奇数则改为偶数，若原本为偶数则修改为奇数。

  执行命令vi /etc/sssd/sssd.conf，将ldap_uri配置项的前两个IP进行颠倒，保存退出。

  执行命令ps -ef | grep sssd查询sssd进程id，并将其kill掉，执行/usr/sbin/sssd -D -f，重启sssd服务，等待5分钟，再次执行id admin命令。

  观察返回结果时长，观察执行命令是否缓慢。

  • 是，执行13。
  • 否，登录其他故障节点执行10至12；收集日志，并排查“/etc/sssd/sssd.conf”修改前ldap_uri中第一个ldapserver节点是否故障，例如业务IP不可达、网络延时过长或者部署其他异常的软件。