告警解释

系统每30秒周期性检测主机文件句柄使用率，并把实际使用率和阈值（系统默认阈值80%）进行比较，当检测到主机文件句柄使用率连续多次（默认值为5）超过阈值时产生该告警。

用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 主机状态 > 主机文件句柄使用率”修改阈值。

平滑次数为1，主机文件句柄使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机文件句柄使用率小于或等于阈值的90%时，告警恢复。

告警属性

告警参数

对系统的影响

系统应用无法打开文件、网络等IO操作，程序异常。

可能原因

• 应用进程存在异常，如打开的文件或socket没有关闭。
• 文件句柄数不满足当前业务需求。
• 系统环境异常。

处理步骤

查看进程打开文件情况。

• 打开FusionInsight Manager页面，在实时告警列表中，单击此告警所在行的，获取告警所在主机IP地址。
• 使用PuTTY工具，以root用户登录告警所在主机。
• 执行命令lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more，查看文件句柄占用较多的进程。
• 分析打开文件数目较多的进程，分析该进程是否存在异常，如打开的文件或socket没有关闭。
  • 是，执行5。
  • 否，执行7。

• 文件句柄占用多的异常进程进行确认释放。
• 等待5分钟，检查该告警是否恢复。
  • 是，处理完毕。
  • 否，执行7。

增大文件句柄数。

• 打开FusionInsight Manager页面，在实时告警列表中，单击此告警所在行的，获取告警所在主机IP地址。
• 使用PuTTY工具，以root用户登录告警所在主机。
• 联系系统管理员，增大系统文件句柄数。
• 执行cat /proc/sys/fs/file-nr查看已使用句柄数和最大句柄数。第一个值为已使用句柄数，第三个值为最大句柄数，计算使用率是否超过设定阈值。

  #cat /proc/sys/fs/file-nr
  12704	0	640000

  • 是，执行9；
  • 否，执行11。

• 等待5分钟，检查该告警是否恢复。
  • 是，处理完毕。
  • 否，执行12。