暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / Weblogic诊断之文件句柄泄露问题

Weblogic诊断之文件句柄泄露问题

IT那活儿 2022-03-18
2093

点击上方“IT那活儿”，关注后了解更多内容，不管IT什么活儿，干就完了！！！

问题描述

有时候业务比较繁忙时，就会出现如下问题：
too many open files：顾名思义即打开过多文件数。
不过这里的files不单是文件的意思，也包括打开的通讯链接(比如socket)，正在监听的端口等等，所以有时候也可以叫做句柄(handle)，这个错误通常也可以叫做句柄数超出系统限制。
故障症状

1. 进程报: I/O Exception错误，进程在执行文件I0时达到了文件描述符极限，并影响I0操作时，就会报此异常。
2. 服务监听异常，服务不可用。
3. 进程报：SocketException错误，进程打开的文件过多时，在打开新套接字连接时，可能就达到了文件描述符极限，如果错误影响到底层的TCP协议，就会报Socket Exception错误。
解决方法

优化句柄限制：
系统默认的ulimit对文件打开数量的限制是1024，修改/etc/security/limits.conf并加入以下配置，永久生效。
* soft nofile 65535 
* hard nofile 65535
硬限制是实际的限制，而软限制，是warnning限制，超过这个数值只会做出warning。
注意：
1）这个限制是针对单个用户的限制 ；
2）这个限制不会改变之前已经运行了的程序的限制 。
利用lsof探查句柄问题

查找文件句柄问题的时候，还有一个很实用的程序lsof。可以很方便看到某个进程开了那些句柄，也可以看到某个文件/目录被什么进程占用了。
例如分析句柄数，查找原因，这是解决问题最根本的办法。
那么如何分析？那就需要用到lsof这个命令了。

  • 统计各进程打开句柄数：lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr

  • 统计各用户打开句柄数：lsof -n|awk '{print $3}'|sort|uniq -c|sort -nr

  • 统计各命令打开句柄数：lsof -n|awk '{print $1}'|sort|uniq -c|sort -nr

找出可疑的句柄泄露点，根据以上统计信息分析查找句柄泄露点，反馈开发厂商排查是否存在句柄泄露。
案例分析

1. 问题现象
某月某日监控探测发现java化营业渠道prod中心部分server不可用。检查发现weblogic控制台无法登陆、wlst方式无法访问Server。
2. 排查过程
1）使用netstat -na查看端口监听情况：
发现问题主机对应的server端口监控不存在，如上图 10202在10.243.x.x IP 上的监听不存在了。
 2）核查WebLogic Server日志是否存在异常报错：
发现server日志中存在如上报错，Too many open files (Accept failed)，导致监听异常。
3）使用lsof查看文件句柄使用情况：
如上图，prod中心应用打开句柄数明显很高
分析lsof的结果：
发现进程号 34034 中打开的 coherence.properties  文件有：9209个。而当前WebLogic Server中配置的最大。
文件句柄数是10240，进程号34034打开的文件句柄数已达到10755。怀疑存在句柄泄露。
3. 处置办法
1）应用代码修复前，我侧建议将weblogic句柄数设置参数做以下调整，以缓解问题对业务造成的影响。当前句柄数设置为 10240   ，调整为：30720。
2）由于存在较多监听不在的情况，对现有连接暂时无影响，但是新的连接会无法连接上来，重启应用暂时恢复应用。
3）通知业务侧核查为何会存在coherence.properties文件大量打开而没有关闭的情况。
4）经开发商核实是产品中心打开缓存公共方法有问题，打开后未进行关闭。代码已修复上线。

本文作者：程红

本文来源：IT那活儿（上海新炬王翦团队）

数据库weblogic
文章转载自IT那活儿，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论