暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Redhat(CentOS/OEL) 6.1-6.4 & Intel E5/E5 v2/E7 v2主机软重启导致系统Hung问题

原创 罗海雄 2019-05-22
864

最近在一个客户现场发生一个很怪异的Bug, 现象是,两台Linux主机手动重启,重启后很快分别陷入Hung的状态下,但之前用vmstat/top看,CPU idle却是100%,多次重启均没有解决问题。

/var/log/messages 里有如下信息:

1558494239659.jpg

经分析,操作系统碰到了一个Intel CPU的bug. 问题是由于Intel 特定版本的CPU内置的时间计数器在软重启(reboot)后不能自动清0,导致操作系统内部使用的时间戳混乱,最终导致进程操作系统Hung.

Bug 来源:

https://access.redhat.com/solutions/433883

Servers with Intel® Xeon® Processor E5, Intel® Xeon® Processor E5 v2, or Intel® Xeon® Processor E7 v2 and certain versions of Red Hat Enterprise Linux 6 kernels become unresponsive/hung or incur a kernel panic

2.6.32-220.42.1.el6.x86_64    Intel(R) Xeon(R) CPU E5-2650 0 @ 2.00GHz    

RHEL6.2 kernel version

CPU model

2.6.32-279.19.1.el6.x86_64    Intel(R) Xeon(R) CPU E5-2440 0 @ 2.40GHz    

2.6.32-279.22.1.el6.x86_64    Intel(R) Xeon(R) CPU E5-2640 0 @ 2.50GHz    

2.6.32-279.22.1.el6.x86_64    Intel(R) Xeon(R) CPU E5-2630 0 @ 2.30GHz    

RHEL6.3 kernel version

CPU model

2.6.32-358.el6.x86_64    Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz    

2.6.32-358.0.1.el6.x86_64    Intel(R) Xeon(R) CPU E5-2640 0 @ 2.50GHz    

2.6.32-358.6.1.el6.x86_64    Intel(R) Xeon(R) CPU E5-2640 0 @ 2.50GHz    

2.6.32-358.6.2.el6.x86_64    Intel(R) Xeon(R) CPU E5-2650L 0 @ 1.80GHz    

2.6.32-358.6.2.el6.x86_64    Intel(R) Xeon(R) CPU E5-2603 0 @ 1.80GHz    

2.6.32-358.15.1.el6.x86_64    Intel(R) Xeon(R) CPU E5-4617 0 @ 2.90GHz    

2.6.32-358.18.1.el6.x86_64    Intel(R) Xeon(R) CPU E5-4617 0 @ 2.90GHz    

2.6.32-358.18.1.el6.x86_64    Intel(R) Xeon(R) CPU E5-2690 0 @ 2.90GHz    

RHEL6.4 kernel version

CPU model

问题发生有3个条件:

操作系统为Redhat/CentOS/OEL 6.1-6.4.

CPU为Intel E5/E5 v2/E7 v2

主机在运行200天以上后通过reboot命令重启。

 

临时解决问题的方法是硬重启主机(断电重启或关机重启)。

长期解决方案是升级到6.5以上。

由于推动用户升级操作系统版本不是那么容易,所以也不用大力推动,关键是如果你维护的客户操作系统和CPU正好和上面提及的对上号,那么,请记住有这个Bug, 如果有需要重启的时候,记得要硬重启(关机/断电后重启),而不能直接用reboot 重启。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论