RHEL 7.6 安装11204 RAC 后，打GI PSU 28429134 之后，数据库实例无法启动

2020-07-13

各位专家，
最近在RHEL 7.6上面安装了一套11204的RAC。安装成功之后（已建库）准备去打一下2018年10月份的PSU。结果在第一个节点采用auto方式打的过程之中，最后环节opatch自动重启CRS的时候，CRS启动起来了（比如ASM实例这些），但是在启动数据库实例的时候就失败了。报错内容如下：
2020-07-10 17:02:05: /u01/app/oracle/product/11204/db_home1/bin/srvctl start home -o /u01/app/oracle/product/11204/db_home1 -s /u01/app/oracle/product/11204/db_home
1/srvm/admin/stophome.txt -n scdb-rac01 output is PRCH-1001 : Failed to start resources in Oracle home /u01/app/oracle/product/11204/db_home1
PRCR-1094 : Failed to start resources on node scdb-rac01: ((((NAME == ora.trade.db) || (NAME == ora.hsrisk.db)) || (NAME == ora.hsfa.db)) && (TYPE != application
))
CRS-5017: The resource action “ora.hsrisk.db start” encountered the following error:
ORA-03113: end-of-file on communication channel
Process ID: 0
Session ID: 0 Serial number: 0
. For details refer to “(:CLSN00107:)” in “/u00/app/11.2.0/grid/log/scdb-rac01/agent/crsd/oraagent_oracle//oraagent_oracle.log”.

CRS-2674: Start of ‘ora.hsrisk.db’ on ‘scdb-rac01’ failed
CRS-5017: The resource action “ora.trade.db start” encountered the following error:
ORA-03113: end-of-file on communication channel
Process ID: 0
Session ID: 0 Serial number: 0
. For details refer to “(:CLSN00107:)” in “/u00/app/11.2.0/grid/log/scdb-rac01/agent/crsd/oraagent_oracle//oraagent_oracle.log”.

然后查看该数据库的alert日志，发现日志就卡在如下地方：
Starting ORACLE instance (normal)
************************ Large Pages Information *******************
Per process system memlock (soft) limit = UNLIMITED

Total Shared Global Region in Large Pages = 15 GB (100%)

Large Pages used by this instance: 7681 (15 GB)
Large Pages unused system wide = 23039 (45 GB)
Large Pages configured system wide = 30720 (60 GB)
Large Page size = 2048 KB

LICENSE_MAX_SESSION = 0
LICENSE_SESSIONS_WARNING = 0
Initial number of CPU is 72
Number of processor cores in the system is 36
Number of processor sockets in the system is 2

然后就一直没有任何信息了，感觉就像卡在了什么地方一样。然后去查看了/u00/app/11.2.0/grid/log/scdb-rac01/agent/crsd/oraagent_oracle//oraagent_oracle.log 文件，也没有找到有效的信息，而且信息量一大堆。

关键是，一个实例无法启动，他的alert文件怎么也该提示一些东西才对吧，但是这个就是完全啥也没有。

万幸的是，把补丁进行rollback之后，就能只能正常启动了。

情况有没有哪位大师有在RHEL 7上面打过11204 的PSU的，并且也碰到过这个情况的？这个PSU我在RHEL 6.6上面，采用一样的方法打，完全正常。

5条回答

默认

最新

周伟

补充一下，遇到这个情况之后，我也尝试过去手工srvctl 启动实例，或者干脆sqlplus启动实例，或者sqlplus start mount, 但都不成功，报错和打patch的时候类似，主要就是 ORA-03113: end-of-file on communication channel。感觉像是打了patch之后，什么东西被修改了，导致无法正常读写。

另外打补丁的过程当中，有一个补丁打了失败的，Log文件内容如下：
2020-07-10 16:54:24: status of apply patch is 18688
2020-07-10 16:54:24: The apply patch output is Oracle Interim Patch Installer version 11.2.0.3.15
Copyright © 2020, Oracle Corporation. All rights reserved.

Oracle Home : /u01/app/oracle/product/11204/db_home1
Central Inventory : /u00/app/oraInventory
from : /u01/app/oracle/product/11204/db_home1/oraInst.loc
OPatch version : 11.2.0.3.15
OUI version : 11.2.0.4.0
Log file location : /u01/app/oracle/product/11204/db_home1/cfgtoollogs/opatch/opatch2020-07-10_16-54-18PM_1.log

Verifying environment and performing prerequisite checks…
Prerequisite check “CheckActiveFilesAndExecutables” failed.
The details are:

Following executables are active :
/u01/app/oracle/product/11204/db_home1/lib/libclntsh.so.11.1
Prerequisite check “CheckActiveFilesAndExecutables” failed.
The details are:

Following executables are active :
/u01/app/oracle/product/11204/db_home1/lib/libsqlplus.so
UtilSession failed: Prerequisite check “CheckActiveFilesAndExecutables” failed.Prerequisite check “CheckActiveFilesAndExecutables” failed.
Log file location: /u01/app/oracle/product/11204/db_home1/cfgtoollogs/opatch/opatch2020-07-10_16-54-18PM_1.log

OPatch failed with error code 73

2020-07-10 16:54:24: patch ./28429134/28204707 apply failed for home /u01/app/oracle/product/11204/db_home1

但之后，opatch 自动继续打其他的patch都是正常的。而且感觉这种一个patch打失败，不至于连实例都拉不起来了吧，虽然一起皆有可能。

有用 0

lscomeon

关注，没有遇到过，7的话装11G还是挺大的风险

有用 0

杨卓

你这个log有点类似这个https://www.cnblogs.com/lvcha001/p/13326821.html，crs启动DB，如果权限不对的话，Oracle也是无法启动的，如果还有环境，列下. For details refer to “(:CLSN00107:)” in “/u00/app/11.2.0/grid/log/scdb-rac01/agent/crsd/oraagent_oracle//oraagent_oracle.log”.

这部分日志的详细信息。

有用 0

周伟

多谢关注，实际上oraagent_oracle.log我通篇看了，也没找到更多有线索的信息，唯一的错误信息就还是 ORA-03113: end-of-file on communication channel，其它的啥提示都没有。

后来整了个一样的虚拟环境，打PSU完全没问题。然后在充分备份home, inventory之后，再次打了一次，就打上了。至今没搞清楚为什么第一次打会失败，我唯一怀疑的就是，第一次打的时候，PSU在自动shutdown crs的时候，没有关闭干净，还有文件在被系统进程占用，就是 libclntsh.so.11.1 和libsqlplus.so，导致打补丁出了异常。

第二次打的时候，我全程监控了这两个文件的fuse，发现它们这次是被关闭干净的，于是就顺利打上了。猜测就是这个原因把，oracle打补丁无论哪个版本，打PSU的时候都很容易碰到这类问题。

有用 0

周伟

问题已关闭: 问题已经得到解决

有用 0

回答交流

提交

问题信息

请登录之后查看

邀请回答

暂无人订阅该标签，敬请期待~~

墨值悬赏