Oracle Rac 多路径链路不稳定引发IO降速

一、背景

今天突然被异地的同事拉来开远程会议，会议内容是开发反馈每天9点左右有个sqlldr 命令的脚本调用突然执行很慢，以前几秒的导入操作现在需要30-60s左右，而且数据量基本相同。

二、分析

1）、查看ASH报告

从报告上确认是数据库的IO的问题，sqlldr导入数据会有IO，但出现gcs log flush sync 事件就很不正常。
再次手动导了一次，用iostat 观察都怎么产生IO,因此怀疑是存储或光纤交换机的问题。

2）、查看alert日志

一个节点正常，另一个节点报：minact-scn: useg scan erroring out with error e:12751

百度了一下报错，发现好多文章说与多路径有关，查看多路径状态ok。

3）、查看系统日志

发现磁盘路径一直不稳定，4条路径有1条状态一会在线一会Fail,并报有I/O error:

于是确认为多路径引起的IO问题。

4）、查看光纤交换机

交换机0 口中异常：

三、处理

于是安排同事晚上对交换机0口光纤模式进行更换，在拔掉光纤模块后仅有三条链路的时候，进行了一次sqlldr的导入操作，很快就导入12.53s完成：

IO异常的导入时长18分16s,同样是58460Rows

于是对此口的光纤模块进行了更换，从而解决了此问题。

四、总结

1、对日志的巡检不是很到位，本来查看系统日志就能快速的定位问题。（当时同事表示看过日志没有任何报错，必定同事也是10年经验的老DBA了，主观了忽略了第一时间去查看系统日志。）
2、对多路径认识不到位，浅意识认为：4条路径坏1条的话应该不会影响IO，谁成想这种半死不活的状态最要命。