常见的磁盘故障是磁盘空间不足、磁盘出现坏块、磁盘未挂载等。

磁盘故障有的会导致文件系统损坏，比如磁盘未挂载，集群管理自动定期做磁盘检测时会识别故障并将实例停止，查看集群状态时对应实例状态异常；有的不会导致文件系统损坏，比如磁盘空间不足，集群管理无法检测到，服务进程访问到故障磁盘会异常退出，比如：数据库无法启动、checksum校验不对、页面读写失败、页面校验错误等。

• 对于会导致文件系统损坏的故障，查看集群状态会显示对应实例状态持续为Unknown，定位方法如下：

  查看cm_agent日志，日志保存在mpp/omm/cm/cm_agent，日志中会有类似“data path disc writable test failed”异常，说明文件系统已损坏。

  文件系统损坏可能是磁盘未挂载，通过ls –l可以看到该磁盘对应的目录权限异常，如下：

  ls -l 
  ls: cannot access data 
  total 108 
  drwxr-xr-x   2 root  root   4096 2014-10-24 00:00 bin 
  drwxr-xr-x   3 root  root   4096 2014-10-24 00:07 boot 
  d?????????   ? ?     ?         ?                ? data

  也可能是磁盘出现坏块，然后操作系统将文件系统保护起来，拒绝读写，可以使用磁盘坏块检查工具如badblocks检查磁盘是否有坏块，如下：

  badblocks /dev/sda2 -s -v
  Checking blocks 0 to 30681000
  Checking for bad blocks (read-only test): 306809600674112/ 306810000000
  30680964
  30680973
  ...
  done
  Pass completed, 37 bad blocks found.

• 对于不会导致文件系统损坏的故障，服务进程访问到故障磁盘会异常退出，定位方法如下：

  查看CN/DN日志，日志保存在mpp/omm/pg_log下。日志中会有文件读写错误，如“No space left on device”、“ invalid page header in block 122838 of relation base/16385/152715”。

  文件读写错误可能是磁盘空间不足，通过df -h可以看到磁盘空间已达100%，如下：

  df -h
  文件系统              容量  已用 可用 已用% 挂载点
  /dev/sda3             258G  245G     0 100% /
  devtmpfs               48G  132K   48G   1% /dev
  tmpfs                  48G  4.0K   48G   1% /dev/shm
  /dev/sda1            1004M   45M  908M   5% /boot
  /dev/sdb               14T  449G   13T   4% /mnt/slicefile1
  /dev/sdc               14T  1.3T   12T  10% /mnt/slicefile2

  如果磁盘是RAID5，执行df命令查看到磁盘空间已满，但可能空间并没有写满，可能是一个raid组里发生了多盘故障，通过Megacli工具可以看到一个以上raid盘出现故障，如下：

  ./megacli64 -cfgdsply -aall
  =======================================================
  Adapter: 0
  Product Name: PERC 5/i Integrated
  Memory: 256MB
  BBU: Present
  Serial No: 12345
  =======================================================
  RAID Level: Primary-1, Secondary-0, RAID Level Qualifier-0
  Size:285568MB
  State: Optimal
  
  Physical Disk: 0
  Media Error Count: 0
  Other Error Count: 0
  Firmware state: Offline
  
  Physical Disk: 1
  Media Error Count: 0
  Other Error Count: 0
  Firmware state: Offline