如何高效排查线上故障

1 硬件是否有问题  常见主板 raid卡 和raid磁盘组

2 cpu使用率高

   1 user使用率高->通过perf观察使用率高的函数‘

      常见场景(1 排序操作  2 函数使用)

   2 sys使用率高(常见于系统的时间函数转化)

   3 慢查询堆积所引起的堆积任务

   4 锁等待所引起的堆积任务(MDL锁和事务锁)

3  磁盘问题 （iostate,top)

    1 并发到达了瓶颈  (cpu iowait较高,磁盘使用util值长时间处于100%状态,iops很高(

    2 本身随机IO性能较差(常见于非慢查询sql偶尔会很慢,不稳定,但是sql本身并非慢查询)

4  内存问题 (分析performance_schema内存监控,确定占用内存线程)

    1 mysql占用内存远远大于buffer_pool限制

   2 mysql已使用全部内存,buffer_pool设置正常(加内存即可)                                 

5 网络问题(通过if top分析)

  1  网络本身不稳定,出现丢包情况

  2  一定时间内大量的数据查询返回 

  3  一定时间内生成大量的binlog传递到多从库

6 非mysql环节问题

  1 程序出现问题,不断尝试导致最大连接数耗尽

  2 前端redis缓存失效,导致不应该的请求进入mysql查询