ceph恢复优化

在对ceph块存储进行性能测试时发现，当有osd重启或者存储机重启时，I/O性能会急剧下降，尤其在随机写的负载下，下降幅度达到90%，并且会持续一段时候才慢慢恢复到正常水平。一开始我们也尝试将恢复相关的参数调低（osd_recovery_max_active=1、osd_recovery_max_chunk=131072、osd_max_backfills=1），以及调整正常I/O和恢复I/O的优先级（osd_recovery_op_priority=10、osd_client_op_priority=63），但是测试结果来看，这些参数的调整没有多大的效果，随机写负载下性能下降仍然很大。

在《ceph基于pglog的一致性协议》一文中分析了ceph的一致性协议，从中我们得知在osd重启、存储机重启等场景下基于pglog的恢复的时候，在peering的时候会根据pglog来构建出missing列表，然后在恢复时根据missing列表逐个进行恢复，恢复的粒度是整个对象大小（默认4MB，有可能有的对象不足4MB，就按对象大小），即使只修改了一个4KB，也需要将4MB的对象拷贝过来，这样100个io就会达到400MB的带宽，对网络及磁盘产生较大的影响。当写io命中正在修复的对象时，也是先修复原来4MB的对象，即需要将4MB的数据通过网络拷贝过来，延迟就会增加很多，然后再写入数据，对于随机写的场景尤其严重，基本都是命中的情况，带来相当大的延迟，从而iops下降（下降幅度80%~90%）。这个影响时间取决于上层的业务量和osd停服的时间。

当一个osd故障重启后，进行peering的时候，合并pglog来构建missing列表时就可以将同一个对象的多次修改的[offset,len]求一个并集，得出故障期间总的修改区间，然后在恢复的时候就能够根据这个范围来恢复这部分增量数据，从而大幅度减少了恢复时的网络和磁盘带宽，以及正常I/O命中恢复对象的等待时间，从而大幅降低对正常I/O的性能影响（尤其是对于随机写I/O的场景）。