CAS和bcache缓存方案分析

1.Cas集群测试

使用三个节点搭建ceph集群，每个节点使用1块NVME和4块HDD组成cas缓存盘，整个集群共12个osd，3副本，集群可用空间19.29TB，创建11个1T的卷挂载到client节点；

2.Bcache集群测试

使用三个节点搭建ceph集群，每个节点使用1块NVME和4块HDD组成bcache缓存盘，整个集群共12个osd，3副本，集群可用空间19.29TB，创建11个1T的卷挂载到client节点；

1.只写缓存测试

2.缓存回刷时，写性能

3.缓存回刷时，读性能

4.读测试

5.读命中测试

1.只写缓存测试

2.缓存回刷时，写性能

3.缓存回刷时，读性能

4.读测试

5.读命中测试

1.只写缓存测试

设置回刷策略为nop（防止测试停止后回刷启动，不方便获取casadm监控数据及接下来的测试），4k随机写入11小时数据；根据vdbench数据性能明显下降前即为只写缓存性能，记为结果1；性能下降后的数据为默认回刷策略下的写性能1，记为结果2（留意是否可以写入单个后端设备所占SSD空间比例外的空间）

2.缓存回刷时，读性能1

默认回刷策略alru与前端IO互斥，前端有IO时回刷不会启动，所以使用默认回刷策略的情况下，读性能也就是后端设备的读取性能；首先在1的测试基础上重置casadm监控计数器casadm –Z -i 1，测试读性能1，记为结果3；（alru侧重于IO优先，acp侧重回刷优先）

3.缓存回刷时，写性能2

改用另一种回刷策略：casadm -X -n cleaning -i 1 -p acp，重置casadm监控计数器，测试写性能2，记为结果4；

4.缓存回刷时，读性能2

在3的测试基础上重置casadm监控计数器，测试读性能2，记为结果5；

5.读测试

恢复环境casctl stop; casctl init --force，读取数据，注意读取SSD容量大小的数据量前后的性能对比（4k随机读填满缓存速度太慢，首先4k随机读测试12小时，然后恢复环境后先用512k随机读3小时快速填满缓存后再用4k测试）；

6.读命中测试

恢复环境，读取固定区域数据使其缓存在SSD中（vdbench的wd增加range参数），重置casadm监控计数器，然后再次读取该区域内数据测试读命中性能；

1.只写缓存测试

2.缓存回刷时，读性能

3.缓存回刷时，写性能

4.读测试

5.读命中测试

1.只写缓存测试

2.缓存回刷时，读性能1

3.缓存回刷时，写性能2

4.缓存回刷时，读性能2

5.读测试

6.读命中测试

1.读测试

2.读命中测试

3.只写缓存测试

4.缓存回刷时，读性能

5.缓存回刷时，写性能

1.从测试结果看，整体上bcache性能优于CAS，这是由于相对于cas的hash索引，bcache采用了效率更高的B+树索引；

2.Bcache中的gc等逻辑，会导致测试数据存在波动的情况，而cas的数据更稳定；

3.在单盘读命中、集群回刷读测试项中，bcache表现不佳，具体原因是前者测试场景中，bcache在预读数据进入SSD时，由于不区分clean和unused的bucket，导致之前预读入SSD的一部分数据被后来读入的数据覆盖，导致该部分数据不能被读命中，从而拉低性能；后者是因为在回刷读场景下，回刷线程占用的磁盘大部分带宽导致；

4.Bcache回刷算法可根据压力自动调节回刷速率，相对于cas需要手动设置不同回刷算法、速率等，更智能一些；

1.https://open-cas.github.io/index.html

2.https://docs.ceph.com/docs/master/