背景

公司新服务器上架.
这是一个很累的事情. 
然后想着今天验证一个事情
nvme1 软raid的性能

机器配置

8块1.92T SataSSD raid5 
2块3.84T nvmeSSD 软raid0 

CPU: Gold 6342 CPU @ 2.80GHz 2*24核心  
内存 64G 3200MT/S * 16 1T内存

raid0的创建

parted dev/nvme0n1 
mklabel gpt
parted dev/nvme1n1 
mklabel gpt

需要注意 不需要干别的, 只需要需改为gpt分区
需要注意 如果有数据千万不要执行如下操作
wipefs -a -f dev/nvme0n1 
wipefs -a -f dev/nvme1n1 
删除分区信息 

mdadm --create dev/md0 --level=0 --raid-devices=2 dev/nvme0n1  dev/nvme1n1 
查看相关信息:
mdadm --detail dev/md0

创建文件系统
mkfs.ext4 dev/md0

进行挂载
mkdir -p nvmeraid0 
mount dev/md0 nvmeraid0 

开机挂载
blkid lsblk 查看磁盘信息
添加挂载:

挂载参数

defaults,noatime,nodiratime,nodelalloc
UUID=92613a5a-3a34-41bf-a8d0-1c810c625ffd   nvmeraid0 ext4 defaults,noatime,nodiratime,nodelalloc

8KB性能测试

nvme raid0 :
WRITE: bw=563MiB/s (590MB/s)  r=0,w=72.6k IOPS
READ: bw=8349MiB/s (8754MB/s) r=1253k,w=0 IOPS

单块nvme 无raid 
WRITE: bw=573MiB/s (600MB/s)  r=0,w=73.7k IOPS
READ: bw=8820MiB/s (9248MB/s) r=1343k,w=0 IOPS

sata raid5 物理机器
WRITE: bw=220MiB/s (231MB/s)  r=0,w=24.3k IOPS
READ: bw=1186MiB/s (1244MB/s) r=152k,w=0 IOPS

24块 sata SSD raid5 ESXi虚拟化
WRITE: bw=111MiB/s (116MB/s) r=0,w=13.8k IOPS
READ: bw=682MiB/s (715MB/s)  r=43.1k,w=0 IOPS

简单总结

应该是 PCI-E 4.0 x4 跑满速了
但是我的mdadm 反而有降速效果
需要大佬进行一下优化. 
今天比较晚了, 明天继续...

测试脚本

fio -name=1io -filename=io.speedtest -runtime=30 -direct=1 -bs=8k -rw=write   -size=4G  -thread  -group_reporting  -numjobs=60  --iodepth=4 -ioengine=sync
fio -name=1io -filename=io.speedtest -runtime=30 -direct=1 -bs=8k -rw=read   -size=4G  -thread  -group_reporting  -numjobs=60  --iodepth=4 -ioengine=sync