Ceph使用三星PM1643a固态硬盘性能压测指标

Ceph使用三星PM1643a固态硬盘性能压测指标

Deng YongJie's blog 455 2023-07-16

Ceph硬盘配置：

9块OSD分布在3台服务器 9 * SAS PM1643a 1.92T 12Gbps  (OSD盘)

PM1643a官方裸盘读写参数

测试方式：

10Gbps/s带宽的KVM虚拟机，挂载独立的Ceph集群RBD块存储

IOPS测试：

以下表格中，红色标记代表为重要参考指标

4K 随机写 -IOPS

fio -direct=1 -iodepth=128 -rw=randwrite -ioengine=libaio -bs=4k -numjobs=1 -size=1G -time_based=1 -runtime=600 -group_reporting -filename=/dev/sdb -name=Rand_Write_Test

image-20230531184123601

测试次数 持续时间 队列深度 平均IOPS 最小IOPS 最大IOPS 平均响应时间（ms） 最小响应时间（ms） 最大响应时间（ms） 磁盘利用率（%）
第一次 10分钟 128 13.3K 4.0K 22.3K 9.6 1.0 170.5 100
第二次 10分钟 128 14.3K 8.2K 19.8K 8.9 1.1 76.2 100
第三次 10分钟 128 13.7K 8.7K 20.2K 9.3 1.1 71.3 100

4K 随机读 -IOPS

fio -direct=1 -iodepth=128 -rw=randread -ioengine=libaio -bs=4k -numjobs=1 -size=1G -time_based=1 -runtime=600 -group_reporting -filename=/dev/sdb -name=Rand_Read_Test

image-20230531184141277

测试次数 持续时间 队列深度 平均IOPS 最小IOPS 最大IOPS 平均响应时间（ms） 最小响应时间（ms） 最大响应时间（ms） 磁盘利用率（%）
第一次 10分钟 128 58.3K 40.7K 90.3K 2.2 0.2 22.6 100
第二次 10分钟 128 63.2K 27.2K 105.4K 2.0 0.2 84.1 100
第三次 10分钟 128 64.7K 40.7K 92.3K 2.0 0.2 35.5 100

4K 随机读写 -IOPS

fio -direct=1 -iodepth=128 -rw=randrw -ioengine=libaio -bs=4k -numjobs=1 -size=1G -time_based=1 -runtime=600 -group_reporting -filename=/dev/sdb -name=Rand_Read_Write_Test

image-20230531184157149

测试次数 持续时间 队列深度 平均读取IOPS 最小读取IOPS 最大读取IOPS 平均写入IOPS 最小写入IOPS 最大写入IOPS 平均读取响应时间（ms） 最小读取响应时间（ms） 最大读取响应时间（ms） 平均写入响应时间（ms） 最小写入响应时间（ms） 最大写入响应时间（ms） 磁盘利用率（%）
第一次 10分钟 128 14.5K 2.5K 18.5K 14.5K 2.5K 18.5K 2.2 0.2 197.8 6.6 0.8 231.0 100
第二次 10分钟 128 15.4K 11.1K 20.1K 15.4K 11.0K 20.2K 2.0 0.3 82.1 6.3 1.0 88.0 100
第三次 10分钟 128 15.0K 10.3K 18.7K 14.0K 10.3K 18.8K 2.1 0.1 48.5 6.4 1.0 59.5 100

吞吐量测试：

4M 顺序写 -吞吐

fio -direct=1 -iodepth=128 -rw=write -ioengine=libaio -bs=4M -numjobs=1 -size=1G -time_based=1 -runtime=600 -group_reporting -filename=/dev/sdb -name=Write_Test

image-20230531184216654
image-20230531184229943

测试次数 持续时间 队列深度 平均MiB/s 最小MiB/s 最大MiB/s 平均响应时间（ms） 最小响应时间（ms） 最大响应时间（ms） 磁盘利用率（%）
第一次 10分钟 128 994 8 1608 0.5 0.02 6.5 100
第二次 10分钟 128 1132 624 1624 0.5 0.04 5.0 100
第三次 10分钟 128 1109 112 1592 0.5 0.02 5.3 100

4M 顺序读 -吞吐

fio -direct=1 -iodepth=128 -rw=read -ioengine=libaio -bs=4M -numjobs=1 -size=1G -time_based=1 -runtime=600 -group_reporting -filename=/dev/sdb -name=Read_Test

image-20230531184246601

测试次数 持续时间 队列深度 平均MiB/s 最小MiB/s 最大MiB/s 平均响应时间（ms） 最小响应时间（ms） 最大响应时间（ms） 磁盘利用率（%）
第一次 10分钟 128 1153 558 1672 0.4 0.03 2.9 100
第二次 10分钟 128 1153 592 1640 0.4 0.03 3.7 100
第三次 10分钟 128 1153 560 1632 0.4 0.03 3.3 100

4M 顺序读写 -吞吐

fio -direct=1 -iodepth=128 -rw=rw -ioengine=libaio -bs=4M -numjobs=1 -size=1G -time_based=1 -runtime=600 -group_reporting -filename=/dev/sdb -name=Read_Write_Test

image-20230531184305246

测试次数 持续时间 队列深度 平均读取MiB/s 最小读取MiB/s 最大读取MiB/s 平均写入MiB/s 最小写入MiB/s 最大写入MiB/s 平均读取响应时间（ms） 最小读取响应时间（ms） 最大读取响应时间（ms） 平均写入响应时间（ms） 最小写入响应时间（ms） 最大写入响应时间（ms） 磁盘利用率（%）
第一次 10分钟 128 819 112 1192 818 104 1240 0.3 0.008 3.9 0.3 0.02 3.9 100
第二次 10分钟 128 876 192 1224 877 200 1152 0.3 0.01 2.3 0.3 0.03 2.3 100
第三次 10分钟 128 876 552 1176 877 536 1240 0.3 0.009 2.4 0.3 0.03 2.4 100
Ceph