|
|
目前有i5-8500, e5-2618lv3,e5-2670v3三台机器组了个pve集群在跑。但是存储是各个机器上独立的，无法做做到虚拟机故障时自动迁移。
最近手上有一块RK3588（orangepi 5plus），一台h66k（rk3568）,还有一台魔方N100的主机，突然奇想，如果用arm开发板做个ceph集群，提供统一的后端存储给pve集群用，一来可以解决pve故障自动迁移，二来可以学习一下分布式存储。朋友刚买了块Great Wall GW3300 1TB，还没上机，被我拿来做了个读写测试。
平台 系统 内核 系统盘
rk3588+8G Armbian_23.08.0-trunk_Hinlink-h66k_jammy_legacy_5.10.160 6.7.0-rc1 三星SD卡32G
rk3568+2G Armbian_23.11.1_Orangepi5-plus_bookworm_edge_6.7.0-rc1 5.10 机器自带32G EMMC
N100+8G pve8.1.1 6.5 闪迪酷豆U盘32G
由于只是打算这么做，并没有实际买设备，只是利用手上的东西进行的测试，平台和系统都没法统一，不过都是用的能找到的最新版的系统。
测试工具：fio，在5.10内核下是3.28版本，在6.x内核下是3.33版本。
rk3588的nvme接口时pcie2.0x1，rk3568的机器没有带nvme接口，用的海康nvme硬盘盒，接机器的usb接口做的测试，USB接口暂无法判断是2.0还是3.0（接口是白色，而非3.0常用的蓝色，疑似2.0接口），测试命令如下：
随机读：
fio -fimename=/dev/nvme0n1 -direct=1 -rw=randread -iodepth=1 -thread=1 -ioengine=psync -bs=4k -size=2G -numjobs=1 -runtime=180 -group_reporting -name=read4k
随机写：
fio -filename=/dev/nvme0n1 -direct=1 -iodepth 1 -thread=10 -rw=randwrite -ioengine=psync -bs=4k -size=2G -numjobs=1 -runtime=180 -group_reporting -name=write4k
顺序读：
fio -filename=/dev/nvme0n1 -direct=1 -iodepth 1 -thread=1 -rw=read -ioengine=psync -bs=4k -size=100G -numjobs=1 -runtime=180 -group_reporting -name=sqe_100read_4k
顺序写：
fio -filename=/dev/nvme0n1 -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=4k -size=100G -numjobs=1 -runtime=180 -group_reporting -name=sqe_100write_4k
70%读，30%写，随机读写
fio -filename=/dev/nvme0n1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=4k -size=10G -numjobs=1 -runtime=180 -group_reporting -name=randrw_70read_4k
测试结果如下：
随机读：
rk3588+8G IOPS=1731, BW=6928KiB/s (7094kB/s)
rk3568+2G IOPS=3874, BW=15.1MiB/s (15.9MB/s)
N100+8G IOPS=957, BW=3832KiB/s (3924kB/s)
随机写：
rk3588+8G IOPS=52.3k, BW=204MiB/s (214MB/s)
rk3568+2G IOPS=1458, BW=5834KiB/s
N100+8G IOPS=95.1k, BW=371MiB/s (389MB/s)
连续读：
rk3588+8G IOPS=43.1k, BW=168MiB/s (176MB/s)
rk3568+2G IOPS=1590, BW=6362KiB/s (6515kB/s)
N100+8G IOPS=57.1k, BW=223MiB/s (234MB/s)
连续写：
rk3588+8G IOPS=42.8k, BW=167MiB/s (175MB/s)
rk3568+2G IOPS=1424, BW=5698KiB/s (5835kB/s)
N100+8G IOPS=96.0k, BW=375MiB/s (393MB/s)
70%读，30%写，随机读写：
rk3588+8G read: IOPS=12.1k, BW=47.3MiB/s (49.6MB/s)
write: IOPS=5188, BW=20.3MiB/s (21.3MB/s)
rk3568+2G read: IOPS=1057, BW=4231KiB/s (4333kB/s)
write: IOPS=453, BW=1815KiB/s (1858kB/s)
N100+8G read: IOPS=9523, BW=37.2MiB/s (39.0MB/s)
write: IOPS=4083, BW=16.0MiB/s (16.7MB/s)
原本以为N100会全面占优，但是随机读是rk3568最猛，但是rk3568其他都是垫底，而且是数量级的差距，不是是不是usb口的原因。
rk3588的随机读，以及70%读，30%写，随机读写两个方面居然优于N100，实在没想到
如果是千兆网卡下，rk3588应该和N100都没啥区别，反正都只有100多M的速度，2.5g网络下rk3588就可能跑不满带宽了。
看看哪天每个rock3a测试下，rk3568用自带nvme接口能跑什么速度，如果能跑满千兆带宽，到是一个省钱的方案，rock3a才430，加上电源和外壳，也不超过500。
|
|
310112100042806
发表于 2023-12-14 01:52
