1,000,000 IOPS SMB 群集NAS实验

Dolfin

横向扩展存储群集由2节点组成，客户端也是2台，同时接入Mellanox SX6012交换机（40GbE）

存储节点：
CPU：Skylake 6核
RAM：8GB DDR4
SSD：KIOXIA CM6 960GB * 1
NIC：ConnectX4 * 2

客户端通过 SMB 映射存储群集，FIO进行测试
4K 随机读取 100万IOPS，延迟 10 微秒

lzhdim

速度挺好。。。。。。。

yuan8

请教下测试方法和具体命令？ 也想测试下自己的性能

刚才回复到点评了

Dolfin

感谢 summerq 猪圈 二位大佬支持

赫敏

所以3C6T是单节点最优？

Dolfin

赫敏 发表于 2024-9-5 08:49
所以3C6T是单节点最优？

4C8T最实惠。6C12T是在推更高的单节点IOPS，边际效益递减。

Dolfin

yuan8 发表于 2024-9-5 08:44
请教下测试方法和具体命令？ 也想测试下自己的性能

刚才回复到点评了

你也是横向扩展群集吗？
建立多个CSV，至少让每个节点成为一个CSV的协调节点，以充分利用各节点性能。
客户端通过SMB映射这些CSV，我是两个客户端，也就是1号映射CSV1，2号映射CSV2。后同时使用FIO向群集发出4K随机读取指令。

FIO命令是：

1. fio --rw=randread --refill_buffers --norandommap --randrepeat=0 --bs=4k --iodepth=64 --direct=1 --filename=W\:\\fio_system_disk_test --name=fiotest --ioengine=windowsaio --thread --group_reporting --numjobs=12 --size=1G --runtime=30 --rwmixread=100 --time_based

复制代码

yuan8

Dolfin 发表于 2024-9-5 09:56
你也是横向扩展群集吗？
建立多个CSV，至少让每个节点成为一个CSV的协调节点，以充分利用各节点性能。
客 ...

开源分布式存储

Dolfin

yuan8 发表于 2024-9-5 10:10
开源分布式存储

客户端使用SMB连接存储集群，使用FIO向存储发IO请求，然后从客户端统计IOPS就行了。

icyboy

用啥方案居然才2节点

Dolfin

icyboy 发表于 2024-9-5 14:29
用啥方案居然才2节点

Windows 横向扩展群集

icyboy

Dolfin 发表于 2024-9-5 22:28
Windows 横向扩展群集

Storage Spaces Direct?

Dolfin

icyboy 发表于 2024-9-6 11:07
Storage Spaces Direct?

没错，是s2d

mosigan

Dolfin 发表于 2024-9-5 09:15
4C8T最实惠。6C12T是在推更高的单节点IOPS，边际效益递减。

不能这么算，节点数多了，哪怕用的是镜像也有计算需求，双奇偶校验更高了，目前的cpu性能价格情况下8C16T应该算合适的

Dolfin

mosigan 发表于 2024-9-6 16:26
不能这么算，节点数多了，哪怕用的是镜像也有计算需求，双奇偶校验更高了，目前的cpu性能价格情况下8C16T ...

说的有理。不过我的实验是虚拟化非生产环境，只为了推IOPS，结构能简则简

qwer252551

Dolfin 发表于 2024-9-6 14:44
没错，是s2d

现在微软s2d的各个节点 还必须要加入域吗？

Dolfin

qwer252551 发表于 2024-9-17 00:06
现在微软s2d的各个节点 还必须要加入域吗？

可加入Workgroup，AD域不是必须的