一个NAS SMB传输的神奇发现

Dolfin · 发表于 2024-7-9 11:31

这个探讨基于一些背景，譬如这是个NAS，这是文件存储（不是块和对象），SMB是最流行的文件存储协议，没有讨论集群，Windows是性能最佳的SMB服务器平台。

再澄清一下，对，就是Windows，就用SMB，实测吞吐200Gbps没问题（应该还可以更高，没网卡了），4k随机IOPS 60万。

而Linux下的开源应用没戏，甭管Samba还是Ksmbd，它应该拿来玩块存储服务器。

背景交待完了，说神奇发现。

把Windows Server安装在裸金属上做SMB服务器，测试下来，甭管装在8核的9800X上，还是更多核心的EPYC 9004上，单台或者多台客户端同时对服务器做4k 随机读写，IOPS总量不会超过60万。

而安装在虚拟机上，譬如9800X拿出3个核做服务器1，再拿3个核做服务器2，再做测试，IOPS总量轻松超过80万，再拿剩下的两个核做个服务器3，超过100万应该没问题。

后面准备去玩玩SMB虚拟化集群试试了。

巴特沃斯 · 发表于 2024-7-9 11:40

这么反直觉

brucelee1126 · 发表于 2024-7-9 11:40

感觉像是宽带多拨了一样

BetaHT · 发表于 2024-7-9 11:43

系统有意限制了呗

Dolfin · 发表于 2024-7-9 11:50

brucelee1126 发表于 2024-7-9 11:40
感觉像是宽带多拨了一样

非常形象，就是这个样子

不可思议 · 发表于 2024-7-9 11:55

额，其实同一宿主机的VM，网络走的都是vSwitch，仅仅是内存复制，不是走网卡的。

Dolfin · 发表于 2024-7-9 12:01

不可思议发表于 2024-7-9 11:55
额，其实同一宿主机的VM，网络走的都是vSwitch，仅仅是内存复制，不是走网卡的。 ...

vm之间不通讯，是物理机和vm的通讯

xinxin1982 · 发表于 2024-7-9 12:31

大佬玩的high啊~

新手请教下，是用hyper-v装windows server虚拟机对么？然后做smb集群统一对外服务？是这个意思么？那硬盘呢？集群管理的？

Dolfin · 发表于 2024-7-9 13:04

xinxin1982 发表于 2024-7-9 12:31
大佬玩的high啊~

新手请教下，是用hyper-v装windows server虚拟机对么？然后做smb集群统一对外服务？是这 ...

pve做虚拟化，现在暂时硬盘网卡都直通

elvba · 发表于 2024-7-9 13:05

啥是裸金属？

rx_78gp02a · 发表于 2024-7-9 13:10

elvba 发表于 2024-7-9 13:05
啥是裸金属？

裸金属（Bare Metal ）对应是是虚拟化（virtualization）

guitengyue · 发表于 2024-7-9 13:22

虚拟机还更强？不至于吧，内核对平台负优化了，或者说内核太旧

Dolfin · 发表于 2024-7-9 13:34

guitengyue 发表于 2024-7-9 13:22
虚拟机还更强？不至于吧，内核对平台负优化了，或者说内核太旧

不是说虚拟化性能更好，是说的在smb服务器这个场景下，虚拟化体现出更好的硬件资源调度和利用可能性

Dolfin · 发表于 2024-7-10 02:37

elvba 发表于 2024-7-9 13:05
啥是裸金属？

就是装在物理机前面，系统下层就是硬件

hawie · 发表于 2024-7-10 02:52

相似的环境，做过一个基于Linux的测试。
发现PVE通过SMB连接NAS，作为其中一个存储，性能与通过NFS相比互有高低；SMB、NFS两者远远高于通过iSCSI。
考虑SMB新版的聚合特性，优先在Linux下使用。尤其对于PVE这类将大文件当作块设备使用时，性能远高于iSCSI这种传统的块设备连接。

赫敏 · 发表于 2024-7-10 06:31

那cpu占用有什么区别呢？

ttt5t5t · 发表于 2024-7-10 08:47

微软知道自己引以为傲的内核也变成一坨了吗

Dolfin · 发表于 2024-7-10 09:57

本帖最后由 Dolfin 于 2024-7-10 09:59 编辑

赫敏发表于 2024-7-10 06:31
那cpu占用有什么区别呢？

客户端通过smb对服务器io，达到同样的400K iops，裸金属8核服务器，服务器CPU占有率75%，换成VM，分3个核做服务器，占有率33%

Dolfin · 发表于 2024-7-10 11:20

hawie 发表于 2024-7-10 02:52
相似的环境，做过一个基于Linux的测试。
发现PVE通过SMB连接NAS，作为其中一个存储，性能与通过NFS相比互有 ...

块存储更适合低延高频的场景，如果要做块的话，也建议使用spdk做iscsi或nvmeof这样的搭建

Dolfin · 发表于 2024-7-10 11:33

赫敏发表于 2024-7-10 06:31
那cpu占用有什么区别呢？

三个核就把这个活儿干了，多了也不会有什么提升

MoonDigi · 发表于 2024-7-10 11:44

意思就是巨硬这个单个系统内核顶头就能跑这么多了，要不你将文件拆成多份给多个核人工多线程

Johnsnow-s · 发表于 2024-7-10 12:14

elvba 发表于 2024-7-9 13:05
啥是裸金属？

硬件实体，类似host和vm区别

账号		自动登录	找回密码
密码			加入我们

[网络] 一个NAS SMB传输的神奇发现

浏览过的版块