一个NAS SMB传输的神奇发现
这个探讨基于一些背景，譬如这是个NAS，这是文件存储（不是块和对象），SMB是最流行的文件存储协议，没有讨论集群，Windows是性能最佳的SMB服务器平台。再澄清一下，对，就是Windows，就用SMB，实测吞吐200Gbps没问题（应该还可以更高，没网卡了），4k随机IOPS 60万。
而Linux下的开源应用没戏，甭管Samba还是Ksmbd，它应该拿来玩块存储服务器。
背景交待完了，说神奇发现。
把Windows Server安装在裸金属上做SMB服务器，测试下来，甭管装在8核的9800X上，还是更多核心的EPYC 9004上，单台或者多台客户端同时对服务器做4k 随机读写，IOPS总量不会超过60万。
而安装在虚拟机上，譬如9800X拿出3个核做服务器1，再拿3个核做服务器2，再做测试，IOPS总量轻松超过80万，再拿剩下的两个核做个服务器3，超过100万应该没问题。
后面准备去玩玩SMB虚拟化集群试试了。
[震惊]这么反直觉 感觉像是宽带多拨了一样 系统有意限制了呗 brucelee1126 发表于 2024-7-9 11:40
感觉像是宽带多拨了一样
非常形象，就是这个样子 额，其实同一宿主机的VM，网络走的都是vSwitch，仅仅是内存复制，不是走网卡的。 不可思议 发表于 2024-7-9 11:55
额，其实同一宿主机的VM，网络走的都是vSwitch，仅仅是内存复制，不是走网卡的。 ...
vm之间不通讯，是物理机和vm的通讯 大佬玩的high啊~
新手请教下，是用hyper-v装windows server虚拟机对么？然后做smb集群统一对外服务？是这个意思么？那硬盘呢？集群管理的？ xinxin1982 发表于 2024-7-9 12:31
大佬玩的high啊~
新手请教下，是用hyper-v装windows server虚拟机对么？然后做smb集群统一对外服务？是这 ...
pve做虚拟化，现在暂时硬盘网卡都直通 啥是裸金属？ elvba 发表于 2024-7-9 13:05
啥是裸金属？
裸金属（Bare Metal ）对应是是虚拟化（virtualization） 虚拟机还更强？不至于吧，内核对平台负优化了，或者说内核太旧 guitengyue 发表于 2024-7-9 13:22
虚拟机还更强？不至于吧，内核对平台负优化了，或者说内核太旧
不是说虚拟化性能更好，是说的在smb服务器这个场景下，虚拟化体现出更好的硬件资源调度和利用可能性 elvba 发表于 2024-7-9 13:05
啥是裸金属？
就是装在物理机前面，系统下层就是硬件 相似的环境，做过一个基于Linux的测试。
发现PVE通过SMB连接NAS，作为其中一个存储，性能与通过NFS相比互有高低；SMB、NFS两者远远高于通过iSCSI。
考虑SMB新版的聚合特性，优先在Linux下使用。尤其对于PVE这类将大文件当作块设备使用时，性能远高于iSCSI这种传统的块设备连接。 那cpu占用有什么区别呢？ 微软知道自己引以为傲的内核也变成一坨了吗 本帖最后由 Dolfin 于 2024-7-10 09:59 编辑
赫敏 发表于 2024-7-10 06:31
那cpu占用有什么区别呢？
客户端通过smb对服务器io，达到同样的400K iops，裸金属8核服务器，服务器CPU占有率75%，换成VM，分3个核做服务器，占有率33% hawie 发表于 2024-7-10 02:52
相似的环境，做过一个基于Linux的测试。
发现PVE通过SMB连接NAS，作为其中一个存储，性能与通过NFS相比互有 ...
块存储更适合低延高频的场景，如果要做块的话，也建议使用spdk做iscsi或nvmeof这样的搭建 赫敏 发表于 2024-7-10 06:31
那cpu占用有什么区别呢？
三个核就把这个活儿干了，多了也不会有什么提升 意思就是巨硬这个单个系统内核顶头就能跑这么多了，要不你将文件拆成多份给多个核人工多线程[偷笑] elvba 发表于 2024-7-9 13:05
啥是裸金属？
硬件实体，类似host和vm区别
页:
[1]