社区 › 电脑讨论(新) › eSXi下10G网卡是不是有SMB的速度瓶颈问题？

softz 发表于 2022-12-19 22:36

eSXi下10G网卡是不是有SMB的速度瓶颈问题？

本帖最后由 softz 于 2022-12-19 22:38 编辑

eSXi直通10G网卡给虚拟机，虚拟机和实体机之间测速确认是能跑到10G的，但是虚拟机的SMB下文件复制到实体机，只能跑到400MB/S，始终无法突破更高传输速度（虚拟机和实体机的IO都无瓶颈，可以保证跑到1GBbit以上）
网络拓扑图如下：
https://i.328888.xyz/2022/12/19/AA1oa.png

blanksign 发表于 2022-12-20 00:28

esxi的特性。硬盘永远不会满速。

Juzi丶 发表于 2022-12-20 00:43

truenas scale搭个e5v3根本不可能稳跑10G的smb，你要10G要客户端和服务端的cpu够快才行

Juzi丶 发表于 2022-12-20 00:45

客户端
ESXi 8.0a，Windows 10 IoT 企业版 LTSC 19044.2364，8269CY SST配置20核高频

服务端
TrueNAS CORE 13 U3.1，AIO读写+SMB加密，72F3

lwb0428 发表于 2022-12-20 00:46

该说不说，楼主图画的真认真…

wxlg1117 发表于 2022-12-20 00:57

[偷笑]windows的smb才是瓶颈吧

掉毛天使 发表于 2022-12-20 03:01

先看看windows版本 win11 22H2是跑不满的 有bug 官方准备明年再修

pomeloking 发表于 2022-12-20 07:59

该说不说，楼主图画的真认真…

港城钢铁侠 发表于 2022-12-20 08:06

硬盘直通、网卡巨型帧这些都试过了么？换个客户端试试，找个Linux的发行版，可以分别试试试试Samba和KSMBD，webdav也可以试试

Ramiel 发表于 2022-12-20 08:13

这个不是很简单，直接两个进程复制看看啊，如果一个进程400MB，两个能有700MB，三个能满10G，那问题就不在网卡啊

weiyi 发表于 2022-12-20 08:40

lwb0428 发表于 2022-12-19 11:46
该说不说，楼主图画的真认真…

是真的认真https://cdn.jsdelivr.net/gh/master-of-forums/master-of-forums/public/images/patch.gif

normanlu 发表于 2022-12-20 08:43

routeros我给512M内存都嫌多，多了纯浪费

tpxcer 发表于 2022-12-20 08:57

楼主，我也想画图，用的什么软件？

shadow404 发表于 2022-12-20 13:17

楼主这个绘图软件是啥？

imyz 发表于 2022-12-20 13:47

10Gbps 要跑满之前看人讲建议开巨帧（Jumbo Frames）模式。

普通 TCP/IP 一般默认 1500/帧，TCP/IP 协议都是封包、拆包的过程，10Gbps 下等于是原来 1G x10 倍的工作量，对网卡和交换/路由设备而言都是不小的开销

faninx 发表于 2022-12-20 14:12

我是来学画拓扑图的

softz 发表于 2022-12-20 14:45

blanksign 发表于 2022-12-20 00:28
esxi的特性。硬盘永远不会满速。

直通SATA给TrueNAS的，也不能满速？

softz 发表于 2022-12-20 14:46

Juzi丶 发表于 2022-12-20 00:43
truenas scale搭个e5v3根本不可能稳跑10G的smb，你要10G要客户端和服务端的cpu够快才行

...

双U的情况下居然也不能满足SMB跑满10G？这个我不太能理解

softz 发表于 2022-12-20 14:47

掉毛天使 发表于 2022-12-20 03:01
先看看windows版本 win11 22H2是跑不满的 有bug 官方准备明年再修

我是在Windows Server 2022 上跑的，也是这个结果，Win11确实不行

fyc858 发表于 2022-12-20 14:47

我不直通都没瓶颈

softz 发表于 2022-12-20 14:48

Ramiel 发表于 2022-12-20 08:13
这个不是很简单，直接两个进程复制看看啊，如果一个进程400MB，两个能有700MB，三个能满10G，那问题就不在 ...

已经是试过，三线并发copy也都是合并在400左右

softz 发表于 2022-12-20 14:49

tpxcer 发表于 2022-12-20 08:57
楼主，我也想画图，用的什么软件？

Visio画的呀

softz 发表于 2022-12-20 14:49

shadow404 发表于 2022-12-20 13:17
楼主这个绘图软件是啥？

Visio画的呀

softz 发表于 2022-12-20 14:50

imyz 发表于 2022-12-20 13:47
10Gbps 要跑满之前看人讲建议开巨帧（Jumbo Frames）模式。

普通 TCP/IP 一般默认 1500/帧，TCP/IP 协议都 ...

我的华为交换机支持9216巨帧，我也都开了，结果是一样的，所以我想不通，按道理也不应该被限制在400M左右的速度

老饭 发表于 2022-12-20 14:54

routeros给 22核 16g内存这是要干啥

hzrdog 发表于 2022-12-20 15:27

图画得太认真了

非常适合攻击的时候找路[偷笑]

hzrdog 发表于 2022-12-20 15:30

老饭 发表于 2022-12-20 14:54
routeros给 22核 16g内存这是要干啥

8成是写错了 cpu超配了 内存却没用完

testcb00 发表于 2022-12-20 15:39

自己先看看Windows/NAS OS有没开Jumbo Frame 9000
Iperf3 多线程 能不能跑9Gb/s+
华为交换机再确认设置正确
排除网卡问题再搞 Samba

我all-in-boom ESXi (pfSense + TrueNAS)，Samba (SAS SSD) 极限能跑700MB/s+
Samba (SATA HDD Mirror) 都能跑200MB/s 开始可以500MB/s

hzrdog 发表于 2022-12-20 15:40

[困惑]重新看了一遍帖子 lz虽然放了图 但是并没有说 在哪两个机器之间测的

softz 发表于 2022-12-20 15:48

hzrdog 发表于 2022-12-20 15:40
重新看了一遍帖子 lz虽然放了图 但是并没有说 在哪两个机器之间测的

是eSXi上的TrueNAS和实体机上的TrueNAS之间测的，eSXi上的TrueNAS是直通的X550-T2，也不是虚拟网口

查看完整版本: eSXi下10G网卡是不是有SMB的速度瓶颈问题？