请教大佬ESXI通过Iperf3测试外部设备速率不对的情况

dmck

网卡HP 560sfp+ 万兆双口，ESXI版本6.7，板载默认1000M网口给 ESXI当管理口，万兆网卡直接插在ESXI上面当 数据通讯，没有直通。

虚拟机用的VMXNET3虚拟网卡。

ESXI网卡链接情况：


esxi内部的虚拟机互相iperf3能跑满10G带宽。




但是esxi内部虚拟机通过Iperf3访问外部的设备，测试下来只有200-300M，外部设备 通过Iperf3访问esxi内部虚拟机同样是200-300M，是设置问题吗？




实在搞不清楚什么情况了，有大佬能看出端倪吗？

iooo

所以有sr-iov技术来解决此问题

dmck

iooo 发表于 2023-4-14 23:22
所以有sr-iov技术来解决此问题

切换了SR-IOV还是不行，我今天又组装了一台esxi，用外部设备iperf这个新组装的esxi内部虚拟机，能跑满10G，外部设备访问 上面这个esxi内的虚拟机跑不满，调整了下虚拟交换机，现在也只能跑1.5G左右。

搞得我怀疑人生了。。


还是楼顶说的无法满速的esxi6.7，调整了下虚拟交换机，【跑这样


新装的ESXI8，同样的网卡，测试能满速

nn1122

可能是驱动问题，你装的6.7 u3是哪个版本呢

rx_78gp02a

建议直通测试，虚拟网卡是吃资源的

dmck

rx_78gp02a 发表于 2023-4-16 17:51
建议直通测试，虚拟网卡是吃资源的

这感觉不是直通不直通的原因，压根就是1000M的速率。。。

wsbpj

我记着vmx3，虚拟机内部通讯和网卡无关，内存对拷，速度没上限，然后建议升级，这东西一直在优化

binne

rx_78gp02a 发表于 2023-4-16 17:51
建议直通测试，虚拟网卡是吃资源的

两个网卡，这么多虚拟机，不够的。

先用u盘跑一个win pe或者linux，脱离esxi  测一下速度把。如果跑不满10g就要差硬件了，如果能跑10g，那就怀疑esxi的驱动或者设置问题了。

rx_78gp02a

binne 发表于 2023-4-16 18:51
两个网卡，这么多虚拟机，不够的。

先用u盘跑一个win pe或者linux，脱离esxi  测一下速度把。如果跑不满 ...

物理机能跑满不代表虚拟机+虚拟网卡可以跑满，就算esxi的驱动没有问题，虚拟机和宿主之间还隔了一层虚拟网卡。

dmck

wsbpj 发表于 2023-4-16 18:45
我记着vmx3，虚拟机内部通讯和网卡无关，内存对拷，速度没上限，然后建议升级，这东西一直在优化 ...

我选的就是VMXNET3，新建的esxi设置一摸一样，不知道为啥ESXI8就没这个问题，直接iperf3就 10G了

dmck

binne 发表于 2023-4-16 18:51
两个网卡，这么多虚拟机，不够的。

先用u盘跑一个win pe或者linux，脱离esxi  测一下速度把。如果跑不满 ...

老哥说可能是网卡本身的问题吗。。。这个不太会吧。。。。。

另外 虚拟机多和 速率不达标没太大影响，除非其他虚拟机一直持续IO操作，不然不会吃这么固定的内网带宽，也不至于 只有1000M的速率。问题还没找到。

dmck

rx_78gp02a 发表于 2023-4-16 19:04
物理机能跑满不代表虚拟机+虚拟网卡可以跑满，就算esxi的驱动没有问题，虚拟机和宿主之间还隔了一层虚拟 ...

另一台ESXI8没这个速率问题，能跑满。

sevastian

很简单啊，8对这个网卡优化了呗。
访问虚拟机对esxi来说就是把内存中的数据搬到另一个地方，这个搬运过程可以是CPU做，也可以是CPU发一条指令让DMA做。

wesleyxy

wsbpj 发表于 2023-4-16 18:45
我记着vmx3，虚拟机内部通讯和网卡无关，内存对拷，速度没上限，然后建议升级，这东西一直在优化 ...

没错，之前我用pve测过一下虚拟网桥

pve系统跟虚拟机之间：



虚拟机跟虚拟机之间：

dmck

nn1122 发表于 2023-4-16 17:26
可能是驱动问题，你装的6.7 u3是哪个版本呢

您好，装的是 ESXi-6.7.0-20191204001-standard (VMware, Inc.)

现在通过内网测试，发现 只要是与这个esxi 进行测试，内网速度只能在1G左右。

dmck

sevastian 发表于 2023-4-17 00:45
很简单啊，8对这个网卡优化了呗。
访问虚拟机对esxi来说就是把内存中的数据搬到另一个地方，这个搬运过程可 ...

有问题的ESXi的虚拟机内部互相测试，iperf 10G没问题，当对外部设备测试时，只有1G左右的带宽速度。

另外新装的ESXI8没这个问题，不论是内部虚拟机iperf测试还是外部设备对这个ESXI内部的虚拟机进行测试，都可以跑满10G。

dmck

wsbpj 发表于 2023-4-16 18:45
我记着vmx3，虚拟机内部通讯和网卡无关，内存对拷，速度没上限，然后建议升级，这东西一直在优化 ...

老哥下午好，建议升级ESXI版本吗。

不知道哪个环节出了问题，esxi也用了好多年，搞得怀疑自己了，用万兆网卡创建虚拟交换机，然后通过这个虚拟交换机创建端口，最后虚拟机分配这个端口。。。操作上貌似没啥问题，就是搞不懂了。不知道是esxi版本问题，还是咋了。。。

dmck

wesleyxy 发表于 2023-4-17 08:45
没错，之前我用pve测过一下虚拟网桥

pve系统跟虚拟机之间：

现在不知道具体原因，只好新装了一台esxi进行测试，装的版本8，最后测试下来没问题。。一脸懵逼了。。。。

wun_008

dmck 发表于 2023-4-18 15:15
现在不知道具体原因，只好新装了一台esxi进行测试，装的版本8，最后测试下来没问题。。一脸懵逼了。。。 ...

我好像也一样问题，难道6.7有问题 ？那我就要研究安装8了 8兼容6.7的虚拟机吗？

nn1122

dmck 发表于 2023-4-18 15:09
您好，装的是 ESXi-6.7.0-20191204001-standard (VMware, Inc.)

现在通过内网测试，发现 只要是与这个es ...

有点老了，可以试一下联想的OEM自定义镜像，驱动和补丁每隔几个月会有一次更新，也能安装在普通PC上，官方地址：包含了678三代esxi的下载
https://vmware.lenovo.com/content/

weston

网卡应该是X520啊，支持sr-iov的，不要选择VMXNET3试试
我家里装的是esxi7.0，sr-iov跑速都没问题，不确定是不是6.7的原因

dmck

wun_008 发表于 2023-4-18 15:21
我好像也一样问题，难道6.7有问题 ？那我就要研究安装8了 8兼容6.7的虚拟机吗？ ...

兼容，但是esxi8我遇到的sr-iov无法开启的问题，一直提示重新引导，改check也没用，打算去7试试。

dmck

nn1122 发表于 2023-4-18 15:22
有点老了，可以试一下联想的OEM自定义镜像，驱动和补丁每隔几个月会有一次更新，也能安装在普通PC上，官 ...

好，晚上用联想这个esxi8试试。我看到链接里面有6.7、7和8.

dmck

weston 发表于 2023-4-18 16:05
网卡应该是X520啊，支持sr-iov的，不要选择VMXNET3试试
我家里装的是esxi7.0，sr-iov跑速都没问题，不确定 ...

试过了，不论是虚拟的VMXNET3还是SR-IOV都试过，依然是外部设备iperf虚拟机，还是虚拟机 iperf外部设备，都只能千兆。

dmck

weston 发表于 2023-4-18 16:05
网卡应该是X520啊，支持sr-iov的，不要选择VMXNET3试试
我家里装的是esxi7.0，sr-iov跑速都没问题，不确定 ...

因为那台esxi6.7里面虚拟机太多了，迁移也麻烦，S8030返厂了。。

weston

dmck 发表于 2023-4-18 16:15
试过了，不论是虚拟的VMXNET3还是SR-IOV都试过，依然是外部设备iperf虚拟机，还是虚拟机 iperf外部设备， ...

你要看你整个链路上的设备的，都是万兆的设备吗？

nn1122

dmck 发表于 2023-4-18 16:14
好，晚上用联想这个esxi8试试。我看到链接里面有6.7、7和8.

其实我想的是要你安装联想6.7 u3 2021或者2022年的版本试试

dmck

weston 发表于 2023-4-18 16:18
你要看你整个链路上的设备的，都是万兆的设备吗？

确认无误了。

weston

dmck 发表于 2023-4-18 16:24
确认无误了。

换esxi版本试试吧

dmck

nn1122 发表于 2023-4-18 16:22
其实我想的是要你安装联想6.7 u3 2021或者2022年的版本试试

esxi6.7这台上面好多虚拟机，我看看盘里还存着 这个6.7镜像没，如果存有，晚上用这个itx重新装一次看看，如果还是 内网只能跑千兆，基本实锤了，但是这种方式，我猜想大概率行不通，因为硬件貌似不一样，可能达不到预想的效果。

如果是重装这台有问题的esxi估计大概能解决这个问题，就是比较麻烦了。

刚把6.7U3下载了，看看怎么弄比较方便。