wun_008 发表于 2023-4-1 08:37
我也是esxi 6. 7 我也是万兆直通给爱快软路由，我的虚拟机用上vnet3， winserver 也是显示10g 但是我从来没 ...
你是电口万兆还是光口万兆，有没有用iperf测过带宽速度？
Dreamwalker 发表于 2023-4-1 00:07
你忘记了，我已经拆了，哪有什么风扇墙
没忘，拆了一个风扇墙虽然没了，但进iLO会显示一条警告信息，你说膈应人不[偷笑]
红色狂想 发表于 2023-4-1 14:23
你是电口万兆还是光口万兆，有没有用iperf测过带宽速度？
两个万兆一个光一个电
红色狂想 发表于 2023-4-1 14:27
没忘，拆了一个风扇墙虽然没了，但进iLO会显示一条警告信息，你说膈应人不 ...
开机的时候还有两条告警， 反正当没看见就行了， 安静了很多
楼主 你的机子上有这个选项嘛？
红色狂想 发表于 2023-3-29 13:36
你不是全万兆网卡吗，有没有用iperf测试过在ESXi下带宽速度是否正常？
我机器上那个HP FlexFabri ...
网卡插的pci口是不是默认x1模式的，我之前就是这样，后面换个口就好了，能跑9G多
Dreamwalker 发表于 2023-4-7 15:01
楼主 你的机子上有这个选项嘛？
刚才添加新注册虚拟机向导试了一下，怎么我的没有这个IOMMU选项，是新建之初就有还是新建好启动后才会有？[困惑]
红色狂想 发表于 2023-4-7 20:57
刚才添加新注册虚拟机向导试了一下，怎么我的没有这个IOMMU选项，是新建之初就有还是新建好启动后才会有 ...
https://space.bilibili.com/3057241 B站有讲解，可以去了解一下！
huantty 发表于 2023-4-7 16:18
网卡插的pci口是不是默认x1模式的，我之前就是这样，后面换个口就好了，能跑9G多 ...
我那个是FLR网卡，与普通的标准PCIe接口不同，是HP机架式服务器独有的FlexibleLOM接口，不可能是x1吧，至少也得是3.0 x8，如果是x1能跑到4Gbps吗？
[困惑]
红色狂想 发表于 2023-4-7 21:10
我那个是FLR网卡，与普通的标准PCIe接口不同，是HP机架式服务器独有的FlexibleLOM接口，不可能是x1吧，至 ...
我那个就是flr，用了转接卡，插普通主板最后一个pci插槽，最高可以跑四五百M，也就是4G，后面觉得不对，看主板说明书，最后那个插槽默认是x1，2.0的X1理论上是5G
huantty 发表于 2023-4-7 21:56
我那个就是flr，用了转接卡，插普通主板最后一个pci插槽，最高可以跑四五百M，也就是4G，后面觉得不对， ...
嗯，35#楼那位@Dreamwalker 和我是同一款机器，他的FlexibleLOM口上插的是万兆电口，速度大概能跑到10Gb带宽的80%，所以应该能排除不是插槽的问题
红色狂想 发表于 2023-4-7 20:57
刚才添加新注册虚拟机向导试了一下，怎么我的没有这个IOMMU选项，是新建之初就有还是新建好启动后才会有 ...
我的G9也没有这个，但另外一台ESXi server就有这个选项，主板不一样，都是6.7u3， 折腾 一下午都没找到原因
Dreamwalker 发表于 2023-4-8 00:16
我的G9也没有这个，但另外一台ESXi server就有这个选项，主板不一样，都是6.7u3， 折腾 一下午都没找到原 ...
另外一台ESXi Server是什么型号，也是DL360 G9吗？[睡觉]
红色狂想 发表于 2023-4-8 14:06
另外一台ESXi Server是什么型号，也是DL360 G9吗？
另一台是超微的板子， 自己攒的[偷笑]
Dreamwalker 发表于 2023-4-8 15:19
另一台是超微的板子， 自己攒的
那不结了，HP服务器主板电路设计存在RMRRs限制，所以板载RAID卡才无法直通，想必就是这个原因导致不支持IOMMU的吧[傻笑]
https://static.chiphell.com/forum/202205/19/153058srv7gevrdhrr9vmt.jpg
红色狂想 发表于 2023-4-9 13:01
那不结了，HP服务器主板电路设计存在RMRRs限制，所以板载RAID卡才无法直通，想必就是这个原因导致不支持I ...
我折腾了一下，vmx加了个配置， IOMMU可以启用， 但还是没有上面向客户操作系统公开的选项
红色狂想 发表于 2023-4-7 20:57
刚才添加新注册虚拟机向导试了一下，怎么我的没有这个IOMMU选项，是新建之初就有还是新建好启动后才会有 ...
检查你VM的hardware version，如果版本太低这个选项可能不会出现。另外如果只是直通PCIe给VM，不必启动这个选项，他的目的是为了你虚拟机里面再嵌套虚拟机，然后再直通用的，或者是特殊场景，比如dpdk
ganboing 发表于 2023-4-13 18:43
检查你VM的hardware version，如果版本太低这个选项可能不会出现。另外如果只是直通PCIe给VM，不必启动这 ...
怎样检查VM的hardware version，这个选项在编辑虚拟机的哪个地方？你说的DPDK是Data Plane Development Kit吗，DPDK介绍
如果不玩儿虚拟机嵌套，启用这个功能对万兆网卡数据交换和PCIe NVMe SSD性能也毫无提升吗？
Dreamwalker 发表于 2023-4-10 00:13
我折腾了一下，vmx加了个配置， IOMMU可以启用， 但还是没有上面向客户操作系统公开的选项 ...
你折腾这个IOMMU想提升哪方面的性能，怎样给vmx加配置，有教程吗？
红色狂想 发表于 2023-4-13 21:03
你折腾这个IOMMU想提升哪方面的性能，怎样给vmx加配置，有教程吗？
这个IOMMU开放给Guest可以用来装kvm或者docker之类的吧
配置加个这个 vvtd.enable = "TRUE"
红色狂想 发表于 2023-4-13 20:59
怎样检查VM的hardware version，这个选项在编辑虚拟机的哪个地方？你说的DPDK是Data Plane Development K ...
vIOMMU开的话性能不下降就已经很不错了，性能上不会有任何提升。如果确实要追求极致性能的话，用7.0U2或以上，然后延迟敏感度选择"高"
声色茶马 发表于 2023-3-31 10:41
噗。大佬都是这么顽皮的么？LZ这个肯定有点儿啥问题吧，脸背不了这锅啊。
我建议先试试在ESXi下iperf打 ...
还是之前的软硬件环境，又用iperf3跑了几圈测试，发现多线程可以达到8.93 Gbits/sec，基本合格了，但单线程只能达到5.91 Gbits/sec，这种情况是因为网卡或交换机未开启Jumbo Frame巨型帧吗？据说开巨型帧并不是万能的，有些应用场景反而会造成劣势
[睡觉]
Dreamwalker 发表于 2023-3-31 10:13
没关系， 但你这差这么多，只能说脸不好了
最近又用iperf3跑了几圈测试，只不过这次尝试了一下多线程，速度终于上去了，ESXi环境下直通网卡和VMXNET 3都能达到8.93 Gbits/sec，详见52#楼的回帖……
[偷笑]
wun_008 发表于 2023-4-2 09:29
两个万兆一个光一个电
万兆能跑到900 MB/s不是已经很正常了吗？如你以上描述，900 MB/s就相当于9 Gbits/sec啊[睡觉]
ganboing 发表于 2023-4-14 13:49
vIOMMU开的话性能不下降就已经很不错了，性能上不会有任何提升。如果确实要追求极致性能的话，用7.0U2或 ...
我就不追求极致性能了，稳定最重要[傻笑]
红色狂想 发表于 2023-6-14 22:44
还是之前的软硬件环境，又用iperf3跑了几圈测试，发现多线程可以达到8.93 Gbits/sec，基本合格了，但单线 ...
我自己之前测试，ESXi 7.0和win11打流，单线程只能1G，我也不知道为啥。10线程能拉满10G，双机对拷速度也能超过500MB，算球不折腾了，凑合用着吧。
折腾网络的玩意儿真是心力交瘁，比折腾单机DIY幺蛾子多十倍不止。
声色茶马 发表于 2023-6-15 08:53
我自己之前测试，ESXi 7.0和win11打流，单线程只能1G，我也不知道为啥。10线程能拉满10G，双机对拷速度也 ...
你是四川的吗？我们这儿叫去球，不折腾了。。。Windows资源管理器拷文件应该也是基于多线程的[傻笑]
红色狂想 发表于 2023-6-15 13:18
你是四川的吗？我们这儿叫去球，不折腾了。。。Windows资源管理器拷文件应该也是基于多线程的 ...
非川娃，算球好像是跟个山东兄弟学的。[恶魔]
很多网络应用都能多线程，所以说单线上不去就上不去吧。以后不定啥时候折腾啥，突然问题就结解决了。
红色狂想 发表于 2023-6-14 22:54
最近又用iperf3跑了几圈测试，只不过这次尝试了一下多线程，速度终于上去了，ESXi环境下直通网卡和VMXNET ...
恭喜，这把终于圆满了， 不过我总觉得这东西跟CPU主频还有点关系 [偷笑]9到10 就差一步
Dreamwalker 发表于 2023-6-20 00:42
恭喜，这把终于圆满了， 不过我总觉得这东西跟CPU主频还有点关系 9到10 就差一步 ...
10就反而不正常了，不可能达到理论值的，还有链路层开销，9才是合理值，况且我这是直通网卡给虚拟机测的，分配的CPU数量也才16核[偷笑]