找回密码
 加入我们
搜索
      

关于 ESXi 网卡直通VM无法添加 PCI 设备和打开电源失败的问题

查看数: 37422 | 评论数: 62 | 收藏 5
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2023-3-19 15:59

正文摘要:

我的服务器是HP DL360 Gen9,安装部署的HPE-ESXi-6.7.0-Update3-19195723-iso-Gen9plus-670.U3.10.9.0.8 (Hewlett Packard Enterprise) 创建了一个Windows 10 Pro for Workstation虚拟机,使用正常,后来想把Flexib ...

回复

声色茶马 发表于 2023-8-25 15:49
本帖最后由 声色茶马 于 2023-8-25 15:50 编辑
红色狂想 发表于 2023-8-25 15:18
昨天看了这篇文章,然后我马上用官网的iperf2又打流测了一遍,从win虚拟机里的VMXNET 3网卡到外部HP物理 ...


果然是人生何处不掉坑,活到老掉到老啊。谁能想连iperf打流都还有坑!得,又get了新技能。
红色狂想 发表于 2023-8-25 15:29
Dreamwalker 发表于 2023-6-20 00:42
恭喜,这把终于圆满了, 不过我总觉得这东西跟CPU主频还有点关系   9到10 就差一步 ...

昨天看到一篇文章,说iperf3在win系统下有问题,然后我马上用官网的iperf2又打流测了一遍,这次单线程和多线程表现都正常了,详见61#楼的帖子……
红色狂想 发表于 2023-6-23 13:12
Dreamwalker 发表于 2023-6-20 00:42
恭喜,这把终于圆满了, 不过我总觉得这东西跟CPU主频还有点关系   9到10 就差一步 ...

10就反而不正常了,不可能达到理论值的,还有链路层开销,9才是合理值,况且我这是直通网卡给虚拟机测的,分配的CPU数量也才16核
Dreamwalker 发表于 2023-6-20 00:42
红色狂想 发表于 2023-6-14 22:54
最近又用iperf3跑了几圈测试,只不过这次尝试了一下多线程,速度终于上去了,ESXi环境下直通网卡和VMXNET ...

恭喜,这把终于圆满了, 不过我总觉得这东西跟CPU主频还有点关系   9到10 就差一步
声色茶马 发表于 2023-6-15 13:32
红色狂想 发表于 2023-6-15 13:18
你是四川的吗?我们这儿叫去球,不折腾了。。。Windows资源管理器拷文件应该也是基于多线程的 ...

非川娃,算球好像是跟个山东兄弟学的。

很多网络应用都能多线程,所以说单线上不去就上不去吧。以后不定啥时候折腾啥,突然问题就结解决了。
红色狂想 发表于 2023-6-15 13:18
声色茶马 发表于 2023-6-15 08:53
我自己之前测试,ESXi 7.0和win11打流,单线程只能1G,我也不知道为啥。10线程能拉满10G,双机对拷速度也 ...

你是四川的吗?我们这儿叫去球,不折腾了。。。Windows资源管理器拷文件应该也是基于多线程的
声色茶马 发表于 2023-6-15 08:53
红色狂想 发表于 2023-6-14 22:44
还是之前的软硬件环境,又用iperf3跑了几圈测试,发现多线程可以达到8.93 Gbits/sec,基本合格了,但单线 ...


我自己之前测试,ESXi 7.0和win11打流,单线程只能1G,我也不知道为啥。10线程能拉满10G,双机对拷速度也能超过500MB,算球不折腾了,凑合用着吧。

折腾网络的玩意儿真是心力交瘁,比折腾单机DIY幺蛾子多十倍不止。
红色狂想 发表于 2023-6-14 23:09
ganboing 发表于 2023-4-14 13:49
vIOMMU开的话性能不下降就已经很不错了,性能上不会有任何提升。如果确实要追求极致性能的话,用7.0U2或 ...

我就不追求极致性能了,稳定最重要
红色狂想 发表于 2023-6-14 23:01
wun_008 发表于 2023-4-2 09:29
两个万兆一个光一个电

万兆能跑到900 MB/s不是已经很正常了吗?如你以上描述,900 MB/s就相当于9 Gbits/sec啊
红色狂想 发表于 2023-6-14 22:54
Dreamwalker 发表于 2023-3-31 10:13
没关系, 但你这差这么多,只能说脸不好了

最近又用iperf3跑了几圈测试,只不过这次尝试了一下多线程,速度终于上去了,ESXi环境下直通网卡和VMXNET 3都能达到8.93 Gbits/sec,详见52#楼的回帖……
ganboing 发表于 2023-4-14 13:49
红色狂想 发表于 2023-4-13 20:59
怎样检查VM的hardware version,这个选项在编辑虚拟机的哪个地方?你说的DPDK是Data Plane Development K ...

vIOMMU开的话性能不下降就已经很不错了,性能上不会有任何提升。如果确实要追求极致性能的话,用7.0U2或以上,然后延迟敏感度选择"高"
Dreamwalker 发表于 2023-4-14 11:37
红色狂想 发表于 2023-4-13 21:03
你折腾这个IOMMU想提升哪方面的性能,怎样给vmx加配置,有教程吗?

这个IOMMU开放给Guest可以用来装kvm或者docker之类的吧

配置加个这个 vvtd.enable = "TRUE"
红色狂想 发表于 2023-4-13 21:03
Dreamwalker 发表于 2023-4-10 00:13
我折腾了一下,vmx加了个配置, IOMMU可以启用, 但还是没有上面向客户操作系统公开的选项 ...

你折腾这个IOMMU想提升哪方面的性能,怎样给vmx加配置,有教程吗?
红色狂想 发表于 2023-4-13 20:59
ganboing 发表于 2023-4-13 18:43
检查你VM的hardware version,如果版本太低这个选项可能不会出现。另外如果只是直通PCIe给VM,不必启动这 ...

怎样检查VM的hardware version,这个选项在编辑虚拟机的哪个地方?你说的DPDK是Data Plane Development Kit吗,DPDK介绍
如果不玩儿虚拟机嵌套,启用这个功能对万兆网卡数据交换和PCIe NVMe SSD性能也毫无提升吗?
ganboing 发表于 2023-4-13 18:43
红色狂想 发表于 2023-4-7 20:57
刚才添加新注册虚拟机向导试了一下,怎么我的没有这个IOMMU选项,是新建之初就有还是新建好启动后才会有 ...

检查你VM的hardware version,如果版本太低这个选项可能不会出现。另外如果只是直通PCIe给VM,不必启动这个选项,他的目的是为了你虚拟机里面再嵌套虚拟机,然后再直通用的,或者是特殊场景,比如dpdk
Dreamwalker 发表于 2023-4-10 00:13
红色狂想 发表于 2023-4-9 13:01
那不结了,HP服务器主板电路设计存在RMRRs限制,所以板载RAID卡才无法直通,想必就是这个原因导致不支持I ...

我折腾了一下,vmx加了个配置, IOMMU可以启用, 但还是没有上面向客户操作系统公开的选项
红色狂想 发表于 2023-4-9 13:01
Dreamwalker 发表于 2023-4-8 15:19
另一台是超微的板子, 自己攒的

那不结了,HP服务器主板电路设计存在RMRRs限制,所以板载RAID卡才无法直通,想必就是这个原因导致不支持IOMMU的吧

Dreamwalker 发表于 2023-4-8 15:19
红色狂想 发表于 2023-4-8 14:06
另外一台ESXi Server是什么型号,也是DL360 G9吗?

另一台是超微的板子, 自己攒的
红色狂想 发表于 2023-4-8 14:06
Dreamwalker 发表于 2023-4-8 00:16
我的G9也没有这个,但另外一台ESXi server就有这个选项,主板不一样,都是6.7u3, 折腾 一下午都没找到原 ...

另外一台ESXi Server是什么型号,也是DL360 G9吗?
Dreamwalker 发表于 2023-4-8 00:16
红色狂想 发表于 2023-4-7 20:57
刚才添加新注册虚拟机向导试了一下,怎么我的没有这个IOMMU选项,是新建之初就有还是新建好启动后才会有 ...

我的G9也没有这个,但另外一台ESXi server就有这个选项,主板不一样,都是6.7u3, 折腾 一下午都没找到原因
红色狂想 发表于 2023-4-7 22:58
huantty 发表于 2023-4-7 21:56
我那个就是flr,用了转接卡,插普通主板最后一个pci插槽,最高可以跑四五百M,也就是4G,后面觉得不对, ...

嗯,35#楼那位@Dreamwalker 和我是同一款机器,他的FlexibleLOM口上插的是万兆电口,速度大概能跑到10Gb带宽的80%,所以应该能排除不是插槽的问题
huantty 发表于 2023-4-7 21:56
红色狂想 发表于 2023-4-7 21:10
我那个是FLR网卡,与普通的标准PCIe接口不同,是HP机架式服务器独有的FlexibleLOM接口,不可能是x1吧,至 ...

我那个就是flr,用了转接卡,插普通主板最后一个pci插槽,最高可以跑四五百M,也就是4G,后面觉得不对,看主板说明书,最后那个插槽默认是x1,2.0的X1理论上是5G
zh21688 发表于 2023-4-7 21:02
红色狂想 发表于 2023-4-7 20:57
刚才添加新注册虚拟机向导试了一下,怎么我的没有这个IOMMU选项,是新建之初就有还是新建好启动后才会有 ...

https://space.bilibili.com/3057241 B站有讲解,可以去了解一下!
huantty 发表于 2023-4-7 16:18
红色狂想 发表于 2023-3-29 13:36
你不是全万兆网卡吗,有没有用iperf测试过在ESXi下带宽速度是否正常?

我机器上那个HP FlexFabri ...


网卡插的pci口是不是默认x1模式的,我之前就是这样,后面换个口就好了,能跑9G多
Dreamwalker 发表于 2023-4-7 15:01
楼主 你的机子上有这个选项嘛?
IOMMU.png

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-11-6 06:56 , Processed in 0.013492 second(s), 9 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表