关于 ESXi 网卡直通VM无法添加 PCI 设备和打开电源失败的问题
我的服务器是HP DL360 Gen9，安装部署的HPE-ESXi-6.7.0-Update3-19195723-iso-Gen9plus-670.U3.10.9.0.8 (Hewlett Packard Enterprise)创建了一个Windows 10 Pro for Workstation虚拟机，使用正常，后来想把FlexibleLOM万兆光纤网卡HP FlexFabric 10Gb 2-port 534FLR-SFP+ Adapter其中一个端口直通给这个Windows 10虚拟机，但是编辑虚拟机 - 添加PCI直通设备 - 保存时提示失败 - 启用了嵌套硬件辅助的虚拟化时，无法添加 PCI 直通设备。
百度谷歌了一下，貌似说虚拟机配置中必须取消“向客户机操作系统公开硬件辅助的虚拟化”和“启用基于虚拟化的安全性”这两项才能添加PCI直通设备。于是我取消了这两项设置，然后成功添加了PCI直通设备，但是在打开虚拟机电源时却提示失败 - 模块“DevicePowerOn”打开电源失败。
Power On VM
键
haTask-1-vim.VirtualMachine.powerOn-115
描述
打开该虚拟机电源
虚拟机
Windows 10 Pro for Workstation
状况
失败 - 模块“DevicePowerOn”打开电源失败。
错误
模块“DevicePowerOn”打开电源失败。
由于硬件或软件支持不可用，因此无法为 4:0.0 注册设备 pciPassthru0。
无法启动虚拟机。
DirectPath I/O 直通怎么这么多事儿啊，有朋友遇到过这个问题吗，怎么解决？[生病]
设置内存独占了吗？ 哆啦咪 发表于 2023-3-19 17:09
设置内存独占了吗？
设置了，预留内存全部锁定，详见下图：[困惑]
cpu设置那里把硬件虚拟化取消 硬件虚拟化和VBS都去掉 Dreamwalker 发表于 2023-3-20 09:42
硬件虚拟化和VBS都去掉
嗯，昨晚新建了一个虚拟机排查出来原因了，就是这个“启用 Windows 基于虚拟化的安全性”限制了硬件直通功能，如果在新建虚拟机时勾选了此选项，一旦虚拟机系统安装完成，即便是再次编辑虚拟机设置，取消该选项和“向客户机操作系统公开硬件辅助的虚拟化”也无法添加 PCI 直通设备。。。看来在未深入了解这些选项的作用之前，保持默认设置不去动它就能做到最大化兼容性
[睡觉]
superliurui 发表于 2023-3-20 01:18
cpu设置那里把硬件虚拟化取消
我试过了，一旦虚拟机系统安装完成，即便是再次编辑虚拟机设置，取消勾选CPU选项里的“向客户机操作系统公开硬件辅助的虚拟化”，也无法添加 PCI 直通设备，必须是在最初新建虚拟机时就不要勾选“启用 Windows 基于虚拟化的安全性”这个功能
[睡觉] 红色狂想 发表于 2023-3-20 21:21
嗯，昨晚新建了一个虚拟机排查出来原因了，就是这个“启用 Windows 基于虚拟化的安全性”限制了硬件直通 ...
选了这个会影响Guest OS的安装配置， 再编辑虚拟机配置就会出问题 Dreamwalker 发表于 2023-3-20 23:15
选了这个会影响Guest OS的安装配置， 再编辑虚拟机配置就会出问题
嗯，现在万兆网卡HP FlexFabric 10Gb 2-port 534FLR-SFP+ Adapter直通给Windows Server 2019了，顺利装上了HPE官方驱动。另外再请教一下，HPE-ESXi-6.7.0-Update3-19195723-iso-Gen9plus-670.U3.10.9.0.8安装部署哪个版本的OpenWrt和DSM黑群晖系统最好呀？
[傻笑]
红色狂想 发表于 2023-3-21 16:30
嗯，现在万兆网卡HP FlexFabric 10Gb 2-port 534FLR-SFP+ Adapter直通给Windows Server 2019了，顺利装上 ...
黑裙我没有装太新的版本， 就DSM 6.2.3-25426 够用了 VMXnet3能驱动起来
openWRT我没用，有RouterOS就够使了，你可以挑战下[偷笑] Dreamwalker 发表于 2023-3-21 17:03
黑裙我没有装太新的版本， 就DSM 6.2.3-25426 够用了 VMXnet3能驱动起来
openWRT我没用，有RouterOS就 ...
你不是全万兆网卡吗，有没有用iperf测试过在ESXi下带宽速度是否正常？[傻笑]
我机器上那个HP FlexFabric 10Gb 2-port 534FLR-SFP+ Adapter光纤网卡，其中一个端口直通给了Windows Server 2019虚拟机，另一个创建了ESXi标准交换机，Windows 10 Enterprise 2016 LTSB虚拟机通过VMXNET 3网络适配器接在上面，物理光纤网卡534FLR-SFP+通过跳线直连对端的另一台HP服务器
在Windows Server 2019虚拟机环境下用iperf跑带宽测试，速度只能达到3.65 Gbits/sec，详见下图：
在Windows 10 Enterprise 2016 LTSB虚拟机环境下，通过内建的VMXNET 3网络适配器跑出来的速度却只有2.57 Gbits/sec，貌似这都不及格吧，正常不是应该9.57 Gbits/sec吗？
红色狂想 发表于 2023-3-29 13:36
你不是全万兆网卡吗，有没有用iperf测试过在ESXi下带宽速度是否正常？
我机器上那个HP FlexFabri ...
9.57 Gbits/sec 那是裸机，虚机套一层能有80%就不错了，要不你再测下SR-IOV[偷笑] Dreamwalker 发表于 2023-3-30 12:39
9.57 Gbits/sec 那是裸机，虚机套一层能有80%就不错了，要不你再测下SR-IOV ...
要是有80%的性能也好了，可这测出的成绩才30%啊，DirectPath I/O功能对于虚拟机来说不是已经透明了吗，既然地址映射都穿透了，交换数据还要再套一层？
[睡觉] 巧了，今天我刚遇到 红色狂想 发表于 2023-3-30 13:13
要是有80%的性能也好了，可这测出的成绩才30%啊，DirectPath I/O功能对于虚拟机来说不是已经透明了吗，既 ...
VMXNET 3这头没穿透呀 Dreamwalker 发表于 2023-3-30 19:20
VMXNET 3这头没穿透呀
已经直通给虚拟机系统的物理网卡还和VMXNET 3存在关系吗？ 红色狂想 发表于 2023-3-30 21:14
已经直通给虚拟机系统的物理网卡还和VMXNET 3存在关系吗？
没关系， 但你这差这么多，只能说脸不好了 本帖最后由 声色茶马 于 2023-3-31 10:48 编辑
Dreamwalker 发表于 2023-3-31 10:13
没关系， 但你这差这么多，只能说脸不好了
噗。大佬都是这么顽皮的么？LZ这个肯定有点儿啥问题吧，脸背不了这锅啊。
我建议先试试在ESXi下iperf打流，看能不能跑满。ESXi是可以Putty上去装个iperf的。跑的时候单线程，多线程打流都试试，顺便再看看CPU占用率。
确定了ESXi没问题，再研究虚拟机这段。windows开巨帧，ESXi的虚拟交换机还有些设置我忘了具体是啥得打开。
折腾网络是一件非常熬人的事情。组件太多，哪个地方有点儿龌龊，最后就一地鸡毛。然后就是照死里折腾。 Dreamwalker 发表于 2023-3-31 10:13
没关系， 但你这差这么多，只能说脸不好了
所以才感觉不正常，发帖问问看有没有和我一样脸不好的，我们是同款机器，也都是部署的HPE定制版ESXi 6.7，只是插的PCI设备型号和跑的Guest OS不同，难道是驱动程序兼容性问题？
[偷笑] esxi6.7已经eol了 早就用上esxi8惹 所以楼主 后来把虚拟机CPU选项里的硬件虚拟化关了么，我记好像直通和硬件虚拟化冲突的 红色狂想 发表于 2023-3-31 13:13
所以才感觉不正常，发帖问问看有没有和我一样脸不好的，我们是同款机器，也都是部署的HPE定制版ESXi 6.7 ...
是同款机，但你是光口我是电口， 之前测过一下多网卡桥接的速度，6-7还是有的[偷笑] 声色茶马 发表于 2023-3-31 10:41
噗。大佬都是这么顽皮的么？LZ这个肯定有点儿啥问题吧，脸背不了这锅啊。
我建议先试试在ESXi下iperf打 ...
你该早点来的， 这楼就交给你了， 楼主已经折腾几个月了 Dreamwalker 发表于 2023-3-31 16:14
是同款机，但你是光口我是电口， 之前测过一下多网卡桥接的速度，6-7还是有的 ...
看来电口万兆兼容性好伺候，可惜会导致机器对应的风扇墙起飞，不知这算不算正常[傻笑] conzz 发表于 2023-3-31 14:26
所以楼主 后来把虚拟机CPU选项里的硬件虚拟化关了么，我记好像直通和硬件虚拟化冲突的 ...
关了也不行，正如我以上7#楼所述的那样，一旦Guest OS安装完成，即使再次编辑虚拟机设置，取消勾选CPU选项里的“向客户机操作系统公开硬件辅助的虚拟化”也无法添加 PCI 直通设备，必须在最初新建虚拟机时就不要勾选“启用 Windows 基于虚拟化的安全性”这个功能 伊万科涅夫 发表于 2023-3-31 14:17
esxi6.7已经eol了 早就用上esxi8惹
HPE定制版ESXi还是不要用太新的版本吧，毕竟是老机器，驱动可能会存在兼容性问题，6.7版最稳定[睡觉] 红色狂想 发表于 2023-3-31 21:04
看来电口万兆兼容性好伺候，可惜会导致机器对应的风扇墙起飞，不知这算不算正常 ...
你忘记了，我已经拆了，哪有什么风扇墙[偷笑] 模块“DevicePowerOn”打开电源失败 这个故障我也遇到过，不过我的是ESXI8.0下，直通的是显卡。
我有块TESLA P40，想直通给WIN11跑AI绘图的，结果直通后就出现这个故障。
后来查到这个设置，然后就OK了：
在数据存储浏览器里，下载此虚拟机的VMX文件到本地，txt打开
找到 "pciPassthru" 开头的配置，在这些配置的末尾续两行：
pciPassthru.use64bitMMIO="TRUE"
pciPassthru.64bitMMIOSizeGB="64"
保存后上传回ESXI再开机就OK了。
楼主的硬件和我的不一样，仅供参考。 我也是esxi 6. 7 我也是万兆直通给爱快软路由，我的虚拟机用上vnet3， winserver 也是显示10g 但是我从来没有突破千兆过最高900m 不知道是哪里设置的问题 aiyaya2004 发表于 2023-4-1 08:13
模块“DevicePowerOn”打开电源失败 这个故障我也遇到过，不过我的是ESXI8.0下，直通的是显卡。
我有块TESL ...
在Linux环境下运行AI绘图是不是比Windows环境下效率会更高一些呀