关于 ESXi 网卡直通VM无法添加 PCI 设备和打开电源失败的问题

红色狂想

我的服务器是HP DL360 Gen9，安装部署的HPE-ESXi-6.7.0-Update3-19195723-iso-Gen9plus-670.U3.10.9.0.8 (Hewlett Packard Enterprise)

创建了一个Windows 10 Pro for Workstation虚拟机，使用正常，后来想把FlexibleLOM万兆光纤网卡HP FlexFabric 10Gb 2-port 534FLR-SFP+ Adapter其中一个端口直通给这个Windows 10虚拟机，但是编辑虚拟机 - 添加PCI直通设备 - 保存时提示失败 - 启用了嵌套硬件辅助的虚拟化时，无法添加 PCI 直通设备。

百度谷歌了一下，貌似说虚拟机配置中必须取消“向客户机操作系统公开硬件辅助的虚拟化”和“启用基于虚拟化的安全性”这两项才能添加PCI直通设备。于是我取消了这两项设置，然后成功添加了PCI直通设备，但是在打开虚拟机电源时却提示失败 - 模块“DevicePowerOn”打开电源失败。

Power On VM
键
haTask-1-vim.VirtualMachine.powerOn-115

描述
打开该虚拟机电源

虚拟机
Windows 10 Pro for Workstation
状况
失败 - 模块“DevicePowerOn”打开电源失败。

错误
模块“DevicePowerOn”打开电源失败。
由于硬件或软件支持不可用，因此无法为 4:0.0 注册设备 pciPassthru0。
无法启动虚拟机。

DirectPath I/O 直通怎么这么多事儿啊，有朋友遇到过这个问题吗，怎么解决？

哆啦咪

设置内存独占了吗？

红色狂想

哆啦咪 发表于 2023-3-19 17:09
设置内存独占了吗？

设置了，预留内存全部锁定，详见下图：

superliurui

cpu设置那里把硬件虚拟化取消

Dreamwalker

硬件虚拟化和VBS都去掉

红色狂想

Dreamwalker 发表于 2023-3-20 09:42
硬件虚拟化和VBS都去掉

嗯，昨晚新建了一个虚拟机排查出来原因了，就是这个“启用 Windows 基于虚拟化的安全性”限制了硬件直通功能，如果在新建虚拟机时勾选了此选项，一旦虚拟机系统安装完成，即便是再次编辑虚拟机设置，取消该选项和“向客户机操作系统公开硬件辅助的虚拟化”也无法添加 PCI 直通设备。。。看来在未深入了解这些选项的作用之前，保持默认设置不去动它就能做到最大化兼容性

红色狂想

superliurui 发表于 2023-3-20 01:18
cpu设置那里把硬件虚拟化取消

我试过了，一旦虚拟机系统安装完成，即便是再次编辑虚拟机设置，取消勾选CPU选项里的“向客户机操作系统公开硬件辅助的虚拟化”，也无法添加 PCI 直通设备，必须是在最初新建虚拟机时就不要勾选“启用 Windows 基于虚拟化的安全性”这个功能

Dreamwalker

红色狂想 发表于 2023-3-20 21:21
嗯，昨晚新建了一个虚拟机排查出来原因了，就是这个“启用 Windows 基于虚拟化的安全性”限制了硬件直通 ...

选了这个会影响Guest OS的安装配置， 再编辑虚拟机配置就会出问题

红色狂想

Dreamwalker 发表于 2023-3-20 23:15
选了这个会影响Guest OS的安装配置， 再编辑虚拟机配置就会出问题

嗯，现在万兆网卡HP FlexFabric 10Gb 2-port 534FLR-SFP+ Adapter直通给Windows Server 2019了，顺利装上了HPE官方驱动。另外再请教一下，HPE-ESXi-6.7.0-Update3-19195723-iso-Gen9plus-670.U3.10.9.0.8安装部署哪个版本的OpenWrt和DSM黑群晖系统最好呀？

Dreamwalker

红色狂想 发表于 2023-3-21 16:30
嗯，现在万兆网卡HP FlexFabric 10Gb 2-port 534FLR-SFP+ Adapter直通给Windows Server 2019了，顺利装上 ...

黑裙我没有装太新的版本， 就DSM 6.2.3-25426 够用了   VMXnet3能驱动起来
openWRT我没用，有RouterOS就够使了，  你可以挑战下

红色狂想

Dreamwalker 发表于 2023-3-21 17:03
黑裙我没有装太新的版本， 就DSM 6.2.3-25426 够用了   VMXnet3能驱动起来
openWRT我没用，有RouterOS就 ...

你不是全万兆网卡吗，有没有用iperf测试过在ESXi下带宽速度是否正常？

我机器上那个HP FlexFabric 10Gb 2-port 534FLR-SFP+ Adapter光纤网卡，其中一个端口直通给了Windows Server 2019虚拟机，另一个创建了ESXi标准交换机，Windows 10 Enterprise 2016 LTSB虚拟机通过VMXNET 3网络适配器接在上面，物理光纤网卡534FLR-SFP+通过跳线直连对端的另一台HP服务器

在Windows Server 2019虚拟机环境下用iperf跑带宽测试，速度只能达到3.65 Gbits/sec，详见下图：



在Windows 10 Enterprise 2016 LTSB虚拟机环境下，通过内建的VMXNET 3网络适配器跑出来的速度却只有2.57 Gbits/sec，貌似这都不及格吧，正常不是应该9.57 Gbits/sec吗？

Dreamwalker

红色狂想 发表于 2023-3-29 13:36
你不是全万兆网卡吗，有没有用iperf测试过在ESXi下带宽速度是否正常？

我机器上那个HP FlexFabri ...

9.57 Gbits/sec 那是裸机，  虚机套一层能有80%就不错了，  要不你再测下SR-IOV

红色狂想

Dreamwalker 发表于 2023-3-30 12:39
9.57 Gbits/sec 那是裸机，  虚机套一层能有80%就不错了，  要不你再测下SR-IOV ...

要是有80%的性能也好了，可这测出的成绩才30%啊，DirectPath I/O功能对于虚拟机来说不是已经透明了吗，既然地址映射都穿透了，交换数据还要再套一层？

lwb0428

巧了，今天我刚遇到

Dreamwalker

红色狂想 发表于 2023-3-30 13:13
要是有80%的性能也好了，可这测出的成绩才30%啊，DirectPath I/O功能对于虚拟机来说不是已经透明了吗，既 ...

VMXNET 3这头没穿透呀

红色狂想

Dreamwalker 发表于 2023-3-30 19:20
VMXNET 3这头没穿透呀

已经直通给虚拟机系统的物理网卡还和VMXNET 3存在关系吗？

Dreamwalker

红色狂想 发表于 2023-3-30 21:14
已经直通给虚拟机系统的物理网卡还和VMXNET 3存在关系吗？

没关系， 但你这差这么多，只能说脸不好了

声色茶马

Dreamwalker 发表于 2023-3-31 10:13
没关系， 但你这差这么多，只能说脸不好了

噗。大佬都是这么顽皮的么？LZ这个肯定有点儿啥问题吧，脸背不了这锅啊。

我建议先试试在ESXi下iperf打流，看能不能跑满。ESXi是可以Putty上去装个iperf的。跑的时候单线程，多线程打流都试试，顺便再看看CPU占用率。

确定了ESXi没问题，再研究虚拟机这段。windows开巨帧，ESXi的虚拟交换机还有些设置我忘了具体是啥得打开。

折腾网络是一件非常熬人的事情。组件太多，哪个地方有点儿龌龊，最后就一地鸡毛。然后就是照死里折腾。

红色狂想

Dreamwalker 发表于 2023-3-31 10:13
没关系， 但你这差这么多，只能说脸不好了

所以才感觉不正常，发帖问问看有没有和我一样脸不好的，我们是同款机器，也都是部署的HPE定制版ESXi 6.7，只是插的PCI设备型号和跑的Guest OS不同，难道是驱动程序兼容性问题？

伊万科涅夫

esxi6.7已经eol了 早就用上esxi8惹

conzz

所以楼主 后来把虚拟机CPU选项里的硬件虚拟化关了么，我记好像直通和硬件虚拟化冲突的

Dreamwalker

红色狂想 发表于 2023-3-31 13:13
所以才感觉不正常，发帖问问看有没有和我一样脸不好的，我们是同款机器，也都是部署的HPE定制版ESXi 6.7 ...

是同款机，但你是光口我是电口， 之前测过一下多网卡桥接的速度，6-7还是有的

Dreamwalker

声色茶马 发表于 2023-3-31 10:41
噗。大佬都是这么顽皮的么？LZ这个肯定有点儿啥问题吧，脸背不了这锅啊。

我建议先试试在ESXi下iperf打 ...

你该早点来的， 这楼就交给你了， 楼主已经折腾几个月了

红色狂想

Dreamwalker 发表于 2023-3-31 16:14
是同款机，但你是光口我是电口， 之前测过一下多网卡桥接的速度，6-7还是有的 ...

看来电口万兆兼容性好伺候，可惜会导致机器对应的风扇墙起飞，不知这算不算正常

红色狂想

conzz 发表于 2023-3-31 14:26
所以楼主 后来把虚拟机CPU选项里的硬件虚拟化关了么，我记好像直通和硬件虚拟化冲突的 ...

关了也不行，正如我以上7#楼所述的那样，

一旦Guest OS安装完成，即使再次编辑虚拟机设置，取消勾选CPU选项里的“向客户机操作系统公开硬件辅助的虚拟化”也无法添加 PCI 直通设备，必须在最初新建虚拟机时就不要勾选“启用 Windows 基于虚拟化的安全性”这个功能

红色狂想

伊万科涅夫 发表于 2023-3-31 14:17
esxi6.7已经eol了 早就用上esxi8惹

HPE定制版ESXi还是不要用太新的版本吧，毕竟是老机器，驱动可能会存在兼容性问题，6.7版最稳定

Dreamwalker

红色狂想 发表于 2023-3-31 21:04
看来电口万兆兼容性好伺候，可惜会导致机器对应的风扇墙起飞，不知这算不算正常 ...

你忘记了，我已经拆了，哪有什么风扇墙

aiyaya2004

模块“DevicePowerOn”打开电源失败 这个故障我也遇到过，不过我的是ESXI8.0下，直通的是显卡。
我有块TESLA P40，想直通给WIN11跑AI绘图的，结果直通后就出现这个故障。
后来查到这个设置，然后就OK了：
在数据存储浏览器里，下载此虚拟机的VMX文件到本地，txt打开
找到 "pciPassthru" 开头的配置，在这些配置的末尾续两行：
pciPassthru.use64bitMMIO="TRUE"
pciPassthru.64bitMMIOSizeGB="64"
保存后上传回ESXI再开机就OK了。

楼主的硬件和我的不一样，仅供参考。

wun_008

我也是esxi 6. 7 我也是万兆直通给爱快软路由，我的虚拟机用上vnet3， winserver 也是显示10g 但是我从来没有突破千兆过最高900m 不知道是哪里设置的问题

红色狂想

aiyaya2004 发表于 2023-4-1 08:13
模块“DevicePowerOn”打开电源失败 这个故障我也遇到过，不过我的是ESXI8.0下，直通的是显卡。
我有块TESL ...

在Linux环境下运行AI绘图是不是比Windows环境下效率会更高一些呀