ESXi网卡SR-IOV设置问题

睛天雨

如题，BIOS里SR-IOV打开了，IOMMU也打开了。可以设置直通，但是SR-IOV设置之后一直显示需要重启引动，ACSCheck也设置成true了。重新引导后还是显示需要重启引导，求指教~

老饭

家用主板开不起来sriov的情况很常见

睛天雨

老饭 发表于 2024-2-25 01:24
家用主板开不起来sriov的情况很常见

并不是家用主板，永擎的服务器主板，CPU AMD EPYC 7R12  主板ROMED6U-2L2T

老饭

睛天雨 发表于 2024-2-25 01:34
并不是家用主板，永擎的服务器主板，CPU AMD EPYC 7R12  主板ROMED6U-2L2T

intel的网卡是不是也有sriov设置需要开

https://www.chiphell.com/forum.p ... e%3D1&mobile=no

睛天雨

老饭 发表于 2024-2-25 01:36
intel的网卡是不是也有sriov设置需要开

https://www.chiphell.com/forum.php?mod=viewthread&tid=248352 ...

BIOS里开过了，看了链接里说的，我感觉前面一般一样，但后续他ACSCheck设置成true就成功了，我这个设置成TRUE 也还是不行，难道是我ESXI 8.0的过

网仙

我之前也有遇到，解决：
1，X710升级固件。
2，ESXI安装新的X710官方驱动。

dzddz

我也遇到跟你一样的情况，升级固件跟驱动都没有解决

summerq

睛天雨 发表于 2024-2-25 01:34
并不是家用主板，永擎的服务器主板，CPU AMD EPYC 7R12  主板ROMED6U-2L2T

ROMED6U-2L2T我没有，不过我有个asrockrack的E3C256D4I-2T，过会我装个ESIX试试sriov，告诉你结果。PVE8是可以拆iommu group的

BONBONBON

华擎z370ex4没有sriov设置能不能开全靠运气不过我也直接开成功了，你的服务器主板只要设置对肯定能开的吧

nn1122

你这是esxi6.7u3吧，换7.0u3或者8.0试一下

睛天雨

nn1122 发表于 2024-2-25 22:26
你这是esxi6.7u3吧，换7.0u3或者8.0试一下

ESXI用的8.0U2最新的

睛天雨

summerq 发表于 2024-2-25 21:54
ROMED6U-2L2T我没有，不过我有个asrockrack的E3C256D4I-2T，过会我装个ESIX试试sriov，告诉你结果。PVE8 ...

意思PVE可以用SR IOV?

summerq

睛天雨 发表于 2024-2-25 22:29
意思PVE可以用SR IOV?

PVE是可以的，因为内核已经打了iommu分组的补丁。ESXI我正在试，我记得是不行的。

睛天雨

summerq 发表于 2024-2-25 22:37
PVE是可以的，因为内核已经打了iommu分组的补丁。ESXI我正在试，我记得是不行的。
...

凑 换PVE好麻烦。英特尔的平台是不是行，不行整个三代志强玩玩

Retdin

换个插槽试试，不是每个插槽都支持的。

summerq

目前看起来，8.0u2开sr-iov没问题。也不需要重启，也不需要设置acs。直接就开起来了。
我想是不是你的bios没升级？我的主板是我问售后要了两个升级文件，一个是bios，一个是bcm

summerq

Retdin 发表于 2024-2-25 22:46
换个插槽试试，不是每个插槽都支持的。

他是用板载的x710，换什么插槽？

Retdin

summerq 发表于 2024-2-25 22:48
他是用板载的x710，换什么插槽？

估计还有种可能，bios设置里网卡没有开。

我弄了块x550也废了好大劲才开出SR-IOV

summerq

对了 还有个可能性，就是管理口是不能开sriov的。你可以换个网口试试。另外，千万千万不要用intel的nvm去升级板载网卡。asrockrack的主板固件是不一样的。一旦升级了，就要刷回来，中间要降级，要改固件，十分麻烦。
如果你需要一个网口既作为管理口，又需要在它上面开sr-iov直通，另一个网口作为WAN口的话，那么只有PVE能做到。
PVE可以开sriov之后，把PF加入网桥，作为管理口，vf可以直通给虚拟机。同时这个网桥上还可以增加virtio半虚化网卡给没有vf驱动的虚拟机。
其次pve开出来的vf，可以带vlan标签，这样直通之后，对于instance来说不需要再次设置vlan，从而提高性能。这一点esxi也做不到。
最后，esxi开启hugepage之后，可以传递给虚拟机，分配连续内存空间从而提高性能。这一点esxi也做不到。

睛天雨

summerq 发表于 2024-2-25 23:11
对了 还有个可能性，就是管理口是不能开sriov的。你可以换个网口试试。另外，千万千万不要用intel的nvm去升 ...

我有两个千兆两个万兆（710），千兆的是ESXI的管理口，现在开的都是710的SR IOV 我看下更新下BIOS吧，我记得我已经更新到最新了。
千万千万不要用intel的nvm去升级板载网卡。 这句话什么意思，没看懂。最后多谢费心还装一边ESXI

summerq

睛天雨 发表于 2024-2-25 23:59
我有两个千兆两个万兆（710）我现在开的都是710的SR IOV 我看下更新下BIOS吧，我记得我已经更新到最新了 ...

不客气哈
安装系统很快的，但是你懂的，这主板重启一次很慢。。。

关于刷固件，是这么回事。
我曾经手贱，把板载的网卡固件升级了。然后直接报废两个网卡，认不出来了。但是intel升级程序在我升级的时候，却没有任何问题，提示有升级。
之后噩梦就开始了，各种爬论坛，最后在一个海外论坛里找到了其他asrockrack主板上自带的网卡固件，然后又刷不进去，发现是设备id不匹配，然后又改了升级包里的id，又发现无法降级版本。于是又找到intel老的固件先降级，再把asrock的固件刷进去，终于抢救成功了。
当时我之所以要升级，就是因为x550好像有个小bug，结果耗费了好几天时间才刷回来。
我能跟你说这块有坑，是因为我曾经掉进去过。。。。。。

具体情况就跟这个老外遇见的一模一样，看了帖子你就知道有多惨烈。最终这个人没搞定，但是我搞定了，最终刷回去了。
https://forums.servethehome.com/ ... d8-2t-failed.31432/

nn1122

summerq 发表于 2024-2-26 00:08
不客气哈
安装系统很快的，但是你懂的，这主板重启一次很慢。。。

intel网卡，都是eeupdate.exe或者efi界面去折腾，包括备份固件，我想你没有去用

summerq

nn1122 发表于 2024-2-26 13:33
intel网卡，都是eeupdate.exe或者efi界面去折腾，包括备份固件，我想你没有去用 ...

这个板载网卡在efi或者bios中都不能配置，跟外置的不一样。它只能查看参数。它的eeprom也跟标准的不同，至少在3.15版之后就不一样了，所以也不能升级，我也不会去改eeprom。asrock的官方回复是说，这个板载网卡因为跟intel有nda，所以不能提供单独的firmware。总之灵活性肯定不如外置的，只不过仅仅是能用罢了

nn1122

summerq 发表于 2024-2-26 14:40
这个板载网卡在efi或者bios中都不能配置，跟外置的不一样。它只能查看参数。它的eeprom也跟标准的不同， ...

用最新的eeupdate64.efi在efi shell里面试一下，我在板载的x520和x540上用没问题，可以备份EEPROM

WangP

BIOS中设置“PCIe ARI Support”为“Enabled”

imyz

我 ASRock 的 B550D4ID-2L2T，网卡和楼主的是一样的，X710-AT2 + I220，在 ESXi 8.0U2 下可以正常开启 SR-IOV，之前还为此发过帖子，楼主可以参考下：

https://www.chiphell.com/thread-2483521-1-1.html

我这块主板涉及到虚拟化的共有三处设置，请务必设置为 Enabled：

1. CPU->SVM Mode
2. Chipset->SR-IOV
3. NBIO->IOMMU

睛天雨

imyz 发表于 2024-2-26 21:05
我 ASRock 的 B550D4ID-2L2T，网卡和楼主的是一样的，X710-AT2 + I220，在 ESXi 8.0U2 下可以正常开启 SR-I ...

之前，百度的时候就是看了你这个，三个选项都打开了，还是不行。今天解决了，25楼朋友说的这个打开就好了，BIOS中设置“PCIe ARI Support”为“Enabled”

睛天雨

WangP 发表于 2024-2-26 19:37
BIOS中设置“PCIe ARI Support”为“Enabled”

多谢，按您说的打开这个好了