x710-da2万兆网卡在pve下无法开启sriov功能

ktoc

在pve7下，x520直接插卡就可以开启sriov，x710居然无法开启sriov，输入命令lspci -v -s 0000:01:00.0，显示
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 02)
        Subsystem: Intel Corporation Ethernet 10G 2P X710 Adapter
        Flags: bus master, fast devsel, latency 0, IRQ 16, IOMMU group 11
        Memory at b1000000 (64-bit, prefetchable) [size=16M]
        Memory at b2008000 (64-bit, prefetchable) [size=32K]
        Expansion ROM at b4380000 [disabled] [size=512K]
        Capabilities: [40] Power Management version 3
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
        Capabilities: [70] MSI-X: Enable+ Count=129 Masked-
        Capabilities: [a0] Express Endpoint, MSI 00
        Capabilities: [e0] Vital Product Data
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [140] Device Serial Number f0-01-03-ff-ff-fe-xx-xx
        Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
        Capabilities: [1a0] Transaction Processing Hints
        Capabilities: [1b0] Access Control Services
        Capabilities: [1d0] Secondary PCI Express
        Kernel driver in use: i40e
        Kernel modules: i40e

summerq

你需要升级你的firmware
ethtool -i enp4s0f0np0
driver: i40e
version: 6.8.7
firmware-version: 9.40 0x8000ece5 1.3429.0
expansion-rom-version:
bus-info: 0000:04:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

x710 是支持sriov的，注意看capibilities 160：

04:00.0 Ethernet controller [0200]: Intel Corporation Ethernet Controller X710 for 10GBASE-T [8086:15ff] (rev 02)
        Subsystem: QNAP Systems, Inc. Ethernet Controller X710 for 10GBASE-T [1baa:0000]
        Flags: bus master, fast devsel, latency 0, IRQ 16, IOMMU group 13
        Memory at 6204000000 (64-bit, prefetchable) [size=16M]
        Memory at 6205808000 (64-bit, prefetchable) [size=32K]
        Expansion ROM at 81480000 [disabled] [size=512K]
        Capabilities: [40] Power Management version 3
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
        Capabilities: [70] MSI-X: Enable+ Count=129 Masked-
        Capabilities: [a0] Express Endpoint, MSI 00
        Capabilities: [e0] Vital Product Data
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [140] Device Serial Number 98-b0-64-ff-ff-be-5e-24
        Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
        Capabilities: [160] Single Root I/O Virtualization (SR-IOV)
        Capabilities: [1a0] Transaction Processing Hints
        Capabilities: [1b0] Access Control Services
        Capabilities: [1d0] Secondary PCI Express
        Kernel driver in use: i40e
        Kernel modules: i40e

ktoc

summerq 发表于 2024-4-19 10:56
你需要升级你的firmware
ethtool -i enp4s0f0np0
driver: i40e

请问是升级网卡固件，还是升级pve的驱动？

summerq

ktoc 发表于 2024-4-19 11:16
请问是升级网卡固件，还是升级pve的驱动？

网卡的固件

ktoc

summerq 发表于 2024-4-19 12:20
网卡的固件

请问有相关教程吗，谢谢。

xajh20058

ktoc 发表于 2024-4-19 12:42
请问有相关教程吗，谢谢。

如果是Intel的卡，就按照intel的教程来，https://www.intel.cn/content/www ... ernet-products.html
就怕你的是一些定制卡，intel的固件不一定兼容。
刷固件有风险，所以升级前，先备份好原来的固件。

ktoc

显示无法更新

summerq

ktoc 发表于 2024-4-19 14:59
显示无法更新

你这个固件太老了，可能不能一次升级到最新的9.4
你可以尝试先下载5.0 7.0 之类的，一步步的升级上去

ktoc

搞到16年的版本，再升上去都不行

shahiyuan

ktoc 发表于 2024-4-19 17:15
搞到16年的版本，再升上去都不行

发给我，我帮你搞，小问题。不管什么版本的x710都可以

pizza7711

ktoc 发表于 2024-4-19 17:15
搞到16年的版本，再升上去都不行

OEM 版本不能用官方固件升

pizza7711

summerq 发表于 2024-4-19 10:56
你需要升级你的firmware
ethtool -i enp4s0f0np0
driver: i40e

dell X550  升级到3.5版固件  pve 8.13下还是看不到SRIOV支持呢？
我记得X550是支持SRIOV的
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller X550 (rev 01)
        Subsystem: Intel Corporation Ethernet 10G 2P X550-t Adapter
        Flags: bus master, fast devsel, latency 0, IRQ 17, IOMMU group 25
        Memory at 60e0400000 (64-bit, prefetchable) [size=4M]
        Memory at 60e0804000 (64-bit, prefetchable) [size=16K]
        Expansion ROM at 82780000 [disabled] [size=512K]
        Capabilities: [40] Power Management version 3
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
        Capabilities: [70] MSI-X: Enable+ Count=64 Masked-
        Capabilities: [a0] Express Endpoint, MSI 00
        Capabilities: [e0] Vital Product Data
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [140] Device Serial Number 91-c6-49-ff-ff-50-00-00
        Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
        Capabilities: [1a0] Transaction Processing Hints
        Capabilities: [1b0] Access Control Services
        Capabilities: [1c0] Latency Tolerance Reporting
        Capabilities: [1d0] Secondary PCI Express
        Kernel driver in use: vfio-pci
        Kernel modules: ixgbe

xajh20058

pizza7711 发表于 2024-4-20 08:29
OEM 版本不能用官方固件升

如果硬件是一样的，OEM也可以升级官方固件，但是需要改id才可以。

summerq

pizza7711 发表于 2024-4-20 08:51
dell X550  升级到3.5版固件  pve 8.13下还是看不到SRIOV支持呢？
我记得X550是支持SRIOV的
05:00.0 Eth ...

X550 肯定可以啊

01:00.0 Ethernet controller [0200]: Intel Corporation Ethernet Controller X550 [8086:1563] (rev 01)
        Subsystem: Intel Corporation Ethernet Controller 10G X550T [8086:0000]
        Flags: bus master, fast devsel, latency 0, IRQ 16, IOMMU group 10
        Memory at 9a800000 (64-bit, prefetchable) [size=4M]
        Memory at 9ac04000 (64-bit, prefetchable) [size=16K]
        Expansion ROM at 3f800000 [disabled] [size=512K]
        Capabilities: [40] Power Management version 3
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
        Capabilities: [70] MSI-X: Enable+ Count=64 Masked-
        Capabilities: [a0] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [140] Device Serial Number 00-00-c9-ff-ff-00-00-00
        Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
        Capabilities: [160] Single Root I/O Virtualization (SR-IOV)
        Capabilities: [1a0] Transaction Processing Hints
        Capabilities: [1b0] Access Control Services
        Capabilities: [1c0] Latency Tolerance Reporting
        Capabilities: [1d0] Secondary PCI Express
        Kernel driver in use: ixgbe
        Kernel modules: ixgbe

#ethtool -i enp1s0f0
driver: ixgbe
version: 6.8.7
firmware-version: 0x8000172f, 1.3105.0
expansion-rom-version:
bus-info: 0000:01:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

pizza7711

summerq 发表于 2024-4-20 10:44
X550 肯定可以啊

01:00.0 Ethernet controller [0200]: Intel Corporation Ethernet Controller X550 [8 ...

可能是驱动问题  我再看看神原因

summerq

pizza7711 发表于 2024-4-20 10:50
可能是驱动问题  我再看看神原因

我倒是感觉不是启动问题 虽然你把卡直通了，驱动是vfio-pci，很大可能性还真就是dell这个卡的固件问题

pizza7711

summerq 发表于 2024-4-20 11:07
我倒是感觉不是启动问题 虽然你把卡直通了，驱动是vfio-pci，很大可能性还真就是dell这个卡的固件问题 ...

是有这个可能，这卡有两个网口不虚拟化也够用  有机会在试试吧  感谢

summerq

pizza7711 发表于 2024-4-20 12:19
是有这个可能，这卡有两个网口不虚拟化也够用  有机会在试试吧  感谢

x550 与x710相比，windows作为虚拟机性能还是要差很多。这主要是x550的vf驱动在windows下只有2个rss queue，而x710可以有16个。这就造成x550开sriov后，如果cpu主频不高，那么单线程只能跑5-6g，跑不满10g。从驱动和硬件配合的角度来说，x710比x500好太多了，然而mellanox完爆intel所有网卡…

在linux下，ixgbevf性能就上来了，rss queue可以到16个，因此可以跑满。