Chiphell - 分享与交流用户体验

标题: x710-da2万兆网卡在pve下无法开启sriov功能 [打印本页]

作者: ktoc 时间: 2024-4-19 09:07
标题: x710-da2万兆网卡在pve下无法开启sriov功能
在pve7下，x520直接插卡就可以开启sriov，x710居然无法开启sriov，输入命令lspci -v -s 0000:01:00.0，显示
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 02)
      Subsystem: Intel Corporation Ethernet 10G 2P X710 Adapter
      Flags: bus master, fast devsel, latency 0, IRQ 16, IOMMU group 11
      Memory at b1000000 (64-bit, prefetchable) [size=16M]
      Memory at b2008000 (64-bit, prefetchable) [size=32K]
      Expansion ROM at b4380000 [disabled] [size=512K]
      Capabilities: [40] Power Management version 3
      Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
      Capabilities: [70] MSI-X: Enable+ Count=129 Masked-
      Capabilities: [a0] Express Endpoint, MSI 00
      Capabilities: [e0] Vital Product Data
      Capabilities: [100] Advanced Error Reporting
      Capabilities: [140] Device Serial Number f0-01-03-ff-ff-fe-xx-xx
      Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
      Capabilities: [1a0] Transaction Processing Hints
      Capabilities: [1b0] Access Control Services
      Capabilities: [1d0] Secondary PCI Express
      Kernel driver in use: i40e
      Kernel modules: i40e

作者: summerq 时间: 2024-4-19 10:56
你需要升级你的firmware
ethtool -i enp4s0f0np0
driver: i40e
version: 6.8.7
firmware-version: 9.40 0x8000ece5 1.3429.0
expansion-rom-version:
bus-info: 0000:04:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

x710 是支持sriov的，注意看capibilities 160：

04:00.0 Ethernet controller [0200]: Intel Corporation Ethernet Controller X710 for 10GBASE-T [8086:15ff] (rev 02)
      Subsystem: QNAP Systems, Inc. Ethernet Controller X710 for 10GBASE-T [1baa:0000]
      Flags: bus master, fast devsel, latency 0, IRQ 16, IOMMU group 13
      Memory at 6204000000 (64-bit, prefetchable) [size=16M]
      Memory at 6205808000 (64-bit, prefetchable) [size=32K]
      Expansion ROM at 81480000 [disabled] [size=512K]
      Capabilities: [40] Power Management version 3
      Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
      Capabilities: [70] MSI-X: Enable+ Count=129 Masked-
      Capabilities: [a0] Express Endpoint, MSI 00
      Capabilities: [e0] Vital Product Data
      Capabilities: [100] Advanced Error Reporting
      Capabilities: [140] Device Serial Number 98-b0-64-ff-ff-be-5e-24
      Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
      Capabilities: [160] Single Root I/O Virtualization (SR-IOV)
      Capabilities: [1a0] Transaction Processing Hints
      Capabilities: [1b0] Access Control Services
      Capabilities: [1d0] Secondary PCI Express
      Kernel driver in use: i40e
      Kernel modules: i40e

作者: ktoc 时间: 2024-4-19 11:16

summerq 发表于 2024-4-19 10:56
你需要升级你的firmware
ethtool -i enp4s0f0np0
driver: i40e

请问是升级网卡固件，还是升级pve的驱动？

作者: summerq 时间: 2024-4-19 12:20

ktoc 发表于 2024-4-19 11:16
请问是升级网卡固件，还是升级pve的驱动？

网卡的固件

作者: ktoc 时间: 2024-4-19 12:42

summerq 发表于 2024-4-19 12:20
网卡的固件

请问有相关教程吗，谢谢。

作者: xajh20058 时间: 2024-4-19 14:12

ktoc 发表于 2024-4-19 12:42
请问有相关教程吗，谢谢。

如果是Intel的卡，就按照intel的教程来，https://www.intel.cn/content/www ... ernet-products.html
就怕你的是一些定制卡，intel的固件不一定兼容。
刷固件有风险，所以升级前，先备份好原来的固件。

作者: ktoc 时间: 2024-4-19 14:59
显示无法更新

作者: summerq 时间: 2024-4-19 15:28

ktoc 发表于 2024-4-19 14:59
显示无法更新

你这个固件太老了，可能不能一次升级到最新的9.4
你可以尝试先下载5.0 7.0 之类的，一步步的升级上去

作者: ktoc 时间: 2024-4-19 17:15
搞到16年的版本，再升上去都不行

作者: shahiyuan 时间: 2024-4-19 17:51
本帖最后由 shahiyuan 于 2024-4-19 17:53 编辑

ktoc 发表于 2024-4-19 17:15
搞到16年的版本，再升上去都不行

发给我，我帮你搞，小问题。不管什么版本的x710都可以

作者: pizza7711 时间: 2024-4-20 08:29

ktoc 发表于 2024-4-19 17:15
搞到16年的版本，再升上去都不行

OEM 版本不能用官方固件升

作者: pizza7711 时间: 2024-4-20 08:51

summerq 发表于 2024-4-19 10:56
你需要升级你的firmware
ethtool -i enp4s0f0np0
driver: i40e

dell X550  升级到3.5版固件  pve 8.13下还是看不到SRIOV支持呢？
我记得X550是支持SRIOV的
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller X550 (rev 01)
      Subsystem: Intel Corporation Ethernet 10G 2P X550-t Adapter
      Flags: bus master, fast devsel, latency 0, IRQ 17, IOMMU group 25
      Memory at 60e0400000 (64-bit, prefetchable) [size=4M]
      Memory at 60e0804000 (64-bit, prefetchable) [size=16K]
      Expansion ROM at 82780000 [disabled] [size=512K]
      Capabilities: [40] Power Management version 3
      Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
      Capabilities: [70] MSI-X: Enable+ Count=64 Masked-
      Capabilities: [a0] Express Endpoint, MSI 00
      Capabilities: [e0] Vital Product Data
      Capabilities: [100] Advanced Error Reporting
      Capabilities: [140] Device Serial Number 91-c6-49-ff-ff-50-00-00
      Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
      Capabilities: [1a0] Transaction Processing Hints
      Capabilities: [1b0] Access Control Services
      Capabilities: [1c0] Latency Tolerance Reporting
      Capabilities: [1d0] Secondary PCI Express
      Kernel driver in use: vfio-pci
      Kernel modules: ixgbe

作者: xajh20058 时间: 2024-4-20 10:12

pizza7711 发表于 2024-4-20 08:29
OEM 版本不能用官方固件升

如果硬件是一样的，OEM也可以升级官方固件，但是需要改id才可以。

作者: summerq 时间: 2024-4-20 10:44

pizza7711 发表于 2024-4-20 08:51
dell X550 升级到3.5版固件 pve 8.13下还是看不到SRIOV支持呢？
我记得X550是支持SRIOV的
05:00.0 Eth ...

X550 肯定可以啊

01:00.0 Ethernet controller [0200]: Intel Corporation Ethernet Controller X550 [8086:1563] (rev 01)
      Subsystem: Intel Corporation Ethernet Controller 10G X550T [8086:0000]
      Flags: bus master, fast devsel, latency 0, IRQ 16, IOMMU group 10
      Memory at 9a800000 (64-bit, prefetchable) [size=4M]
      Memory at 9ac04000 (64-bit, prefetchable) [size=16K]
      Expansion ROM at 3f800000 [disabled] [size=512K]
      Capabilities: [40] Power Management version 3
      Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
      Capabilities: [70] MSI-X: Enable+ Count=64 Masked-
      Capabilities: [a0] Express Endpoint, MSI 00
      Capabilities: [100] Advanced Error Reporting
      Capabilities: [140] Device Serial Number 00-00-c9-ff-ff-00-00-00
      Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
      Capabilities: [160] Single Root I/O Virtualization (SR-IOV)
      Capabilities: [1a0] Transaction Processing Hints
      Capabilities: [1b0] Access Control Services
      Capabilities: [1c0] Latency Tolerance Reporting
      Capabilities: [1d0] Secondary PCI Express
      Kernel driver in use: ixgbe
      Kernel modules: ixgbe

#ethtool -i enp1s0f0
driver: ixgbe
version: 6.8.7
firmware-version: 0x8000172f, 1.3105.0
expansion-rom-version:
bus-info: 0000:01:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: yes

作者: pizza7711 时间: 2024-4-20 10:50

summerq 发表于 2024-4-20 10:44
X550 肯定可以啊

01:00.0 Ethernet controller [0200]: Intel Corporation Ethernet Controller X550 [8 ...

可能是驱动问题我再看看神原因

作者: summerq 时间: 2024-4-20 11:07

pizza7711 发表于 2024-4-20 10:50
可能是驱动问题我再看看神原因

我倒是感觉不是启动问题虽然你把卡直通了，驱动是vfio-pci，很大可能性还真就是dell这个卡的固件问题

作者: pizza7711 时间: 2024-4-20 12:19

summerq 发表于 2024-4-20 11:07
我倒是感觉不是启动问题虽然你把卡直通了，驱动是vfio-pci，很大可能性还真就是dell这个卡的固件问题 ...

是有这个可能，这卡有两个网口不虚拟化也够用有机会在试试吧感谢

作者: summerq 时间: 2024-4-21 01:41

pizza7711 发表于 2024-4-20 12:19
是有这个可能，这卡有两个网口不虚拟化也够用有机会在试试吧感谢

x550 与x710相比，windows作为虚拟机性能还是要差很多。这主要是x550的vf驱动在windows下只有2个rss queue，而x710可以有16个。这就造成x550开sriov后，如果cpu主频不高，那么单线程只能跑5-6g，跑不满10g。从驱动和硬件配合的角度来说，x710比x500好太多了，然而mellanox完爆intel所有网卡…

在linux下，ixgbevf性能就上来了，rss queue可以到16个，因此可以跑满。

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)