胡CHH 发表于 2022-9-6 15:05

有没有大佬知道PM1733/PM1735怎么启用SR-IOV

PM1733/PM1735罕见地支持nvme sr-iov,可以一块盘当成几块地使用。我尝试启用却发现好像不想网卡那样容易,失败了,网络上也没找到正确的教程,有没有大佬知道该怎么enable吗?

Juzi丶 发表于 2022-9-6 15:50

不是sriov,是namespace

ACSOUV 发表于 2022-9-6 15:58

本帖最后由 ACSOUV 于 2022-9-6 17:47 编辑

我看了下超微的说明书 里面只有一个在BIOS/UEFI里
PCIe/PCI/PnP Configuration打开SR-IOV Support
然后就没了 看说明这是个Single Root IO Virtualization Support

虽然我也用PM1735 但是我是用Intel VROC Premium做RAID10用的
一般超微主板有额外功能的硬件 在Advanced页面下应该有单独的硬件名称 点进去设置
或者走虚拟机(以上是我的猜测)

其他帮不了你

胡CHH 发表于 2022-9-6 17:29

Juzi丶 发表于 2022-9-6 15:50
不是sriov,是namespace

这两个不一样,namespace只是多个命名空间,sr-iov是多了块硬盘

胡CHH 发表于 2022-9-6 17:30

ACSOUV 发表于 2022-9-6 15:58
我看了下超微的说明书 里面只有一个在BIOS/UEFI里
PCIe/PCI/PnP Configuration打开SR-IOV Support
然后就没 ...

BIOS开启,然后os里还需要设置才可以。

fkpwolf 发表于 2022-9-6 17:37

find /sys -name sriov_numvfs

直接找找看看,网卡是有的,还有看看驱动是否支持。
modinfo igb
...
parm:         max_vfs:Maximum number of virtual functions to allocate per physical function (uint)

第一次听说nvme可以划分的,这样性能也是直接切分么?

胡CHH 发表于 2022-9-6 18:54

fkpwolf 发表于 2022-9-6 17:37
直接找找看看,网卡是有的,还有看看驱动是否支持。




有这个文件。echo 4 > …会报错。跟网卡不一样

Juzi丶 发表于 2022-9-6 19:07

胡CHH 发表于 2022-9-6 17:29
这两个不一样,namespace只是多个命名空间,sr-iov是多了块硬盘

一个命名空间等于一个硬盘

jiangcuo 发表于 2022-10-6 00:00

楼主还在吗?同1735,
sriov参考这个https://stackoverflow.com/questions/65350988/how-to-setup-sr-iov-with-samsung-pm1733-1735-nvme-ssd
但是我这有点问题,请问一下你lspci -vs <1735的pci id> 有Sriov的信息吗
我这里都不显示sriov


root@pve:~# lspci -vs 03:00
03:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X (prog-if 02 )
      Subsystem: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
      Flags: bus master, fast devsel, latency 0, IRQ 26, NUMA node 0, IOMMU group 22
      Memory at fcb10000 (64-bit, non-prefetchable)
      Expansion ROM at fcb00000
      Capabilities: Power Management version 3
      Capabilities: MSI: Enable- Count=1/32 Maskable- 64bit+
      Capabilities: Express Endpoint, MSI 00
      Capabilities: MSI-X: Enable+ Count=64 Masked-
      Capabilities: Advanced Error Reporting
      Capabilities: Device Serial Number c2-bd-01-01-99-38-25-00
      Capabilities: Secondary PCI Express
      Capabilities: Physical Layer 16.0 GT/s <?>
      Capabilities: Lane Margining at the Receiver <?>
      Capabilities: Data Link

jiangcuo 发表于 2022-10-6 00:01

jiangcuo 发表于 2022-10-6 00:00
楼主还在吗?同1735,
sriov参考这个https://stackoverflow.com/questions/65350988/how-to-setup-sr-iov-w ...

可以加我q 1551264964 交流一下

胡CHH 发表于 2022-10-6 13:51

jiangcuo 发表于 2022-10-6 00:00
楼主还在吗?同1735,
sriov参考这个https://stackoverflow.com/questions/65350988/how-to-setup-sr-iov-w ...

我的有啊
Capabilities: Single Root I/O Virtualization (SR-IOV)

胡CHH 发表于 2022-10-6 13:52

jiangcuo 发表于 2022-10-6 00:01
可以加我q 1551264964 交流一下

你用的是什么版本的1735?

jiangcuo 发表于 2022-10-6 14:22

胡CHH 发表于 2022-10-6 13:52
你用的是什么版本的1735?

HPE的盘

胡CHH 发表于 2022-10-6 15:33

jiangcuo 发表于 2022-10-6 14:22
HPE的盘

你有这个文件吗?/sys/class/nvme/nvme1/device/sriov_numvfs

kqwkn 发表于 2023-5-4 22:06

胡CHH 发表于 2022-9-6 18:54
有这个文件。echo 4 > …会报错。跟网卡不一样

我这边倒是可以用命令开出来,但下一步该如何使用不会了,跟网卡不一样,网卡直接在虚拟机里添加PCI设备就行,硬盘貌似不行,不知道楼主现在搞定了没有
root@pve1733:~# echo 8 > /sys/class/nvme/nvme0/device/sriov_numvfs
root@pve1733:~# lspci
00:00.0 Host bridge: Intel Corporation Xeon E3-1200 v6/7th Gen Core Processor Host Bridge/DRAM Registers (rev 06)
00:01.0 PCI bridge: Intel Corporation 6th-10th Gen Core Processor PCIe Controller (x16) (rev 06)
00:13.0 Non-VGA unclassified device: Intel Corporation 100 Series/C230 Series Chipset Family Integrated Sensor Hub (rev 31)
00:14.0 USB controller: Intel Corporation 100 Series/C230 Series Chipset Family USB 3.0 xHCI Controller (rev 31)
00:14.2 Signal processing controller: Intel Corporation 100 Series/C230 Series Chipset Family Thermal Subsystem (rev 31)
00:16.0 Communication controller: Intel Corporation 100 Series/C230 Series Chipset Family MEI Controller #1 (rev 31)
00:16.1 Communication controller: Intel Corporation 100 Series/C230 Series Chipset Family MEI Controller #2 (rev 31)
00:17.0 SATA controller: Intel Corporation Q170/Q150/B150/H170/H110/Z170/CM236 Chipset SATA Controller (rev 31)
00:1c.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #1 (rev f1)
00:1d.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #9 (rev f1)
00:1d.1 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #10 (rev f1)
00:1d.2 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #11 (rev f1)
00:1f.0 ISA bridge: Intel Corporation C236 Chipset LPC/eSPI Controller (rev 31)
00:1f.2 Memory controller: Intel Corporation 100 Series/C230 Series Chipset Family Power Management Controller (rev 31)
00:1f.4 SMBus: Intel Corporation 100 Series/C230 Series Chipset Family SMBus (rev 31)
01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.2 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.3 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.4 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.5 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.6 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.7 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:01.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X (rev ff)
01:01.1 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X (rev ff)
03:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)
04:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)
05:00.0 PCI bridge: ASPEED Technology, Inc. AST1150 PCI-to-PCI Bridge (rev 03)
06:00.0 VGA compatible controller: ASPEED Technology, Inc. ASPEED Graphics Family (rev 30)

weston 发表于 2023-5-4 22:49

多个虚拟机用同一个硬盘,都分一次区,这数据咋记录?还是说它还是一个vm文件?

summerq 发表于 2023-5-22 01:07

使用方法如下:
1 使用nvme命令分配namespace,同时指定大小
2. 创建ssd的vf
3. 分配namespace到每个vf
4. 每个vm直通vf,则可以把预先分配的空间映射到一个pcie设备里,从而提高性能
5. 总带宽受ssd性能限制,每个vf的qos可以单独设置

具体每一步可以自己google
页: [1]
查看完整版本: 有没有大佬知道PM1733/PM1735怎么启用SR-IOV