Chiphell - 分享与交流用户体验

标题: 有没有大佬知道PM1733/PM1735怎么启用SR-IOV [打印本页]
作者: 胡CHH    时间: 2022-9-6 15:05
标题: 有没有大佬知道PM1733/PM1735怎么启用SR-IOV
PM1733/PM1735罕见地支持nvme sr-iov，可以一块盘当成几块地使用。我尝试启用却发现好像不想网卡那样容易，失败了，网络上也没找到正确的教程，有没有大佬知道该怎么enable吗？
作者: Juzi丶    时间: 2022-9-6 15:50
不是sriov，是namespace
作者: ACSOUV    时间: 2022-9-6 15:58
本帖最后由 ACSOUV 于 2022-9-6 17:47 编辑

我看了下超微的说明书 里面只有一个在BIOS/UEFI里
PCIe/PCI/PnP Configuration打开SR-IOV Support
然后就没了 看说明这是个Single Root IO Virtualization Support

虽然我也用PM1735 但是我是用Intel VROC Premium做RAID10用的
一般超微主板有额外功能的硬件 在Advanced页面下应该有单独的硬件名称 点进去设置
或者走虚拟机（以上是我的猜测）

其他帮不了你
作者: 胡CHH    时间: 2022-9-6 17:29
Juzi丶 发表于 2022-9-6 15:50
不是sriov，是namespace

这两个不一样，namespace只是多个命名空间，sr-iov是多了块硬盘
作者: 胡CHH    时间: 2022-9-6 17:30
ACSOUV 发表于 2022-9-6 15:58
我看了下超微的说明书 里面只有一个在BIOS/UEFI里
PCIe/PCI/PnP Configuration打开SR-IOV Support
然后就没 ...

BIOS开启，然后os里还需要设置才可以。
作者: fkpwolf    时间: 2022-9-6 17:37
  1. find /sys -name sriov_numvfs
复制代码


直接找找看看，网卡是有的，还有看看驱动是否支持。
  1. modinfo igb
  2. ...
  3. parm:           max_vfs:Maximum number of virtual functions to allocate per physical function (uint)
复制代码


第一次听说nvme可以划分的，这样性能也是直接切分么？
作者: 胡CHH    时间: 2022-9-6 18:54
fkpwolf 发表于 2022-9-6 17:37
直接找找看看，网卡是有的，还有看看驱动是否支持。



有这个文件。echo 4 > …会报错。跟网卡不一样
作者: Juzi丶    时间: 2022-9-6 19:07
胡CHH 发表于 2022-9-6 17:29
这两个不一样，namespace只是多个命名空间，sr-iov是多了块硬盘

一个命名空间等于一个硬盘
作者: jiangcuo    时间: 2022-10-6 00:00
楼主还在吗？同1735，
sriov参考这个https://stackoverflow.com/questi ... m1733-1735-nvme-ssd
但是我这有点问题，请问一下你lspci -vs <1735的pci id> 有Sriov的信息吗
我这里都不显示sriov


  2. root@pve:~# lspci -vs 03:00
  3. 03:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X (prog-if 02 [NVM Express])
  4.         Subsystem: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
  5.         Flags: bus master, fast devsel, latency 0, IRQ 26, NUMA node 0, IOMMU group 22
  6.         Memory at fcb10000 (64-bit, non-prefetchable) [size=32K]
  7.         Expansion ROM at fcb00000 [disabled] [size=64K]
  8.         Capabilities: [40] Power Management version 3
  9.         Capabilities: [50] MSI: Enable- Count=1/32 Maskable- 64bit+
  10.         Capabilities: [70] Express Endpoint, MSI 00
  11.         Capabilities: [b0] MSI-X: Enable+ Count=64 Masked-
  12.         Capabilities: [100] Advanced Error Reporting
  13.         Capabilities: [148] Device Serial Number c2-bd-01-01-99-38-25-00
  14.         Capabilities: [178] Secondary PCI Express
  15.         Capabilities: [198] Physical Layer 16.0 GT/s <?>
  16.         Capabilities: [1c0] Lane Margining at the Receiver <?>
  17.         Capabilities: [3a4] Data Link
复制代码
作者: jiangcuo    时间: 2022-10-6 00:01
jiangcuo 发表于 2022-10-6 00:00
楼主还在吗？同1735，
sriov参考这个https://stackoverflow.com/questions/65350988/how-to-setup-sr-iov-w ...

可以加我q 1551264964 交流一下
作者: 胡CHH    时间: 2022-10-6 13:51
jiangcuo 发表于 2022-10-6 00:00
楼主还在吗？同1735，
sriov参考这个https://stackoverflow.com/questions/65350988/how-to-setup-sr-iov-w ...

我的有啊
Capabilities: [160 v1] Single Root I/O Virtualization (SR-IOV)
作者: 胡CHH    时间: 2022-10-6 13:52
jiangcuo 发表于 2022-10-6 00:01
可以加我q 1551264964 交流一下

你用的是什么版本的1735？
作者: jiangcuo    时间: 2022-10-6 14:22
胡CHH 发表于 2022-10-6 13:52
你用的是什么版本的1735？

HPE的盘
作者: 胡CHH    时间: 2022-10-6 15:33
jiangcuo 发表于 2022-10-6 14:22
HPE的盘

你有这个文件吗？/sys/class/nvme/nvme1/device/sriov_numvfs
作者: kqwkn    时间: 2023-5-4 22:06
胡CHH 发表于 2022-9-6 18:54
有这个文件。echo 4 > …会报错。跟网卡不一样

我这边倒是可以用命令开出来，但下一步该如何使用不会了，跟网卡不一样，网卡直接在虚拟机里添加PCI设备就行，硬盘貌似不行，不知道楼主现在搞定了没有
root@pve1733:~# echo 8 > /sys/class/nvme/nvme0/device/sriov_numvfs
root@pve1733:~# lspci
00:00.0 Host bridge: Intel Corporation Xeon E3-1200 v6/7th Gen Core Processor Host Bridge/DRAM Registers (rev 06)
00:01.0 PCI bridge: Intel Corporation 6th-10th Gen Core Processor PCIe Controller (x16) (rev 06)
00:13.0 Non-VGA unclassified device: Intel Corporation 100 Series/C230 Series Chipset Family Integrated Sensor Hub (rev 31)
00:14.0 USB controller: Intel Corporation 100 Series/C230 Series Chipset Family USB 3.0 xHCI Controller (rev 31)
00:14.2 Signal processing controller: Intel Corporation 100 Series/C230 Series Chipset Family Thermal Subsystem (rev 31)
00:16.0 Communication controller: Intel Corporation 100 Series/C230 Series Chipset Family MEI Controller #1 (rev 31)
00:16.1 Communication controller: Intel Corporation 100 Series/C230 Series Chipset Family MEI Controller #2 (rev 31)
00:17.0 SATA controller: Intel Corporation Q170/Q150/B150/H170/H110/Z170/CM236 Chipset SATA Controller [AHCI Mode] (rev 31)
00:1c.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #1 (rev f1)
00:1d.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #9 (rev f1)
00:1d.1 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #10 (rev f1)
00:1d.2 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #11 (rev f1)
00:1f.0 ISA bridge: Intel Corporation C236 Chipset LPC/eSPI Controller (rev 31)
00:1f.2 Memory controller: Intel Corporation 100 Series/C230 Series Chipset Family Power Management Controller (rev 31)
00:1f.4 SMBus: Intel Corporation 100 Series/C230 Series Chipset Family SMBus (rev 31)
01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.2 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.3 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.4 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.5 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.6 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:00.7 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X
01:01.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X (rev ff)
01:01.1 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM173X (rev ff)
03:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)
04:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)
05:00.0 PCI bridge: ASPEED Technology, Inc. AST1150 PCI-to-PCI Bridge (rev 03)
06:00.0 VGA compatible controller: ASPEED Technology, Inc. ASPEED Graphics Family (rev 30)
作者: weston    时间: 2023-5-4 22:49
多个虚拟机用同一个硬盘，都分一次区，这数据咋记录？还是说它还是一个vm文件？
作者: summerq    时间: 2023-5-22 01:07
使用方法如下：
1 使用nvme命令分配namespace，同时指定大小
2. 创建ssd的vf
3. 分配namespace到每个vf
4. 每个vm直通vf，则可以把预先分配的空间映射到一个pcie设备里，从而提高性能
5. 总带宽受ssd性能限制，每个vf的qos可以单独设置

具体每一步可以自己google



欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/) Powered by Discuz! X3.5