zhuwe123 发表于 2024-12-4 17:43

【求助】组纯闪NAS遇到个PLX拆分和PVE冲突的问题

设备是NUC9,使用PLX芯片拆分的nvme硬盘。

NUC9直接安装系统不管是黑群晖还是windows,都没有任何问题,

安装PVE直通NVEM设备:

虚拟机都是用的Q35,直通勾选了pcie

如果是黑群晖,在io高负载(dd直接写入测试)就会直接报存储池损坏进入只读模式。
如果是Ubuntu,格式化成ext4或者xfs在io高负载直接就出现io错误,但是能完成写入测试。
如果是windows虚拟机,格式化ntfs使用磁盘测速工具没有任何错误。
找到一个类似的错误但是也没有解决办法:https://www.reddit.com/r/intelnuc/comments/14y0267/intel_nuc_9_bifurcation_nvme_plx_cards_help/

dcl2009 发表于 2024-12-4 19:15

我有一个PLX,供电问题,总掉盘,后来返修好了

YoshinoSakura 发表于 2024-12-4 22:59

高负载会寄……
该不会是电不够吧

zhuwe123 发表于 2024-12-5 09:03

终于找到原因了,主板bios的问题,nuc9这个板子需要修改pcie那个供电需要取消PCIE省电那个模式。
NUC9有两个天坑,一个是机器自带的2个m2有一个不能直通,群里也有人说,另外一个就是这PCie的设置问题。

chip_discovery 发表于 2024-12-5 09:39

问一下你的PLX扩展卡是那种上面直接插m2的卡?
我的直插m2的扩展卡,插上4盘以上就会插电自检不过,表现为卡上的灯一直在闪,CPU风扇转-停-转-停,我估计是我的nas(dell optiplex 5060)主板供电不足所以自检卡住不断重启。估计PCIE供电能力没有75W。

正常情况应该是插电-电源灯亮起-硬件自检-自检通过-电源灯关闭

zhuwe123 发表于 2024-12-5 10:41

chip_discovery 发表于 2024-12-5 09:39
问一下你的PLX扩展卡是那种上面直接插m2的卡?
我的直插m2的扩展卡,插上4盘以上就会插电自检不过,表现为 ...

我的还不一样,我走的nuc9的拆分板是有独立供电的

zhuwe123 发表于 2024-12-5 11:06

看起来还是不行,重启以后又悲剧了,ubuntu又开始报错了。
EXT4-fs warning (device nvme0n1p1): ext4_end_bio:343: I/O error 10 writing to inode 12 starting block 927936)
buffer_io_error: 8182 callbacks suppressed
Buffer I/O error on device nvme0n1p1, logical block 925696
Buffer I/O error on device nvme0n1p1, logical block 925697
Buffer I/O error on device nvme0n1p1, logical block 925698
Buffer I/O error on device nvme0n1p1, logical block 925699
Buffer I/O error on device nvme0n1p1, logical block 925700
Buffer I/O error on device nvme0n1p1, logical block 925701
Buffer I/O error on device nvme0n1p1, logical block 925702
Buffer I/O error on device nvme0n1p1, logical block 925703
Buffer I/O error on device nvme0n1p1, logical block 925704
Buffer I/O error on device nvme0n1p1, logical block 925705

zhuwe123 发表于 2024-12-5 11:13

都是直通,windows就不报错,系统事件日志里和磁盘相关什么错误都没有。

feilong4397 发表于 2024-12-5 11:25

我的是PLX8748转四个M2的那种卡,黑群错误一样,拷贝东西只要大一点,存储池必损毁,系统用的是ESXI,而且用其中一个NVME转的6 SATA,也是同样问题

zhuwe123 发表于 2024-12-5 11:35

feilong4397 发表于 2024-12-5 11:25
我的是PLX8748转四个M2的那种卡,黑群错误一样,拷贝东西只要大一点,存储池必损毁,系统用的是ESXI,而且 ...

应该都是同样问题,就是plx卡的直通在高io压力上有问题,但是找不到问题点,如果不直通就没问题。但是windows不报错我也不理解了

zhuwe123 发表于 2024-12-5 13:45

又测试了一轮,NUC9宿主机安装PVE,打开直通plx上的nvme硬盘。

直通:群晖7.2、Ubuntu2204,有问题IO负载高就会io错误,马山又能恢复。
直通:Win11、Macos、TrueNasCore,都没问题。

怎么感觉是linux有什么和这个冲突呢。

蒙古国海军司令 发表于 2024-12-5 15:21

我的 PVE 是另外一种表现,PLX 3.0 x 16 拆分出两个 SFF-8654 8i + 4个m2。想要部分直通给 guest,必须开启 iommu 分组,不然必然 guest 一启动就文件系统错误进 readonly 模式,目前 grub 配置是这样的

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction i915.enable_guc=3 i915.max_vfs=7"

关键是 iommu=pt pcie_acs_override 这几个参数,解释可以看下 https://github.com/ivanhao/pvetools/issues/34

改过后目前还没碰到高负载文件系统错误,可能是我的负载不够高?

zhuwe123 发表于 2024-12-5 16:25

蒙古国海军司令 发表于 2024-12-5 15:21
我的 PVE 是另外一种表现,PLX 3.0 x 16 拆分出两个 SFF-8654 8i + 4个m2。想要部分直通给 guest,必须开启 ...

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction net.ifnames=0 biosdevname=0"

参数差不多,你可以直接dd写入测试一下。

joshfix 发表于 2025-1-8 10:43

本帖最后由 joshfix 于 2025-1-8 11:12 编辑

最近我在 unraid上使用了一张 PLX PEX 8749的拆分卡 转了8个m.2出来

我将其直通给了黑群晖,并在黑群晖中给这几张卡创建阵列

一切都很正常,但是一旦高负载写入就会造成有3张m2提示严重错误无法写入 然后存储空间被迫只读

楼主的ASPM关闭之后是否有效解决这个问题呢?因为设备不在手边,我查看了lspci -vv 发现 ASPM L1 enabled

我这个拆分卡有独立供电 所以应该供电不是问题

coldso 发表于 2025-1-28 01:19

使用PLX芯片的小厂产品,驱动不够完善。

15SU 发表于 2025-1-31 23:04

PLX PEX 874939com家的卡,PVE直通只认卡,看不到挂上面的U2盘,大佬们有使用过的吗指点下,拜托了

zhuwe123 发表于 2025-2-3 09:38

15SU 发表于 2025-1-31 23:04
PLX PEX 874939com家的卡,PVE直通只认卡,看不到挂上面的U2盘,大佬们有使用过的吗指点下,拜托了 ...

没遇到过,我用pex没啥问题,没出现过不认卡的情况

15SU 发表于 2025-2-5 19:26

zhuwe123 发表于 2025-2-3 09:38
没遇到过,我用pex没啥问题,没出现过不认卡的情况

解决了,线的问题
页: [1]
查看完整版本: 【求助】组纯闪NAS遇到个PLX拆分和PVE冲突的问题