求填坑，EPYC组全nvme硬盘存储全闪NAS黑群晖遇到的各种坑，累计记录给大家避坑。
本帖最后由 phyman 于 2023-6-20 01:41 编辑第一个坑
泰安S8030的板子，cpuEPYC 7D12，32C64T，主频 1.1GHz，睿频 3.0GHz 128G ECC 三星 32GX4 服务器内存整套系统win10下各种烤鸡通过。
安装了APRL引导的黑群7.2，ds3622x系统 。一块sata ssd和两块恺侠u.2cd6 7.68t 组成三个存储池(三个存储空间），nvme存储空间是用github上面的Synology_M2_volume脚本直接重组成存储池的。
问题大坑是，三个存储池之间复制几十G的视频文件，机器马上就会死机。
单独往存储池上传大文件无问题。日常各种群晖应用折腾其他好像一切正常。
整套系统，win10下各种烤机无问题。能排除是硬件故障？是黑裙系统的问题？引导的问题?
更新：
作为四年的白群用户，个人认为群晖在民用NAS市场的易用性和生态方面确实有不小的优势，这也是我个人一直尝试把全闪U.2固态存储池移植到黑群上。当然用win的环境，或者 turenas等其他系统，可能在应用nvme硬盘作为存储池方面已经很完善，我还没有去尝试过。
SA6400系统，无法识别到机器
3622x 无法完善支持大容量nvme存储池
有大佬尝试过其他机型系统可以比较正常的使用吗？
全nvme固态硬盘nas，是最近大家都在想玩的方向，群晖系统的易用性我觉得仍然是最好的选项，但是可以成功使用案例好像都是零碎的信息，
感觉就是系统的问题。
可以先解除掉NVME的存储池 ，再试试 群晖这系统就不太值得上那么高配置，J1900就够了，这么好的配置装更好的吧 群晖最多我记得好像只能用到8线程，你这么多线程啥用啊。 在windows下面一样去复制几十个g如果没问题，那不就是群晖的问题么？ 感觉是黑群晖的问题。。。如果硬件有问题的话，应该每次往某个存储池大量写入都会导致死机，而不是只有存储池之间移动数据会死机
这么高的配置，不是该折腾freenas,上zfs.https://cdn.jsdelivr.net/gh/master-of-forums/master-of-forums/public/images/patch.gif 群晖祖传4.4内核就别丢epyc上面用了，用那个SA6400的吧，那个是5.10内核，群晖为了支持epyc特意做的版本。 楼主是哪个机型的7.2系统？ tyy474 发表于 2023-6-8 14:14
群晖这系统就不太值得上那么高配置，J1900就够了，这么好的配置装更好的吧 ...
j1900太差劲了，开个虚拟机都卡 zjmttt 发表于 2023-6-8 14:22
群晖最多我记得好像只能用到8线程，你这么多线程啥用啊。
看机型的。 雨季不再来 发表于 2023-6-9 23:50
楼主是哪个机型的7.2系统？
用的是3622x的系统，我试一下八楼的哥们的建议用一下SA6400的系统吧 phyman 发表于 2023-6-10 00:26
用的是3622x的系统，我试一下八楼的哥们的建议用一下SA6400的系统吧
3622最多支持24线程，u的性能浪费太多。 这么强劲的系统，直接用win不好吗？非要搞群晖？ 用虚拟化系统吧，这个配置用这个太浪费了 我是7V12 直接上的WIN 哦 没组全闪全闪是下一台的目标
虽然我最多时候有10多片U2。。。
EPYC我遇到的都是内存不稳定造成的重启。。。 建议用windows server 2022不要用WIN10这是桌面系统 这个U就是阉割版的，貌似只有单通道。你这128G内存，呃…… 真要测试至少是memtest86了解一下，win10烤鸡……呃
再说这个配置上黑裙会，简直是浪费 既然Win10没问题，那就 WinServer + HyperV 走起。
实际上Windows Server 做NVME存储也不错，方便易用，性能好。
然后开启HyperV，虚拟机装在Win下面就是。
我自己的EPYC全闪，用的ESXi，并且没有装黑群，我就是拿来开很多虚拟机用。
EPYC这个性能级别，不适合直接装应用系统，套一层虚拟化，利用率会高很多。
黑群适合传统的SATA SAS硬盘，易用性非常好。
如果一定要用NVME做NAS系统，可以考虑 FreeNAS（TrueNAS）
我自己并不喜欢FreeNAS，权限系统反复添乱，让原本简单的过程变得异常复杂。
我宁愿用ubuntu，chmod 666或777 myway 发表于 2023-6-19 23:40
这个U就是阉割版的，貌似只有单通道。你这128G内存，呃…… 真要测试至少是memtest86了解一下，win10烤鸡… ...
也未必是浪费，应该用sa6400的黑裙 同配置路过，提一种可能。S8030在pcie转u.2的转接板上差u.2的三星盘会有bug，一般情况是win10下第一次ASS跑分系统重启，之后再ASS跑分速度不达标。解决办法是pcie转8643，用带供电接口的8643转8639线。已经测试过PM9A3和PM1733都有这个情况，并且可以解决 雨季不再来 发表于 2023-6-20 00:40
也未必是浪费，应该用sa6400的黑裙
sa6400系统尝试过，至少我这个配置黑裙直接就找不到IP…… tfrfp2oo 发表于 2023-6-20 00:56
同配置路过，提一种可能。S8030在pcie转u.2的转接板上差u.2的三星盘会有bug，一般情况是win10下第一次ASS跑 ...
三星的这代PICE 4.0 的U.2 企业盘确实很拉跨，性能一般，兼容性更是非常差，所以我全部用的是恺侠CD67.68T 本帖最后由 雨季不再来 于 2023-6-20 07:27 编辑
phyman 发表于 2023-6-20 01:34
sa6400系统尝试过，至少我这个配置黑裙直接就找不到IP……
莫非是网卡驱动的问题？ 找不到ip最常见的就是网卡驱动问题。也许可以插个usb网卡试试。或者重新编译，加入主板网卡驱动。
不过你这个u，即使是sa6400，也是不能充分发挥u的性能的。不如用esxi做底层，虚拟黑裙，直通硬盘。 前两天，我在黑群里把一部电影从一个硬盘移动到另一个硬盘，用了好长一段时间，速度好像只有几百K，一兆不到。 phyman 发表于 2023-6-20 01:36
三星的这代PICE 4.0 的U.2 企业盘确实很拉跨，性能一般，兼容性更是非常差，所以我全部用的是恺侠CD6 ...
我也搞了两块cd6，现在还在我主力机上当游戏盘和下载盘，除了温度其他都挺满意 建议ESXI+ARPL 黑群，应该有奇效。 全NVMe存储，还是建议Windows或者发行版Linux，不光要足够发挥NVMe SSD的性能，还需要能足够发挥CPU的性能，还可以考虑RDMA。我猜群晖目前大概还没考虑过这个场景，白裙也还没有哪怕一台支持U2 SSD的NAS出现。 很有可能是主板的问题，8030这板子本身bug就多 你这个配置 群晖不适合了
Ceph MinIO之类的吧