求填坑，EPYC组全nvme硬盘存储全闪NAS黑群晖遇到的各种坑，累计记录给大家避坑。

chainofhonor

建议:
用windows server 2022
然后在hyper-v里面安装黑群晖

可以把硬盘直通过去  
或者还是创建vhdx吧  留一点余量就行

wsbpj

S8030+7532+11个U2+1个AIC，目前利用率最高的方法，docker，如果你操作系统样式特别多，可以考虑ESXi，或者win的虚拟机多，如果是linux多，直接docker，各方面利用率遥遥领先，win虚机不多考虑docker里运行kvm

zxy2001

wsbpj 发表于 2023-9-6 21:25
S8030+7532+11个U2+1个AIC，目前利用率最高的方法，docker，如果你操作系统样式特别多，可以考虑ESXi，或者 ...

求个教程。。。 目前S8030 + 7452+128G内存+ 4个U2，只做下载+存储 太浪费了。。。

今晚大老虎

我的配置和你差不多: 7d12解锁功耗+Krpa+256G内存+3个U2 , 我用的是PVE虚拟黑裙, 之前3个存储池之间也倒过几T的数据,倒是没有你说的问题. 你的SSD散热够吧? U2对拷,两个盘基本都是满功耗, 看你的描述像是ssd 过热保护了.

michaelzxp

群晖一直对非认证的闪存作存储池有问题

MikuLuka

忘记从哪里看到的了 说是群晖对NVME的支持不是很友好。

aly2006

群晖系统给小孩玩还行，你都上7D12了，用群晖系统就是闹

78085

EPYC的PCIE通道拉跨的狠，虽然给的多。

建议进BIOS微调，关于PCIE的能关的都关了。

手中有七八台EPYC，也是PCIE引起的U2卡死和掉盘。忘记后来关的哪些了，反正一个个试。关了后会正常。

mkkkno1

我用truenas各种拷贝，复制数据流，有上pt的数据了，没啥问题呀；全闪阵列到全闪阵列，全闪到hd阵列都试过一遍。一共hd有近50块、u2有16块、sata ssd有8块，m2镜像做系统就没算了。国庆期间又用nuc9做了一个简单的全闪，2个u2、2个m2、一个msata，pve+truenas也没问题。

如果非要用群晖可以试试虚拟化，底层用别的系统做raid然后给群晖用。

今晚大老虎

DS3622 白裙机器没有M2插槽, 所以不能直接给NVME建立存储池, 但是我无意中发现可以通过导入存储池来给3622添加NVME存储池.
1. 首先临时建一个虚拟黑裙, 型号选白裙机器有M2而且可以建NVME存储池的机型, 然后把NVME直通给这个黑裙.
2. 进入系统后按照正常流程建立NVME存储池. 建完以后关闭该虚拟机.
3. 把该NVME接到或者直通到DS3622机器上, 启动DS3622.
4. 开机登陆以后, 系统会有提示发现新的存储池, 这个时候选择导入存储池.

目前在DS3622上使用这个存储池发现没有任何问题, 个人认为通过DSM建立的存储池稳定性应该比用插件建立的存储池稳定.

不过该吐槽的是NVME存储池在黑裙上速度跑不起来, 我准备再建一个WinServer的虚拟机, 把所有的U2都挂在WinServer上. 可以直接用SMB Direct. 这样我的台式机用的Win 11可以跑满40Gb的内网.

wsbpj

zxy2001 发表于 2023-9-6 21:51
求个教程。。。 目前S8030 + 7452+128G内存+ 4个U2，只做下载+存储 太浪费了。。。 ...

教程就是系统性学习 Docker 和 KVM, 没有现成的 UI, 都要命令行, 要想方便的话肯定要学shell, 然后通过dockerfile把kvm封装进去, 不过kvm硬盘效率肯定就不行了, 跟虚拟机没区别, 只是linux里要用win 的话只能kvm, 目前还没听说过其他方式

网仙

今晚大老虎 发表于 2023-10-6 03:25
DS3622 白裙机器没有M2插槽, 所以不能直接给NVME建立存储池, 但是我无意中发现可以通过导入存储池来给3622 ...

不过该吐槽的是NVME存储池在黑裙上速度跑不起来


兄弟，你这个NVME存储池的速度问题解决没有？

我在1621XS+下面创建了两个raid0的nvme阵列，
每个阵列由2个SN640组成，一个JOBD，一个Raid0；建立存储卷，两者之间对拷速度只有400M~500M。硬件是X99，4通道64GB，且所有NVME均为pcie3.0，X4的连接，宿主ESXI7u3；
同样的配置在winserver2022上，随便就过1000MB/S.
不知道是那里被限制了。

zhjh945

刚抄作业上的7d12+8盘U2  还没想好底层系统上啥 是truenas还是unraid 只是单纯想折腾折腾 有其他的机器上群辉了

hu2851

我觉得是你的黑群晖的问题
话说都这样配置为啥还用黑群晖。。。

fkpwolf

你这要顺利运行起来，群晖不得倒闭啊。

我要群晖肯定绑定CPU指令集，绑定存储规格，什么其他事情不做，专门对付你。

否则你全闪又便宜又快速，我企业级还玩个屁啊。

MikuLuka

很早就有人说DSM对全闪NVME不友好了，没想到到现在还没进步，
全闪就只能研究WINNAS或者UNRAID还有TrueNAS这几个，不过WINNAS也有问题WIN10单3多4 WIN11单4多4，硬盘再快也没用，

今晚大老虎

网仙 发表于 2024-1-15 14:30
不过该吐槽的是NVME存储池在黑裙上速度跑不起来

我觉得你的瓶颈在于SN640的JBOD阵列上, 据我所知SN640单线程拷贝速度就是400M-500M之间. 要多线程拷贝才能突破这个瓶颈.  黑群上我现在还不知道怎么开SMB multi-channel和RDMA, 估计是不支持这些功能. Windows server则简单很多, 能开的功能都是自动打开的. 我在Windows server 2022做过实验, 服务器端挂单盘P5510, 客户端用Windows 11, 单线程拷贝就能跑满2GB/s, 两个拷贝任务就跑满了网卡极限4GB/s, 应该是自动打开了RDMA.

网仙

今晚大老虎 发表于 2024-1-15 23:29
我觉得你的瓶颈在于SN640的JBOD阵列上, 据我所知SN640单线程拷贝速度就是400M-500M之间. 要多线程拷贝才 ...

是的，跟640本身的性能有关，但是我想也不至于这么不济吧！单线竟然跟SATA的ssd没啥区别。
我把JBOD换成raid0，两个阵列之间单线拷贝在900MB/S多一点。

ishadow

这硬件不上虚拟化直装黑群太浪费了，盲猜是aprl或者dsm软件造成的问题

今晚大老虎

网仙 发表于 2024-1-16 09:04
是的，跟640本身的性能有关，但是我想也不至于这么不济吧！单线竟然跟SATA的ssd没啥区别。
我把JBOD换成r ...

和640的定位有关, 我看了评测说是为了云服务器准备的. 应该是为了优化了多任务读写, 所以在主控里微调了一些设置.  

网仙

今晚大老虎 发表于 2024-1-17 01:34
和640的定位有关, 我看了评测说是为了云服务器准备的. 应该是为了优化了多任务读写, 所以在主控里微调了 ...

在windows下性能明显好一些，可能是有什么RDMA之类的性能加成。

我原本是打算直接用群晖来管理这些盘，系统结构简单很多，后期维护也方便。
目前群晖的synology Drive在我这是生产力工具，有多人同时使用。

4个SN640挂在群晖下，在raid0或者JBOD模式，利用率比较高，但主观感觉JBOD可靠性稍好一点，坏掉一片盘，剩下三盘的数据还有的救。结果性能太弱。看来现在只能4盘raid5了。

目前的状态：
在存储管理员界面可以直接使用2个m.2，配成JBOD；
在命令行将另外2片creat成riad0，mount到共享文件夹下使用。

用起来倒是没问题，整个系统也比较稳定。
只是感觉这么贵的盘，连10G内网都整不满，有点不甘心呀。

后续打算把4盘全部用mdadm命令配成raid5，挂载到共享文件夹下面，这样应该单线拷贝能跑满10G了。只是这种情况就没法继续使用存储管理员的界面来管理硬盘了。

今晚大老虎

网仙 发表于 2024-1-17 10:08
在windows下性能明显好一些，可能是有什么RDMA之类的性能加成。

我原本是打算直接用群晖来管理这些盘， ...

windows下对nvme存储池的支持确实好很多, 但是增加了维护难度. 我后来也放弃了Windows server, 直接用群晖来管理ssd. 速度损失一半也还是能接受, 毕竟我一般都是往上面存取备份.

你的情况我个人建议啊你就做raid0其实是没事的. 企业级的ssd现在可靠性比机械硬盘高太多了. 以前说raid0是数据火葬场是针对机械硬盘的, 现在企业级的ssd因为没有机械部件,无故障时间起码都是3-5年起. 其可靠性和故障率比起机械硬盘都好太多了.  做好散热和稳压, 企业SSD是人走盘还在, 一盘传3代.

你如果只是担心数据安全性而白白放弃了一块固态, 个人觉得太可惜了. 你不如把这4块ssd好好的利用起来, 然后找块机械硬盘做备份. 一块SN640起码1600块吧, 一块14T或者16T的机械硬盘才几百块. 机械硬盘便宜又大碗, 拿来做备份最合适不过, 而且这样你的数据安全性比raid 5还会大大的提高. Raid只是保障数据的在线率, 不能提高数据的安全性, 更不能代替备份.
以上只是个人建议

网仙

今晚大老虎 发表于 2024-1-17 21:45
windows下对nvme存储池的支持确实好很多, 但是增加了维护难度. 我后来也放弃了Windows server, 直接用群 ...

raid0还是有点不放心呀
故障概率直接放大4倍呢

今晚大老虎

网仙 发表于 2024-1-18 13:53
raid0还是有点不放心呀
故障概率直接放大4倍呢

听起来是挺吓人的
具体看你的数据重要程度了, 我都是些个人数据, 平时也都开着自动备份, 重要一点的照片什么的都是冷热双备份, 所以真盘坏了感觉损失也没有那么大.

网仙

今晚大老虎 发表于 2024-1-18 22:17
听起来是挺吓人的
具体看你的数据重要程度了, 我都是些个人数据, 平时也都开着自动备份, 重要一点的照片 ...

我用群晖都是一直插着一个USB的外接硬盘（硬盘盒+企业级）做冷备，hyperBackup每天凌晨自动增量备份，阵列这么多年一直没有出过问题；备份盘都升级了好几次。
最早是5盘酷狼4T的raid5，后来换成了4张1.6T的ssd---西数SA620。现在筹备这个4盘SN640的X99机器，准备彻底搞好了再上线。

今晚大老虎

网仙 发表于 2024-1-18 22:48
我用群晖都是一直插着一个USB的外接硬盘（硬盘盒+企业级）做冷备，hyperBackup每天凌晨自动增量备份，阵 ...

我的SSD比较杂, P4510, P5510 小海豚P5, 一直都是单盘裸奔. 我有个热备8个机械8T做Raid 6, 然后有个冷备4个机械18T做Raid5.  我目前也从来没有遇到过阵列出故障的时候, SSD也都是一切正常.

网仙

8*8T+4*18T做热备，SSD的规模可想而知呀

今晚大老虎

网仙 发表于 2024-1-19 19:11
8*8T+4*18T做热备，SSD的规模可想而知呀

买的矿盘, 目前没有发现什么问题

hanyou7

mkkkno1 发表于 2023-10-6 02:34
我用truenas各种拷贝，复制数据流，有上pt的数据了，没啥问题呀；全闪阵列到全闪阵列，全闪到hd阵列都试过 ...

16块U2全部做直通吗？ pve或者esxi下直通这么多设备有没有问题？

mkkkno1

hanyou7 发表于 2024-11-6 19:45
16块U2全部做直通吗？ pve或者esxi下直通这么多设备有没有问题？

存粹的存储我就没做虚拟化了，我也试过系统盘完蛋的情况（虽然系统盘是raid1，还是不放心），重做系统，恢复起来也挺快。