用windows server 2022
然后在hyper-v里面安装黑群晖
可以把硬盘直通过去
或者还是创建vhdx吧留一点余量就行
本帖最后由 wsbpj 于 2023-9-6 21:26 编辑
S8030+7532+11个U2+1个AIC，目前利用率最高的方法，docker，如果你操作系统样式特别多，可以考虑ESXi，或者win的虚拟机多，如果是linux多，直接docker，各方面利用率遥遥领先，win虚机不多考虑docker里运行kvm wsbpj 发表于 2023-9-6 21:25
S8030+7532+11个U2+1个AIC，目前利用率最高的方法，docker，如果你操作系统样式特别多，可以考虑ESXi，或者 ...
求个教程。。。 目前S8030 + 7452+128G内存+ 4个U2，只做下载+存储 太浪费了。。。 我的配置和你差不多: 7d12解锁功耗+Krpa+256G内存+3个U2 , 我用的是PVE虚拟黑裙, 之前3个存储池之间也倒过几T的数据,倒是没有你说的问题. 你的SSD散热够吧? U2对拷,两个盘基本都是满功耗, 看你的描述像是ssd 过热保护了. 群晖一直对非认证的闪存作存储池有问题 忘记从哪里看到的了 说是群晖对NVME的支持不是很友好。 群晖系统给小孩玩还行，你都上7D12了，用群晖系统就是闹
EPYC的PCIE通道拉跨的狠，虽然给的多。
建议进BIOS微调，关于PCIE的能关的都关了。
手中有七八台EPYC，也是PCIE引起的U2卡死和掉盘。忘记后来关的哪些了，反正一个个试。关了后会正常。 本帖最后由 mkkkno1 于 2023-10-6 02:45 编辑
我用truenas各种拷贝，复制数据流，有上pt的数据了，没啥问题呀；全闪阵列到全闪阵列，全闪到hd阵列都试过一遍。一共hd有近50块、u2有16块、sata ssd有8块，m2镜像做系统就没算了。国庆期间又用nuc9做了一个简单的全闪，2个u2、2个m2、一个msata，pve+truenas也没问题。
如果非要用群晖可以试试虚拟化，底层用别的系统做raid然后给群晖用。
本帖最后由 今晚大老虎 于 2023-10-6 03:28 编辑
DS3622 白裙机器没有M2插槽, 所以不能直接给NVME建立存储池, 但是我无意中发现可以通过导入存储池来给3622添加NVME存储池.
1. 首先临时建一个虚拟黑裙, 型号选白裙机器有M2而且可以建NVME存储池的机型, 然后把NVME直通给这个黑裙.
2. 进入系统后按照正常流程建立NVME存储池. 建完以后关闭该虚拟机.
3. 把该NVME接到或者直通到DS3622机器上, 启动DS3622.
4. 开机登陆以后, 系统会有提示发现新的存储池, 这个时候选择导入存储池.
目前在DS3622上使用这个存储池发现没有任何问题, 个人认为通过DSM建立的存储池稳定性应该比用插件建立的存储池稳定.
不过该吐槽的是NVME存储池在黑裙上速度跑不起来, 我准备再建一个WinServer的虚拟机, 把所有的U2都挂在WinServer上. 可以直接用SMB Direct. 这样我的台式机用的Win 11可以跑满40Gb的内网. zxy2001 发表于 2023-9-6 21:51
求个教程。。。 目前S8030 + 7452+128G内存+ 4个U2，只做下载+存储 太浪费了。。。 ...
[傻笑]教程就是系统性学习 Docker 和 KVM, 没有现成的 UI, 都要命令行, 要想方便的话肯定要学shell, 然后通过dockerfile把kvm封装进去, 不过kvm硬盘效率肯定就不行了, 跟虚拟机没区别, 只是linux里要用win 的话只能kvm, 目前还没听说过其他方式
不过该吐槽的是NVME存储池在黑裙上速度跑不起来
本帖最后由 网仙 于 2024-1-15 14:34 编辑今晚大老虎 发表于 2023-10-6 03:25
DS3622 白裙机器没有M2插槽, 所以不能直接给NVME建立存储池, 但是我无意中发现可以通过导入存储池来给3622 ...
不过该吐槽的是NVME存储池在黑裙上速度跑不起来
兄弟，你这个NVME存储池的速度问题解决没有？
我在1621XS+下面创建了两个raid0的nvme阵列，
每个阵列由2个SN640组成，一个JOBD，一个Raid0；建立存储卷，两者之间对拷速度只有400M~500M。硬件是X99，4通道64GB，且所有NVME均为pcie3.0，X4的连接，宿主ESXI7u3；
同样的配置在winserver2022上，随便就过1000MB/S.
不知道是那里被限制了。 刚抄作业上的7d12+8盘U2还没想好底层系统上啥 是truenas还是unraid 只是单纯想折腾折腾[困惑] 有其他的机器上群辉了 我觉得是你的黑群晖的问题
话说都这样配置为啥还用黑群晖。。。 你这要顺利运行起来，群晖不得倒闭啊。
我要群晖肯定绑定CPU指令集，绑定存储规格，什么其他事情不做，专门对付你。
否则你全闪又便宜又快速，我企业级还玩个屁啊。 很早就有人说DSM对全闪NVME不友好了，没想到到现在还没进步，
全闪就只能研究WINNAS或者UNRAID还有TrueNAS这几个，不过WINNAS也有问题WIN10单3多4 WIN11单4多4，硬盘再快也没用， 网仙 发表于 2024-1-15 14:30
不过该吐槽的是NVME存储池在黑裙上速度跑不起来
我觉得你的瓶颈在于SN640的JBOD阵列上, 据我所知SN640单线程拷贝速度就是400M-500M之间. 要多线程拷贝才能突破这个瓶颈.黑群上我现在还不知道怎么开SMB multi-channel和RDMA, 估计是不支持这些功能. Windows server则简单很多, 能开的功能都是自动打开的. 我在Windows server 2022做过实验, 服务器端挂单盘P5510, 客户端用Windows 11, 单线程拷贝就能跑满2GB/s, 两个拷贝任务就跑满了网卡极限4GB/s, 应该是自动打开了RDMA. 今晚大老虎 发表于 2024-1-15 23:29
我觉得你的瓶颈在于SN640的JBOD阵列上, 据我所知SN640单线程拷贝速度就是400M-500M之间. 要多线程拷贝才 ...
是的，跟640本身的性能有关，但是我想也不至于这么不济吧！单线竟然跟SATA的ssd没啥区别。
我把JBOD换成raid0，两个阵列之间单线拷贝在900MB/S多一点。
这硬件不上虚拟化直装黑群太浪费了，盲猜是aprl或者dsm软件造成的问题 网仙 发表于 2024-1-16 09:04
是的，跟640本身的性能有关，但是我想也不至于这么不济吧！单线竟然跟SATA的ssd没啥区别。
我把JBOD换成r ...
和640的定位有关, 我看了评测说是为了云服务器准备的. 应该是为了优化了多任务读写, 所以在主控里微调了一些设置. 本帖最后由 网仙 于 2024-1-17 10:32 编辑
今晚大老虎 发表于 2024-1-17 01:34
和640的定位有关, 我看了评测说是为了云服务器准备的. 应该是为了优化了多任务读写, 所以在主控里微调了 ...
在windows下性能明显好一些，可能是有什么RDMA之类的性能加成。
我原本是打算直接用群晖来管理这些盘，系统结构简单很多，后期维护也方便。
目前群晖的synology Drive在我这是生产力工具，有多人同时使用。
4个SN640挂在群晖下，在raid0或者JBOD模式，利用率比较高，但主观感觉JBOD可靠性稍好一点，坏掉一片盘，剩下三盘的数据还有的救。结果性能太弱。看来现在只能4盘raid5了。
目前的状态：
在存储管理员界面可以直接使用2个m.2，配成JBOD；
在命令行将另外2片creat成riad0，mount到共享文件夹下使用。
用起来倒是没问题，整个系统也比较稳定。
只是感觉这么贵的盘，连10G内网都整不满，有点不甘心呀。
后续打算把4盘全部用mdadm命令配成raid5，挂载到共享文件夹下面，这样应该单线拷贝能跑满10G了。只是这种情况就没法继续使用存储管理员的界面来管理硬盘了。 网仙 发表于 2024-1-17 10:08
在windows下性能明显好一些，可能是有什么RDMA之类的性能加成。
我原本是打算直接用群晖来管理这些盘， ...
windows下对nvme存储池的支持确实好很多, 但是增加了维护难度. 我后来也放弃了Windows server, 直接用群晖来管理ssd. 速度损失一半也还是能接受, 毕竟我一般都是往上面存取备份.
你的情况我个人建议啊你就做raid0其实是没事的. 企业级的ssd现在可靠性比机械硬盘高太多了. 以前说raid0是数据火葬场是针对机械硬盘的, 现在企业级的ssd因为没有机械部件,无故障时间起码都是3-5年起. 其可靠性和故障率比起机械硬盘都好太多了.做好散热和稳压, 企业SSD是人走盘还在, 一盘传3代.
你如果只是担心数据安全性而白白放弃了一块固态, 个人觉得太可惜了. 你不如把这4块ssd好好的利用起来, 然后找块机械硬盘做备份. 一块SN640起码1600块吧, 一块14T或者16T的机械硬盘才几百块. 机械硬盘便宜又大碗, 拿来做备份最合适不过, 而且这样你的数据安全性比raid 5还会大大的提高. Raid只是保障数据的在线率, 不能提高数据的安全性, 更不能代替备份.
以上只是个人建议[偷笑] 今晚大老虎 发表于 2024-1-17 21:45
windows下对nvme存储池的支持确实好很多, 但是增加了维护难度. 我后来也放弃了Windows server, 直接用群 ...
raid0还是有点不放心呀[傻笑]
故障概率直接放大4倍呢 网仙 发表于 2024-1-18 13:53
raid0还是有点不放心呀
故障概率直接放大4倍呢
听起来是挺吓人的[恶魔]
具体看你的数据重要程度了, 我都是些个人数据, 平时也都开着自动备份, 重要一点的照片什么的都是冷热双备份, 所以真盘坏了感觉损失也没有那么大. 今晚大老虎 发表于 2024-1-18 22:17
听起来是挺吓人的
具体看你的数据重要程度了, 我都是些个人数据, 平时也都开着自动备份, 重要一点的照片 ...
我用群晖都是一直插着一个USB的外接硬盘（硬盘盒+企业级）做冷备，hyperBackup每天凌晨自动增量备份，阵列这么多年一直没有出过问题；备份盘都升级了好几次。
最早是5盘酷狼4T的raid5，后来换成了4张1.6T的ssd---西数SA620。现在筹备这个4盘SN640的X99机器，准备彻底搞好了再上线。 网仙 发表于 2024-1-18 22:48
我用群晖都是一直插着一个USB的外接硬盘（硬盘盒+企业级）做冷备，hyperBackup每天凌晨自动增量备份，阵 ...
我的SSD比较杂, P4510, P5510 小海豚P5, 一直都是单盘裸奔. 我有个热备8个机械8T做Raid 6, 然后有个冷备4个机械18T做Raid5.我目前也从来没有遇到过阵列出故障的时候, SSD也都是一切正常. [狂笑] 8*8T+4*18T做热备，SSD的规模可想而知呀 网仙 发表于 2024-1-19 19:11
8*8T+4*18T做热备，SSD的规模可想而知呀
买的矿盘, 目前没有发现什么问题[偷笑] mkkkno1 发表于 2023-10-6 02:34
我用truenas各种拷贝，复制数据流，有上pt的数据了，没啥问题呀；全闪阵列到全闪阵列，全闪到hd阵列都试过 ...
16块U2全部做直通吗？ pve或者esxi下直通这么多设备有没有问题？ hanyou7 发表于 2024-11-6 19:45
16块U2全部做直通吗？ pve或者esxi下直通这么多设备有没有问题？
存粹的存储我就没做虚拟化了，我也试过系统盘完蛋的情况（虽然系统盘是raid1，还是不放心），重做系统，恢复起来也挺快。