准备组个全闪的nas，有点纠结，探讨探讨

YsHaNg · 发表于 2023-10-22 00:21

nw_liqi 发表于 2023-10-21 15:47
我是4T的，新版可能换方案了，我也没研究过
我在同样的环境下用hdparm看的，反正俩结果不一样 ...

那不错多一个可选的

skulds · 发表于 2023-10-22 00:28

另外友情提醒一下软硬RAID在SATA SSD下面的差别，我自己前两个月刚搞的，6块东芝hk4r 1.92T ，LSI 9361-8i RAID卡，测速结果如图：
QQ截图20231022002431(1).jpg

虽然但是，4K没提升我没搞明白是哪儿的问题……

本来是10G内网丢NAS上用iSCSI来使用，后来各种非法关机/断开网络导致丢文件，一气之下移到本机用了，好在emlc的SSD发射很低

OstCollector · 发表于 2023-10-22 00:29

本帖最后由 OstCollector 于 2023-10-22 00:36 编辑

nw_liqi 发表于 2023-10-21 22:15
创见SSD230s是支持RZAT的，MX500确实不支持，我在linux下看了，其他盘我暂时手里没有
不过这个是个好问题 ...

RZAT在linux启用了吗？我之前看过ata的驱动，这块是白名单的，只有intel、micron（可能还有三星）开了

刚看了下6.1的源码，这块应该没有变化，三星确认在里面，还有两个型号系列没认出来

李一族 · 发表于 2023-10-22 00:40

skulds 发表于 2023-10-22 00:28
另外友情提醒一下软硬RAID在SATA SSD下面的差别，我自己前两个月刚搞的，6块东芝hk4r 1.92T ，LSI 9361-8i ...

4k没降速就不错了，
4k就是硬盘最小存储单位，4k文件也没有办法进行分割，速度就还是单盘的速度。

skulds · 发表于 2023-10-22 00:43

李一族发表于 2023-10-22 00:40
4k没降速就不错了，
4k就是硬盘最小存储单位，4k文件也没有办法进行分割，速度就还是单盘的速度。 ...

哦哦，所以64线程4K能提升，单线程4K不行，明白了

nw_liqi · 发表于 2023-10-22 00:48

本帖最后由 nw_liqi 于 2023-10-22 00:51 编辑

OstCollector 发表于 2023-10-22 00:29
RZAT在linux启用了吗？我之前看过ata的驱动，这块是白名单的，只有intel、micron（可能还有三星）开了

...

我不知道怎么样算是启用，我以为hdparm写着有就是有，见下图
才疏学浅了，有资料的话我去看看

Golrate · 发表于 2023-10-22 01:31

我来讲讲我的解决方案：
准备
1. 软路由，我用的是畅网的软路由，底部可开口把线接出来，800元
2. m.2转pcie，80-100
3. plx卡，我用的8口，650
4. u.2线 50*8=400
5. sn640 1600*8=12800
6. 12025风扇
7. 其它小配件，例如dc一分二，4pin一分二，还有一个固定板，找人定制的铝板

首先m.2引出pcie，再插plx卡，然后接8块u.2。
风扇供电由主板一分二引出。
硬盘和pcie供电有dc口提供。
固定的话，靠上面这块板，中间孔位固定硬盘，边角的4个孔固定风扇和pcie插槽。

如果放在机柜里，那无所谓，放在桌子上的话，可以找人定制个外壳。

这个方案应该很贴合楼主的需求了。嫌盘位不够的话，还有20口的plx卡。
我用下来，待机温度45多些，带负荷时好像也就50°C，io速度的话，跑满2.5G完全没问题。。

巴特沃斯 · 发表于 2023-10-22 02:55

其实现在40G的网卡和光模块以及线也很便宜...要不

chatr · 发表于 2023-10-22 06:48

我组了个QNAS mini，配合咸鱼改造的箱子上了N100 CPU，上不了U2固态，也用不了厚点的2.5机械。我用的是全闪方案，配六块2tb sata固态，两个2.5G口聚合一下也差不多跑满固态速度。缺点是容量最大只能12tb，如果可以忍痛买超贵的sata 4t也可以更大，不过没必要了。。

codycham · 发表于 2023-10-22 07:03

过来人说一下，一切都是瞎折腾，无聊才折腾！

acios · 发表于 2023-10-22 08:30

Golrate 发表于 2023-10-22 01:31
我来讲讲我的解决方案：
准备
1. 软路由，我用的是畅网的软路由，底部可开口把线接出来，800元

你这个就比较适合用一块五花肉那个箱子来做了

acios · 发表于 2023-10-22 08:35

chatr 发表于 2023-10-22 06:48
我组了个QNAS mini，配合咸鱼改造的箱子上了N100 CPU，上不了U2固态，也用不了厚点的2.5机械。我用的是全闪 ...

对，这个方案现在最大的瓶颈是sata的ssd性价比太低，三星870 8g 还是qlc的都要2000多一块，感觉远不如u2
如果上2t的吧，首先也不便宜，也要400多，而且单盘位成本就上去了

bil · 发表于 2023-10-22 08:48

本帖最后由 bil 于 2023-10-22 09:01 编辑

两种思路都折腾过，启初觉得通过4口的U2转PCIE看起来不错干净整洁。
但是实际用上的话，因为U2盘的待机发热不低，像我这样8个U2并排，末尾这两个吃尾气常年65度以上（选择静音的话前面板风扇不可能长时间保持高转速）个人觉得这种转接形式比较适合卧室机箱且保持前置风扇日常高转速的前提下才能用，家用环境一般不太满足。

所以最后处于温度考虑，还是用了传统的分仓独立风道的结构。用的就是voandrew的这台设计，温度上好很多，相对的风扇转速也没有压力，常年维持低转速保证通风就行。8个盘互相没有影响，维持在50度以内。

至于成本这一块完全看个人，我对价格不敏感，所以随便买。ROMED4ID-2T这块主板优势在通道数多，理论最大支持17个U2外加一条满速PCIE4.0扩展槽。如果只有8盘位且PCIEX16不会被其他扩展卡占用的情况下，普通主板就行了。

acios · 发表于 2023-10-22 08:57

bil 发表于 2023-10-22 08:48
两种思路都折腾过，启初觉得通过4口的U2转PCIE看起来不错干净整洁。
但是实际用上的话，因为U2 ...

靠谱，我研究研究什么主板合适。其实ROMED4ID-2T也还行，而且amazon上卖的也不是很贵，300多刀，我只是没想明白多出来这么多通道对我有啥用而已，可能折腾了之后就会发现有用？哈哈

bil · 发表于 2023-10-22 09:04

acios 发表于 2023-10-22 08:57
靠谱，我研究研究什么主板合适。其实ROMED4ID-2T也还行，而且amazon上卖的也不是很贵，300多刀，我只是没 ...

以后说不定会有基于16盘位的迷你NAS出现，一步到位也是不错的。本来组全闪也有一层玩的意思，刚好卡个及格线还是有点小难受的。

190 · 发表于 2023-10-22 09:07

本帖最后由 190 于 2023-10-22 09:12 编辑

U2温度也没啥好担心的，我就是12代平台+2个intel笼的方案，intel笼子的盘位间距还刚好够给sn640加散热片，目前2个8盘位的笼子里装了6个U2+2个sata，待机温度很好看。捕获.JPG

截图看不太清，懒得弄了，sn640 43-44度，pm1735 35-37度，室温大概20来度吧。

Golrate · 发表于 2023-10-22 10:44

Golrate 发表于 2023-10-22 01:31
我来讲讲我的解决方案：
准备
1. 软路由，我用的是畅网的软路由，底部可开口把线接出来，800元

除了软路由，还可以是带m.2的nas，我放在机柜里，放在里面不影响外观。另外这玩意是免驱的，基本上插上去都能直接识别，扩充nas存储非常香。

当然也可以直接插在主机上，直接固定在风扇上就好了。
我用的b660m，主板上三个m.2，加八个u.2, 考虑性价比，可以整7*8+1.8*3≈60T左右的实际容量。硬盘固定在风扇上有一个很大的优势，就是温度可以很好的控制下来，毕竟风扇直吹。

zzeng12 · 发表于 2023-10-22 12:25

hawie 发表于 2023-10-21 09:48
U.2其实不适合做7*24h开机的全闪NAS。因为待机功耗太高，1个盘近10W。
相比，如果选择M.2 NVMe，功耗低，待 ...

伙计，华擎6*M.2主板是什么型号，我找了半天没找到铭瑄5个的倒是能找见

iKira · 发表于 2023-10-22 12:36

wsbpj 发表于 2023-10-21 21:35
云玩家说话就是硬气

你这句话说的不就是你自己么？

谁没钱玩几个破设备呢，我玩的加起来10几个W也是有的，算不上面面覆盖，但也用不着你来评价。玩几个东西你也能秀优越，靠阴阳别人来增加自信么？

hawie · 发表于 2023-10-22 13:56

zzeng12 发表于 2023-10-22 12:25
伙计，华擎6*M.2主板是什么型号，我找了半天没找到铭瑄5个的倒是能找见

https://www.chiphell.com/thread-2553662-1-1.html

wsbpj · 发表于 2023-10-22 14:20

本帖最后由 wsbpj 于 2023-10-22 14:44 编辑

iKira 发表于 2023-10-22 12:36
你这句话说的不就是你自己么？

谁没钱玩几个破设备呢，我玩的加起来10几个W也是有的，算不上面面覆盖， ...

麻烦简述一下各厂家 NVMe 存储设备的大概型号, 各型号的工作场景, 简述企业级 SSD 基本的一些性能参数.

最后, 请推荐一个方案, 可以满足又小又静音同时可以平替6块14T的机械的全闪方案

我没买过多少 NVMe 存储, 之前的图你可能没看懂, 我简述一下设备型号
3.0: 大普微H3200, 三星PM983A, 英特尔900P
4.0: 大普微R5100,大普微R5101,三星PM1735,铠侠CM6,铠侠FL6,英特尔P5530
麻烦你对 U2 有什么了解, 买过哪些硬盘呢?

我的原话建议你看看清楚, 我阴阳怪气纯粹是因为楼主既要还要, 又想便宜又想比别人好, 这是我蚌埠住的点

你知道吗, 计算机整个发展历史都希望有即便宜又静音,性能高发热小且功率低的机器.

wsbpj · 发表于 2023-10-22 14:22

本帖最后由 wsbpj 于 2023-10-22 14:56 编辑

说实话, 就一句建议投胎100年后, 我都没什么阴阳怪气的想法, 纯粹是觉得你这需求现代科学满足不了, 顺便说下问题有多离谱

就这个问题的提出, 我觉得都是对之前组全闪的人的讽刺, 人家是傻子不想要这些东西?会不会人家也想要就是要不了, 甚至拿钱也要不到的地步?

能觉得我这句话在阴阳怪气足以证明在其他地方已经被别人吐槽过很多次了

<电脑领域自成方圆，玩法多样，有不同观点很正常。这里是技术区，我们鼓励动脑筋思考和尝试解决问题的“有办法”精神>

<为维护论坛氛围，对标题党、无脑问题、伸手党、滥发帖子、骗取关注和广告行为>

大恶魔就可以当伸手党, 可以为所欲为, 是吧

而且没有一个具体的型号或者方案, 也就是说完全就没研究过, 如果给出一个稍微具体一点的方案, 我也只会说这方案哪里有问题, 有什么更好的方案, 或者可以考虑的点, 但是, 有吗?完全没有, 而且还什么都想要, 我除了投胎想不到其他方案.

网仙 · 发表于 2023-10-22 14:45

本帖最后由网仙于 2023-10-22 23:14 编辑

最近发现论坛好多人在搞全闪NAS，正好几年前家里和办公室用的几套X99准备扔掉，其中一台是X99M-WS的6950X的cpu挂了，舍不得扔。
只记得他们是40lane的pcie，于是研究了一下。

下面是我的建议：
现在E5V4的平台成本实在是太低了，完全是垃圾价格，曾经一两万一颗CPU只要几十块钱。。。。令人感叹。
他可是40条PCIE，4通道内存，支持regECC，以及自带至少8个SATA口；
还有，这种板子都默认支持SR-IVO，这对网卡的虚拟化非常有用，
难道这不是家用服务器的最佳配置吗？关键是成本更低，性能上限更高，扩展性更强，但功耗相仿。

与D1581对比了一下，他们是同代CPU，都是 Broadwell五代平台，但是E5V4支持更大的内存，且支持四通道，有更多的PCI-E通道。

拆了个微星的X99 carbon pro主板，先尝试修改BIOS手动拆分PCIE，成功将其变成了8个X4和1个X8。
测试CPU是1650V4，配合4*16G的regECC内存，安装ESXI7.0U3和WINDOWS SERVER2019，裸机待机功耗均在45W左右。cpuZ下benchmark烤机功耗110W。散热器为猫头鹰L12S。
cpu换成2697AV4，待机功耗58W，cpuZ下benchmark烤机功耗180W。（硬盘用的是intel傲腾905p，功耗比普通SSD要高3W左右，如果换成SATA的消费级ssd，待机功耗在54-55W）
以上均为不带其他硬盘、不带显卡、远程桌面下的实测数据。

如此，不使用昂贵的PLX拆分卡，可直接上8个U.2，再插一张 X710万兆光口卡在X8这个槽里，整机待机功耗估计在70W+，（1650V4；使用2697A则要再高出14W左右）。

ESXI下虚拟openwrt，群辉，windows，ubuntu，trunas. 外挂上8个SATA盘，停转时，整机待机功耗估计在100W左右。。。。

过几天来画个图做个机箱，折腾一下试试看效果。
这玩意应该可以顶好几年了。

acios · 发表于 2023-10-22 20:07

wsbpj 发表于 2023-10-22 14:22
说实话, 就一句建议投胎100年后, 我都没什么阴阳怪气的想法, 纯粹是觉得你这需求现代科学满足不了, 顺便说 ...

本来不太想理你，说话带着浓厚的火药味，我这个帖子问的问题已经很具体了，是不是伸手党大家自有公论，帖子里大家讨论提出了很多有建设性的方案，我觉得学到了很多，只有你在这里怼这怼那，还有点秀优越感的意思，说实话你要是具体讲讲方案优劣，证明大家的思路不可行，那也算有贡献，不知道你是不是曾经受过什么刺激，讲话基本的礼貌都没有，希望你以后想好了再发帖，和谐讨论

acios · 发表于 2023-10-22 20:23

网仙发表于 2023-10-22 14:45
最近发现论坛有人在搞全闪NAS，正好几年前家里和办公室用的几套X99准备扔掉，其中一台是6950X的cpu挂了。
...

话说，有没有itx的x99主板适合干这个的？这样就可以直接放进一小块五花肉的那个小机箱里？

acios · 发表于 2023-10-22 20:28

网仙发表于 2023-10-22 14:45
最近发现论坛有人在搞全闪NAS，正好几年前家里和办公室用的几套X99准备扔掉，其中一台是6950X的cpu挂了。
...

另外我看了一下你这块x99，好像也只有6个PCIe槽？是用拆分卡再拆吗？

nw_liqi · 发表于 2023-10-22 20:57

acios 发表于 2023-10-22 20:23
话说，有没有itx的x99主板适合干这个的？这样就可以直接放进一小块五花肉的那个小机箱里？ ...

itx x99只有华擎那块，同样的还有X299 itx

华擎的这两块板子确实很惊艳，但不得不说的问题是，板子做成itx集成度过高，很多用户都反馈时间长了以后有各种奇怪的小问题，第二是牺牲了扩展性，例如X99只有一个X16+一个m.2

全闪的精髓还是板U要提供足够的pcie通道，itx本身只有一条全长16，如果要提供超过16条通道，必须在主板上要有mcio或者slimsas这样的接口，这就是为啥很多人用ROMED4ID-2T这块板子。所以如果空间没那么紧张的话，把板子放宽到matx选择会多很多

acios · 发表于 2023-10-22 21:35

nw_liqi 发表于 2023-10-22 20:57
itx x99只有华擎那块，同样的还有X299 itx

华擎的这两块板子确实很惊艳，但不得不说的问题是，板子做成i ...

懂了，我看看有啥matx合适的机箱先

网仙 · 发表于 2023-10-22 21:48

本帖最后由网仙于 2023-10-22 23:09 编辑

acios 发表于 2023-10-22 20:28
另外我看了一下你这块x99，好像也只有6个PCIe槽？是用拆分卡再拆吗？

为什么选择HEDT平台的X99，就是因为他的pciE资源足够丰富呀，我的兄弟！

普通的主板，看起来上有很多扩展的PCIE槽，实际上都是拥挤在PCH的那个独木桥上的。

举个例子吧，DQ77KB的小板子，用PCIE槽直插网卡，和南桥带的网卡，当系统忙碌，硬盘、两张网卡、USB3、还有两个miniPciE都处于重负荷时，南桥网卡你完全能感受到卡顿，资源不够用，而直插PCIE的网卡在同等条件下任然丝滑。这个我实际的体会过。所以我才尝试用X99来当做高性能的NAS。

X99有40条lane，上8个nvme没有问题，留下一条x8槽给10G或者25G网卡。

你还在找什么itx。。。这不是舍本逐末？
itx除非是特殊设计，否则系统不可能给你引出所有的lane，华擎的X99,X299itx都是这样。

一般的matx或者atx大板，都是X16 + X16 + X8三条槽的设计，其他的槽如果用的是cpu信号，那么一般是从1槽借的X8。

MSI X99的pcie资源.png

就拿我做测试的这个MSI的X99来说，第一条和第五条是共用原生X16，当第五槽有设备的时候，第一槽自动降为X8。所以第5槽就不用管他，闲置即可。
第三槽是原生X16，第六槽是原生X8；

我已经将第一槽和第五槽成功拆分，也就是拆成了8个x4，使用2张下面这种卡，即可直接和8个U.2的硬盘连接。

拆分.png