记录下我的家用万兆SSD加速nas及私有云

nan_zh

用NAS也是很多年了，最早从pc上弄smb，然后是wdmycloud才真像nas，后来也短暂用了下黑白群晖和freenas，直到现在稳定用的OMV，个人觉得OMV比较适合家庭和小规模商用。万兆也用了一段时间，基本稳定下来，特此记录下。

一、先说下主要特性：
1、万兆传输，硬件受限不能发挥万兆全部带宽，但大文件传输速度可以达到800MB/s，家庭使用应该可以满足一般的视频编辑需求。速度800M是因为单个SSD的写入速度也就400M左右，RAID0下正好翻倍。
2、功耗超低，目前测试5块机械硬盘（14T*2，10T，7T，3T）加2块SSD共7个硬盘，整机待机功耗30W以内，由此带来的好处是温度很低，较室温温升7度以内，即室温27度，整机温度不到34度，降功耗也完全不是为了省电，仅仅为了降发热，散热花的钱远多于电费了。

二、硬件配置
1、J5005小主机，这里就不说哪款了，应该很容易猜到，因为这是我目前找到的唯一具备标准PCIEx4插槽的j5005。
2、PCIEx4插槽给万兆网卡，万兆网卡就是捡垃圾的cx341。主板上还有一个给WiFi用的PCIEx1的miniPCIE，用转接线接出来插一个6口SATA卡，6口SATA卡接5个机械硬盘和一个SSD，主板上还有一个MSATA，接出来给另一个SSD。

三、软件配置
1、为节省sata口，用U盘安装OMV系统，配合docker的nextcloud建私有云，晚点再研究下onlyoffice在线编辑
2、2个SSD配置成RAID0，合并容量同时翻倍读写速度。
3、机械硬盘配置为最节能模式，5分钟无操作停转。用这么激进节能策略的原因不仅是为了降发热，还有个重要原因：家里家务或者打扫时很容易碰到放硬盘的地方，硬盘运转中是很怕震动的，只有尽可能长时间完全停转才能最大机率保护硬盘上的数据。顺便多一句，很多时间以为硬盘启停容易坏是因为启停的时候才容易发现硬盘坏，实际上之前硬盘受到的损害在启停过程中才更容易表现出来。
4、主要常用文件操作在SSD上，每天晚上4点把SSD内容同步到机械硬盘。影音媒体等文件就直接用机械硬盘，虽然打开时需要等待几秒钟等机械硬盘激活，但对影音媒体这些，几秒钟等待时间我觉得完全不影响。

四、使用情况及问题
1、系统运行很稳定，CPU速度也完全没有问题，甚至性能富余很多，CPU长期都是空闲状态，即使大量文件copy也基本在30%以下，而且此时还有大量的IO等待时间。J5005确实很优秀，能以如此低功耗提供足够性能。
2、OMV系统的基础服务很稳定，nextcloud也是，目前还没出现过问题。
3、OMV的扩展和更新很不稳定，自动更新几次后会出现一些扩展服务无法启动，比如tty。
4、cx341网卡比较稳定，即使散热片烫手也正常工作，但重启后可能会不识别网卡，要等降温。OCP转接卡不够稳定，试过几种转接卡，都很容易出现启动后不能识别网卡问题，但正确识别到网卡后就能长期正常工作。
5、供电要很仔细考虑，试过几种dc-atx，容易出现硬盘不识别问题，后来通过直接焊接sata供电线到dc-atx电路板上解决，判断应该是端子接头长期使用会氧化导致接触电阻增大。如果直接用ac电源基本不会出问题。特别是启动瞬间，5个机械硬盘的启动功率可以超过100w，晚点再考虑弄个延迟启动硬件。
6、出现过无法正确从U盘启动问题，常常莫名其妙发生，莫名其妙解决。
7、j5005的PCIE通道太少了，哪怕再多一条也好，新的5095通道是增加了，却没有主板拉出来能用的~~~。
8、整机外观垃圾，接线乱七八糟一大堆，全部丢进电视柜抽屉，眼不见心不烦。

dcl2009

感觉CPU不够用哈，J5005是四核的，单个核心百分之二十五，如果是单线程任务已经满载了，占用率就百分之30左右晃悠，另一个证据是IO等待时间，这个不应该很大才对

还有，给网卡加个风扇吧，我有一个万兆卡只在线了三个月就烧了，后来给新换的加了个非常小的风扇，到现在正常工作

HappyTime

我还在用4.x版本,你用的什么版本?
6.x吗?稳定不

nan_zh

刚截图发现，我的记录有点问题，IO等待时间不多，是系统等待时间比较多。

nan_zh

dcl2009 发表于 2022-10-14 15:32
感觉CPU不够用哈，J5005是四核的，单个核心百分之二十五，如果是单线程任务已经满载了，占用率就百分之30左 ...

网卡加风扇的建议很好，前天买了个小风扇，看哪天关机的时候再加上去。

CPU我觉得是很够用了，我并不喜欢虚拟机，特别是软路由和nas放虚拟机，我觉得只适合特定少数人。

easyeiji

如果没特殊需求，目前上2.5G才是最优解

dcl2009

nan_zh 发表于 2022-10-14 16:51
网卡加风扇的建议很好，前天买了个小风扇，看哪天关机的时候再加上去。

CPU我觉得是很够用了，我并不喜 ...

这就对了嘛，我就说怎么会有那么多的等待，不装其他软件，挺好了

声色茶马

nan_zh 发表于 2022-10-14 16:51
网卡加风扇的建议很好，前天买了个小风扇，看哪天关机的时候再加上去。

CPU我觉得是很够用了，我并不喜 ...

软路由放虚拟机之后，硬盘可能就不能休眠了。至少我个人遇到个坑，硬盘休眠之后虚拟机里的ROS有可能会断网。

nan_zh

声色茶马 发表于 2022-10-14 17:22
软路由放虚拟机之后，硬盘可能就不能休眠了。至少我个人遇到个坑，硬盘休眠之后虚拟机里的ROS有可能会断 ...

是啊，折腾虚拟机很多坑，你这经验很好。
我之前折腾群晖时也是为了这个硬盘休眠才彻底放弃群晖的，要同时实现现在这样的功耗和速度，群晖基本不可能，除非全上SSD，但这样的话太没有成本效益，而且容量也达不到。

nan_zh

再补一张功耗图，这几天气温下来一点，温控风扇转速也明显降低了，整机功耗更低了

WHOISCHARLIE

LZ用的WYSE5070，然后外接硬盘？

ksjssj

之前用过OMV，后来底层系统退回WIN，不过在HYPER-V里虚拟了一个OMV。。。

nan_zh

WHOISCHARLIE 发表于 2022-10-14 22:58
LZ用的WYSE5070，然后外接硬盘？

发现了，不错

fyc858

easyeiji 发表于 2022-10-14 17:00
如果没特殊需求，目前上2.5G才是最优解

没错，2.5G目前看功耗发热比较平衡，速度也能接收，单块SATA SSD就能搞定，不用为了跑满万兆特意去做raid0，缺点就是如果搞虚拟化兼容性不是特别好，当然全万兆的话只要全用m2硬盘一样也没问题，Z790最多可以插7块M2，怕gen4功耗高可以跑gen2嘛，反正我不太喜欢为了跑满网卡去做raid0，我自己的nas对容量要求也不是很高，一块pcieX16的转接卡上放4快4T的KC3000做RAID10就足矣了

nan_zh

fyc858 发表于 2022-10-15 15:53
没错，2.5G目前看功耗发热比较平衡，速度也能接收，单块SATA SSD就能搞定，不用为了跑满万兆特意去做raid ...

对，对单块机械硬盘来说，2.5G已经够用。
但是，目前我对这个万兆方案的功耗发热是很满意的，额外付出不多的代价就可以获得相当不错的性能，这还是很划算的。

nan_zh

时隔大半年，一直稳定运行。但前几天突然街区停电，再开机总不识别网卡，一怒之下，换掉了主机，再来个记录。
主机更换为**B360M+G4900，自带6sata，不需要用外接sata卡了，本来买了lsi9217-8i，测试了下，功耗发热都太严重，光一个卡就要近10w，想想其实主板上的sata端口也够用了，就没用。
台式机的主板对PCIE的兼容性还是好很多，网卡不再出现不识别问题。

迁移的重点是数据，但过程意外的简单，2块2Tssd的raid0，直接接上就能正确识别文件系统，文件也都正常。
其实这也就是个缓冲，文件就算丢了，从硬盘copy回去就是，既然没丢，那就更省事。
其他硬盘就更简单，完全不需要额外操作。

弄完之后清爽了不少，启动便捷，接线清晰。

就一个硬盘休眠稍麻烦了点，OMV自带的休眠设置对有些硬盘不起作用，HDparm工作也有点奇怪，休眠和状态检查指令居然会唤醒硬盘。
最后换用hd-idle解决。

弄完后看了下功耗，包括几个风扇的整体待机功耗较之前增加了4w左右，总待机约28w。B360平台功耗其实也不高。
NAS读速度提高到1100M/s，写还是7xxM/s。

iamyangyi

富士通那个5005？