全闪NAS进阶记

LightFocus

去年装了一台Synology DS1821+，成为NAS小白。最近看到U.2固态不断降价，打算进阶装一台全闪NAS。现在主力电脑是MacBook Pro 14’，游戏玩的也少了，打算直接在NAS里搞个Windows VM把GPU直通过去解决一下为数不多的游戏需求。

逛CHH偶然看见Intel那个8盘位的U.2硬盘笼，打算找个带光驱位的机箱塞进去。既然要上U.2，又要GPU直通，还是考虑PCIe通道比较多的平台。虽然对打游戏来说Threadripper的高频更合适，砍半的内存通道和PCIe通道也够用，但是价格不太理想，所以最后还是选择了EPYC平台捡垃圾。

先看了一下CPU，NAS和游戏都不需要太多的核心数，所以选了主频高一点的7302。



选主板前先看了下机箱，最近上了机柜，强迫症还是想选择一个rackmount的机箱。但是我的机柜深度又只有600mm，服务器那些机箱肯定是不行的了，看了一圈最后选了银欣的RM42-502，两个光驱位刚好可以装硬盘笼，而且支持SSI-EEB主板，选择也多了一些。





当然硬盘笼和光驱位不是完全兼容的，所以直接暴力夹个笔记本让两者卡紧。





给EPYC二代的主板选择不算太多，考虑到硬盘笼是拿OCuLink口连接的，为了方便选了自带6个OCuLink口的ASUS KRPA-U16。这个主板也支持OCP 2.0 Mezzanine卡，可以上万兆卡也不占用常规PCIe口。





当然这个主板也有缺点，因为和内存冲突，显卡只能装在PCIE3那个PCIe 3.0 x16上，而且PCIE4的x8和PCIE3分带宽，所以如果要上高端显卡的话可能直接导致PCIE1、3、4都用不了。另外下面那四个OCuLink口在显卡正下方，买线的时候一定要记得买弯头的。



剩下的两个OCuLink口买了张Supermicro AOC-SLG3-2E4T解决。



为了不出兼容性问题，内存直接选了在AVL上的三星64G 2933 REG ECC。8通道刚好512G，方便后面折腾虚拟机、docker和ZFS。



显卡和电源是原来的台式机上拆过去的RX 6800和SF 750。



EPYC本身功耗不低，再加上其他这一堆东西，即使不装U.2硬盘，空闲时整机也有140W的功耗。

固态硬盘这边自然就是SN640了，考虑了一下先买了4块组个RAIDZ1。



OS的选择就有点说来话长了。我一开始把目光锁定在Unraid和TrueNAS Scale上，在老台式机上都短暂体验了一下，感觉TrueNAS更复杂一些，所以选择了Unraid。



Unraid最近刚刚更新支持了ZFS，可以对单盘创建ZFS也可以创建ZPool。因为我想搭全闪的NAS，一番Google后就发现了Unraid的第一个问题。

Unraid的设计理念是可以让你混搭各种大小、类型的硬盘，但是其对全闪的支持有点问题。Unraid在Array中加入固态硬盘的话是没有TRIM功能的，因为会和Parity冲突，但是Unraid又强制Array中至少有一个设备，所以你必须找一个设备扔到Array里面。Cache里面可以创建ZPool，这部分可以全闪，只需要把share全部存在cache里面就行。另外我不喜欢Unraid把序列号和U盘GUID绑定的做法，我有个金士顿U盘的GUID就会变（虽然理论上可以无限白嫖）。当然Unraid的社区APP以及对虚拟机的支持做的还是不错的，这点我比较喜欢。

最后没有用Unraid的原因是我在macOS上尝试打开有几千个文件的文件夹时，Finder直接崩了。看了下论坛，好像Unraid的smb和macOS兼容性有点问题。论坛有人给了解决方案在smb设置里面加一堆参数，我试了下可以用，但是速度还是很慢。想想Unraid毕竟还是个付费系统，麻了，转战TrueNAS Scale吧。



先拿个2T的SN550闪迪版创建个1 vdev的ZPool来装虚拟机。ZPool超过80%的占用后写入算法改变可能导致速度会下降，这里只分了1.4T给虚拟机。



另外因为内存比较大，也把默认50%的ARC占用改成了400G，后续存储池也可以开dedup功能。



这个机器姑且是要塞机柜的，所以headless就显得很重要了。先从基本的开关机和进OS前的设置说起，熟悉服务器主板的肯定知道IPMI，华硕这块主板也支持。但是手册很坑，图例写的是http，实际上用https才能访问，一度让我以为IPMI有问题。



在IPMI里面可以控制开关机风扇什么的，以及因为板载集显和BCM，可以直接键鼠进行操作。



TrueNAS Scale本身可以用Web端进行管理，有需要也可以SSH，这块没什么问题。

最后就是Windows VM了。前期安装虚拟机的时候可以直接用QEMU模拟出来的显卡，当然后续安装完驱动肯定是用直通的GPU了。我买了个HDMI的显示器欺骗器，可以输出4K 60。



Windows VM和bare-metal比起来性能损失不大，反而是硬盘跑分高了不少，不知道是因为virtio还是ZFS。



串流我用的是Parsec这个软件，开启Windows自动登录和开机自启后就可以正常使用。我自己实测下来，在TrueNAS万兆有线连接，MacBook Pro通过Wi-Fi连接的情况下，4K 60的画质，编码约10ms，网络3ms，解码3ms左右。和VM直连显示器比较，延迟几乎不可感知，只要不是电竞问题不大。



当然Parsec这个软件带宽限制在50Mbps，虽然可以远程访问，画质肯定是压缩得很明显的。所以在家一个更好的方案可能是买一根长一点的HDMI/DP线连接显示器，然后用Parsec远程控制。

有线连接的话，MacBook Pro这边用的是QNAP的雷电三SFP+转换器，实测跑满万兆没问题，发热量还行。





TrueNAS和MacBook Pro实际对拷文件看看速度。



顺便把SN640丢进去单盘测一下速。



组RAIDZ1可用容量21T不到。



至于数据从DS1821+拷到TrueNAS的话，直接通过rsync就行，还可以定时备份。



实际使用下来和DS1821+的机械硬盘最大的感知区别还是在大量小文件的读取上，例如翻文件夹里照片的预览图。然而Lightroom Classic不支持网络驱动器上的Catalog（泪）。

最后测了下温度，这个机箱和服务器机箱比起来短的部分主要就是硬盘笼后面的一排暴力扇，所以硬盘散热就是个大问题。我一开始在硬盘笼屁股那里拿一把12cm的风扇吸风，但是没有导流后面又是电源，前面还有机箱防盗面板和机柜玻璃门，基本进不了什么风，要把风扇拉满才有比较可用的温度。为了解决这个问题，我在机箱前面防盗面板上再用绝缘胶带固定了一个风扇上去，这样的话进风会好不少，长时间拷贝也就在65°C左右。



塞进机柜的全家福，获得国家电网合作伙伴认证。



P.S.

经过好几年，RAIDZ expansion终于进入Code Review阶段了：

https://github.com/openzfs/zfs/pull/15022

另外TrueNAS Scale的下一版本Cobia也将支持该功能，以后可以慢慢买盘扩阵列了。

eagle94

人才呀

controllin

这么大的nas很耗电吧。。。

LightFocus

skingun 发表于 2023-9-26 10:46
不好意思 挖下坟，KRPA-U16我看spec不支持ECC的，能确认吗，LZ

EPYC只支持ECC内存吧，另外可以看一下Memory AVL，全是ECC/REG的内存
https://dlcdnets.asus.com/pub/ASUS/mb/SocketSP3(4094)/KRPA-U16/AVL/RS500A-E10_KRPA-U16_Memory_AVL_20201117.pdf?model=KRPA-U16

skingun

不好意思 挖下坟，KRPA-U16我看spec不支持ECC的，能确认吗，LZ

LightFocus

HAPPUY 发表于 2023-8-5 18:50
搜了下Cobia版本已经出了，没搜到支持单盘扩展吗

不太明白cobia出了是什么意思，指的是nightly吗？

HAPPUY

倒是搜到qnap的zfs支持单盘扩展了

HAPPUY

搜了下Cobia版本已经出了，没搜到支持单盘扩展吗

扛到底

高端玩家 慕了

hanyou7

这个笼子支持pcie4.0吗？

jewforice

LightFocus 发表于 2023-7-28 23:12
能捡垃圾的服务器U普遍单核性能不行，单核好的游戏U PCIe通道又不够，看你取舍了 ...

就是这个道理……找了一圈发现还是只能把游戏需求和存储需求拆俩硬件来处理……

LightFocus

杰诺尔 发表于 2023-8-1 14:38
淘宝上没搜到这款硬盘笼，能否PM个链接给我？谢谢

Intel A2U8X25S3PHS

杰诺尔

LightFocus 发表于 2023-7-27 14:41
淘宝1.1K，用这个笼子还是得把散热做好，不然温度很高

淘宝上没搜到这款硬盘笼，能否PM个链接给我？谢谢

wun_008

nas 需要那么强的显卡吗？

foooobar

机柜里的sn640 散热有没有更优解决方案。我用3个4cm暴力扇吹，硬盘加装了散热片，待机都有60度

moonthtree

厉害啊，最近也准备把自己家的升级一下。自从去年AIO里网卡崩了后就把软路由功能单独用R86s做单独的了。
我现在也想弄个全闪，看了好多大佬用U2的硬盘但是想想还是想用Sata SSD，等国产发力上4块4T 以后再加4块8T。毕竟500M/s够用了，毕竟家庭环境。现在2.5G还是主流，单独拉根线给一个主机用万兆，成本可以控制。

yijiu

asukahan 发表于 2023-7-26 14:13
说的不太对，Truenas和Unraid还有ESXi在做虚拟机本质上没有区别，只不过Truenas和Unraid带有自己的存储管 ...

但是本质上unraid还是nas系统，那些是附带的，只是不可否认的是他的docker和虚拟机功能挺优秀的，我也用着unraid的docker。但介绍的话，肯定是介绍unraid和truenas是nas系统麻，那些是附加的，便于新人捋直头绪嘛。

yijiu

ixhb 发表于 2023-7-26 01:32
哦哦感谢感谢！
也就是说ESXi可以实现一台主机多重系统同时运行的功能吧
（比如我希望epyc7302+4090这一 ...

是的，就这样用，但下面也有人反驳我说“truenas和unraid也有虚拟机和docker和功能”，但我就是他本身设想是为了这个的，所以我就这样介绍了，但其实无论是win、truenas还是unraid都有虚拟机啊什么都功能，但我就是虚拟的底层就pve或者esxi，上面承载了win做操作、truenas做储存、unraid做docker。你这个设想也挺好的。（pve就另一个虚拟机系统，一般认为比esxi不稳定点但兼容性好点，但这个兼容性是按年算的，所以正常人家里，大不了一年崩溃一次按下重启吧，主要还是看重特性就pve（有些功能或者驱动esxi是无法实现或者难做到的），稳定性就esxi）。

daniki

fkpwolf 发表于 2023-7-29 16:24
不错，这个笼子支持pci-e 4.0的u.2硬盘么

J叔做过测试，4.0主板-4.0硬盘不支持，会出现诡异情况。你可以在论坛里找找。
我也是这个硬盘笼，我的主板只支持3.0，用这个笼子接的4.0盘，可以跑在3.0速度上。

daniki

练习册亮了
我也是这个硬盘笼，用的纸壳～

_小板

牛。内存我整的三星2666，超到3200也很稳定，主板是MZ32-AR0

鹿角角

dgwyj 发表于 2023-7-25 09:10
最近在考虑要不要在书房，我和领导桌子之间的桌面下面，加个小机柜，吧电脑机箱都换成4u，交换机、nas什么 ...

噪音问题要考虑

wrrdd

牛的。。

marsxiang1230

大佬！我最近也在愁苦着服务器的事情，我机柜也是600深 我想换成1米的 但是会超出我柜子太多太多。我本来想买一台R740XD，但目前只能放弃。我也去看看这样的机箱自己去组一台！多谢分享！

辉空静寂

远程虚拟机来玩游戏不是操作起来会有延迟吗，而且画面会不会有迟滞。

hd35

必须mark

LightFocus

hanyou7 发表于 2023-7-29 21:59
你不是有虚拟win的需求么

那TrueNAS也可以虚拟win啊

hanyou7

LightFocus 发表于 2023-7-29 21:57
那我再套一层ESXi有什么意义

你不是有虚拟win的需求么

LightFocus

hanyou7 发表于 2023-7-29 21:54
他表达的是不建议虚拟磁盘 盘直通不就可以了

那我再套一层ESXi有什么意义

hanyou7

LightFocus 发表于 2023-7-29 21:39
While possible to deploy TrueNAS in a virtual environment, we do not recommend doing so for regula ...

他表达的是不建议虚拟磁盘 盘直通不就可以了