Chiphell - 分享与交流用户体验

 找回密码
 加入我们
搜索
      
查看: 21444|回复: 199

[整机搭建] 这台 NAS 非同一般 —— 100 Gbps 存储服务器搭建(持续更新)

  [复制链接]
发表于 2021-1-13 03:03 | 显示全部楼层 |阅读模式
本帖最后由 kqb981 于 2021-1-13 03:34 编辑

0. 前言

2020 年可以说是近 10 年内电子消费品市场具有里程碑意义的一年,上半年从年初 AMD 推出 Renoir 系类移动处理器搅翻了整个笔记本市场,到 WWDC 2020 Apple 宣布自研芯片,再到 NVIDIA 发布史上最强 GPU Ampere A100,不可谓不精彩。而在 2020 年的下半场,重磅新闻更是接连轰炸着我们。但是,可能是因为 work/learn from home 持续推动电子消费品需求上涨的原因,可能是因为供应链受疫情影响,可能是因为黄牛或者是数字货币热潮,可能是因为耍……

以上产品通通难以买到,至少是难以用正常的价格,以正常的方式买到。为此,我的 PC 硬件更新计划从 9 月初一直搁置到了现在。在多个月与京东/黄牛斗智斗勇的过程中,我重新审视了自己对于电子产品的需求,发现高端 CPU 和显卡其实是伪需求,2080 Ti 打游戏其实已然绰绰有余。

因为看到了一篇推荐入坑 NAS 的帖子,定制一台 NAS 的计划逐渐在心中成型。在受到了论坛各位中前辈的启发后,我决定装一台多功能的存储服务器,并以 100Gbps 网络连接我的电脑。

组建这么一台服务器的过程要远比我想象中的坎坷,服务器的核心部分「主板 + CPU + 内存」点亮的过程开局不利,幸好在换货后成功搞定。

然后就是真正的噩梦 —— 100 Gbps 直连局域网,起初我准备使用 QSFP28 光模块 + MPO 光纤连接 100Gbps 网卡,在更换了多家产品之后,截至目前仍未成功,只能换了一根又粗又硬的 DAC 电缆暂时替代。系统配置环节也有大量的坑,总结起来可以新开一篇帖子了,我会在整个软件系统配置成功以后作为教程分享。

废话不多说,下面开始装机


1. 配置单
CPU
Intel Xeon W-3265M
主板 ASUS Pro WS C621-64L SAGE/10G
内存 MT 4DRX4 PC4-2933Y LRDIMM 64GB * 12
散热 猫头鹰 NH-U12S DX-3647
硬盘 三星 960 Pro 512GB + 希捷 酷狼 12 TB * 8
网卡 Mellanox MCX555A-ECAT ConnectX-5 VPI * 2
显卡 主板集成显卡(VGA)
机箱 Antec P101-S
电源 SUPER FLOWER LEADEX T 850 Titanium
风扇 P101-S 自带 120mm * 3 + 140mm


2. 装机结果展示

首先是完整的装机结果展示,以及本人的 ID 照,作为一个还在学海无涯的萌新,图片可能受到摄影软/硬件以及环境的限制,请大家多多包涵
0.2 整机展示.jpg

ID 照.jpg

然后是本次装机的重点 - 网络性能与实际使用情况(只是最基本的 iSCSI 连接,未进行 RDMA 性能优化,之后的优化结果会持续在本帖更新)
100Gbps LAN - server.png
100G eth 测试 - 3.png
IB iSCSI 拷贝性能 - 1.png

3. 装机过程

这次装机过程远比我预想得坎坷,从主板换货到 100Gbps 网络配置屡次失败,不过最终的结果还是令人欣喜的 —— 这台机器成功成为了一台支持 100Gbps 网络的「高性能 NAS」

0.1 伪全家福.JPG
首先是(伪)全家福,拍这张的时候机械硬盘并未到货。这样做的原因是 DIY 服务器会出现大量的兼容性问题,所以我的装机过程分为「最小可用 - 整机装机 - 系统配置」三步走策略,实际过程中的确在机械盘到货以前发现并解决了不少兼容性的问题。

3.1 机箱篇

这次装机使用了安钛克 P101-S,支持 E-ATX 主板,并且有 8 个HOD 硬盘笼(硬盘笼做工感觉一般),送 4 个风扇还有静音棉,500 不到就可以拿下,非常适合本次主题。
1.1 机箱特写.jpg

前面板为 3 个 120 mm 风扇 + 防尘网 + 静音棉
1.2 机箱前面板.jpg

内部空间还是很足的,但需要注意的在使用 E-ATX 主板时,背线电源线孔位会被挡住
1.3 机箱正面.jpeg

P101S 的背部支持走背线,并且还可以再安置两个 2.5 寸硬盘
1.5 机箱背面.jpeg

电源位有防震垫脚,好评!
1.6 机箱电源仓位.jpg

自带的风扇调速器,可以直接调节机箱 4 个原装风扇
1.7 机箱风扇控制器.jpeg

P101S 的机箱内部所有面均有吸音棉,是一款诚意满满的静音机箱
1.81 静音面.jpg

硬盘架虽然是免螺丝的,但做工很一般,远不如群晖的硬盘架,但姑且够用
1.83 硬盘架 - 免螺丝.jpeg

PCI-E 位挡板设计「差评」,螺丝刀无法垂直拧螺丝,电动螺丝刀就更无法使用了
1.82 PCIE 螺丝位不便于拧螺丝.jpeg

3.2 电源

本次装机使用了振华 LEADEX T 850 Titanium,850W 的供电完全足够这台未配置 GPU 的服务器日常使用了,当然日后升级加一块 GPU 也绰绰有余(3090 除外)
2.1 电源包装.jpeg

电源本体与电源接口
2.2 电源图示.jpg 2.3 电源接口.jpeg

传说中转换率高达 94% 的钛金电源和 ECO 智能静音模式
2.4 传说中的钛金电源 - 94% 转换率.jpeg 2.5 电源 ECO 模式.jpeg


3.3 主板

本次装机使用了 ASUS Pro WS C621-64L SAGE/10G,看上它的原因主要是有 2 个 10 Gbps 的以太网接口(我对 C621 芯片组不太了解,看到就买了,事后想想更应该买超微的板子~)
0 主板包装.jpg

打开主板外包装,第一层是配件(说实话都卖 5000+ 了,这配件着实有点抠)
1 主板开箱 - 1.jpg

第二层便是主板本体
2 主板开箱 - 2.jpeg

IO 面板,4 个 USB 3.0 + 2 个 USB 3.1(其中一个为 Type-C),以及并没有什么卵用的音频接口……
3 IO 面板.jpeg

集成双 10 Gbps 网口是我选择这个主板的重要原因
4 双 10 G 网口.jpeg

一键重置 BIOS
5 支持 BIOS 一键还原.jpg

12 个 DIMM 插槽,最多支持 1.5 TB 内存
6 12 个 DIMM 插槽.jpg

自带开机和重启键,以及 Q-Code,算是这个级别主板的标配了
7 开机与重启键.jpeg


3.4 CPU & 散热

CPU 使用了一颗 Xeon W-3265M,为整台 NAS 的运作提供了坚实的性能基础。
Xeon W-3265M.jpeg

散热器则是猫头鹰 NH-U12S DX-3647,LGA 3647 的 CPU 安装与普通 MSDT 平台不同,简而言之就是将 CPU 先安装到散热器上,再将 CPU &散热器整体安装到主板上

自带蜂窝硅脂,再也不用担心硅脂涂抹不均匀了
散热器 - 预置硅脂.jpg

支架安装
散热器 - 安装支架.jpg

CPU 安装到散热器上
散热器 - 安装 CPU.jpg

最后安装到主板上
散热器 - 安装散热器与 CPU.jpg


3.5 内存 & 硬盘

本节将内存和硬盘作为一个整体是因为我准备使用 ZFS 作为主文件系统,而 ZFS 主要使用内存作为缓存,所以大内存下高性能的 SSD 暂时就可以省了

镁光黑条 64GB,12 条共计 768 G,组成 6 通道,其性能足以支撑 ZFS  
1.1 镁光黑条 64GB.jpg 1.2 12 根镁光黑条.jpeg

硬盘使用了希捷酷狼 12 TB,一共 8 个,实际可用空间超过 80TB,在使用 RAIDZ 后实际可用空间也会进一步下降,但很长一段时间内是够用了
3.3 酷狼 12 TB 硬盘.jpeg 3.4 96 TB 存储空间.jpeg

最后是系统盘,落灰的 960 Pro 终于派上用场了
2.1 之前被淘汰的 960 Pro.jpeg


3.6 装机过程

100 Gbps 的 Mellanox 网卡,支持 InfiniBand 网络与以太网,某种意义上这是一块 N 卡 —— 真 N 卡网速快
1.1 网卡 1 特写.jpg


3.7 装机过程

装机主要需要注意的是 E-ATX 主板过宽导致 Sata 数据线与电源线无法妥善走背线的问题,要么放弃走背线,要么像我一样使用定制线(主板供电线长度至少 90cm,且一定要软),sata 数据线使用银欣的那款。

正面展示,整个机器还是很空旷的
3.1 服务器安装网卡.jpeg

背部走线(P101S 背部空间还是不足,需要好好理一下线才能合上背板)
3.3 背部走线.jpeg

4. 简单测试
目前,虽然完成了硬件装机,但软件部署还在紧锣密鼓地进行中,配置一台高性能 NAS + 100 Gbps 局域网,并将性能优化到极限的确是一个不晓得过程,我将持续更新这部分内容。(希望能抢到二楼作为软件配置预留位)

4.1 基准测试

Linux 下有一条基准测试,但 CHH 使用 Linux 的朋友毕竟是少数,所以我专门用 Windows 测了一下默认时的性能,仅供参考

CPU 基准信息与默认成绩
CPU-Z 识别结果.png CPU-Z  内存信息.png 默认时 CPU-Z 性能.png

AIDA64 内存带宽,ECC 内存的时序比较拉胯,但 6 通通到下的带宽还是很好看的
AIDA64 Cache & Memory Benchmark.png

Linux 下内存信息,可以看到 ECC 已开启
Linux 下内存信息.jpg

4.2 100Gbps 网络带宽测试

高性能局域网是本次测试的重点,我使用两台配置 100Gbps 网卡的机器进行直连,成功组建了 100Gbps 局域网。其中一台为 Win10 主机,一台为 Linux 主机

Win10 主机任务管理器网络监控
100G eth 测试 - 3.png

使用 iperf 测试网络带宽(Win 10 主机为客户端,Linux 主机为服务端)
100Gbps LAN - Client.png

iSCSI 简单测试(Linux 主机提供一个网络虚拟硬盘给 Win 10 主机,未启用 RDMA)
IB iSCSI 拷贝性能 - 1.png
win10 iSCSI CDM before opt.png


1.2 网卡 2 特写.jpg

评分

参与人数 16邪恶指数 +591 门户文章 +1 收起 理由
mkkkno1 + 10
DevilKoro + 10
errantry83 + 20
ms75738 + 10
erikzhu + 20
honesty + 20
glb1031 + 20
Enerald + 200
owsr + 20
RyanM + 20
wj6624 + 5
LEVELover + 6
其实天涯 + 20 666
ilas + 200
Yuan + 10 好奇后期用什么switch
nApoleon + 1

查看全部评分

 楼主| 发表于 2021-1-13 03:08 | 显示全部楼层
本帖最后由 kqb981 于 2021-1-14 11:33 编辑

二楼先占着,日后更新系统篇。(最近工作繁忙,100Gbps RDMA 配置可能会耽搁几天,顺便可能要换 Windows Server + 虚拟机了, Windows RDMA Linux 真心难折腾


发表于 2021-1-13 03:25 | 显示全部楼层
具体打算做什么
 楼主| 发表于 2021-1-13 03:30 | 显示全部楼层

软路由 + NAS + 一些个人需求 ≈ 综合性存储服务器吧
发表于 2021-1-13 07:37 | 显示全部楼层
这CPU,这内存。。。已经不是普通意义上的NAS了。普通玩家的的游戏电脑都没有这么高的配置了。

点评

说了我想说的···  发表于 2021-1-14 01:49
发表于 2021-1-13 08:25 | 显示全部楼层
这个规格的话分型工艺Define 7的机械硬盘扩展能力更满足未来扩容需求
发表于 2021-1-13 08:49 | 显示全部楼层
100G的应用貌似现在没有,第一次在X86上看见100G网卡。真好
发表于 2021-1-13 08:56 | 显示全部楼层
这机箱用来做 nas 真心不错啊
发表于 2021-1-13 08:56 | 显示全部楼层
玩不明白nas,来学习一下。
发表于 2021-1-13 09:01 | 显示全部楼层
kqb981 发表于 2021-1-13 03:30
软路由 + NAS + 一些个人需求 ≈ 综合性存储服务器吧

软路由算了吧 ,你一折腾全家断网,非常不建议软路由搞进all in one
发表于 2021-1-13 09:02 | 显示全部楼层
这哪是NAS了,高性能败家文件服务器才是哈哈哈,牛逼
发表于 2021-1-13 09:05 | 显示全部楼层
针对性很强,门外汉看看就好。
发表于 2021-1-13 09:07 | 显示全部楼层
有没有廉价的多3.5硬盘位机箱
发表于 2021-1-13 09:10 | 显示全部楼层
这个厉害了,家里有功耗应该很高,
发表于 2021-1-13 09:16 | 显示全部楼层
这种壕无人性的帖子我就看看
发表于 2021-1-13 09:22 | 显示全部楼层
100Gbps的网络,你是要上啥交换机?
10Gbps的switch都不太适合没机柜的家用环境了...头痛。
另外,我搞了那么多solarfare和Mellanox,都是给客户做超低延时的,也就10\25Gbps...好奇楼主这100Gbps的需求是干啥用的。
发表于 2021-1-13 09:22 | 显示全部楼层
这是**姐们的豪宅
发表于 2021-1-13 09:25 | 显示全部楼层
壕任性
发表于 2021-1-13 09:49 | 显示全部楼层
楼主的硬盘散热如何解决?看着这么密集,能上个硬盘待机温度吗?
发表于 2021-1-13 09:53 | 显示全部楼层
向先驱者致敬
发表于 2021-1-13 09:56 | 显示全部楼层
我就进来默默的看,不说话
发表于 2021-1-13 09:57 | 显示全部楼层
昨天刚看完老莱的100G网卡 今儿CHH也有了 太猛了。。
发表于 2021-1-13 09:58 | 显示全部楼层
cpu炸了没
发表于 2021-1-13 10:03 | 显示全部楼层
可怕的传输速度
发表于 2021-1-13 10:05 | 显示全部楼层
这一点都不NAS
 楼主| 发表于 2021-1-13 10:05 | 显示全部楼层
AAGun 发表于 2021-1-13 09:49
楼主的硬盘散热如何解决?看着这么密集,能上个硬盘待机温度吗?

每个硬盘的满载功耗是 8W,8 个硬盘极限功耗一共 64W,前面板有三个 120 mm 的风扇,应该够用了。
发表于 2021-1-13 10:06 | 显示全部楼层
不多塞点虚拟机进去,就太对不起毛爷爷了~
 楼主| 发表于 2021-1-13 10:09 | 显示全部楼层
sunnyquan 发表于 2021-1-13 10:06
不多塞点虚拟机进去,就太对不起毛爷爷了~

说实话,为了能最好利用 100Gbps 特性,RDMA 是必须的。
但是目前 Win10 与 Linux 之间进行 RDMA 通讯的软件支持还不够成熟,我对 Linux 又有刚需,实在不行就只能虚拟机了
发表于 2021-1-13 10:18 来自手机 | 显示全部楼层
这种需求为何不搞DAS?外联阵列柜
感觉跑偏了
 楼主| 发表于 2021-1-13 10:21 | 显示全部楼层
Wilson163abc 发表于 2021-1-13 10:18
这种需求为何不搞DAS?外联阵列柜
感觉跑偏了

DAS 跑不到 10GB/s 以上的带宽啊

而且目前的需求暂时不止存储扩展~
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

小黑屋|手机版|Archiver|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2021-1-24 13:45 , Processed in 0.015780 second(s), 22 queries , Gzip On, Redis On.

Powered by Discuz! X3.2

© 2007-2020 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表