Chiphell - 分享与交流用户体验

 找回密码
 加入我们
搜索
      
查看: 37832|回复: 246

[整机搭建] (完工)这台 NAS 非同一般 —— 100 Gbps 存储服务器搭建

  [复制链接]
发表于 2021-1-13 03:03 | 显示全部楼层 |阅读模式
本帖最后由 kqb981 于 2021-2-10 11:40 编辑

更新: 全贴已完工,系统配置与测试详见 2 楼。

—————— 分割线 ——————

更新: 40TB 存储池与高性能存储池的 CDM 测试结果(通过 100GbE LAN 连接)
CDM8 - 40TB.png 100Gbps RDMA Disk.png

0. 前言

2020 年可以说是近 10 年内电子消费品市场具有里程碑意义的一年,上半年从年初 AMD 推出 Renoir 系类移动处理器搅翻了整个笔记本市场,到 WWDC 2020 Apple 宣布自研芯片,再到 NVIDIA 发布史上最强 GPU Ampere A100,不可谓不精彩。而在 2020 年的下半场,重磅新闻更是接连轰炸着我们。但是,可能是因为 work/learn from home 持续推动电子消费品需求上涨的原因,可能是因为供应链受疫情影响,可能是因为黄牛或者是数字货币热潮,可能是因为耍……

以上产品通通难以买到,至少是难以用正常的价格,以正常的方式买到。为此,我的 PC 硬件更新计划从 9 月初一直搁置到了现在。在多个月与京东/黄牛斗智斗勇的过程中,我重新审视了自己对于电子产品的需求,发现高端 CPU 和显卡其实是伪需求,2080 Ti 打游戏其实已然绰绰有余。

因为看到了一篇推荐入坑 NAS 的帖子,定制一台 NAS 的计划逐渐在心中成型。在受到了论坛各位中前辈的启发后,我决定装一台多功能的存储服务器,并以 100Gbps 网络连接我的电脑。

组建这么一台服务器的过程要远比我想象中的坎坷,服务器的核心部分「主板 + CPU + 内存」点亮的过程开局不利,幸好在换货后成功搞定。

然后就是真正的噩梦 —— 100 Gbps 直连局域网,起初我准备使用 QSFP28 光模块 + MPO 光纤连接 100Gbps 网卡,在更换了多家产品之后,截至目前仍未成功,只能换了一根又粗又硬的 DAC 电缆暂时替代。系统配置环节也有大量的坑,总结起来可以新开一篇帖子了,我会在整个软件系统配置成功以后作为教程分享。

废话不多说,下面开始装机


1. 配置单
CPU
Intel Xeon W-3265M
主板 ASUS Pro WS C621-64L SAGE/10G
内存 MT 4DRX4 PC4-2933Y LRDIMM 64GB * 12
散热 猫头鹰 NH-U12S DX-3647
硬盘 三星 960 Pro 512GB + 希捷 酷狼 12 TB * 8
网卡 Mellanox MCX555A-ECAT ConnectX-5 VPI * 2
显卡 主板集成显卡(VGA)
机箱 Antec P101-S
电源 SUPER FLOWER LEADEX T 850 Titanium
风扇 P101-S 自带 120mm * 3 + 140mm


2. 装机结果展示

首先是完整的装机结果展示,以及本人的 ID 照,作为一个还在学海无涯的萌新,图片可能受到摄影软/硬件以及环境的限制,请大家多多包涵
0.2 整机展示.jpg

ID 照.jpg

然后是本次装机的重点 - 网络性能与实际使用情况(只是最基本的 iSCSI 连接,未进行 RDMA 性能优化,之后的优化结果会持续在本帖更新)
100Gbps LAN - server.png
100G eth 测试 - 3.png
IB iSCSI 拷贝性能 - 1.png

3. 装机过程

这次装机过程远比我预想得坎坷,从主板换货到 100Gbps 网络配置屡次失败,不过最终的结果还是令人欣喜的 —— 这台机器成功成为了一台支持 100Gbps 网络的「高性能 NAS」

0.1 伪全家福.JPG
首先是(伪)全家福,拍这张的时候机械硬盘并未到货。这样做的原因是 DIY 服务器会出现大量的兼容性问题,所以我的装机过程分为「最小可用 - 整机装机 - 系统配置」三步走策略,实际过程中的确在机械盘到货以前发现并解决了不少兼容性的问题。

3.1 机箱篇

这次装机使用了安钛克 P101-S,支持 E-ATX 主板,并且有 8 个HOD 硬盘笼(硬盘笼做工感觉一般),送 4 个风扇还有静音棉,500 不到就可以拿下,非常适合本次主题。
1.1 机箱特写.jpg

前面板为 3 个 120 mm 风扇 + 防尘网 + 静音棉
1.2 机箱前面板.jpg

内部空间还是很足的,但需要注意的在使用 E-ATX 主板时,背线电源线孔位会被挡住
1.3 机箱正面.jpeg

P101S 的背部支持走背线,并且还可以再安置两个 2.5 寸硬盘
1.5 机箱背面.jpeg

电源位有防震垫脚,好评!
1.6 机箱电源仓位.jpg

自带的风扇调速器,可以直接调节机箱 4 个原装风扇
1.7 机箱风扇控制器.jpeg

P101S 的机箱内部所有面均有吸音棉,是一款诚意满满的静音机箱
1.81 静音面.jpg

硬盘架虽然是免螺丝的,但做工很一般,远不如群晖的硬盘架,但姑且够用
1.83 硬盘架 - 免螺丝.jpeg

PCI-E 位挡板设计「差评」,螺丝刀无法垂直拧螺丝,电动螺丝刀就更无法使用了
1.82 PCIE 螺丝位不便于拧螺丝.jpeg

3.2 电源

本次装机使用了振华 LEADEX T 850 Titanium,850W 的供电完全足够这台未配置 GPU 的服务器日常使用了,当然日后升级加一块 GPU 也绰绰有余(3090 除外)
2.1 电源包装.jpeg

电源本体与电源接口
2.2 电源图示.jpg 2.3 电源接口.jpeg

传说中转换率高达 94% 的钛金电源和 ECO 智能静音模式
2.4 传说中的钛金电源 - 94% 转换率.jpeg 2.5 电源 ECO 模式.jpeg


3.3 主板

本次装机使用了 ASUS Pro WS C621-64L SAGE/10G,看上它的原因主要是有 2 个 10 Gbps 的以太网接口(我对 C621 芯片组不太了解,看到就买了,事后想想更应该买超微的板子~)
0 主板包装.jpg

打开主板外包装,第一层是配件(说实话都卖 5000+ 了,这配件着实有点抠)
1 主板开箱 - 1.jpg

第二层便是主板本体
2 主板开箱 - 2.jpeg

IO 面板,4 个 USB 3.0 + 2 个 USB 3.1(其中一个为 Type-C),以及并没有什么卵用的音频接口……
3 IO 面板.jpeg

集成双 10 Gbps 网口是我选择这个主板的重要原因
4 双 10 G 网口.jpeg

一键重置 BIOS
5 支持 BIOS 一键还原.jpg

12 个 DIMM 插槽,最多支持 1.5 TB 内存
6 12 个 DIMM 插槽.jpg

自带开机和重启键,以及 Q-Code,算是这个级别主板的标配了
7 开机与重启键.jpeg


3.4 CPU & 散热

CPU 使用了一颗 Xeon W-3265M,为整台 NAS 的运作提供了坚实的性能基础。
Xeon W-3265M.jpeg

散热器则是猫头鹰 NH-U12S DX-3647,LGA 3647 的 CPU 安装与普通 MSDT 平台不同,简而言之就是将 CPU 先安装到散热器上,再将 CPU &散热器整体安装到主板上

自带蜂窝硅脂,再也不用担心硅脂涂抹不均匀了
散热器 - 预置硅脂.jpg

支架安装
散热器 - 安装支架.jpg

CPU 安装到散热器上
散热器 - 安装 CPU.jpg

最后安装到主板上
散热器 - 安装散热器与 CPU.jpg


3.5 内存 & 硬盘

本节将内存和硬盘作为一个整体是因为我准备使用 ZFS 作为主文件系统,而 ZFS 主要使用内存作为缓存,所以大内存下高性能的 SSD 暂时就可以省了

镁光黑条 64GB,12 条共计 768 G,组成 6 通道,其性能足以支撑 ZFS  
1.1 镁光黑条 64GB.jpg 1.2 12 根镁光黑条.jpeg

硬盘使用了希捷酷狼 12 TB,一共 8 个,实际可用空间超过 80TB,在使用 RAIDZ 后实际可用空间也会进一步下降,但很长一段时间内是够用了
3.3 酷狼 12 TB 硬盘.jpeg 3.4 96 TB 存储空间.jpeg

最后是系统盘,落灰的 960 Pro 终于派上用场了
2.1 之前被淘汰的 960 Pro.jpeg


3.6 装机过程

100 Gbps 的 Mellanox 网卡,支持 InfiniBand 网络与以太网,某种意义上这是一块 N 卡 —— 真 N 卡网速快
1.1 网卡 1 特写.jpg


3.7 装机过程

装机主要需要注意的是 E-ATX 主板过宽导致 Sata 数据线与电源线无法妥善走背线的问题,要么放弃走背线,要么像我一样使用定制线(主板供电线长度至少 90cm,且一定要软),sata 数据线使用银欣的那款。

正面展示,整个机器还是很空旷的
3.1 服务器安装网卡.jpeg

背部走线(P101S 背部空间还是不足,需要好好理一下线才能合上背板)
3.3 背部走线.jpeg

4. 简单测试
目前,虽然完成了硬件装机,但软件部署还在紧锣密鼓地进行中,配置一台高性能 NAS + 100 Gbps 局域网,并将性能优化到极限的确是一个不晓得过程,我将持续更新这部分内容。(希望能抢到二楼作为软件配置预留位)

4.1 基准测试

Linux 下有一条基准测试,但 CHH 使用 Linux 的朋友毕竟是少数,所以我专门用 Windows 测了一下默认时的性能,仅供参考

CPU 基准信息与默认成绩
CPU-Z 识别结果.png CPU-Z  内存信息.png 默认时 CPU-Z 性能.png

AIDA64 内存带宽,ECC 内存的时序比较拉胯,但 6 通通到下的带宽还是很好看的
AIDA64 Cache & Memory Benchmark.png

Linux 下内存信息,可以看到 ECC 已开启
Linux 下内存信息.jpg

4.2 100Gbps 网络带宽测试

高性能局域网是本次测试的重点,我使用两台配置 100Gbps 网卡的机器进行直连,成功组建了 100Gbps 局域网。其中一台为 Win10 主机,一台为 Linux 主机

Win10 主机任务管理器网络监控
100G eth 测试 - 3.png

使用 iperf 测试网络带宽(Win 10 主机为客户端,Linux 主机为服务端)
100Gbps LAN - Client.png

iSCSI 简单测试(Linux 主机提供一个网络虚拟硬盘给 Win 10 主机,未启用 RDMA)
IB iSCSI 拷贝性能 - 1.png
win10 iSCSI CDM before opt.png


1.2 网卡 2 特写.jpg

评分

参与人数 18邪恶指数 +701 门户文章 +1 收起 理由
dexterchen + 10
kthlon + 100 666
mkkkno1 + 10
DevilKoro + 10
errantry83 + 20
ms75738 + 10
erikzhu + 20
honesty + 20
glb1031 + 20
Enerald + 200
owsr + 20
RyanM + 20
wj6624 + 5
LEVELover + 6
其实天涯 + 20 666
ilas + 200
Yuan + 10 好奇后期用什么switch
nApoleon + 1

查看全部评分

 楼主| 发表于 2021-1-13 03:08 | 显示全部楼层

更新 - 100Gbps LAN 系统篇

本帖最后由 kqb981 于 2021-2-9 02:47 编辑

最近一个月实在是忙,自己拖延症又犯了,所以没有即使做完系统篇,在这里给各位坛友道个歉!

经过了大量的折腾,在失败了一次又一次后,最后我放弃了 Linux NAS + Win 10 Client 这个技术方案。而在单独购置一台 Linux 主机解决需求后,使用虚拟机进行 All in one 的思路也就显得多余了。

我的装机哲学是能简单就简单,VMware ESXi 这种商业环境/云计算的解决方案对我现在的需求来说是大材小用,所以暂时就被排除在外了。

NAS (此时叫它 SAN 更为契合) 使用了 Windows Server 2019 操作系统,而我的主机使用了 Windows 10 Pro for Workstations,经过测试完美支持 RDMA 与 100 Gbps 网络。

首先是网络设备

网卡 - 1.jpg 网卡 - 2.jpg
两张来自 NVIDIA (认真.jpg) 的 100 Gbps 网卡

光模块.jpg
光模块

MPO3 光纤.jpg 光纤   光模块.jpg
光纤

将其统统装上机器,这样系统的硬件配置就完成了
服务器装机照.jpg 主机装机照.jpg

然后配置软件……

(此处略掉在 Win10 与 Linux 之间折腾 RDMA 与 Infiniband 的两周血泪史)

直切入正题,我们去 Mellanox 官网下载网卡驱动

WinOF-2 - 2.png
Windows Server 2019 驱动

WinOF-2 - 3.png
Windows 10 驱动(别选错了)

然后安装即可完成基础软件配置。

随后是配置网络,这里强烈建议参考这篇官方博文 —— Getting Started with ConnectX-5 100Gb/s Adapter for Windows

因为是两台电脑直连,所以设置让两台机器的网关均为其中一台机器的 IP 即可,如果配置好后应该是如下
100Gbps LAN.png

然后我们使用工具(C:\Program Files\Mellanox\MLNX_WinOF2\Performance Tools\nd_send_bw.exe)来测试 100Gbps 网络

100Gbps LAN - 2-min.png
注意,任务管理器中的网络设备显示占用率接近 0%,即 RDMA 配置成功。

随后直接通过 SMB 协议进行共享,通过网络映射建立盘位。
SMB 网盘.png

接下来是最为喜闻乐见的环节 —— 测试 RDMA 下,连接远程存储池的性能
话不多说,直接上 CDM8 成绩,可以看到在使用 64 GB 数据块进行测试时,顺序读/写性能来到了惊人的 8.4 GB/s 和 9.9 GB/s,直接碾压了全体 PCIE 4.0 x 4 的 SSD。
CDM8 - 40TB.png

但是 4K 性能就不好看了,果然 100Gbps 网络还是有局限性的。


CDM8 - 40TB (local).png

对比服务器本地的磁盘性能(4K直接碾压,单连续读性能反而掉速了,估计和缓存性能不稳定有关)

———— 更新分割线 ————

二楼先占着,日后更新系统篇。(最近工作繁忙,100Gbps RDMA 配置可能会耽搁几天,顺便可能要换 Windows Server + 虚拟机了, Windows RDMA Linux 真心难折腾

最近各种忙,系统搭建的教程得再等等,先把跑分放上来

40TB存储池

40TB存储池

通过 100GbE 连接的 40TB 存储池的 Crystal Disk Mark 成绩

高性能存储池

高性能存储池

通过 100GbE 连接的 256GB 高性能存储池的 Crystal Disk Mark 成绩

983zet

983zet

760P

760P

Baseline,分别是 983 Zet 和 Intel 760P
发表于 2021-1-13 03:25 | 显示全部楼层
具体打算做什么
 楼主| 发表于 2021-1-13 03:30 | 显示全部楼层

软路由 + NAS + 一些个人需求 ≈ 综合性存储服务器吧
发表于 2021-1-13 07:37 | 显示全部楼层
这CPU,这内存。。。已经不是普通意义上的NAS了。普通玩家的的游戏电脑都没有这么高的配置了。

点评

说了我想说的···  发表于 2021-1-14 01:49
发表于 2021-1-13 08:25 | 显示全部楼层
这个规格的话分型工艺Define 7的机械硬盘扩展能力更满足未来扩容需求
发表于 2021-1-13 08:49 | 显示全部楼层
100G的应用貌似现在没有,第一次在X86上看见100G网卡。真好
发表于 2021-1-13 08:56 | 显示全部楼层
这机箱用来做 nas 真心不错啊
发表于 2021-1-13 08:56 | 显示全部楼层
玩不明白nas,来学习一下。
发表于 2021-1-13 09:01 | 显示全部楼层
kqb981 发表于 2021-1-13 03:30
软路由 + NAS + 一些个人需求 ≈ 综合性存储服务器吧

软路由算了吧 ,你一折腾全家断网,非常不建议软路由搞进all in one
发表于 2021-1-13 09:02 | 显示全部楼层
这哪是NAS了,高性能败家文件服务器才是哈哈哈,牛逼
发表于 2021-1-13 09:05 | 显示全部楼层
针对性很强,门外汉看看就好。
发表于 2021-1-13 09:07 | 显示全部楼层
有没有廉价的多3.5硬盘位机箱
发表于 2021-1-13 09:10 | 显示全部楼层
这个厉害了,家里有功耗应该很高,
发表于 2021-1-13 09:16 | 显示全部楼层
这种壕无人性的帖子我就看看
发表于 2021-1-13 09:22 | 显示全部楼层
100Gbps的网络,你是要上啥交换机?
10Gbps的switch都不太适合没机柜的家用环境了...头痛。
另外,我搞了那么多solarfare和Mellanox,都是给客户做超低延时的,也就10\25Gbps...好奇楼主这100Gbps的需求是干啥用的。
发表于 2021-1-13 09:22 | 显示全部楼层
这是**姐们的豪宅
发表于 2021-1-13 09:25 | 显示全部楼层
壕任性
发表于 2021-1-13 09:49 | 显示全部楼层
楼主的硬盘散热如何解决?看着这么密集,能上个硬盘待机温度吗?
发表于 2021-1-13 09:53 | 显示全部楼层
向先驱者致敬
发表于 2021-1-13 09:56 | 显示全部楼层
我就进来默默的看,不说话
发表于 2021-1-13 09:57 | 显示全部楼层
昨天刚看完老莱的100G网卡 今儿CHH也有了 太猛了。。
发表于 2021-1-13 09:58 | 显示全部楼层
cpu炸了没
发表于 2021-1-13 10:03 | 显示全部楼层
可怕的传输速度
发表于 2021-1-13 10:05 | 显示全部楼层
这一点都不NAS
 楼主| 发表于 2021-1-13 10:05 | 显示全部楼层
AAGun 发表于 2021-1-13 09:49
楼主的硬盘散热如何解决?看着这么密集,能上个硬盘待机温度吗?

每个硬盘的满载功耗是 8W,8 个硬盘极限功耗一共 64W,前面板有三个 120 mm 的风扇,应该够用了。
发表于 2021-1-13 10:06 | 显示全部楼层
不多塞点虚拟机进去,就太对不起毛爷爷了~
 楼主| 发表于 2021-1-13 10:09 | 显示全部楼层
sunnyquan 发表于 2021-1-13 10:06
不多塞点虚拟机进去,就太对不起毛爷爷了~

说实话,为了能最好利用 100Gbps 特性,RDMA 是必须的。
但是目前 Win10 与 Linux 之间进行 RDMA 通讯的软件支持还不够成熟,我对 Linux 又有刚需,实在不行就只能虚拟机了
发表于 2021-1-13 10:18 来自手机 | 显示全部楼层
这种需求为何不搞DAS?外联阵列柜
感觉跑偏了
 楼主| 发表于 2021-1-13 10:21 | 显示全部楼层
Wilson163abc 发表于 2021-1-13 10:18
这种需求为何不搞DAS?外联阵列柜
感觉跑偏了

DAS 跑不到 10GB/s 以上的带宽啊

而且目前的需求暂时不止存储扩展~
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

小黑屋|手机版|Archiver|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2021-6-18 07:29 , Processed in 0.016443 second(s), 12 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

© 2007-2021 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表