本帖最后由 kqb981 于 2021-2-10 11:40 编辑
更新: 全贴已完工，系统配置与测试详见 2 楼。
—————— 分割线 ——————
更新: 40TB 存储池与高性能存储池的 CDM 测试结果（通过 100GbE LAN 连接）
0. 前言
2020 年可以说是近 10 年内电子消费品市场具有里程碑意义的一年，上半年从年初 AMD 推出 Renoir 系类移动处理器搅翻了整个笔记本市场，到 WWDC 2020 Apple 宣布自研芯片，再到 NVIDIA 发布史上最强 GPU Ampere A100，不可谓不精彩。而在 2020 年的下半场，重磅新闻更是接连轰炸着我们。但是，可能是因为 work/learn from home 持续推动电子消费品需求上涨的原因，可能是因为供应链受疫情影响，可能是因为黄牛或者是数字货币热潮，可能是因为耍……
以上产品通通难以买到，至少是难以用正常的价格，以正常的方式买到。为此，我的 PC 硬件更新计划从 9 月初一直搁置到了现在。在多个月与京东/黄牛斗智斗勇的过程中，我重新审视了自己对于电子产品的需求，发现高端 CPU 和显卡其实是伪需求，2080 Ti 打游戏其实已然绰绰有余。
因为看到了一篇推荐入坑 NAS 的帖子，定制一台 NAS 的计划逐渐在心中成型。在受到了论坛各位中前辈的启发后，我决定装一台多功能的存储服务器，并以 100Gbps 网络连接我的电脑。
组建这么一台服务器的过程要远比我想象中的坎坷，服务器的核心部分「主板 + CPU + 内存」点亮的过程开局不利，幸好在换货后成功搞定。
然后就是真正的噩梦 —— 100 Gbps 直连局域网，起初我准备使用 QSFP28 光模块 + MPO 光纤连接 100Gbps 网卡，在更换了多家产品之后，截至目前仍未成功，只能换了一根又粗又硬的 DAC 电缆暂时替代。系统配置环节也有大量的坑，总结起来可以新开一篇帖子了，我会在整个软件系统配置成功以后作为教程分享。
废话不多说，下面开始装机
1. 配置单 CPU | Intel Xeon W-3265M | | 主板 | ASUS Pro WS C621-64L SAGE/10G | | 内存 | MT 4DRX4 PC4-2933Y LRDIMM 64GB * 12 | | 散热 | 猫头鹰 NH-U12S DX-3647 | | 硬盘 | 三星 960 Pro 512GB + 希捷 酷狼 12 TB * 8 | | 网卡 | Mellanox MCX555A-ECAT ConnectX-5 VPI * 2 | | 显卡 | 主板集成显卡（VGA） | | 机箱 | Antec P101-S | | 电源 | SUPER FLOWER LEADEX T 850 Titanium | | 风扇 | P101-S 自带 120mm * 3 + 140mm |
2. 装机结果展示
首先是完整的装机结果展示，以及本人的 ID 照，作为一个还在学海无涯的萌新，图片可能受到摄影软/硬件以及环境的限制，请大家多多包涵 
然后是本次装机的重点 - 网络性能与实际使用情况（只是最基本的 iSCSI 连接，未进行 RDMA 性能优化，之后的优化结果会持续在本帖更新）
3. 装机过程
这次装机过程远比我预想得坎坷，从主板换货到 100Gbps 网络配置屡次失败，不过最终的结果还是令人欣喜的 —— 这台机器成功成为了一台支持 100Gbps 网络的「高性能 NAS」 
首先是（伪）全家福，拍这张的时候机械硬盘并未到货。这样做的原因是 DIY 服务器会出现大量的兼容性问题，所以我的装机过程分为「最小可用 - 整机装机 - 系统配置」三步走策略，实际过程中的确在机械盘到货以前发现并解决了不少兼容性的问题。
3.1 机箱篇
这次装机使用了安钛克 P101-S，支持 E-ATX 主板，并且有 8 个HOD 硬盘笼（硬盘笼做工感觉一般），送 4 个风扇还有静音棉，500 不到就可以拿下，非常适合本次主题。
前面板为 3 个 120 mm 风扇 + 防尘网 + 静音棉
内部空间还是很足的，但需要注意的在使用 E-ATX 主板时，背线电源线孔位会被挡住
P101S 的背部支持走背线，并且还可以再安置两个 2.5 寸硬盘
电源位有防震垫脚，好评！
自带的风扇调速器，可以直接调节机箱 4 个原装风扇
P101S 的机箱内部所有面均有吸音棉，是一款诚意满满的静音机箱
硬盘架虽然是免螺丝的，但做工很一般，远不如群晖的硬盘架，但姑且够用
PCI-E 位挡板设计「差评」，螺丝刀无法垂直拧螺丝，电动螺丝刀就更无法使用了
3.2 电源
本次装机使用了振华 LEADEX T 850 Titanium，850W 的供电完全足够这台未配置 GPU 的服务器日常使用了，当然日后升级加一块 GPU 也绰绰有余（3090 除外）
电源本体与电源接口
传说中转换率高达 94% 的钛金电源和 ECO 智能静音模式
3.3 主板
本次装机使用了 ASUS Pro WS C621-64L SAGE/10G，看上它的原因主要是有 2 个 10 Gbps 的以太网接口（我对 C621 芯片组不太了解，看到就买了，事后想想更应该买超微的板子～）
打开主板外包装，第一层是配件（说实话都卖 5000+ 了，这配件着实有点抠）
第二层便是主板本体
IO 面板，4 个 USB 3.0 + 2 个 USB 3.1（其中一个为 Type-C），以及并没有什么卵用的音频接口……
集成双 10 Gbps 网口是我选择这个主板的重要原因
一键重置 BIOS
12 个 DIMM 插槽，最多支持 1.5 TB 内存
自带开机和重启键，以及 Q-Code，算是这个级别主板的标配了
3.4 CPU & 散热
CPU 使用了一颗 Xeon W-3265M，为整台 NAS 的运作提供了坚实的性能基础。
散热器则是猫头鹰 NH-U12S DX-3647，LGA 3647 的 CPU 安装与普通 MSDT 平台不同，简而言之就是将 CPU 先安装到散热器上，再将 CPU &散热器整体安装到主板上
自带蜂窝硅脂，再也不用担心硅脂涂抹不均匀了
支架安装
CPU 安装到散热器上
最后安装到主板上
3.5 内存 & 硬盘
本节将内存和硬盘作为一个整体是因为我准备使用 ZFS 作为主文件系统，而 ZFS 主要使用内存作为缓存，所以大内存下高性能的 SSD 暂时就可以省了
镁光黑条 64GB，12 条共计 768 G，组成 6 通道，其性能足以支撑 ZFS
硬盘使用了希捷酷狼 12 TB，一共 8 个，实际可用空间超过 80TB，在使用 RAIDZ 后实际可用空间也会进一步下降，但很长一段时间内是够用了 
最后是系统盘，落灰的 960 Pro 终于派上用场了
3.6 装机过程
100 Gbps 的 Mellanox 网卡，支持 InfiniBand 网络与以太网，某种意义上这是一块 N 卡 —— 真 N 卡网速快
3.7 装机过程
装机主要需要注意的是 E-ATX 主板过宽导致 Sata 数据线与电源线无法妥善走背线的问题，要么放弃走背线，要么像我一样使用定制线（主板供电线长度至少 90cm，且一定要软），sata 数据线使用银欣的那款。
正面展示，整个机器还是很空旷的
背部走线（P101S 背部空间还是不足，需要好好理一下线才能合上背板）
4. 简单测试 目前，虽然完成了硬件装机，但软件部署还在紧锣密鼓地进行中，配置一台高性能 NAS + 100 Gbps 局域网，并将性能优化到极限的确是一个不晓得过程，我将持续更新这部分内容。（希望能抢到二楼作为软件配置预留位）
4.1 基准测试
Linux 下有一条基准测试，但 CHH 使用 Linux 的朋友毕竟是少数，所以我专门用 Windows 测了一下默认时的性能，仅供参考
CPU 基准信息与默认成绩
AIDA64 内存带宽，ECC 内存的时序比较拉胯，但 6 通通到下的带宽还是很好看的
Linux 下内存信息，可以看到 ECC 已开启
4.2 100Gbps 网络带宽测试
高性能局域网是本次测试的重点，我使用两台配置 100Gbps 网卡的机器进行直连，成功组建了 100Gbps 局域网。其中一台为 Win10 主机，一台为 Linux 主机
Win10 主机任务管理器网络监控
使用 iperf 测试网络带宽（Win 10 主机为客户端，Linux 主机为服务端）
iSCSI 简单测试（Linux 主机提供一个网络虚拟硬盘给 Win 10 主机，未启用 RDMA）
| 
[复制链接]
310112100042806
发表于 2021-1-13 03:03
楼主
，直接碾压了全体 PCIE 4.0 x 4 的 SSD。
，果然 100Gbps 网络还是有局限性的。
