超融合服务器 DELL PowerEdge VRTX 重建篇
本帖最后由 mofly 于 2022-2-13 13:20 编辑起因
研发部门占用了一台VRTX，是生产环境的备机，计划节后要收回。但研发有些关键环境，已经在上面放了不少，迁移到其它机器上，工作量不少，可能还会影响研发工作。经过一番权衡，可以使用备件给研发组装一台VRTX替换那个备机，主要是有个下架的VRTX机箱在机房库房吃灰，可以继续发挥余热。节前最后一天，让机房库房取出，寄到我家。趁着春节，还可以玩几天[恶魔]。
这个机器市面上用得不多，对于小团队可能比较适合。我们单位生产环境有个机柜用了两台VRTX，又有点儿不放心，机柜一大半空间放着还是1U和2U机器，在上面放在核心关键服务，VRTX上放的都是冗余服务，即使有意外也不会被用户感知到。
准备开始干活～
机器配置
机箱2,5寸*25硬盘背板和供电电缆，一套冷却风扇，4个后置鼓风机基本就是空机箱
主板部件号：5MNF8
管理卡部件号：34V0R或Y1F41一块
硬盘背板扩展卡部件号：TJ2VK一块，需要它连接硬盘背板到主板上
阵列卡Shared PERC 8 阵列卡，P3WV4一块
PSU1100W，部件号：NTCWP两个
交换机R1-2401 千兆交换机8口
刀片M620 E5-2650v2 * 2，64GB，300G 15K * 2，万兆网卡，两个夹层卡研发用的，放假了没有人用
显卡没有支持3块单槽PCIe
硬盘2块300G 15K，5块600G 10K都是机械硬盘
机箱本体
箱子看着还行，磕磕碰碰，划痕不少，不影响使用。换个角度看下这仨儿分别是全高扩展卡，配电板（用于主板和PSU连接），冷却风扇这是两个电源1100W，在机箱上可以安装4个还有一块中板在机箱上，是整个机箱的背板，主板，电源，交换机，刀片，后置风扇，通过它连接在一起正面是4个连接刀片的接口，上面3个接口是连接主板的，黑色那个接口连接配电板的背面是连接交换机，和4个后置风扇接口
管理卡
机箱管理卡，机箱上存储，PCIe等设备，需要通过它指挥主板进行资源分配、更新固件、存储等管理。提供Web，CLI两种用户界面
主板
阵列卡提前安装好了，在B通道（以后解释）
看下背面
安装主板
装回全高扩展卡
配电板归位
硬盘背板扩展卡，这个要安装在硬盘背板上，通过SAS电缆连接到主板上，最多支持两块，主板上可以安装两块RAID卡，可以组成冗余模式，加强存储系统可靠性。不过要付出性能上代价，Reddit上有人抱怨在这个模式下IO读写速度很不理想。
扩展卡正面
扩展卡背面
扩展卡SAS接口
安装到硬盘背板上
交换机
R1-2401千兆8口交换机，连接到机箱背板IO接口，是机箱结构A的内部连接
背面
安装到机箱上
接上网线，和电源线
存储上的硬盘
塔式套件放在办公室，没有拿出来，而且还要移动，只能横着放了
硬件架构（从用户手册摘的）
结构A
结构 A 是指安装在VRTX 机箱背面的 I/O 模块提供给服务器模块的以太网连接。
结构 A 为每个服务器模块提供四个通路的内部连接，最多支持 16 个。可用的外部接口的数量取决于安装 的 I/O 模块。R1-2401 交换机与 R1-PT 直通模块提供最多 8 个 RJ-45 1 GbE 端口。R1-2210 交换机模块提供最多两 个 RJ-45 1 GbE 端口和四个 SFP+10 GbE 端口。
结构B和C
结构 B 和 C 是指服务器模块与 VRTX 机柜之间的连接。这些结构支持安装在服务器模块中的 PCIe 夹层卡。机柜 的系统板上集成了两个 PCIe 交换机(结构 B 和结构 C 交换机)，用于将服务器模块连接到共享 PoweEdge RAID 控制器 (PERC) 卡插槽和机柜上的 8 个 PCIe 扩展卡插槽。
结构 A 为每个服务器模块提供四个网口的内部连接，最多支持 16 个网口。可用的外部接口的数量取决于安装 的 I/O 模块。R1-2401 交换机与 R1-PT 直通模块提供最多 8 个 RJ-45 1 GbE 端口。R1-2210 交换机模块提供最多两 个 RJ-45 1 GbE 端口和四个 SFP+10 GbE 端口。
机箱主板上有两个 PCIe 交换机，见前面主板上两个涂着硅脂，带着两方框的芯片，就是它俩儿。靠他们实现存储，PCIe设备资源分配管理。
在每个刀片上两个夹层卡PCIe MEZZ，刀片通过这俩卡儿连接刀机箱主板结构B和C，才能访问机箱上存储，和PCIe扩展槽上硬件资源，还有A结构上网络交换机，这个CLI端，查看A，B，C的配置情况机箱上电等待CMC启动
配置CMC远程管理地址机箱上的Enterprise License还在[狂笑]。从仓库拿出来就是个空机箱，License存在哪里了[雷人]，中板？前面板？诊断屏？嗯，第一个鼓风机有问题，刀片安装在第3槽，用不到它，先检查下其它组件：刀片，网络交换机都在，给刀片分配远程管理地址，过程……略，存储？机箱要接通电源，才能看到。前面上电只是启动CMC进入待机状态等了3分多钟，机箱才真正开机存储系统概览阵列卡和硬盘背板扩展卡机箱上的硬盘创建磁盘阵列，选用RAID5还有个之前做好临时阵列两个阵列分配磁盘阵列给刀片
启动刀片，不习惯CLI，用Web端也可以开关机器看到分配磁盘了，创建文件系统，挂载到准备好的目录上
多重分配，支持刀片之间共享同一个存储空间
结束硬件调试可以告一段落了，除了有个后置风散不能工作外，过程还是比较顺利。最大惊喜主要是机箱的License还在，相对而言，那个风扇问题就可以无视了。稍后从生产环境拉一份最近数据快照，测试一下存储IO性能。
性格，感谢分享 感觉是简化版本的刀片机，或者算是一个高密服务器吧。 太高端了 又来仰望大神了，这个家里真用不到。不过喜欢看这些高端货~~~ 这也是技术,对于玩pc的来说,给我这些件,我也装不起服务器来 管理卡上面有个SD卡插槽，里面插了一张SD卡，License应该就装在那个里面。 这个机器也太老了吧[震惊]
2650v2单路多核性能相当于笔记本的i5 1135g7，双路多线程性能不如笔记本i7 11800H gaoyi124 发表于 2022-1-31 08:36
这也是技术,对于玩pc的来说,给我这些件,我也装不起服务器来
然而超融合这个概念本身就。。。。要我说同床异梦，物理上几台机器在一起但是互相却需要通过网线来远程访问数据，甚至每台机器自己都基本不访问本地数据 c2h6o 发表于 2022-1-31 20:40
感觉是简化版本的刀片机，或者算是一个高密服务器吧。
这5U高机器还算不上高密度，噪声控制的比较好，能放在办公室公共空间。像FX2/FX2s能配置是4个刀片高度只有2U，10U高的M1000e，可以配置16个刀片或32个四分之一高刀片 Mufasa 发表于 2022-1-31 22:30
管理卡上面有个SD卡插槽，里面插了一张SD卡，License应该就装在那个里面。
管理卡不是机器上，我猜可能放在诊断屏（LPC2387）或前面面板模块（KVM），整个机器只有两个东西，一般不会更换，还有那个背板是无源的，上面没有IC 赫敏 发表于 2022-2-1 02:00
这个机器也太老了吧
2650v2单路多核性能相当于笔记本的i5 1135g7，双路多线程性能不如笔记本i7 1180 ...
不像PC服务对象只是个人，服务器主要提供多用户服务，PC追求单核高性能，服务器面向多用户，需要服务稳定可靠，需要众多核心。这机箱支持早期刀片M520,M620,M630,M640（CPU 是 Intel® Xeon® Scalable Processors），机箱硬件架构向后兼容做得比较好，刀片和M1000e可以互换使用 mofly 发表于 2022-2-6 00:36
不像PC服务对象只是个人，服务器主要提供多用户服务，PC追求单核高性能，服务器面向多用户，需要服务稳定 ...
说的就是多核性能不如11代笔记本U啊[震惊]
要比单核的话差几倍了都。牙膏这几年重心都放在桌面了，服务器那叫一个苦不堪言。现在最新的也才10代数量还少，功耗高。现在牙膏还在把14nm马甲成83xx然后当新品在卖 赫敏 发表于 2022-2-1 02:05
然而超融合这个概念本身就。。。。要我说同床异梦，物理上几台机器在一起但是互相却需要通过网线来远程访 ...
开启刀箱上存储系统的多重分配模式，刀片才能访问同一个卷（设备）上数据，不过一定要在操作系统启用Multipath mofly 发表于 2022-2-6 13:10
这5U高机器还算不上高密度，噪声控制的比较好，能放在办公室公共空间。像FX2/FX2s能配置是4个刀片高度只 ...
确实一般的高密是2U 4台2C的服务器，但不带这么多存储和交换设备的，你这个有点像小的大集成设备，适合什么都想要有的环境。
你说的10U配16个刀片的就是一般标准刀片机柜了。 c2h6o 发表于 2022-2-6 18:11
确实一般的高密是2U 4台2C的服务器，但不带这么多存储和交换设备的，你这个有点像小的大集成设备，适合什 ...
VRTX是典型超融的合应用解决方案，存储，计算，网络（交换）集中于一体，省了不少布线，相当于迷你的数据中心 mofly 发表于 2022-2-6 18:25
VRTX是典型超融的合应用解决方案，存储，计算，网络（交换）集中于一体，省了不少布线，相当于迷你的数据 ...
个人觉得这个适合整体交付应用的场景，否则的话以后扩容基本就没可能了。 报废过m1000e的路过。。。这种超融合概念以前提的多，现在好像慢慢的又淡了，因为新的cpu的功耗和越来越大，同时cpu的内存通道数越来越多，原来一个刀片塞2个cpu，慢慢的内存槽都要塞不满了。。。散热什么的也扛不住，体积控制太难了，刀片机的系列更新都慢了 mofly 发表于 2022-2-6 18:25
VRTX是典型超融的合应用解决方案，存储，计算，网络（交换）集中于一体，省了不少布线，相当于迷你的数据 ...
但是现在随着软件定义存储（ceph）的兴起，超融合的定位也有些尴尬。
往小了说，虚拟机也可以直通硬件给里面的各个系统。
往大了说，软件定义存储是依靠物理机组成集群来实现容错。 shadoweyre 发表于 2022-2-6 21:57
报废过m1000e的路过。。。这种超融合概念以前提的多，现在好像慢慢的又淡了，因为新的cpu的功耗和越来越大 ...
现在一颗EPYC的核心数量可以吊打以前的一台双路服务器。
两颗EPYC的运算能力几乎达到早先一整个刀片机箱的运算能力。
EPYC因为内存通道数太多，功耗又高，不适合做刀片。
倒是非常适合做成双路1U服务器节点，密度并不比刀片低。 Mufasa 发表于 2022-2-6 22:03
现在一颗EPYC的核心数量可以吊打以前的一台双路服务器。
两颗EPYC的运算能力几乎达到早先一整个刀片机箱 ...
双路eypc目前基本都是做2u的server，因为散热压力，1u高度的散热器以及风扇都太不给力了。。。而且有那么多pcie,做2u全闪也很容易，1u放不了太多的u.2nvme ssd,虽然有其他形式的nvme ssd,目前好像还不是太多。。 c2h6o 发表于 2022-2-6 18:11
确实一般的高密是2U 4台2C的服务器，但不带这么多存储和交换设备的，你这个有点像小的大集成设备，适合什 ...
这个比高密度要复杂得多，属于超融合架构，不过楼主这个模块比较老，还是x79平台的 shadoweyre 发表于 2022-2-6 22:10
双路eypc目前基本都是做2u的server，因为散热压力，1u高度的散热器以及风扇都太不给力了。。。而且有那么 ...
2U是最均衡的选择，散热好，存储也方便（2.5寸可以竖装）
可以装普通主板的情况下，使用冗余电源。
纯粹追求高密度才上1U，1U服务器在散热方面牺牲太大。
我自己用来开虚拟机玩的EPYC，是装的4U
4U散热器体积大，噪音相对低，否则放家里吵得不行。 半u刀片，我司有一大堆sd530，可惜给配的内存太小了，不堪大用…… 很有趣的机箱，节点好像和M1000e通用的。应该可以上M640这种 双3647节点。 可惜这个市场不多见，闲鱼上二手也贵。不然可以捡垃圾回来玩玩！ 原打算写个VRTX劝退帖子的，不建议个人玩家入手，对个人用户意义不大，通常只适合企业用户，机器开机后都是不关的，机箱上电，机箱卡机，刀片开机，下来差不多近十分钟[晕倒] 这个能把4个刀片整合成一台服务器（安装一个操作系统）对外使用吗？ liangns 发表于 2023-2-22 21:58
这个能把4个刀片整合成一台服务器（安装一个操作系统）对外使用吗？
没有现成的方案能整合，每个刀片是独立的物理服务器 mofly 发表于 2023-3-19 17:13
没有现成的方案能整合，每个刀片是独立的物理服务器
感谢解答。 傻多戴被emc并购前最帅气的塔式箱子了，自带蜜蜂色就秒了一堆全高，不知道有生之年能不能按废铁价收一台做装饰[偷笑]
页:
[1]