Dell PowerEdge T630初步改造结果

阿崔

因为公司淘汰服务器的缘故，收了台退役的T630搬到家里用。服务器家用的主要问题就是风扇噪声，幸好T630属于13代服务器，已经被大家研究透了，手动控制风扇的脚本一大堆，可以很有效的在保证散热的情况下控制噪声。

看着一堆PCIe插槽，决定先插满再说。三个x16的GTX980Ti显卡，一个x16转4x4的NVME通道卡，一个x8的H330 12Gbps SAS卡，一个2.0 x8的万兆卡，正好用光了两个CPU的80个PCIe 3.0通道（虽然万兆卡其实是浪费了一个x4的通道，而且因为就在交换机边上，可以上光口万兆）。


4xU.2的PCIe笼子+背板 Dell说只能当初出厂配，经销商手里也没有。幸好有万能的淘宝。


家里三只猫，防猫毛是个必须解决的问题。淘宝买了防尘网，自己改装前面板


刚开机没一会儿就有猫毛了


试了一下，系统做一些调整之后（主要是用脚本调用IPMI根据温度调整风扇转速，可以取代台式机+NAS了，桌面直接PVE+Win10+显卡直通。


日常浏览噪声大概在40-41分贝左右。


三个GPU里的两个用在Blender渲染上，满载时候大概噪声是43-44分贝


Blender实时预览时候噪声和低负载时候差不多，偶尔会飙到43-44分贝


PVE+桌面系统很稳定，就是因为我还没来得及查的原因，如果CPU选成"host"，就必须关掉Windows里和虚拟化有关的部分，不然启动的时候就会卡死。
然后装FreeNAS做存储的时候发现H330没法直通，必须得用HBA330（C612主板自带的端口不支持SAS盘）。结果按教程刷H330固件的时候不知道哪里没弄好，只要插上这个卡就会开机出错。只好乖乖等HBA330了。。。

文末彩蛋，第一次做的乐高的System的MOC，用两套21322扩展了基础21322的一些特性，文中渲染的是对应的海岛模式。有空的时候我再发个文讲这个。

alexchang1

机箱真好看啊……可惜价格坚挺啊……

cc7508

jxl33 发表于 2024-12-3 09:17
Tesla  p4 视频编解码性能如何

p40解码相当给力

ff2004hn

增强还是恢复 发表于 2024-12-3 11:07
带了块3204亮机，一块H330，内存没要，保修到26年，1.4多

感觉买贵了，。。21年 4210r + 16盘好像才买成12000来着， 最近刚准备吧 4210R 换成 正显的 8269c, 东西还没到，换了把 4210r 卖了还能倒赚几百
记错了，当时买成 15xxxx 4210r + 330 + 750w

ff2004hn

阿崔 发表于 2022-4-11 10:21
风扇调速的么？

https://github.com/nmaggioni/r710-fan-controller

记得别升 idrac 版本， 某个 idrac 版本之后就封了 ipmi 调速的接口（14，15 不能用的原因就是最低的 idrac 版本都封禁了，其实版本高了13也不能用），家里机柜里一台13，一台14 ，一台15.。。

时光清浅

增强还是恢复 发表于 2024-12-3 11:07
带了块3204亮机，一块H330，内存没要，保修到26年，1.4多

是真不便宜

增强还是恢复

时光清浅 发表于 2024-12-3 10:25
你这个买的整机还是准系统，啥价格花了

带了块3204亮机，一块H330，内存没要，保修到26年，1.4多

zbjxp

T630和T640二手价格好贵。。。

时光清浅

增强还是恢复 发表于 2024-9-20 13:11
我昨天买了全新的18盘T640......

你这个买的整机还是准系统，啥价格花了

jxl33

cc7508 发表于 2023-12-30 18:45
底层就是unraid

双路2673v4，8块sas，1块P40，

Tesla  p4 视频编解码性能如何

增强还是恢复

Kingstom8MB 发表于 2024-9-20 12:06
我也在看多盘机箱，正在用的是T430乞丐版，4个盘不够用了。最近看了很多机箱不知道选哪个，闲鱼上关键词 ...

我昨天买了全新的18盘T640......

Kingstom8MB

增强还是恢复 发表于 2024-8-4 11:43
不好意思挖个坟，最近在看这款机箱18盘位的版本，也是很眼馋，就是想弄个多硬盘的PT机，我喜欢用win系统， ...

我也在看多盘机箱，正在用的是T430乞丐版，4个盘不够用了。最近看了很多机箱不知道选哪个，闲鱼上关键词：服务器，机箱，家用 4U，你买了吗？我参考一下

增强还是恢复

不好意思挖个坟，最近在看这款机箱18盘位的版本，也是很眼馋，就是想弄个多硬盘的PT机，我喜欢用win系统，这样硬盘直接拿走随时能查到别的PC上看了。

NilAnonymous

cc7508 发表于 2023-12-30 05:45
底层就是unraid

双路2673v4，8块sas，1块P40，

多谢大佬告知. 功耗不低啊

cc7508

NilAnonymous 发表于 2023-12-27 11:26
请问大佬,一天几度电?

底层就是unraid

双路2673v4，8块sas，1块P40，

250w平均

NilAnonymous

cc7508 发表于 2023-12-23 03:34
包括显卡套装，机器一共6个风扇，安装非认证pcie设备，风扇全速。

平时放设备间，IPMI风扇调速25%-30% ...

请问大佬,一天几度电?

NilAnonymous

cc7508 发表于 2023-12-22 00:16
同是Dell PowerEdge T630，搞了一个unraid，管理虚拟机比较简单，功能也还凑合。

大佬这是先装了PVE然后虚拟了一个unraid?

cc7508

luannanxian 发表于 2023-12-22 19:21
能放在办公事当nas和技术实验机器不 噪音大不大

包括显卡套装，机器一共6个风扇，安装非认证pcie设备，风扇全速。

平时放设备间，IPMI风扇调速25%-30%，感觉噪音不大。

放办公室是否能忍受，得看个人阈值

luannanxian

cc7508 发表于 2023-12-22 13:16
同是Dell PowerEdge T630，搞了一个unraid，管理虚拟机比较简单，功能也还凑合。

能放在办公事当nas和技术实验机器不 噪音大不大

cc7508

同是Dell PowerEdge T630，搞了一个unraid，管理虚拟机比较简单，功能也还凑合。

NilAnonymous

今晚大老虎 发表于 2023-12-21 08:54
转过来不会后悔的, 我现在用PVE没有觉得什么不方便的. 而且ESXi被博通收购以后, 免费的版本很可能会取消. ...

多谢大佬~

今晚大老虎

NilAnonymous 发表于 2023-12-20 03:08
那我直接上PVE了.

转过来不会后悔的, 我现在用PVE没有觉得什么不方便的. 而且ESXi被博通收购以后, 免费的版本很可能会取消. 早点转比建了一堆虚拟机以后换平台容易多了.

NilAnonymous

今晚大老虎 发表于 2023-12-19 10:16
我也是玩老服务器, 老服务器更有可玩性. 配件多价格便宜.我是被40G的网卡, 还有之前淘的MLC的PCIE 加速卡 ...

那我直接上PVE了.

958813826

好家伙 电老虎.....

今晚大老虎

NilAnonymous 发表于 2023-12-19 21:00
多谢大佬指点. 不是不想用新服务器,是老服务器更有性价比. 哈哈,就是穷, 看来还是要学习下PVE. ...

我也是玩老服务器, 老服务器更有可玩性. 配件多价格便宜.我是被40G的网卡, 还有之前淘的MLC的PCIE 加速卡这两样东西搞怕了, ESXi新一点的版本都是驱动不支持, 只能重装老版本. 后来换成PVE好多了.  

NilAnonymous

今晚大老虎 发表于 2023-12-19 07:17
显卡如果只是通过直通来解码视频的话, PVE和ESXi的差别不大. 相反ESXi界面感觉更友好一点. 你用T630这种 ...

多谢大佬指点. 不是不想用新服务器,是老服务器更有性价比. 哈哈,就是穷, 看来还是要学习下PVE.

今晚大老虎

NilAnonymous 发表于 2023-12-19 12:09
感谢大佬指点. 可能后续会安装trueNas scale, home assistant等, 整体定位是家庭娱乐中心, 存储一些剧集, ...

显卡如果只是通过直通来解码视频的话, PVE和ESXi的差别不大. 相反ESXi界面感觉更友好一点. 你用T630这种老服务器装ESXi, 最好先查明你用的配件ESXi哪个版本支持, ESXi每次有大的升级版本都会停止支持一些老的硬件, 强行安装的结果就是硬件找不到驱动没法用.  我之前用了ESXi很久, 因为升级了便宜又大碗的40G网卡, 一查ESXi 8 就彻底停止了驱动支持, 要用只能去装ESXi 7, 而且版本7的驱动版本8不能用. 没办法后来我就转PVE了, 只要Debian的驱动PVE都能用, 基本上PVE不存在找不到驱动的问题.  刚开始用CLI觉得困难, 其实照着网页上的教程输入命令就OK了, 慢慢的就习惯了.

NilAnonymous

另外还请教楼主, 比如T630又用了10年, 性能/能耗肯定是不行的了, 应该怎么处理呢? 卖废铁还是升级硬件? 我看DELL T550的机箱设计跟T630似乎又不一样了, 也没法用新设备的主板塞进去.

NilAnonymous

阿崔 发表于 2023-12-17 19:20
缺点大概就是中文用户太少了，资料和讨论都是英文为主。

一个大佬翻译的PVE中文文档 https://pve-doc-cn.readthedocs.io/zh-cn/latest/index.html

NilAnonymous

今晚大老虎 发表于 2023-12-18 09:40
如果玩vGPU的话,建议PVE. 因为ESXI需要额外部署VCenter才能有vgpu的选项. PVE就不用, 装好驱动以后, 虚拟机 ...

感谢大佬指点. 可能后续会安装trueNas scale, home assistant等, 整体定位是家庭娱乐中心, 存储一些剧集, 家庭照片等等, 支持下智能家居, 轻度软件开发环境. 不会去跑AI那些东西(担心噪音+电费), 显卡可能只是用来硬解视频用. 基于这样子的前提,是不是随便装哪个就好? 我是打算入坑DELL T630这种老服务器的, 应该是老硬件, 虚拟化向.