Chiphell - 分享与交流用户体验

标题: 抛砖引玉，聊聊最小家用 AI 工作站的装机方案 [打印本页]

作者: gochri 时间: 2024-5-31 07:23
标题: 抛砖引玉，聊聊最小家用 AI 工作站的装机方案
本帖最后由 gochri 于 2024-6-4 04:53 编辑

抛砖引玉，聊聊最小家用 AI 工作站的装机方案

事情的起因是想在 NUC9 塞下一块显卡跑跑一些最近的 TTS 模型，方便自己阅读轻小说；然后在发现性能存在差距 (16G 显存等) 后逐渐跑偏，沦为了装机佬的自娱自乐。

但搜索到的资料姑且还是有些价值，现整理出来，看看各位佬有无更好的思路。

基础配置

一般来讲，个人用 AI 工作站使用 N 卡 + 16G 以上显存为当下主流配置。对大型工作站，使用服务器主板 + 多显卡甚至构成集群是常态，而纯 CPU 或 APPLE 的统一内存方案也是另一种思路。但考虑到前者体积/价格均超出个人配置，后者理论上只需要一台迷你主机/Mac Studio 就能实现，暂不在本文的装机方案讨论中。

(附注：关于 Mac Studio 的介绍，体积和价格已经放在文章最后，可以最后拿来与 x86 平台进行对比)

本文按 12400F + 4060TI 16G 单卡 GPU 为参考配置进行装机方案的设计

首先排除一个标准答案：笔记本

笔记本上并没有如 4060ti 16G 这样的甜品卡，需要 16G 显存的话只能强上 3080 Ti/4090 Laptop, 价格普遍在两万左右;

但优势是体积和重量确实小，如 ROG 幻 16 的三围在 35.5 x 24.6 x 2.23 cm, 重量在 2.30kg 上下 (幻 14 4090 更为夸张，重量仅 1.72 Kg , 但是不好买)

笔记本因为属于成品方案，所能做的基本只有直接使用或 occulink/雷电拓展显卡坞。显卡坞的体积基本可以认为是显卡 + 电源，故此处先按下不表，待后续装机方案完成后继续。

关于显卡，显存和体积

显卡依据大小一般可分为嵌入式显卡（Embedded GPUs），移动工作站显卡（MXM Modules），刀卡（Low Profile 显卡），单风扇显卡，双风扇显卡，三风扇及以上的显卡

其中，嵌入式一般不会出现在家用装机中，MXM 显卡虽然有高显存的显卡，但需要特殊的方式（接口类型，软件支持，尺寸与散热等）。一般来说，以 NVIDIA RTX A2000 为代表的刀卡和以 RTX30/40 系为代表的主流游戏显卡会是家用装机的主力。

移动工作站显卡（MXM Modules）

对于 MXM 显卡，一般可以分为蓝天准系统所匹配的异形卡与标准版型两种情形进行讨论。

蓝天准系统（Clevo）

对于蓝天准系统，其在 10～30 系中均有 MXM 显卡出产和流通，但对于 40 系，暂未查询到相关显卡。如

NVIDIA GeForce GTX 1070 8G MXM
...
3080 16G MXM(中鼎科技在售，价格在 4500 上下)

其对应的笔记本通常有：

神舟（Hasee）的蓝天 P775 系列笔记本，其尺寸为 418 x 295.3 x 40.9mm（5.0L），重量约 3.9Kg
蓝天 X170kmg，支持 LGA 1200 插槽的 11 代 Intel CPU，MXM3.1 接口的 30 系显卡

标准版型

标准版型的 MXM 显卡一般用于小型 PC 或工控领域中，其相对于 DIY 市场更大的意义在于减少工控领域损坏件替换的成本。故不同主机上 MXM 显卡未必能互相兼容，可能需要进行一定的改造。

可以查询到信息的 MXM 显卡如：
gigabyte MXM-B-A730M 12G 官网可见，属于 Intel Arc 系列
RX6600M 8G，移动版核心
4060 8G，台式版核心

另外，深圳 ZRT 智锐通近日上线了 MXM RTX4080 12G 和 MXM RTX4090 16G，可参考以下链接查询和联系：
RTX4080m 12G GDDR6 Type B MXM3.1

常见的小型 PC 如：
DeskMini GTX1080 (Z370)，其尺寸为 213 x 154.5 x 81.9mm (2.7L)
ThinkStation P3Ultra，支持定制版本 RTX A5000 Mobile 16G MXM 显卡，并带有一个 MXM 转 PCIE 模块，与一个额外的供电模块，可以塞入部分 170mm 内的双槽刀卡（3.8L）

Minisforum AD650i mini-ITX 主板，板载 i7-12650H，带有一个 MXM 槽（同时带有一个 3*M.2 槽位的子板）
Minisforum NAD9，12900H，带标准 MXM 槽，但官方未宣称支持 MXM 显卡
FEVM FN60G，LGA1700，MXM 接口支持 RX6600M 8G/A380 6G/4060 8G（2.5L，小明白工作室，生产商来自深圳和峰忆）

此类显卡本人并不熟悉，后续的 30/40/A4000 系列型号装机方案大部分还不清楚，先按下不表，有兴趣的朋友可以在此基础上自行研究，或补充说明

刀卡（Low Profile 显卡）

刀卡在这里定义为 2U 高度显卡（半高，全高则为 4U），可能为单槽或双槽，常见的刀卡型号包括了 A2000 系列，Tesla 系列，及部分 40 系显卡，但并非所有系列中型号均为刀卡。

以最为方便购买的丽台显卡为例，在售的典型的型号如：

LEADTEK NVIDIA RTX A2000 12GB GDDR6 ECC，尺寸为 68.9*167.7mm 双槽卡，标价为 4239.00 无需额外供电双槽刀卡
LEADTEK NVIDIA RTX 4000 SFF Ada 20G，尺寸为 68.6*167.6mm 双槽卡，标价为 10880.00 无需额外供电双槽刀卡
LEADTEK NVIDIA RTX A4000 20GB GDDR6 ECC，尺寸为 112*242mm 单槽卡，标价为 11100.00 非刀卡
LEADTEK NVIDIA RTX A5000 Ada 32GB GDDR6 ECC，尺寸为 112*267mm 双槽卡，标价为 34965.00 非刀卡

可以看到，A2000/A4000 均存在双槽刀卡，但需购买合适的型号；但其兼容性与单/多风扇显卡有较大的差异，具体集中体现在 USFF/SFF 工作站中

这类 170mm 以下刀卡通常可以塞入 1～4L USFF+ 工作站中，典型的如
ThinkStation P3Ultra 3.9L，其 PCIE 最高支持 170mm 双槽刀卡，最高支持 RTX A5000 Mobile 24G 定制版（定制版为 MXM 显卡）

对 40 系，还有一张特殊的显卡：
GV-N4060 OC-8GL 三风扇半高刀卡，尺寸为 182*69*40mm，京东在售（2500 上下），这张卡同样可以装入 P3Ultra 中（需要魔改供电

另外，NVIDIA Tesla 系列也是专门用于计算的单槽刀卡

NVIDIA Tesla P4 8G 168*69mm 单槽刀卡功耗在 50-75W 价格在 300 上下不需要额外供电
NVIDIA Tesla T4 16G 168*69mm 单槽刀卡功耗在 70W 价格在 4800 上下不需要额外供电
NVIDIA Tesla L4 24G 168*69mm 单槽刀卡功耗在 72W 价格在 15800 上下不需要额外供电

但 Tesla 系列显卡为被动散热设计，需要额外散热，注意留出一定空间

Intel Arc Pro 系列作为专为工作站设计的专业显卡，也多被设计为单槽/半高或全高显卡，如

Intel Arc Pro A50 6G 75w 半高单槽
Intel Arc Pro A60 12G 130w 全高单槽

单风扇显卡

对于单风扇显卡，我们有两款典型的 30/40 系入门卡：

七彩虹 Colorful iGame GeForce RTX 3060 Mini OC 12GB, 2 槽 (尺寸为 182*130*42mm)
七彩虹 Colorful iGame GeForce RTX 4060 Ti Mini OC 16GB, 2.5 槽 (尺寸为 188*130.55*45.8mm)

可以看到，单风扇显卡已经有满足目前工作站所要求的 16G 显卡，但需要额外处理槽位问题；但其长度在面对同为 200mm 以下的显卡时，在装机方案中优势并不明显

双风扇显卡

其实，双风扇显卡也有两款长度在 200mm 左右的 4060ti 16G 双槽显卡：

微星 GeForce RTX™ 4060 Ti VENTUS 2X BLACK 16G OC, 双槽 (199*120*42mm)，边缘为钝角
** GIGABYTE GeForce RTX 4060 Ti WINDFORCE OC 16G, 双槽 (尺寸为 201*120mm*41mm)，边缘为直角

另外也有一些长度在 300mm 以下的显卡，包括了 4060ti 16G / 4070 Super 16G / 4080 SUPER 16G：

铭瑄 GeForce RTX 4060 Ti iCraft OC16G 瑷珈 X2 T0(252*124*43mm)
Colorful iGame GeForce RTX 4070 Ti SUPER Neptune OC 16GB(254*171*42mm，1*16pin，推荐电源 850W)
ASUS PROART GeForce RTX 4080 SUPER O16G（300*120*50mm, 1*16pin，推荐电源 850W）

同时，因为 4060TI 入门卡功耗不高，一般可使用 500～650W 的 1U/SFX 电源，进一步降低了体积

另外，对于 A 卡，也有一些长度在 300mm 以下的如：
AMD RX 7800 XT（267*50mm）

三风扇显卡

到了三风扇，便有了一些长度在 300mm 左右的 3090 24G 三槽显卡：

ASUS GeForce RTX 3090 TUF Gaming(29.99*12.69*5.17cm)

而 4090D/4090 24G 的风冷显卡尺寸多为三/四槽 300~350mm 体积：

ROG Strix GeForce RTX™ 4090 OC Edition 24GB GDDR6X (357.6 x 149.3 x 70.1mm)
MSI GeForce RTX 4090 D 24G GAMING X SLIM（322*136*62mm）

另外，水冷显卡虽本身体积较小，但 360 冷排需占据一定空间

Colorful iGame GeForce RTX 4090 D Neptune 一体式水冷 GDDR6X 24G（显卡 254*171*42mm, 水排 394*156*41mm）

而涡轮卡，体积小，但噪音大，多用于服务器，4090D/4090 也有对应的产品

同时，3090/4090 作为顶级卡，其电源多要求在 1000W 以上，这就要求电源多为 SFX-L/ATX，进一步增加了体积

另外，对于 I 卡，存在 16G 显存的常见尺寸如：
Intel Arc A770 Photon 16G（300*119*50mm）

更新：
近日，Nvdia 推出了 SFF-Ready Enthusiast GeForce Cards 标准，以限制显卡尺寸。标准具体要求：

151 mm maximum height including power cable bend radius
304 mm maximum length
50 mm or 2.5 slots maximum depth

未来的旗舰显卡很可能在这个尺寸内，但目前的 4090D/4090 显卡，仍有不少（或者说大部分）型号不满足新提出的标准。

机箱，体积与兼容性

1L

对于 1L 及以下的迷你/USFF 主机，最多只能塞入单槽刀卡，大显存的 tesla 系列需要额外处理散热，而板载则成为了一种常见解法。具体可以参考的方案有：

蝰蛇峡谷（Serpent Canyon）
体积为 2.5L + 0.7L 电源
板载 ARC A770M 16G
二手价目前在 5000 左右

2～4L

对于 USFF+ 机箱，其实现方案多为 USFF+ 准系统 + 双槽刀卡。具体可以参考的方案有：

MINISFORUM MS-01
尺寸 196*189*48mm 1.8L
支持 A2000 12G 刀卡（半高双槽 179mm 内无额外供电显卡）
万兆/USB4
CPU 为 12600H
售价 2999

ThinkStation P360Ultra
尺寸为 202*86*223mm 体积为 3.9L + 0.5L 电源
支持 170mm 双槽刀卡最高支持 RTX A5000 Mobile 16G 定制版/RTX 4000 SFF Ada 20G 且有一个 DC 额外供电
雷电 4，额外还有一个半高单槽的 PCIE 4X 拓展万兆
CPU 为 12500
售价依据不同配置在 4800/6000～40000 左右

另外，关于 P3/360Ultra 的改装以及专用 RTX4060 显卡供电模块的制作可参考以下视频，该方案潜力很大：
最适合半高 RTX4060 显卡的主机，竟然是它？

5L

对于 5L 机箱，基本可认为这是单风扇显卡（200mm 内）的家用装机方案所能达到的最小体积。具体可以参考的方案有：

Intel NUC9i5QN
尺寸为 216*238*96mm
支持 200mm 双槽显卡/GeForce RTX™ 4060 Ti VENTUS 2X BLACK 16G OC
由 1U 电源 + 计算板 + 显卡组成主要体积
准系统价格在 1200 左右

数码蛋 E68
尺寸为 6.8L 左右
可兼容 205mm 双槽显卡或 190mm 三槽显卡/Colorful iGame GeForce RTX 4060 Ti Mini OC 16GB
首发价格为 1992

8L

对于 8L 机箱，其通常是可以兼容 300mm 左右显卡的 ITX 机箱所能达到的最小体积。具体可以参考的方案有：

Intel NUC12DCMi9
尺寸为 357*189*120mm
支持 300mm 显卡
由 SFX 电源 + 计算板 + 显卡组成主要体积
准系统价格依据 11/12 代在 3000～6000 左右

闪鳞 S300(ITX/SFX)
尺寸为 312*135*95mm 8.1L
支持 305mm 显卡
由 ITX + SFX + 显卡组成主要体积
机箱价格在 300～400 左右

14L

对于 14L 及以上的机箱，既可以兼容 MATX/ATX 达到最低价格，也可以通过牺牲兼容性/增加体积去兼容更长的显卡了。具体可以参考的方案有：

NUC13
尺寸为 337*318*126mm
支持 313mm 以内的显卡（包括 4090/A6000）
支持万兆网络/雷电 4 接口
依据配置价格在 1～3 万左右

乔思伯 C6
尺寸为 202*266*295.2mm
支持 255mm 以内的双槽显卡/GeForce RTX 4060 Ti iCraft OC16G
由 MATX + ATX + 显卡组成主要体积
机箱价格在 100～200 左右

14L+

如果需要兼容 4090D/4090, 则需要同时兼容 320mm 内四槽显卡 + SFL-L/ATX 电源 + ITX/MATX/ATX 主板的机箱

可使用常见的 AP201 等符合 SFF-Ready Enthusiast GeForce Cards 标准的成品机箱，以下为符合标准的部分型号摘录：

Manufacturer	Model	Available Graphics Card Space (H X L x D) in mm
ASUS	Prime AP201	170 x 338 x 80
Cooler Master	NCORE 100 MAX	180 x 337 x 60
Fractal Design	Era 2	158 x 325 x 58
InWin	A3	169 x 360 x 80
SilverStone	MILO 12	160 x 345 x 60

也可参考论坛中已经给出过的装机方案：

Meshroom S + 4090 装机展示

跑偏：万兆与雷电网桥

作为 AI 工作站，与 NAS 交互数据在基础的搭建完成后就成为了下一个课题。如果需要 2.5G 以上的网络速度，常见的方案有：

万兆

通常来讲，这有以下三种实现方式：

- 主板自带。这一般需要服务器级别的 ITX 主板，目前 intel 的相关主板较少，而 AMD X670 芯片组下则能找到一些相关主板
- 雷电或 occulink 接口转接。如一些带雷电的 ITX 主板， ASUS ROG Strix Z790-I Gaming WiFi/ASRock Z790 PG-ITX/TB4 等
- 万兆网卡 + PCIE 单槽，对 ITX 来讲这需要物理拆分，对 mATX 则比较简单

雷电网桥

雷电网桥作为一种特殊的网络通讯方式，也可以用来实现 NAS - AI 点对点的数据通信。通常来说有两种简单的实现方式：

直接购买雷电主板

如 Z790-I，或 ATX 的大板（mATX 带有雷电接口的极其少见
可使用的主板包括：
ASUS ROG Strix Z790-I Gaming WiFi(3199)
ASRock Z790 PG-ITX/TB4(2799)

TB4 PCIE 拓展卡

如购买 B760M + TB4 PCIE 拓展卡，主板价格在千元左右，需要根据拓展卡的支持列表进行购买
可使用的主板包括：

ASUS 下：
ROG STRIX B760-G GAMING WIFI S(1399)
TUF GAMING B760M-PLUS WIFI II(1249)
对应的拓展卡为：
ThunderboltEX 4

GIGABYTE 下：
B760M AORUS PRO AX(1249)
B760M AORUS ELITE AX-P(1199)
对应的拓展卡为：
GC-MAPLE RIDGE (rev. 1.0)

具体方案

根据上面的讨论，我们已经可以初步拟定出一些 AI 工作站的装机方案了。以下是一些典型的装机方案：

USFF - 2～4L 定制方案

机箱：MINISFORUM MS-01 2999
主板：0
CPU：12600H
内存：DDR5 SOIM 32G 699
硬盘：0
电源：自带
网络：USB4/万兆
显卡：LEADTEK NVIDIA RTX A2000 12GB GDDR6 ECC 4499/RTX 4000 SFF Ada 20G（官方未宣称后者支持，但两显卡体积相似）

合计：8000～10000
分析：CPU 性能主流；显卡为专用卡；体积极小，可放入口袋；价格高；接口丰富；主流学习模型

该方案可替换为 P360Ultra 4L，最高可为定制 A5000 Mobile 16G/RTX 4000 SFF Ada 20G，也可魔改 4060 8G，依然有万兆/雷电，售价依据不同配置在 6000～40000 不等

NUC9 - 5L 轻度方案

机箱：NUC9 1299
主板：0
CPU：9400H 0
内存：DDR4 SOIM 32G 399
硬盘：0
电源：1U 0
显卡：3060 12G 1699

合计：3400
分析：CPU 性能弱；显卡性能弱；体积极小；价格低；接口丰富（双雷电三）；轻度学习模型

该方案可替换 4060TI 16G 来提升显卡性能，或更换计算板来提升 CPU 性能，或整体替换为 E68

ITX - 8～10L 主流方案

机箱：S300 399
主板：H610i/z790i 599/2999
CPU：12400F 549
内存：DDR5 32G 799
硬盘：0
电源：650W SFX 999
显卡：4060TI 16G 3149/3090 24G

合计：6000～8000
分析：CPU 性能主流；显卡性能主流；体积小；价格高；拓展性高（可拓展雷电接口）；主流学习模型

该方案依据是否需要雷电接口，可选择不同的主板，两者价格差异较大；也可将显卡替换为更高的 4090D/4090，但需要重新选择机箱，以兼容更长的显卡以及 SFX-L 电源

MATX - 14L及以上廉价方案

机箱：C6 179
主板：H610M/B760M 399/1349
拓展卡：0/699
CPU：12400F 549
内存：DDR4/5 32G 399/799
硬盘：0
电源：650W ATX 349/649
显卡：4060TI 16G 3149

合计：5000～6000
分析：CPU 性能主流；显卡性能主流；体积适中；价格一般；拓展性强（后续可通过 PCIE 拓展）；主流学习模型

该方案依据是否需要雷电接口，可选择不同的主板/拓展卡，但两者价格差异较为有限；也可将显卡替换为更高的 4090D/4090，但需更换机箱（如 AP201）以兼容更长的显卡，并使用更大的 ATX 电源

结语

从上面的分析可以看到，作为家用 AI 工作站的装机方案，其成品普遍在 5～20L 左右，重量则要在 3.5～7kg 左右。

唯一的例外是 MS01/P360Ultra 所代表的 USFF+ 2L 方案，其便携性可以与迷你主机/笔记本进行比较了

作为一个初级的户外佬，我所了解到的人体理想背负在 30L/7kg 以内，极限背负在 60L/14kg 左右。

从这个意义看，通常来说的家用 AI 工作站方案，都不是一个拿着就可以上路的状态，其小型化的意义更多的在于更方便的塞上自家小车/更方便的借助交通工具点对点移动

还能读到这里的佬们，如果文中有什么错误烦请指正，如果对文章有什么想法也请不吝赐教。

提前谢谢大家的观看和讨论了。

--------------------------------------------------------------------------------------------------------------------------------------------

更新 day1

昨晚没有仔细思考刀卡在兼容性上的优势，今天以 P3Ultra 为例入手后发现部分坛友说的 2～4L 解决方案是存在的，已更新在原文及结语中。另外补充下所了解到的显卡坞 + 笔记本方案，并细化了本文章目前的适用场景：只针对单卡 GPU。

关于刀卡

引用坛友之前的测评

迷你工作站大对决？ThinkStation P360Ultra&NUC12 飞龙峡谷 ProX 评测

目前 14L 以内的迷你主机/工作站市场，基本是只有 OEM 厂商在做了，因为 ITX 主板这个体积下基本塞不进去显卡，那就谈不来 Workstation 了，这个市场别看不大，竞争还挺激烈，产品类型很多：第一种是扩展能力相对强大的标准的 SFF 小型工作站，体积接近上限，集成 SFF/SFX 电源，MATX 主板，但是一般是半高槽；
还有一类 1L 左右的 USFF 微型工作站，DHL（DELL HP LENOVO）工作站御三家都有，但是基本只有半高单槽位，散热也比较捉急；
第三种就是夹在中间这次讨论的主角，性能和扩展上比 USFF 强，同时体积又比 SFF 小的工作站，个人称之为“迷你工作站”这是这两年才出现的新机型，DHL 御三家里面，DELL 出了 Precision 3260CFF，HP 出了个 Z2 Mini G9，Lenovo 出了个 P360Ultra，再加上明明是工作站定位却非要碰给命的瓷结果一脸灰最后又回来做迷你工作站的 Intel NUC Extreme 系列，成为了新的迷你工作站御三家，不过 Z2 Mini G9 和 3260 的显卡支持都没有 P360Ultra 给力，于是这次对比的就是 P360Ultra 和 NUC 12 Pro X:

这里分成三类情况讨论

SFF 14L

SFX + MATX + 半高槽/全高槽，这类最高兼容 RTX A5000 Ada 32GB，或 4090 24G
如 ThinkStation P360，尺寸为 170*375*315mm 20L，支持 RTX4090

介于 USFF 和 SFF 中间的迷你工作站 4～8L

如 ThinkStation P3Ultra，3.9L 雷电 4 其 PCIE 最高支持 170mm 双槽刀卡最高支持 RTX A5000 Mobile 16G 定制版/RTX 4000 SFF Ada 20G
售价依据不同配置在 6000～40000 左右

USFF 1L

DHL（DELL HP LENOVO）工作站御三家支持半高单槽，如 ThinkStation P360Tiny
小厂方案有 MINISFORUM MS-01 支持 A2000 12G 刀卡/RTX 4000 SFF Ada 20G（i5-12600H/万兆/USB 4，尺寸 196*189*48mm 1.8L，支持半高双槽 179mm 内无额外供电显卡，售价 2999）

关于显卡坞 + 笔记本方案

该方案首先要求笔记本有雷电/occulink 接口，如 ThinkBook 14p

对于显卡坞，其体积由显卡 + 电源 + 坞组成，常见的方案有：

逍遥显卡坞（0.1L） + 小 1U/FLEX/SFX 电源 + Colorful 4060TI MINI 16G
理论体积：188*130*85～105mm 1.9～2.5L
理论重量：1.5～2.0kg
价格：399 + 599 + 3799，在 4000～5000 左右

--------------------------------------------------------------------------------

再更新 day2

按坛友指出，对刀卡与 MXM 显卡部分的部分错误进行了勘误。同时新增关于苹果主机与统一芯片在 AI 计算上的部分内容。

统一内存（Unified Memory Architecture），Apple 主机与 AI 计算

统一内存（Unified Memory Architecture）

在对 Apple Silicon 芯片的介绍中，其一个重要特性被描述为统一内存架构 (UMA)。这里简单摘录一段 MacPaw 上的说明

> Unified memory is the term used to describe the memory architecture in Macs with Apple silicon. It's unified because instead of having separate banks for memory for the CPU and GPU, both processing units draw on the same bank of memory.

简单可以理解为，M 系芯片中的 GPU 可以直接使用内存作为显存，这也为 AI 计算提供了巨大的便利。实际上，也已经有如 TensorFlow for Apple Silicon 等项目进行了支持。但因为 Apple Silicon 与 NVIDIA 显卡之间目前并不兼容，该方式也存在一些力所不能及的地方。

主机，尺寸与价格

以 mac mini 和 Mac Studio 为例，目前官网在售的不同体积下的设备最大内存为：

Mac MINI，尺寸为 3.58*19.70*19.70cm，重量为 1.18～1.28kg，最高可选配 M2 24G（7499）或 M2 PRO 32G（12999），并可选配万兆网络
Mac Studio，尺寸为 9.50*19.70*19.70cm, 重量为 2.7～3.62kg，最高可选配 M2 MAX 64G（19499）或 M2 Ultra 192G（44999），自带雷电 4 与万兆接口
Mac Pro，尺寸为 52.9*21.8*45.0cm，重量为 16.86kg（塔式），最高可选配 M2 Ultra 192G（塔式，67999），并配备七个扩展 PCIE 插槽

另外，M3 芯片已经搭载在 Macbook Air/Pro 上，最高可选配 M3 MAX 128G（MacBook Pro 16，39499）；M4 芯片则已经搭载在 ipad 中，但尚未搭载在 macOS 平台上。

-------------------------------------------------------------------------------

最后更新 day3

继续补充关于 MXM 显卡的部分内容；补充关于 4090 的详细规格与装机参考

近日，Computex 2024 在台举行，AMD 举办新发布会，Nvdia 则推出了限制新显卡体积的 SFF-Ready Enthusiast GeForce Cards 标准与对应的装机指导：

151 mm maximum height including power cable bend radius
304 mm maximum length
50 mm or 2.5 slots maximum depth

Depending on graphics card orientation, a total of 154.5mm clearance is required from either the motherboard or riser PCB to the side or top case panel. Additionally, a case must have clearance for 312mm in length, including the graphics card and extender (if any).

未来 AI 计算会如何发展，是否会使得装机方案更加简单，还有待观察，本文只基于 2024/6 的国内装机市场与个人初步了解到的 AI 运算需求而作，如未来发生变化，可能会失效，特此留记。

作者: shalei2004 时间: 2024-5-31 08:16
“家用”和“AI工作站”
两个词放一起怎么感觉那么不和谐

作者: 用户 时间: 2024-5-31 08:28
现在想跑爽8b/70b llm，必然是多卡堆显存。单卡方案基本不用考虑了。3b模型单卡24gb，8b双卡24gb，70b要8卡48gb。

还要便携的话，不如考虑纯cpu+大内存，96核zen4 avx512，浮点计算能力也是杠杠的。

作者: yueyue 时间: 2024-5-31 09:19

用户发表于 2024-5-31 08:28
现在想跑爽8b/70b llm，必然是多卡堆显存。单卡方案基本不用考虑了。3b模型单卡24gb，8b双卡24gb，70b要8卡 ...

要说全量跑，普通玩家都没得玩了，成本太高

作者: dioluve 时间: 2024-5-31 09:37
这就不得不提联想P3Ultra了

在装个14900的同时，还能装下RTX A4000 SFF，再装个 A380刀卡，四条内存，双网口双雷电

然后整机也就和NUC9 差不多大

作者: mypchas6fans 时间: 2024-5-31 09:58
感谢，我感觉已经非常到位了~~

作者: Ownab 时间: 2024-5-31 10:12
家用场景下单AI使用还是直接买黑产的API最划算。

学习/开发用途还是老老实实上工作站，就别考虑体积了

作者: jiano 时间: 2024-5-31 10:17
最小的话，那直接各大品牌的2L小主机了，相比1L扩大了散热面积，基本上该有的也都有了。

作者: kartanus 时间: 2024-5-31 10:24
本帖最后由 kartanus 于 2024-5-31 10:26 编辑

额...

科学计算：
线撕7000>线撕3000>至强W3300
消费级单卡英伟达
尽可能拉满内存通道，容量=显存2倍以上

机器学习/人工智能(训练)：
线撕=至强W
A100>Titan V*2>3090，且支持多卡
内存=显存2倍以上

生成式AI：
单卡锐龙9，多卡霄龙
单卡4090，多卡多个4090
内存=显存2倍以上

大语言模型(推理、训练)：
霄龙+4*L40S+两倍显存的内存

数据科学：
至强W>线撕，32核64线程就够了，多了性价比不高，少了性能拖累
A6000
内存1-2TB

综上，家用搞AI，玩玩的话可以等AI芯片，搞生产力的话，最低线撕32核心起步。

作者: ninepiece 时间: 2024-5-31 10:34
学习了，个人玩玩ai，不想花钱多，可以试试楼主方案。

作者: 某人的马甲 时间: 2024-5-31 10:38
要小体积工作站，那就直接飞龙峡谷了，万兆+雷电都有。。甚至还有带Vpro的飞龙Pro。。。

作者: natt 时间: 2024-5-31 10:42
家用玩图，想搞RTX400ada了

作者: SpringTime 时间: 2024-5-31 18:12
跑什么小说是目前各种在线AI服务满足不了的吗，免费的**4o也可以直接上传文档分析了呀

作者: yan1990_y 时间: 2024-5-31 18:42

SpringTime 发表于 2024-5-31 18:12
跑什么小说是目前各种在线AI服务满足不了的吗，免费的**4o也可以直接上传文档分析了呀 ...

是的，感觉就是纯折腾，4060ti 16G的速度…

作者: gochri 时间: 2024-6-1 00:48

dioluve 发表于 2024-5-31 09:37
这就不得不提联想P3Ultra了

在装个14900的同时，还能装下RTX A4000 SFF，再装个 A380刀卡，四条内存，双 ...

感谢提及。

以联想P3Ultra 的结构入手，我算是重新理解了半高显卡在装机中的优势了：更低的高度，在垂直或者水平放置时都能极大的减小体积。
针对这个机子，两个 PCIE 并不重叠，甚至还看到了魔改放入 4060 半高刀卡 + PLX + 万兆拓展的玩法。

相关的设计在半高 NAS 机箱中也十分常见，怎么就忘记了呢（

作者: gochri 时间: 2024-6-1 00:55
本帖最后由 gochri 于 2024-6-1 01:36 编辑

用户发表于 2024-5-31 08:28
现在想跑爽8b/70b llm，必然是多卡堆显存。单卡方案基本不用考虑了。3b模型单卡24gb，8b双卡24gb，70b要8卡 ...

感谢指点，进一步查阅资料后，基本同意您的说法。

正常场景下，考虑性能和散热，多卡 + 机房才是作为生产力的主流解法；本文只是尝试在个人低预算或长期移动的场景下，寻找一种可能的妥协方案罢了。

作者: SeanScott 时间: 2024-6-1 02:42
TTS很吃资源吗？我以为类似8845HS那种小主机就够跑7B左右的模型了

作者: dioluve 时间: 2024-6-1 08:50

gochri 发表于 2024-6-1 00:48
感谢提及。

以联想P3Ultra 的结构入手，我算是重新理解了半高显卡在装机中的优势了：更低的高度，在 ...

目前最强的小卡是RTX 4000 ada SFF，这个新出的半高双槽卡，打游戏都能超一点4060，而且才70W

这样就显得之前联想给配的A5000 MXM顶配显卡很蠢

，比不过RTX 4000 ada，所以今年最高配是这个显卡了，剩下一个X4单槽随便玩

作者: 盐湖 时间: 2024-6-1 09:17
。。。刀卡里有A4000、A5000？物理尺寸自己都标出来了，也该能看出来刀不刀、该不该写在刀卡里吧。。
tesla的散热模组不难解决，顶盖螺丝拧开橡皮筋固定个5015上去就压住了，想保持单槽也可以用同规格小涡扇粘到后面吹，甚至可以在挡板外加小涡扇不占用箱内空间，直接定义占用9cm风扇很不严谨。
MXM现在2070S、3060、RTX4000/5000（图灵）并不罕见，1070都是什么老黄历了，而且还写的是“1070 Super”？MXM最大的问题是部分模组需要先借核显刷对应原准系统适用的vbios才能点亮。联想定制的A5000 MXM为什么也在刀卡章节，下意识以为它不是MXM而是独立刀卡？
而且现在都24年了，刀卡提A2000不提4000ada sff，我特意看下发帖时间不然还以为是2年前。
楼主研究的不够深入，但是排版形式上如此正经，容易把不懂的人带偏。

作者: 大道无言 时间: 2024-6-1 09:22
tts还需要本地跑么，对我来说微软的都够用了。。。

作者: Oxyer 时间: 2024-6-1 11:12
内存是显卡显存的2倍以上有啥说法吗

作者: WD5d 时间: 2024-6-1 11:17
成本最低的是买个苹果笔记本
M系列统一内存，内存即显存
你买个64G内存的会比配到64G的显卡便宜
速度虽然不如，但是无论是价格还是体积都完胜
另外苹果本相对保值一些

作者: weindy 时间: 2024-6-1 11:27
不是生产产出，只是体验的话，直接租ai云最划算。感觉这些不过是给自己装N奶机找个借口。

作者: gochri 时间: 2024-6-2 02:23
本帖最后由 gochri 于 2024-6-2 02:54 编辑

盐湖发表于 2024-6-1 09:17
。。。刀卡里有A4000、A5000？物理尺寸自己都标出来了，也该能看出来刀不刀、该不该写在刀卡里吧。。
tesla ...

感谢指正，相关部分已经做了勘误和说明。

另外斗胆问一个问题：
在查找 3080 MXM 时，只在淘宝店看到了相关售卖却没有具体型号，且主机也只到适配了 Intel 11 代 CPU 对应的准系统蓝天 X170kmg。目前是否还存在着像 DeskMini GTX1080 (Z370) 这样适配 MXM 的小型主机或主板呢，还是能通过一些方式将其安装到 P360Ultra 上？

如果这个问题您还有了解且愿意告知的话，这里先提前谢过了。

作者: gochri 时间: 2024-6-2 02:34

WD5d 发表于 2024-6-1 11:17
成本最低的是买个苹果笔记本
M系列统一内存，内存即显存
你买个64G内存的会比配到64G的显卡便宜

感谢分享，利用 M 系列的统一内存来达到大显存的效果确实是我之前整理时没注意到的盲区。

不过初步了解后，感觉两者进行 AI 计算开发时，在需要掌握的知识和能够实现的效果还是存在一些差异，是需要进行一些取舍的。

我这里先只标记了作为硬件的尺寸和内存上限，更多的内容待日后进一步了解后，在做定夺吧。

作者: 过时技术研究所 时间: 2024-6-2 10:11
笑死了搞半天啥玩意听过V100吗

你他妈不是搞AI的你是卖机箱的

作者: 盐湖 时间: 2024-6-2 14:56
本帖最后由盐湖于 2024-6-2 15:09 编辑

gochri 发表于 2024-6-2 02:23
感谢指正，相关部分已经做了勘误和说明。

另外斗胆问一个问题：

你想买MXM的话，有些工控设备的店是专做MXM而且没有淘宝店的，以前我寻购一款丽台MXM的时候有联系过两家都是国内深圳那边的公司，忘记具体名字了但都是类似XX工控这种。适配MXM的主板最高我只看到过sfx规格的Q570芯片组监控机主板，是11代桌面iu+一个MXM，类似的例子往前推到Z77芯片组有支持双路MXM的E-ATX规模多屏总控主板，但那已经不适合现在这个时代了。mini主机类型的就铭凡那款，但是MXM部分的散热堪忧。
但是还有一种实现办法，即使用部分品牌机定制的MXM转PCIE转接卡，装入自购非原装MXM模组，但是需要魔改供电以实现对超出75W的MXM的支持。关于这个思路，有一个触手可及的解决方案我在闲鱼上看到的，是卖家自制的P360U 加装供电模块的PCIE转接卡，使4060刀卡能够从该转接卡上增加的供电模块取电（注：供电模块是mx3.0接口从外部取电，可能会造成“凭空取电”的误会，特此标注），以实现对P360U的适配。这种方案潜力很大。
说实话楼主想折腾家用AI如果只是TTS/生图类的，一张4090/4060ti-16G足矣，如果想玩LLM，还是老老实实HEDT+多张2080ti-22G起步吧，这种实打实的生产力项目和紧凑的物理尺寸生来就是势不两立的，这么研究下去，最优解就会是满配的M4 mac mini。

作者: 建议柠檬 时间: 2024-6-2 15:53
低预算？
低预算用云

图便宜？
图便宜应该用双路E5/3647这种便宜玩意尽可能的堆显卡

既要低功耗又要小体积的这不是预算低
而是既要又要

低预算首先应该牺牲的是体积、散热和寿命，最低预算先把机器支起来跑起来

作者: gochri 时间: 2024-6-4 05:07

盐湖发表于 2024-6-2 14:56
你想买MXM的话，有些工控设备的店是专做MXM而且没有淘宝店的，以前我寻购一款丽台MXM的时候有联系过两家 ...

感谢指点，在深圳部分工控相关公司的官网，找到了需要的 MXM 相关信息。

另外，关于 P360U 加转 4060 刀卡，我这边也找到了作者的 B 站视频（BV1AQ4y1p79j）和相关的供电模块转接卡，这个方案确实触手可及，只可惜 40 系没有更高的刀卡可选了。

最后，这种在生产力和物理尺寸的夹缝间做道场的研究确实也只能是玩玩而已了，而 Apple 的统一内存策略，也确实注定了在这个赛道上的最优非他不可了。

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)