跑机器学习的homelab的cpu和gpu怎么选

kingofgu

目前台式机跑notebook一直开着占后台 而且训练的时候不能打游戏
准备专门装个机器跑juypter notebook
目前看要不两张5000 blackwell pro或者一张6000 pro
主要是cpu纠结选A还是I
因为内存肯定是跑jedec profile 不存在超频
9950X性能肯定暴打285不带K

meng83

老哥有钱人啊

wliked

如果不上mrdimm的话肯定amd啊

wliked

wliked 发表于 2025-10-28 08:06
如果不上mrdimm的话肯定amd啊

不对，你不上服务器平台吗，现在epyc9004也不贵啊，建议上服务器平台

kingofgu

wliked 发表于 2025-10-28 08:07
不对，你不上服务器平台吗，现在epyc9004也不贵啊，建议上服务器平台

9004还是贵啊 我在国外 看了下trx50到极限了

c2h6o

kingofgu 发表于 2025-10-28 20:50
9004还是贵啊 我在国外 看了下trx50到极限了

2张卡了，你不上服务器平台，PCIE通道也不够啊。

wliked

kingofgu 发表于 2025-10-28 20:50
9004还是贵啊 我在国外 看了下trx50到极限了

如果纯gpu的话cpu随便，不过intel消费级平台扩展性更好pcie通道更多，amd主板南桥太烂了，而且ai训练多卡的话nvlink很重要，能提升不少的速度

kingofgu

c2h6o 发表于 2025-10-28 21:33
2张卡了，你不上服务器平台，PCIE通道也不够啊。

x8就可以了 反正没有NVlink

CraftDeadMRC

能用双pcie5.0x16还是用上比较好，如果要tp（张量并行），可以打一个pcieP2P补丁的驱动，延时能下降很多。我自己的是9334qs+t2seep，2100+2800买的，内存条由于当时低价没舍得，只436买了条16G过渡，结果现在彻底买不起了……
（其实理论上应该能用9334es+t2seep，我魔改了下BIOS把微码打进去了，但是我又怕换U后长期卖不出去）

kingofgu

CraftDeadMRC 发表于 2025-10-28 22:43
能用双pcie5.0x16还是用上比较好，如果要tp（张量并行），可以打一个pcieP2P补丁的驱动，延时能下降很多。 ...

es感觉还是有点危险
qs至少频率和功率已经和最终版一致了吧

smthzhj

看具体的机器学习方向吧，如果做深度强化学习9950x用得上，否则可能上限是显存。速度就那么回事了，毕竟不能在自家长时间高强度跑，太吵

porsche4me

不考虑苹果吗?

mac studio 可以512G内存 400多G显存妥妥的, 但是只能推理, 训练太慢

我也在考虑买啥, 现有机器试了些东西, 结果质量都太差了...感觉就是大家都在玩设备, 没人看产出...

kingofgu

porsche4me 发表于 2025-10-29 02:45
不考虑苹果吗?

mac studio 可以512G内存 400多G显存妥妥的, 但是只能推理, 训练太慢

我是自己做强化学习算法用的 不是跑LLM推理 没法用apple

zhuifeng88

porsche4me 发表于 2025-10-29 02:45
不考虑苹果吗?

mac studio 可以512G内存 400多G显存妥妥的, 但是只能推理, 训练太慢

推理也太慢，又不是单用户单并发短上下文玩具
当然你真觉得那么用就够了的话当我没说

porsche4me

zhuifeng88 发表于 2025-10-29 05:57
推理也太慢，又不是单用户单并发短上下文玩具
当然你真觉得那么用就够了的话当我没说 ...

苹果也要好几万, 心里也是打鼓... 下不了决心买这些硬件....

目前在等5070ti super 24G.... 也可以来两块组48G.. 但主板需要换....或者是5070ti super + 现有的4070 12G.... 太多不确定了, 明年年初再说吧...

c2h6o

kingofgu 发表于 2025-10-28 22:26
x8就可以了 反正没有NVlink

双X8的板子也不好找，大部分都是x16+x4的组合。而且实测X8确实会影响性能，当然跟应用也有关系。

wyb_security

cpu---13900ks
GPU----3080
我的电脑就这个

ssch568

两块4090 48g就行了

gyc

我也想问问，
目前想法是 AMD 395 或这弄一整套 5090 平台。

只不过后者保修是个大问题，价格也比较高，但更加通用。

选AMD的 话算是性价比较高的，毕竟本地主要运行 也就是30B大小或者更小一些。

苹果这个还没用过，而且等M5出来 128G内存版本，价格恐怕给3W~4W左右吧，与5090整套可能差不多了。

xeon13

最大内存容量和带宽上限要大，平台老一点都不可怕 ，Zen2 Epyc基本上够用了，支持8通道D4，如果能上D5内存的平台就更好，但是主机部分的成本也会相应高出很多，意义不大，不如把预算花在显卡上。显卡就看你预算了，肯定是越高越好, 主显卡用新的Blackwell或者Ada Lovelace架构的 ，如果主板机箱支架 可以加一，两个V100 32GB用来做decoding, 毕竟HBM显存带宽大。

CraftDeadMRC

kingofgu 发表于 2025-10-28 23:11
es感觉还是有点危险
qs至少频率和功率已经和最终版一致了吧

并没有，9334qs也比9334正式版低不少，如果不是因为网上只有超微有最老版本的bios也不会考虑qs，反正都一样

manysu

友情提示，双8X PCIE主板可以看一下微星的CARBON系列，以及ROG部分型号

港城钢铁侠

CraftDeadMRC 发表于 2025-10-28 22:43
能用双pcie5.0x16还是用上比较好，如果要tp（张量并行），可以打一个pcieP2P补丁的驱动，延时能下降很多。 ...

专业卡直接有P2P，不需要补丁

CraftDeadMRC

港城钢铁侠 发表于 2025-10-30 09:57
专业卡直接有P2P，不需要补丁

这倒是，差点忘记题主太有实力了