想装一台跑大模型的机器，求助
初步打算装一台主机，用来跑大模型。目前我还是大模型小白，跑大模型的目的就是自己学习研究。对于主机配置，我有很多疑问，请大家给与建议。由于是小白，所以各种小白问题请别见怪。1、CPU有何推荐，英特尔还是AMD？
2、显卡方面，性能和显存容量哪个更重要一些，是否有必要5090，16G的5060ti是否也能玩好大模型？
3、5090、5090d、5090dd在跑大模型方面差多少？5090目前在小黄鱼上有不到2W的新卡，是否可以买？
4、5090dd相对比较便宜，是否值得买，5090dd是否全面胜过4090？
5、小黄鱼上还有改造过的2080ti，显存22G，成本相当便宜，如果搞两张这种卡，可行性有多大？
看你需求 显存容量优先度高于性能。2080ti只能当当玩具新的模型支持度会差一点。目前性价比最高的还是4090的48g 学习 LLM 还是学习穿越到另一个世界当英雄
只要不涉及后者都建议租云 gpu 你得把目标参数量，精度，单用户还是多用户，token/s速度之类的要求讲清楚。。。。 想便宜直接买TOKEN
自己想部署玩玩,不在乎速度,苹果mini主机
要求一定速度/出图/视频就得你发的那些了 PPXG 发表于 2025-9-30 10:52
你得把目标参数量，精度，单用户还是多用户，token/s速度之类的要求讲清楚。。。。 ...
目前我是小白，你说的这些我心里没数，我的目标是学习研究，希望自己部署，当然如果能玩好了，以后可能有更高的追求，不过也不会搞商业化之类的应用，就是自己能玩好了就行了。 小白就别折腾本地部署了，去搞个claude max或者chatG PT pro的合租就完了，用Gemini CLI白嫖gemini 2.5pro也可以。
字节平台或者openrouter的免费额度DS也可以。 pdvc 发表于 2025-9-30 11:43
小白就别折腾本地部署了，去搞个claude max或者chatG PT pro的合租就完了，用Gemini CLI白嫖gemini 2.5pro ...
我的目的就是要研究怎么自己搞啊，我不是为了要单纯使用大模型 lk_yeah 发表于 2025-9-30 11:22
目前我是小白，你说的这些我心里没数，我的目标是学习研究，希望自己部署，当然如果能玩好了，以后可能有 ...
小白直接用免费的，免费的什么功能不比你自己部署强百倍。 lk_yeah 发表于 2025-9-30 11:48
我的目的就是要研究怎么自己搞啊，我不是为了要单纯使用大模型
研究平台搭建？直接租几张云端的卡就完了，一小时几块到几十块，拆了搭，搭了拆的，够你玩到腻了。 lk_yeah 发表于 2025-9-30 11:22
目前我是小白，你说的这些我心里没数，我的目标是学习研究，希望自己部署，当然如果能玩好了，以后可能有 ...
搞研究，有项目支持吗？没有还是不要搞了，这个属于最耗钱的方向了。 自己玩当然是双卡v100啊，平台那家都行看你预算了 有什么好研究的
搞半天1秒蹦3个字 然后剩一堆赛博垃圾
哪些3块钱一个小时的GPU算力机器不能玩吗？ 还是先明确目标之后再行动吧！！！！ lk_yeah 发表于 2025-9-30 11:22
目前我是小白，你说的这些我心里没数，我的目标是学习研究，希望自己部署，当然如果能玩好了，以后可能有 ...
既然是小白，我第一建议你明确好目标，第二先别追求性能，先租服务器入入门再说，等研究明白了，自然就知道自己需要什么配置的了，之后再下手！！！ 买个AMD AI MAX+ 390/395的主机用核显就行。5090的32GB显存也就跑个32Bq4 再高了GPU有余量但显存不够
395可以配置96GB显存，反而能跑70Bq4 虽然只有2-3个Token
要么你就2张5090 只是推理不微调不训练的话首推2080ti 22G，三张可以跑70bq4长文本/ oss 120B了 mac studio m4 max 1，CPU要求较低，除非你纯CPU+内存跑。
2，显存大小和带宽比较重要。5060ti 16G自然能玩。
3，没差多少，主要是显存和带宽差距。闲鱼不清楚，但还是建议正规渠道买。
4，不如4090-48G
5，可行，但20系架构老了，FP8、BF都不支持。建议40系以上。
垃圾佬们都在看mi50和v100多卡，和5090之类比起来应该是相对性价比的选择，但肯定会更折腾 本帖最后由 方块李 于 2025-9-30 17:14 编辑
1、CPU要求不高，如果只跑LLM的话，其实可以买苹果或者AMD最新出的那个300系列或者MAX，好像是叫这个。。
2、16G显存是基础，个人用5060ti可以，只是跑的慢点罢子
3、差距不大，但显存大能让你使用更好的模型。闲鱼不懂，建议买国内能保修的，毕竟长时间跑AI的话，这玩艺不比挖矿强度低
4、买DD不如上4090魔改48G，还带厂保。。
5、40系以下的架构太老了，不要玩了。。
补充一下：
1、跑AI绘画或者是AI视频，建议24G显存起步。
2、建议先云端玩玩，等基本入门了，也知道自己的需求在哪里了 lk_yeah 发表于 2025-9-30 03:48
我的目的就是要研究怎么自己搞啊，我不是为了要单纯使用大模型
不冲突 gcp/aws/azure等等各种云开个gpu instance vm 除非你想玩的是如何装系统/k8s uprit 发表于 2025-9-30 16:44
1，CPU要求较低，除非你纯CPU+内存跑。
2，显存大小和带宽比较重要。5060ti 16G自然能玩。
3，没差多少，主 ...
感谢认真回复！~ 方块李 发表于 2025-9-30 17:12
1、CPU要求不高，如果只跑LLM的话，其实可以买苹果或者AMD最新出的那个300系列或者MAX，好像是叫这个。。
2 ...
感谢认真回复！~租服务器这条之前我没想到，先租个玩玩~ 44434610 发表于 2025-9-30 12:54
既然是小白，我第一建议你明确好目标，第二先别追求性能，先租服务器入入门再说，等研究明白了，自然就知 ...
租服务器这条路之前没想到，先租个玩玩~ YsHaNg 发表于 2025-9-30 18:27
不冲突 gcp/aws/azure等等各种云开个gpu instance vm 除非你想玩的是如何装系统/k8s ...
明白了谢谢~~ 训练还是推理？讲真一般人预算范围内玩这个，不如去搞云，个人预算（3万以内）搞出来的东西可用性比云差好多 最终结果是浪费钱浪费时间，当然开始时候总是激情澎拜…… 去云平台租赁训练服务就好了 还不确定是不是不只是爱好就先云平台租卡部署玩，确定不只是爱好，就认准4090 48G
页:
[1]
2