运行deepseek完整模型，电脑配置大概要多少钱？

listree

大概要1.4t的内存，需要几张显卡？
主板、CPU、显卡怎么选？
这里有人自己组装电脑运行deepseek完整模型么

s18sshoot

完整模型有多厉害？？？

网仙

https://www.zhihu.com/question/11385894245
这里有个讨论

petruswang

网仙 发表于 2025-2-13 22:04
哈哈，这也太低了，问个问题，出门抽根烟回来还没答完呢。。。

双路X79内存带宽差不多50GB/s？

开玩笑，一根烟就想等到？30m起步

网仙

petruswang 发表于 2025-2-13 21:56
X79 2680V2两颗，DDR3 1066 24条，0.9t/s
够下限了吧

哈哈，这也太低了，问个问题，出门抽根烟回来还没答完呢。。。

双路X79内存带宽差不多50GB/s？

如果用单路epyc9005，带宽有300多GB/s.估计能等比例提升？

petruswang

网仙 发表于 2025-2-13 09:21
纯CPU跑的671b:fp8？
什么CPU？每秒多少tk？

X79 2680V2两颗，DDR3 1066 24条，0.9t/s
够下限了吧

kuram

联想刚给我发的满配 166万  671b

hiro8888

这个代价比想象要大呀

chip_discovery

forecast306 发表于 2025-2-11 21:33
一个免费的gemini 完爆，有必要吗

gemini就算了吧，虽然速度快，但由于过于在意合规性，回答虽然滴水不漏但是更像是正确的废话，

weixiangnan

neavo 发表于 2025-2-10 18:08
官方推荐配置 H100*8，大概要一百来万吧，速度大概 2800T/S

你最好说的是刀  哈哈

dmaonb

forecast306 发表于 2025-2-11 21:33
一个免费的gemini 完爆，有必要吗

ds也是免费的啊

网仙

szeller 发表于 2025-2-13 02:17
https://mp.weixin.qq.com/s/MSdugYNArbmlOFM4jdLIcw

清华大佬刚刚发布的成果，24G显存4090单卡 + 1T内存  ...

本地运行14tk/s，就具备一定的可用性了，主要是成本相对比较低

网仙

petruswang 发表于 2025-2-12 23:28
来猜猜这个下限花了多少钱

纯CPU跑的671b:fp8？
什么CPU？每秒多少tk？

szeller

https://mp.weixin.qq.com/s/MSdugYNArbmlOFM4jdLIcw

清华大佬刚刚发布的成果，24G显存4090单卡 + 1T内存 在本地运行DeepSeek-R1、V3的671B满血版。预处理速度最高达到286 tokens/s，推理生成速度最高能达到14 tokens/s。

具体我也不太懂，供参考吧

petruswang

来猜猜这个下限花了多少钱

巴特沃斯

网仙 发表于 2025-2-12 15:18
上1.5T显存的显卡那确实是有点太费了，
我也在关注CPU跑，

用lpddr5x来凑。

但这么凑完颗粒的物料价格也得至少10块钱1g（参考咸鱼16g 8533单颗价格）

带宽倒还好，容量凑够了位宽不会低

liolio

mi300x按这里说能671b原始fp8版本跑到3500token/s，2048并发下

https://weibo.com/1497035431/5132472518185657

网仙

tenll 发表于 2025-2-11 08:10
dd4 8通道，16核心epyc， 内存1T 跑完全版本速度是1.5token，只是能跑的程度。
想要速度快一点，12通道 ddr ...

上1.5T显存的显卡那确实是有点太费了，
我也在关注CPU跑，

intel 5代8581,内存8通道ddr5-5600，96GB*8，768GB，可以玩671B的Q8模型，成本4W
epyc 9565，内存12通道ddr5-5600，128Gb*12，1.5TB，可以玩满血的16位，成本得6W+

不过最近搜了一些信息，有人说只能输出5-7t/s
也有人说可以15-20t/s，如果能达到，还是值得搞一下的。若只有5t/S那基本没啥实用性，还不如本地32B/70B，代价低一点。

maaaaaaagie

neavo 发表于 2025-2-10 18:08
官方推荐配置 H100*8，大概要一百来万吧，速度大概 2800T/S

8张H100跑满血版有那么快？

forecast306

一个免费的gemini 完爆，有必要吗

lyys

TincoJ 发表于 2025-2-11 09:56
32B要20GB显存, 你是弄的3080ti 20GB显卡吗 还是用内存共享了。

12GB的，吃内存，所以跑起来慢

gmlee1999

别整天搞些没用的，自己给自己制造需求，当然，三五百万是你零花钱当我没说。

yxxkz8

个人用最低有个30token还可以接受，不过不知道啥配置可以达到这个水平

TincoJ

lyys 发表于 2025-2-11 00:04
个人跑着玩 5token都够了
3080ti跑32B的路过，只有3token

32B要20GB显存, 你是弄的3080ti 20GB显卡吗 还是用内存共享了。

KimmyGLM

tenll 发表于 2025-2-11 08:10
dd4 8通道，16核心epyc， 内存1T 跑完全版本速度是1.5token，只是能跑的程度。
想要速度快一点，12通道 ddr ...

不跑全量的671B Q4 的话，Q2以下的版本还是挺快的；
越大越接近全量的Q4 Q8 甚至int16, 内存带宽也必须跟着模型大小同步翻倍，才能跑到相同的速度；

tenll

dd4 8通道，16核心epyc， 内存1T 跑完全版本速度是1.5token，只是能跑的程度。
想要速度快一点，12通道 ddr5 内存 1T ，64核心cpu是标配，内存速度是关键。

Bazooka

AI发帖吗，前阵子公司领导让来论坛问满血本地部署的是你不？

lyys

个人跑着玩 5token都够了
3080ti跑32B的路过，只有3token

listree

psps3 发表于 2025-2-10 18:01
刚看到这个帖子，跑的满血版，1.5显存，1.5t内存https://www.chiphell.com/forum.php?mod=viewthread&tid=2 ...

土豪

ruo101

neavo 发表于 2025-2-10 18:08
官方推荐配置 H100*8，大概要一百来万吧，速度大概 2800T/S

说起H100这货· ·早些天看见朋友圈有个人发 说50万张H100 什么什么搞项目之类 说什么什么企业家加盟之类 呼叫集资 · ·我反手一个举报· ·哈哈· ·