运行deepseek完整模型，电脑配置大概要多少钱？

listree

大概要1.4t的内存，需要几张显卡？
主板、CPU、显卡怎么选？
这里有人自己组装电脑运行deepseek完整模型么

psps3

刚看到这个帖子，跑的满血版，1.5显存，1.5t内存https://www.chiphell.com/forum.php?mod=viewthread&tid=2671222&extra=page%3D1

neavo

官方推荐配置 H100*8，大概要一百来万吧，速度大概 2800T/S

StevenG

neavo 发表于 2025-2-10 18:08
官方推荐配置 H100*8，大概要一百来万吧，速度大概 2800T/S

100多万，买的应该都是二手

momo77989724

组是能组的 就是要24根64G  
组了也跑不动  1.5T相对4B的700G要求 他的计算需求也更高  组完也就5T/S附近

ShireCiel

200多W RMB

darkness66201

听说划个几T 的虚拟内存就能跑了，楼主硬盘应该够，也许可以试试

gunner_l

darkness66201 发表于 2025-2-10 18:22
听说划个几T 的虚拟内存就能跑了，楼主硬盘应该够，也许可以试试

机械硬盘可以吗？刚好有个6t的闲置

darkness66201

gunner_l 发表于 2025-2-10 23:10
机械硬盘可以吗？刚好有个6t的闲置

不知道一个小时能不能吐一个token

矜持之泪

能跑起来和跑起来能用差2个数量级

ruo101

neavo 发表于 2025-2-10 18:08
官方推荐配置 H100*8，大概要一百来万吧，速度大概 2800T/S

说起H100这货· ·早些天看见朋友圈有个人发 说50万张H100 什么什么搞项目之类 说什么什么企业家加盟之类 呼叫集资 · ·我反手一个举报· ·哈哈· ·

listree

psps3 发表于 2025-2-10 18:01
刚看到这个帖子，跑的满血版，1.5显存，1.5t内存https://www.chiphell.com/forum.php?mod=viewthread&tid=2 ...

土豪

lyys

个人跑着玩 5token都够了
3080ti跑32B的路过，只有3token

Bazooka

AI发帖吗，前阵子公司领导让来论坛问满血本地部署的是你不？

tenll

dd4 8通道，16核心epyc， 内存1T 跑完全版本速度是1.5token，只是能跑的程度。
想要速度快一点，12通道 ddr5 内存 1T ，64核心cpu是标配，内存速度是关键。

KimmyGLM

tenll 发表于 2025-2-11 08:10
dd4 8通道，16核心epyc， 内存1T 跑完全版本速度是1.5token，只是能跑的程度。
想要速度快一点，12通道 ddr ...

不跑全量的671B Q4 的话，Q2以下的版本还是挺快的；
越大越接近全量的Q4 Q8 甚至int16, 内存带宽也必须跟着模型大小同步翻倍，才能跑到相同的速度；

TincoJ

lyys 发表于 2025-2-11 00:04
个人跑着玩 5token都够了
3080ti跑32B的路过，只有3token

32B要20GB显存, 你是弄的3080ti 20GB显卡吗 还是用内存共享了。

yxxkz8

个人用最低有个30token还可以接受，不过不知道啥配置可以达到这个水平

gmlee1999

别整天搞些没用的，自己给自己制造需求，当然，三五百万是你零花钱当我没说。

lyys

TincoJ 发表于 2025-2-11 09:56
32B要20GB显存, 你是弄的3080ti 20GB显卡吗 还是用内存共享了。

12GB的，吃内存，所以跑起来慢

forecast306

一个免费的gemini 完爆，有必要吗

maaaaaaagie

neavo 发表于 2025-2-10 18:08
官方推荐配置 H100*8，大概要一百来万吧，速度大概 2800T/S

8张H100跑满血版有那么快？

网仙

tenll 发表于 2025-2-11 08:10
dd4 8通道，16核心epyc， 内存1T 跑完全版本速度是1.5token，只是能跑的程度。
想要速度快一点，12通道 ddr ...

上1.5T显存的显卡那确实是有点太费了，
我也在关注CPU跑，

intel 5代8581,内存8通道ddr5-5600，96GB*8，768GB，可以玩671B的Q8模型，成本4W
epyc 9565，内存12通道ddr5-5600，128Gb*12，1.5TB，可以玩满血的16位，成本得6W+

不过最近搜了一些信息，有人说只能输出5-7t/s
也有人说可以15-20t/s，如果能达到，还是值得搞一下的。若只有5t/S那基本没啥实用性，还不如本地32B/70B，代价低一点。

liolio

mi300x按这里说能671b原始fp8版本跑到3500token/s，2048并发下

https://weibo.com/1497035431/5132472518185657

巴特沃斯

网仙 发表于 2025-2-12 15:18
上1.5T显存的显卡那确实是有点太费了，
我也在关注CPU跑，

用lpddr5x来凑。

但这么凑完颗粒的物料价格也得至少10块钱1g（参考咸鱼16g 8533单颗价格）

带宽倒还好，容量凑够了位宽不会低

petruswang

来猜猜这个下限花了多少钱

szeller

https://mp.weixin.qq.com/s/MSdugYNArbmlOFM4jdLIcw

清华大佬刚刚发布的成果，24G显存4090单卡 + 1T内存 在本地运行DeepSeek-R1、V3的671B满血版。预处理速度最高达到286 tokens/s，推理生成速度最高能达到14 tokens/s。

具体我也不太懂，供参考吧

网仙

petruswang 发表于 2025-2-12 23:28
来猜猜这个下限花了多少钱

纯CPU跑的671b:fp8？
什么CPU？每秒多少tk？

网仙

szeller 发表于 2025-2-13 02:17
https://mp.weixin.qq.com/s/MSdugYNArbmlOFM4jdLIcw

清华大佬刚刚发布的成果，24G显存4090单卡 + 1T内存  ...

本地运行14tk/s，就具备一定的可用性了，主要是成本相对比较低