Deepseek局域网内部署需求

a010301208

70B你整这么麻烦干什么

随便搞个V100的服务器就能跑了，一个月也就200块，而且可以选国外机房，你科学上网钱都省了，关键是算下来比你自己用电费便宜

a010301208

TincoJ 发表于 2025-2-17 16:22
是单机跑我看41.5GB就能跑了，多人用的话是不是需要加卡？

你都跑70B这种智障模型了，跑个Q4就差不多了，要什么40G显存

a010301208

TincoJ 发表于 2025-2-17 16:23
生产行业，不给联网主要是。。。

建议跑这个原版量化的，最低那个版本显存加内存一共200G不到就能跑了，显存占比越大上下文越多https://unsloth.ai/blog/deepseekr1-dynamic#running%20r1

那些70B 32B都不是原版，说白了就是用一个白痴模型去学习DS，但是因为本身很弱智，所以再怎么学还是弱智

a010301208

TincoJ 发表于 2025-2-17 16:38
我看过这个，老板意思是可以继续加卡去跑这个671B，主要是担心扛不住内网的用户，token速度低。
所以想着 ...

如果你用的是服务器主板的话，24G显存加8根32G内存就足够跑起来这个了，后面运行速度无非就是继续加显卡

a010301208

TincoJ 发表于 2025-2-17 16:49
我用了一台淘汰的服务器上的虚拟机，给了50核，200GB内存，但是跑32b的速度都不算太理想，可能是CPU太老 ...

你是直接硬跑的吧，那肯定速度不对啊，参考这个https://github.com/kvcache-ai/ktransformers

还有就是我刚才发给你那个原版1.58bit的，你要是用什么llama那些蒸馏的硬跑肯定不行，那些模型本来就是高占用低智商

a010301208

港城钢铁侠 发表于 2025-2-17 19:29
哪家的云服务器这么便宜啊？

这图是腾讯，目前随便买，注册4个号可以用1个月，其实别家也有，比如ucloud的新注册的话4090显卡服务器10块钱一天，别的16G显卡29.9块7天