装个牛机，再配置未蒸馏版deep seek模型，可以同时服务多少个用户呢？

listree · 发表于 2025-1-30 19:45

本地部署的deep seek，是否也能通过网页访问呢？

看到好多人用命令行问deep seek

这命令行远程访问起来不方便，而且不能多人同时问

配个牛一点的机器，装上deep seek后，可以同时服务多少个用户呢？

如果支持200个人同时问，那就挺不错了

这样的机器，要什么样的配置呢？

xy. · 发表于 2025-1-30 19:48

你先整个 ICP 备案, 再说别的气氛组

listree · 发表于 2025-1-30 19:56

xy. 发表于 2025-1-30 19:48
你先整个 ICP 备案, 再说别的气氛组

等跑起来了，再整icp也不晚

muyiyuchen · 发表于 2025-1-30 20:07

之前说的那个6000刀的纯CPU能跑10token/s，大概够一个人的

af_x_if · 发表于 2025-1-30 20:41

CPU组的也就是运行完整模型的起步价便宜，
你再哪怕收费和deepseek一样，为了方便计算输入不算钱，百万token输出值16元。
一秒10token算，10万秒赚16元，运行27小时多时间就赚16元，你再想想看电费……

mythgo · 发表于 2025-1-30 20:47

H200 来一台，应该是够的

YsHaNg · 发表于 2025-1-30 21:43

看第一句话就知道楼主压根搞不起来

老饭 · 发表于 2025-1-30 21:44

用openwebui，支持用户注册

建议柠檬 · 发表于 2025-1-30 21:51

往便宜了算啊
用现在最实惠的3647平台
https://item.taobao.com/item.htm ... mp;xxc=taobaoSearch

这玩意+10个显卡够了吧

CPU就用6133这样的，200块钱富裕

服务器电源也便宜，来4个如图那样的

最后64G一根内存拉满
剩下点预算加个固态

显卡就看你打算花多少钱了

今晚大老虎 · 发表于 2025-1-31 07:43

deepseek官方推荐配置跑完全版是8张H800或者1张H100. 你要支持200人, 保险一点50张H100吧. 一张H100成本价25万人民币, 50张就是125万人名币, 其他的配件不是很重要, 大头在运算卡上.

用户 · 发表于 2025-1-31 09:18

本帖最后由用户于 2025-1-31 09:34 编辑

大概估算了下，如果文字生成部分完全是内存瓶颈的话，性价比配置应该是一个几百张显卡的分布式流水线，每张显卡只存1层的权重，算完传给下一张卡。最强显卡可能是RX 580 8GB这种老**。弄他100多张就放下了，累计内存带宽也很好看。

KingLu · 发表于 2025-1-31 10:10

今晚大老虎发表于 2025-1-31 07:43
deepseek官方推荐配置跑完全版是8张H800或者1张H100. 你要支持200人, 保险一点50张H100吧. 一张H100成本价2 ...

好算数

qdzx123 · 发表于 2025-1-31 10:12

今晚大老虎发表于 2025-1-31 07:43
deepseek官方推荐配置跑完全版是8张H800或者1张H100. 你要支持200人, 保险一点50张H100吧. 一张H100成本价2 ...

1张h100塞不下吧
还是说利用moe的特性

Miner · 发表于 2025-1-31 10:17

今晚大老虎发表于 2025-1-31 07:43
deepseek官方推荐配置跑完全版是8张H800或者1张H100. 你要支持200人, 保险一点50张H100吧. 一张H100成本价2 ...

好算数

chesha1 · 发表于 2025-1-31 10:27

一个 70b 模型，在 FP8 下推理大概需要 70G VRAM，INT4 下需要 35G，deepseek r1 原生有 671b，那你可能需要一台 8 卡 H100 的服务器哦，而且只能开 INT4

所以不建议这么做，太昂贵了，除非是公司内网部署，不然个人做没必要

noahhhh · 发表于 2025-1-31 10:35

open webui，局域网用户都可以访问

账号		自动登录	找回密码
密码			加入我们

[装机] 装个牛机，再配置未蒸馏版deep seek模型，可以同时服务多少个用户呢？

浏览过的版块