listree 发表于 2025-1-30 19:45

xy. 发表于 2025-1-30 19:48

你先整个 ICP 备案, 再说别的 气氛组

listree 发表于 2025-1-30 19:56

muyiyuchen 发表于 2025-1-30 20:07

之前说的那个6000刀的纯CPU能跑10token/s，大概够一个人的[睡觉]

af_x_if 发表于 2025-1-30 20:41

CPU组的也就是运行完整模型的起步价便宜，
你再哪怕收费和deepseek一样，为了方便计算输入不算钱，百万token输出值16元。
一秒10token算，10万秒赚16元，运行27小时多时间就赚16元，你再想想看电费……

mythgo 发表于 2025-1-30 20:47

H200 来一台，应该是够的

YsHaNg 发表于 2025-1-30 21:43

看第一句话就知道楼主压根搞不起来

老饭 发表于 2025-1-30 21:44

用openwebui，支持用户注册

建议柠檬 发表于 2025-1-30 21:51

往便宜了算啊
用现在最实惠的3647平台
https://item.taobao.com/item.htm?abbucket=2&id=751740665466&ns=1&pisk=gWYQtqOgFJ2Q1pHkjpcNhPE8o675Jfu4d71JiQUUwwQdehODF9loxw-1Fdp1pylnxgBWKwIkYTWFFaOkhfkquqRHtaXx3xuV3DincZf8y9eP6PClP63I7clptab-Fuh99ZOHHDY6F0fR6f1PakEJeMITX_XOwkQJeOIOMsydyLnLNVAe2kvFxDeRNp8A-ThJK5Vw7H1l9_CLjcYMPyeJzwfRXd8bxW7-eLgOwOELJ_CLWPClNaed9MeO6_f42kBRwlh1ZOBRyapRWAuzG_iCwBGBiagdyl0y6Oa8yF1tEsRIGr5BR61PhBLQ2uClOM6v9OHmCzDGXQjWr745BBKDEspLpxSHwh91OagavZd62K1MJqyCsHR9gOdbazRFReR5ppnrTCT5diLdf7GvGN1Jegtihr5C8hsXRHcuBBpVdnQHaSMe1it1m1ITNkQe0I8lDe3QnOScNpWwHqU1WgIyjrWXszE71i451tls1uqkL2o8rRKXNojds6sZ1fw_qMCG1tls1u8cv1fCNfG_06f..&priceTId=2150441917382448143166882ef301&skuId=5352400950087&spm=a21n57.1.hoverItem.43&utparam=%7B%22aplus_abtest%22%3A%22ddd10cd00c2c62a08ceee0c0018a2bdf%22%7D&xxc=taobaoSearch

这玩意+10个显卡够了吧

CPU就用6133这样的，200块钱富裕

服务器电源也便宜，来4个 如图那样的

最后64G一根内存拉满
剩下点预算加个固态


显卡就看你打算花多少钱了

今晚大老虎 发表于 2025-1-31 07:43

deepseek官方推荐配置跑完全版是8张H800或者1张H100. 你要支持200人, 保险一点50张H100吧. 一张H100成本价25万人民币, 50张就是125万人名币, 其他的配件不是很重要, 大头在运算卡上.

用户 发表于 2025-1-31 09:18

本帖最后由 用户 于 2025-1-31 09:34 编辑

大概估算了下，如果文字生成部分完全是内存瓶颈的话，性价比配置应该是一个几百张显卡的分布式流水线，每张显卡只存1层的权重，算完传给下一张卡。最强显卡可能是RX 580 8GB这种老**。弄他100多张就放下了，累计内存带宽也很好看。

KingLu 发表于 2025-1-31 10:10

今晚大老虎 发表于 2025-1-31 07:43
deepseek官方推荐配置跑完全版是8张H800或者1张H100. 你要支持200人, 保险一点50张H100吧. 一张H100成本价2 ...

好算数[可爱]

qdzx123 发表于 2025-1-31 10:12

今晚大老虎 发表于 2025-1-31 07:43
deepseek官方推荐配置跑完全版是8张H800或者1张H100. 你要支持200人, 保险一点50张H100吧. 一张H100成本价2 ...

1张h100塞不下吧
还是说利用moe的特性

Miner 发表于 2025-1-31 10:17

今晚大老虎 发表于 2025-1-31 07:43
deepseek官方推荐配置跑完全版是8张H800或者1张H100. 你要支持200人, 保险一点50张H100吧. 一张H100成本价2 ...

好算数[可爱]

chesha1 发表于 2025-1-31 10:27

一个 70b 模型，在 FP8 下推理大概需要 70G VRAM，INT4 下需要 35G，deepseek r1 原生有 671b，那你可能需要一台 8 卡 H100 的服务器哦，而且只能开 INT4

所以不建议这么做，太昂贵了，除非是公司内网部署，不然个人做没必要

noahhhh 发表于 2025-1-31 10:35

open webui，局域网用户都可以访问
页: [1]
查看完整版本: 装个牛机，再配置未蒸馏版deep seek模型，可以同时服务多少个用户呢？