领导让给公司搭个部署deepseek的机子，目标1k token/s

equaliser

千万的生意让手下就这么办的估计对到底要多钱没概念

michaelzxp

不多，也就一个小目标搞定

leakey

你这个问题，我今天真的也研究过，准备打个报告给集团，天天写材料烦死。

cmz118

他知道1k token/s是什么概念吗？

gmlee1999

领导估计认为一台高配电脑就能搞定，让你去专业DIY基地CHH来问问。

amx004

领导是不是让你抢5090D了

zm335148

今天看了下，671B建议4X A100 512G内存

chrome132

建议直接找微软 azure 销售

ZIN

如果要用这种模型，一般要微调吧。

显存需求*2

真的要做，找几个公司出方案吧。

自挂东南枝

这种规模你自己部署不了的，找专门的公司吧。

guoguotage

盖中盖的方案，保证原版（或者量化），舍弃1kt。大内存服务器或工作站，10k美刀的水平，应该算便宜。

实在不想减需求，只能加预算了，建议云服务器租赁GPU，省事。虽然贵，但是按天算，不用一次性支付很多，也许不肉疼。还可以随时停下来。

建议柠檬

LZ找领导骂街去了么

直接上云吧

星空小琛

从显存角度看，2台8卡的H100/H800或者2台8卡昇腾910B3够了，成本还好，不过需要关注下要不要建设配套的ROCE网络，虽然网络部分建设成本也不高，总体建设成本不会超过1kw，N卡需要关注下货源问题，去年刚好做了类似的智算服务器方案

邪恶的光B

这问题还是去咨询专门的公司报价吧，坛里就算有相关的人士也不太可能明给你个底价啊。

karaki

幽默领导，幽默需求，幽默预算

allenxml

海口天空 发表于 2025-2-5 16:20
是的是的

领导是不是委婉的让你辞职？

allenxml

星空小琛 发表于 2025-2-5 23:18
从显存角度看，2台8卡的H100/H800或者2台8卡昇腾910B3够了，成本还好，不过需要关注下要不要建设配套的ROCE ...

910B3只能跑BF16精度的，需要4台8卡910B3起步

gjbsas

直接问deepseek啊

shalei2004

好奇预算多少钱

赫敏

付费用网页版不行吗？你就算配了马上又有新模型出来不就成小丑机器了？

acki

6位数不够。

kin888

emmmmm 100tokens/s尚可用H800 8卡机达到。预算大概200w，不开票。

红枫叶

你领导是SB？1000token/s 算力，除非超算，否则一般的公司根本用不到，也买不起对应的硬件

manowar0330

1000t/s。。。。

robin_zou

多大规模的公司，需要671b 1K token/s,  有个三五十token/s就差不多了

zy_zlj

开玩笑呢吧，这种几百万的采购项目让论坛出主意？

ANDYS

这种级别的活, 如果需要问网友, 那么由你来做不合适.

gyc

够一个小目标的合作项目，建议直接公开招标！