equaliser 发表于 2025-2-5 19:46

千万的生意让手下就这么办的估计对到底要多钱没概念

michaelzxp 发表于 2025-2-5 19:56

不多，也就一个小目标搞定

leakey 发表于 2025-2-5 20:03

你这个问题，我今天真的也研究过，准备打个报告给集团，天天写材料烦死。[狂笑]

cmz118 发表于 2025-2-5 20:04

他知道1k token/s是什么概念吗？

gmlee1999 发表于 2025-2-5 20:18

领导估计认为一台高配电脑就能搞定，让你去专业DIY基地CHH来问问。

amx004 发表于 2025-2-5 20:56

领导是不是让你抢5090D了

zm335148 发表于 2025-2-5 21:10

今天看了下，671B建议4X A100 512G内存

chrome132 发表于 2025-2-5 21:17

建议直接找微软 azure 销售

ZIN 发表于 2025-2-5 21:28

如果要用这种模型，一般要微调吧。

显存需求*2

真的要做，找几个公司出方案吧。

自挂东南枝 发表于 2025-2-5 21:35

这种规模你自己部署不了的，找专门的公司吧。

guoguotage 发表于 2025-2-5 22:48

盖中盖的方案，保证原版（或者量化），舍弃1kt。大内存服务器或工作站，10k美刀的水平，应该算便宜。

实在不想减需求，只能加预算了，建议云服务器租赁GPU，省事。虽然贵，但是按天算，不用一次性支付很多，也许不肉疼。还可以随时停下来。

建议柠檬 发表于 2025-2-5 22:58

LZ找领导骂街去了么

直接上云吧

wjxiz 发表于 2025-2-5 23:16

星空小琛 发表于 2025-2-5 23:18

从显存角度看，2台8卡的H100/H800或者2台8卡昇腾910B3够了，成本还好，不过需要关注下要不要建设配套的ROCE网络，虽然网络部分建设成本也不高，总体建设成本不会超过1kw，N卡需要关注下货源问题，去年刚好做了类似的智算服务器方案[偷笑]

邪恶的光B 发表于 2025-2-5 23:40

这问题还是去咨询专门的公司报价吧，坛里就算有相关的人士也不太可能明给你个底价啊。[偷笑][偷笑][偷笑]

karaki 发表于 2025-2-6 00:07

幽默领导，幽默需求，幽默预算

allenxml 发表于 2025-2-6 00:13

海口天空 发表于 2025-2-5 16:20
是的是的

领导是不是委婉的让你辞职？

allenxml 发表于 2025-2-6 00:28

星空小琛 发表于 2025-2-5 23:18
从显存角度看，2台8卡的H100/H800或者2台8卡昇腾910B3够了，成本还好，不过需要关注下要不要建设配套的ROCE ...

910B3只能跑BF16精度的，需要4台8卡910B3起步

gjbsas 发表于 2025-2-6 00:28

直接问deepseek啊[偷笑]

shalei2004 发表于 2025-2-6 08:08

好奇预算多少钱

赫敏 发表于 2025-2-6 08:13

付费用网页版不行吗？你就算配了马上又有新模型出来不就成小丑机器了？

acki 发表于 2025-2-6 08:18

6位数不够。

kin888 发表于 2025-2-6 08:44

emmmmm 100tokens/s尚可用H800 8卡机达到。预算大概200w，不开票。

红枫叶 发表于 2025-2-6 09:04

你领导是SB？1000token/s 算力，除非超算，否则一般的公司根本用不到，也买不起对应的硬件

manowar0330 发表于 2025-2-6 09:12

1000t/s。。。。

robin_zou 发表于 2025-2-6 09:14

多大规模的公司，需要671b 1K token/s,有个三五十token/s就差不多了

zy_zlj 发表于 2025-2-6 09:39

开玩笑呢吧，这种几百万的采购项目让论坛出主意？

wjxiz 发表于 2025-2-6 11:21

ANDYS 发表于 2025-2-6 11:58

这种级别的活, 如果需要问网友, 那么由你来做不合适.

gyc 发表于 2025-2-6 12:00

够一个小目标的合作项目，建议直接公开招标！
页: 1 2 [3] 4 5
查看完整版本: 领导让给公司搭个部署deepseek的机子，目标1k token/s