deepseek第六天的开源，老黄这次是真要凉凉……

wikieden

这把没涨价理由了

ykdo

2500张H800的谣传你也信？

碳水化合物

ykdo 发表于 2025-3-2 02:25
2500张H800的谣传你也信？

DeepSeek官号在知乎上发的新专栏文章《DeepSeek-V3 / R1 推理系统概览》中提及的部分

线上系统的实际统计数据

DeepSeek V3 和 R1 的所有服务均使用 H800 GPU，使用和训练一致的精度，即矩阵计算和 dispatch 传输采用和训练一致的 FP8 格式，core-attention 计算和 combine 传输采用和训练一致的 BF16，最大程度保证了服务效果。

另外，由于白天的服务负荷高，晚上的服务负荷低，因此我们实现了一套机制，在白天负荷高的时候，用所有节点部署推理服务。晚上负荷低的时候，减少推理节点，以用来做研究和训练。在最近的 24 小时里（北京时间 2025/02/27 12:00 至 2025/02/28 12:00），DeepSeek V3 和 R1 推理服务占用节点总和，峰值占用为 278 个节点，平均占用 226.75 个节点（每个节点为 8 个 H800 GPU）。
https://zhuanlan.zhihu.com/p/27181462601

278*8=2224

另外一个是他们在V3的论文中所提到的

3. Infrastructures
3.1. Compute Clusters
DeepSeek-V3 is trained on a cluster equipped with 2048 NVIDIA H800 GPUs. Each node in
the H800 cluster contains 8 GPUs connected by NVLink and NVSwitch within nodes.

碳水化合物

楼主说的“ 有人算过，已现在的H800的算力，2W张卡就能够全中国人所有人用”这观点出处不知道在哪儿，我只在s1论坛讨论帖见过这个量级的，但那是少打了个零的笔误。

我看见的两位网友简单计算的结论是20万、24万张h800能暂时满足目前国内的需求，之后就不清楚了。

8xwob3ko

AI如果能力不继续突破，那能使用的场景实在有限，NV赌的是这个。R1也好o3也好** 4.5也好都还远达不到真正质变的程度，现在的能力主要还是写一些车轱辘话+少量辅助。能力没突破幻觉没解决那还差得远。

porsche4me

gartour 发表于 2025-3-1 22:22
这不是1个月前就讨论烂了的话题吗。

怎么可能够用。现在的ai行业还在探索阶段，对算力需求如果不考虑预算 ...

正解! 多领域会全面部署AI, 到时候还是不够.

pingji

yangzi123aaa20 发表于 2025-3-2 01:49
个人用的话需要的是大显存，API现在平均每用户也就20TK/s，这个速度用AMD那个新集显就能达成 ...

很遗憾395实测只有3token

Kavzero

DeepSeek爆火推动英伟达晶片在华需求激增

理智的边缘

ykdo 发表于 2025-3-2 02:25
2500张H800的谣传你也信？

……下面人家都发了论文了，不懂英文可以去知乎上看中文版。上来就质疑就显得你很蠢。

富哥V我五万

这就凉凉了？真能吹，顶多让老黄少赚点米，英伟达现在的股价比deepseek面世前都高。

理智的边缘

碳水化合物 发表于 2025-3-2 03:18
DeepSeek官号在知乎上发的新专栏文章《DeepSeek-V3 / R1 推理系统概览》中提及的部分

278*8=2224

我也不知道这帖子里，喷我的人是什么个心态。哪怕它去看一下deepseek的论文。

部署推理，用H800直接比B200的效率还高，我不知道 AI公司有什么必要在买B200。

**4.5已经发布了，外网的基本上下了结论，就是预训练到头了，而且老黄现在已经开始公开吹 后训练了……


下面是我的引用:

"NV在8卡H200节点上优化版本的性能（5899t/s）只有DS在8卡H800节点性能的~84%。

说到这里，我们得解释一下：H200的内存带宽显著优于H800。H200采用了最新的HBM3e内存技术，其带宽显著提升 —— 公开资料显示，其内存带宽可达到约4.8 TB/s，而H800所使用的HBM3内存带宽限制，通常只有大约1.7 TB/s左右。众所周知，HBM内存带宽对AI训练和推理性能的提升尤为关键。

说到这里，我只能说，DS团队的工程能力简直令人发指。

不由地想，现有的大规模算力基础设施（A100，H00）虽然已经投入使用多年，但其潜力远未完全释放。

所以，对大规模Capex投入的厂商来说，当务之急是继续大规模投入？还是应该投入工程力量挖掘潜力"



面对deepseek的论文，如果你是老板，是继续买B200堆算力，还是跟着deepseek继续对已有的H100挖潜，这是老板们要进行成本核算的。

面对90%毛利的算力卡，我想没有一个老板想继续给老黄送钱吧。

michaelzxp

低成本不意味着不需要高算力，老黄说得对，不矛盾。只是需求量曾迫切增长没那么迫切了，就看后续卷算法的程度了

ruo101

那些玩外股的· ·早一个多星期已经开始骂娘了··

不明白 国内有好东西 不是值得高兴么··

nihilum

访问数越来越多，外加Deepseek本身模型在迭代，算力需求肯定越来越高，只不过NV的垄断优势不明显了而已

fkpwolf

这帖应该扔水区

husky520

darkness66201 发表于 2025-3-1 22:15
没有人需要超过640KB内存

经典语录。。。

wyb4112

华尔街的游戏而已

uprit

要不是买不起，俺也想弄个8卡H200放家里自己用。

dinla

A I N 形成竞争就行 起码成了可能

ykdo

理智的边缘 发表于 2025-3-2 09:43
……下面人家都发了论文了，不懂英文可以去知乎上看中文版。上来就质疑就显得你很蠢。 ...

国产论文有啥可信度？吹牛的还少么。

shiangyeh

建议先了解下现在是怎么训练的。

推理从很多年前就不依赖cuda，不然各位mac intel amd用户怎么用上的本地部署llm。

doom4

DS开源后三哥已经吹自己是AI超级大锅了，这个屎一样的民族，不恶心死人决不罢休

yoloh

下次别发这么丢人现眼的言论了。
推理是推理，训练是训练。这两个都拎不清，也敢大言不惭。

iamdefer

幽默

只听说过代码开源，没听说过成本开源的。

kinglfa

a010301208 发表于 2025-3-1 22:11
算力需求无上限，别只看眼前，不过英伟达垄断很快就无了。

未来人人都要有机器人，工厂，军队更是大量需要 ...

这才是正解

xjr12000

咋的？H800是国产的吗？看着就像笑
说来说去你国产的芯片没有一个能用的
你就是再优化效率，还不是要去买英伟达
等你啥时候不需要买它的，再出来唱衰吧

半锁眉

理智的边缘 发表于 2025-3-2 09:48
我也不知道这帖子里，喷我的人是什么个心态。哪怕它去看一下deepseek的论文。

部署推理，用H800直接比B2 ...

很遗憾，各大公司的ai投入这季度都创了新高，而且明确主要投入的就是硬件，再说一句，吃算力的怪兽主要是训练，蒸馏你也得现有蒸馏的对象才行

nn1122

国产GPU芯片哪天真正崛起，才是老黄凉凉了，不过先把AMD和intel的计算卡先超越了来吧

zlcrxp

yangzi123aaa20 发表于 2025-3-2 01:10
长远来看我们都死了
现在美股七巨头的股价基本都靠“AGI五年内到来”支撑，算力越强越有可能抢到AGI门票 ...

这个不好说，AI还是太新，只是发展的非常快，虽然看起来在LLM这里碰壁了，但是谁知道哪天突然就出现另一个黑马。
卖API只是最初级的商业模式，这就和你互联网最早也只是看看门户，但是那不是终点，AGI才是现在知道的终点，也为未来也不是。

los_parrot

在这个帖子里发言并知道opensource week的人不超过3个，哈哈。

很多经典语录比如“训练算力消耗才是大头”，蒸馏啥一看就是tiktok短视频受害者。

这个5小时的长视频，加速1.5倍看完前2小时再来聊ai吧。
https://www.bilibili.com/video/B ... f913a583424a580bcf8