探讨和求证deepseek背后的算力真相

xks07

一日 发表于 2025-1-28 13:23
他们很早就有了万卡h100。h100被禁后又有h800集群。其实他们的研究如果比较谨慎的话，这个规模肯定足够了。 ...

好像是万卡A100，不是H100.
H100出来不到几个月老美就出了禁令，根本来不及抢卡的。
限制之前，国内买卡最多的是汽车三傻，幻方也是大买家。
在openai大火之前，卡也没这么热。

grqj52

5w张h100亏他说得出来，美帝资本已经到了宁愿信美丽国制裁监管是一坨屎的地步了？

xks07

enolc 发表于 2025-1-28 23:34
还有百度，阿里和腾讯那些大厂

你别扯淡了好吧。
大模型，腾讯一直都是跟随策略。
国内买卡最多的大厂是字节和阿里。
百度和阿里还搞自研ASIC。
美团连AMD的计算卡都买。

8xwob3ko

蒸馏训练成本大幅降低，推理成本大幅降低也是必然的，成本降了很多，但是不需要卡还不至于

8xwob3ko

enolc 发表于 2025-1-28 23:48
一下都是2023年的旧闻：

来源：华尔街见闻

那是之前了，现在只能间接用（比如租海外的算力），或者买符合规范被阉割很多的卡，或者直接买国产卡

赫敏

grqj52 发表于 2025-1-28 05:46
5w张h100亏他说得出来，美帝资本已经到了宁愿信美丽国制裁监管是一坨屎的地步了？ ...

确实是一坨屎啊，美国人都相信。基本上都是芝麻大小的事情抓着不放，旁边钻漏洞的动静多大了也不管

并非特指显卡，所有民生的项目比如福利、医疗、税务、移民等等

赫敏

enolc 发表于 2025-1-28 14:20
没错！懂王上台，这几天抓了多少垃圾非移，最可怕的是这些被抓的只是冰山一角。美国国内问题一大堆，非揪 ...

R1这个应该算是正常技术迭代的结果，毕竟业界都认为AI还处于初级阶段

只不过美国AI行业虹吸效应太明显，几个巨头吃相太难看太快就开吸了，人才和资本一下子被吸干

当然美国其他行业也是这样，哪家稍微有点起色就可以在资本的催化下瞬间吸干

Kyle-Zhu

知道同样地研究为什么始终成为不了主流，当美帝的国家战略是白痴吗，软突破最容易实现可复用且有上限。时间不用长，不信的3个月后再来看这个铁。

mdeu

enolc 发表于 2025-1-28 12:34
2000个英伟达H800芯片集群训练V3，我觉得真的很牛啊！同时也很怀疑deepseek能拥有50000块H100的说法 ...

黄世仁：我不是我没有

jihuan

我感觉deepseek宣传还是有很大水份，从我个人使用上来，文本生成和4o还有不小差距，deepseek生成的东西第一眼看上去很好，但内在逻辑一片混乱，上下文都似乎没什么关系。另外，我感觉这次deepseek的目的应该是想利用股市波动赚钱…实际效果和所用的算力可能需要打个折扣

los_parrot

这个alex wang是openAI的数据供应商，给openAI做数据清洗的（剔除无效信息提高训练质量），是个19岁从大学辍学出来创业（捞钱）的“天才”。表面上是搞ai的，本质上是个商人

他说什么不重要，重要的他有没有乘机吃进nV的股票。要不谁去X上问问？

yxxkz8

500万可以达到这样的效果，那国外的上千万多几十倍算力，会更强的吧。

yolohu

jihuan 发表于 2025-1-29 09:35
我感觉deepseek宣传还是有很大水份，从我个人使用上来，文本生成和4o还有不小差距，deepseek生成的东西第一 ...

每次长假之前都会搞几个大新闻。
deepseek是不错，不过跟Chat**比，还只能说是个玩具。

fxdgt

不用挽尊，股票跌成这样，华尔街的投资者不傻~

los_parrot

v3的论文说的很详细了，使用了配备2048块h800的阵列，单个Node 8xh800,总共消耗278万8千个h800 gpu时.也就是耗时两个月左右吧。

美国人用h100组个类似的阵列，也不用跑完，跑一个星期差不多就能完成验证了——应该是有公司已经完成了初步的验证。

另外我发现v3是12月26日——毛**诞辰当天在github发布的，当天还下水了076——四川级航母，首飞了j36。我不认为这是巧合，看起来是某种协调好的信息战。

2000块h800就能跑的话，我要是美国人我就用10000块h100组4个2560Xh100阵列，跑他3个月看看有没有什么新的成果再说——对有10万h100的公司来说这只是调整了1/10的算力分配。h800用了50多天，用h100也就1个月，就能得到4个接近4o的模型。

这意味这所有从事agi研发竞争的企业都需要重新评估自己的算力部署策略。对算力卡的采购可能会延迟一个季度，数量也会大幅削减。

zerozerone

ds一刀捅下去，神仙会流血了，那么这个神仙是个伪神。
破除迷信和盲目仰视，路漫漫其修远兮，碎尸万段还需一步步来。

总有人愿意一直跪舔，各种找角度，当然也是是信仰，别人碰不得，只能自己来破除认知，或者带进坟墓里。

哪吒V

自信也要符合基本法啊

2ndWeapon

只是效率提高了而已，最后还是得靠堆算力