最近影响AI算力的因素最权重的应该是DeepSeek
如果这东西真的那么省算力，效果还那么好。则对老黄是毁灭打击，但对5090又不太好说，如果Deepseek的部署能以来5090级别甚至4090多卡就能完成，那么对显卡市场又是利好，会推升价格。论坛上似乎没人关注这个东西。 个人观点仅供参考。 不过从老黄急急忙忙来北京来看，老黄是有点慌的。 既然省算力我肯定先想把模型做更大 现在行业里最不缺热钱 微软meta Google都各揣着几百亿买卡建dc ds的paper更重要的是指明了现有模型还不够大，rl做reasoning至少要v3才能涌现，那么正常思路下一步就是做更大的，谁会得出结论算力要求不高所以不用买卡老黄完了... 这东西对未来政策的影响可不敢在这里乱聊，小则ban号，大则炸坛 DS本身太惊艳了，作为个人用户能多一个模型用实在是太爽了除开DS本身我很喜欢看不同立场的人对DS的反应
挑能在论坛里说的，一些之前投机买NVDA赚到钱但其实完全不懂技术的是诋毁DS最深的人，甚至看到“蒸馏法”就脑补出DS只是人工苦力筛选开源模型的结论。看很多以前装逼的科技大V这次全都暴露了实在是太有节目效果了，很多人真的会因为偶然的财富对自己的判断力产生误差。
更多的大乐子来自于新川普班子的一堆硅谷精英的破防反应，这次他们重仓川普无非就是想多捞点联邦资金，眼看着要成了结果半路杀出来一个DS彻底没了要钱的底气。Alexandr Wang的分析还算靠谱，但剩下那些吃空饷的PM一个比一个破防，因为他们本来就是想靠泡沫捞钱，很多人一个人的年薪就差不多和DS的半个项目的预算差不多了。我这两天就看linkdin上这些PM在疯狂瞎骂，笑死。
这些还只是能在论坛发出来的乐子，不能发出来的乐子更幽默[傻笑] 兄弟们的回帖来看，已经站到了第五层，DS省资源+资本充足=老子要把模型突破天际。 SO 老黄或继续赢？ YsHaNg 发表于 2025-1-27 03:09
既然省算力我肯定先想把模型做更大 现在行业里最不缺热钱 微软meta Google都各揣着几百亿买卡建dc ...
坛子里很神奇的地方是，我也知道AI目前创新层出不穷，圈子里不缺钱，大把钱买卡，可是坛子里对50系一片看跌，把我CPU都快干烧了。我是很简单直接的人，我认为既然AI这么热，那么GPU就不会跌价，结果到处被喷。 本帖最后由 BFG9K 于 2025-1-27 04:35 编辑
寒蝉鸣泣 发表于 2025-1-27 04:26
坛子里很神奇的地方是，我也知道AI目前创新层出不穷，圈子里不缺钱，大把钱买卡，可是坛子里对50系一片看 ...
游戏卡和计算卡不是一个东西，就算有本地跑模型的需求，二手A100也比5090划算得多
而本地跑模型的需求可以说有90%都和个人用户没关系 寒蝉鸣泣 发表于 2025-1-26 20:26
坛子里很神奇的地方是，我也知道AI目前创新层出不穷，圈子里不缺钱，大把钱买卡，可是坛子里对50系一片看 ...
区区一个游戏卡才多少体量 BFG9K 发表于 2025-1-26 20:34
游戏卡和计算卡不是一个东西，就算有本地跑模型的需求，二手A100也比5090划算得多
而本地跑模型的需求可 ...
换下来的旧卡跑跑selfhost得了 deepseek api那么便宜我薅cny的羊毛不爽吗 BFG9K 发表于 2025-1-26 19:34
DS本身太惊艳了，作为个人用户能多一个模型用实在是太爽了
除开DS本身我很喜欢看不同立场的人对DS的反应
真拿nvda仓位赚钱的谁还做自媒体bb 这年头做Intel都能赚 YsHaNg 发表于 2025-1-27 04:45
换下来的旧卡跑跑selfhost得了 deepseek api那么便宜我薅cny的羊毛不爽吗
对的，买设备的钱永远不如花在买订阅上，尤其是ds这么便宜好用 YsHaNg 发表于 2025-1-27 04:48
真拿nvda仓位赚钱的谁还做自媒体bb 这年头做Intel都能赚
太多了，X上一堆，一帮子人在那里好像自己有独家insider trading info一样，天天aaoi，tsmc，aph轮着云 要求确实不高，随便拿台16核的vps跑了下，cpu吃满，内存只用了20g不到
可以试试，linux下装个ollama，再弄需要的模型就可以
curl -fsSL https://ollama.com/install.sh | sh
ollama run deepseek-r1:14b 起飞 发表于 2025-1-26 20:56
要求确实不高，随便拿台16核的vps跑了下，cpu吃满，内存只用了20g不到
可以试试，linux下装个ollama，再弄 ...
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
有gpu和公网直接起个前后端打包的 rag agent都可以玩 本帖最后由 用户 于 2025-1-27 05:22 编辑
个人为了跑LLM买卡都是给老黄送钱的。大模型跑不了，小模型就用那么几下，云上免费tier可能都够了。本地部署成本比云高太多了，速度也不如。企业级部署为了不泄露隐私数据还有点意义。
AI算力数据scaling已经被充分验证，个人搞科研直接看最小的模型，最小的数据集就可以。但科研模型一般缺乏优化，别看是玩具模型，卡算力也罢可以缩小模型，卡显存才是最难办的。所以我下台机器可能是emerald rapids/granite rapids cpu + 大内存。
很多人看deepseek“小”模型以为自己也能做LLM，你的银行账户里可能还差了几个0. 目前最便宜的r1本地部署的硬件是macmini m4[偷笑] BFG9K 发表于 2025-1-27 03:34
DS本身太惊艳了，作为个人用户能多一个模型用实在是太爽了
除开DS本身我很喜欢看不同立场的人对DS的反应
一下子让“星际之门”的5000亿美元计划预算打了个大问号，到底这些大企业是真想干事情还是要贪钱💰 Alienxzy 发表于 2025-1-27 07:32
一下子让“星际之门”的5000亿美元计划预算打了个大问号，到底这些大企业是真想干事情还是要贪钱💰 ...
事情确实会干，但捞得会更狠。这波AI虽然不全是泡沫，但是已经有很多拿高额年薪但是其实什么都不干的管理型人才了 BFG9K 发表于 2025-1-27 07:52
事情确实会干，但捞得会更狠。这波AI虽然不全是泡沫，但是已经有很多拿高额年薪但是其实什么都不干的管理 ...
打通国会预算通道的史密斯专员的一份也得准备好啊，人家忙前忙后的☺️ DS背后堆了多少黄卡你们不知道么？这东西就是一分价钱一分货，达子每次下跌都是建仓机会，感谢DS还有吹DS这帮沙雕。 游戏体量不大，但对硬件的影响的确也不小，例如9800X3D 都是烟雾弹，从来没见过好东西开源的[恶魔] 东八区时间一到，互联网股神就出来唱衰ds和开源了，笑死[狂笑] 在AI大模型面前，4090/5090算个毛，deepseek官方的数据中心据说是有1W张A100，这年头跑模型没有几张A100/H100等之类的专业卡都不好意思说自己是搞AI的 deepseek适配了昇腾和A家的卡这点对老黄才是致命的 本帖最后由 PolyMorph 于 2025-1-27 09:25 编辑
模型什么段位还是看参数量，deepseek的参数量是**4的三分之一，gpu小时数是十分之一
老黄新dlss模型也是CNN 2x参数量，cnn用了6年到极限了，新模型画质明显更好 本帖最后由 PolyMorph 于 2025-1-27 09:14 编辑
BFG9K 发表于 2025-1-27 08:16
东八区时间一到，互联网股神就出来唱衰ds和开源了，笑死
虽然没用过deepseek，但是一直用openai，只能说别太迷信openai，现在很多模型的性能都追上来了，反而closeai这b为了省成本一直用蒸馏模型
算力最重要的是算力密度，其次能耗比
美国针对算力集群芯片密度大于6就禁售 开源模型追上 SOTA 本身就反映了头部玩家的投资回报越来越低，Deepseek 继续扩大规模后一样会面临 diminishing return 吧，算力泡沫什么时候破还是取决于市场什么时候在堆算力的回报远小于成本上达成共识