pdvc 发表于 2025-1-26 22:50
目前最便宜的r1本地部署的硬件是macmini m4
树莓派不服 原生docker性能损耗更小 还是说你没看到r1蒸馏有个1.5b版本？ 你可以去随意拖个q4量化的甚至q3
算力增加也看成本的，现在也没啥热爆应用。听的的最多的就是一帮程序员和美工说要失业。。。
我看是不是泡沫要破？
ux9p0k0 发表于 2025-1-27 09:47
开源模型追上 SOTA 本身就反映了头部玩家的投资回报越来越低，Deepseek 继续扩大规模后一样会面临 diminish ...
AI市场就那么大的话，N家争夺，付N遍大模型训练成本，投资能有回报才怪。更大的模型是否能解锁更大的市场是存疑的。
DeepSeek-V3在仅使用2048块H800 GPU的情况下，完成了6710亿参数模型的训练，成本仅为557.6万美元，远低于其他顶级模型的训练成本（如**-4的10亿美元）
其实都不关键：关键的是价格。
DeepSeek-R1 API 服务定价为每百万输入tokens 1 元（缓存命中）/ 4元（缓存未命中），每百万输出tokens 16元。
对比OpenAI o1的 API定价：每百万输入tokens 15美元、每百万输出tokens 60美元。
也就是说，每百万输出定价，DeepSeek-R1大概仅为OpenAIo1的3.65%。
被美国佬的盈利给干没了。这个才是最关键的。
1. 确实很省算力
2. 软件架构和代码优化的奇迹，真的没想到
3. 完全公开的代码和技术方案，全球各大科研机构的AI实验室，这几天成功地复现和验证R1，屌丝团队们的狂欢
4. 第一时间适配和AMD和华为，相当于给NV飞龙骑脸
5. 算力屏障依然存在，但此刻，至少缓解了很多
6. 启发了方向，通过程序员而不是纯算法工程师，持续创新架构，优化代码，是否可以继续榨取手头硬件性能？
省算力意思是同等算力推理效果更好咯，但是也不影响提高算力进一步提升模型能力咯
nihilum 发表于 2025-1-27 10:58
省算力意思是同等算力推理效果更好咯，但是也不影响提高算力进一步提升模型能力咯 ...
1. 算力屏障依然存在，只是说目前可以缓解
2. Scaling law也存在边际效应降低的问题
BFG9K 发表于 2025-1-27 03:34
DS本身太惊艳了，作为个人用户能多一个模型用实在是太爽了
除开DS本身我很喜欢看不同立场的人对DS的反应
都是利益。
YsHaNg 发表于 2025-1-27 09:47
树莓派不服 原生docker性能损耗更小 还是说你没看到r1蒸馏有个1.5b版本？ 你可以去随意拖个q4量化的甚至q ...
萌新试了下7b的回答都不太行啊，你们1.5b是干啥用的？
寒蝉鸣泣 发表于 2025-1-27 03:46
兄弟们的回帖来看，已经站到了第五层，DS省资源+资本充足=老子要把模型突破天际。 SO 老黄或继续赢？ ...
应该就是这样。这是一次显著的效率改进，但还不足以cover算力饥渴。
类似锂电池，如果某天突然能量密度翻倍了，你觉得各种设备厂商会把电池体积减半维持目前容量，还是维持体积不变让容量翻倍？
YsHaNg 发表于 2025-1-27 03:09
既然省算力我肯定先想把模型做更大 现在行业里最不缺热钱 微软meta Google都各揣着几百亿买卡建dc ...
你这句话点醒了我呀
寒蝉鸣泣 发表于 2025-1-27 04:26
坛子里很神奇的地方是，我也知道AI目前创新层出不穷，圈子里不缺钱，大把钱买卡，可是坛子里对50系一片看 ...
因为坛子里话最多的人大多是卖东西的，玩家是沉默的大多数
算力肯定永远都不够的，发展肯定还是往前发展
对AI市场动摇的是算力成本
对老黄动摇的是硬件架构上的话语权
forfans 发表于 2025-1-27 09:51
算力增加也看成本的，现在也没啥热爆应用。听的的最多的就是一帮程序员和美工说要失业。。。
我看是不是泡 ...
一方面是成本和收益，另外一方面是 scaling law 的边际效应。
所以，算力泡沫确实有那么点儿了
起飞 发表于 2025-1-27 04:56
要求确实不高，随便拿台16核的vps跑了下，cpu吃满，内存只用了20g不到
可以试试，linux下装个ollama，再弄 ...
没有显卡也可以跑吗？
BFG9K 发表于 2025-1-27 03:34
DS本身太惊艳了，作为个人用户能多一个模型用实在是太爽了
除开DS本身我很喜欢看不同立场的人对DS的反应
蒸馏怎么保证效果本身就是一个重要研究方向，这个还是很重要的。
不过蒸馏的低算力成本多半不会怎么影响算力需求，蒸馏前的基础模型还是要做大，推理成本影响很大但算力大头本身在训练。
本帖最后由 pdvc 于 2025-1-27 15:47 编辑
YsHaNg 发表于 2025-1-27 09:47
树莓派不服 原生docker性能损耗更小 还是说你没看到r1蒸馏有个1.5b版本？ 你可以去随意拖个q4量化的甚至q ...
说的当然是完整版R1了……
美国科技行业目前已经是资本游戏，华尔街和科技权贵勾结在一起，Sam Altman这种人可以登堂入室就是最好的证明，他们关心的是股票价格，不是技术本身，吹概念割韭菜一波更重要
syringalibra 发表于 2025-1-27 16:03
美国科技行业目前已经是资本游戏，华尔街和科技权贵勾结在一起，Sam Altman这种人可以登堂入室就是最好的证 ...
OpenAI 前世今生看一遍，是蛮恶心的
本帖最后由 声色茶马 于 2025-1-27 16:55 编辑
YsHaNg 发表于 2025-1-27 03:09
既然省算力我肯定先想把模型做更大 现在行业里最不缺热钱 微软meta Google都各揣着几百亿买卡建dc ...
就是，谁会真因为软件优化好就不堆硬件性能了。
真正能让老黄慌的，一是台积电制程无法进步了，另一是非黄卡跑大模型比黄卡效率还高了。
相当于低成本的达到了现有高度，但是天花板还是很低
Anderson997 发表于 2025-1-27 03:24
萌新试了下7b的回答都不太行啊，你们1.5b是干啥用的？
改写 code 脚本 对话使用为啥不用网页/api完整版？
pdvc 发表于 2025-1-27 07:43
说的当然是完整版R1了……
hhhhh 我也看到这个了 很整活
YsHaNg 发表于 2025-1-27 18:52
改写 code 脚本 对话使用为啥不用网页/api完整版？
这不本地ollama试着玩么。。。[偷笑]
Anderson997 发表于 2025-1-27 10:59
这不本地ollama试着玩么。。。
玩的话 llm能力跟着显存/内存来
这次美国要不要把windows也禁了
8owd8wan 发表于 2025-1-27 10:50
1. 确实很省算力
2. 软件架构和代码优化的奇迹，真的没想到
3. 完全公开的代码和技术方案，全球各大科研机 ...
飞龙骑脸，怎么输？
aiyaya2004 发表于 2025-1-27 19:57
飞龙骑脸，怎么输？
AMD 估计现在偷着笑呢。
YsHaNg 发表于 2025-1-27 19:01
玩的话 llm能力跟着显存/内存来
恩，垃圾配置还是浅尝辄止了[恶魔]