最近影响AI算力的因素最权重的应该是DeepSeek

YsHaNg

pdvc 发表于 2025-1-26 22:50
目前最便宜的r1本地部署的硬件是macmini m4

树莓派不服 原生docker性能损耗更小 还是说你没看到r1蒸馏有个1.5b版本？ 你可以去随意拖个q4量化的甚至q3

forfans

算力增加也看成本的，现在也没啥热爆应用。听的的最多的就是一帮程序员和美工说要失业。。。
我看是不是泡沫要破？

用户

ux9p0k0 发表于 2025-1-27 09:47
开源模型追上 SOTA 本身就反映了头部玩家的投资回报越来越低，Deepseek 继续扩大规模后一样会面临 diminish ...

AI市场就那么大的话，N家争夺，付N遍大模型训练成本，投资能有回报才怪。更大的模型是否能解锁更大的市场是存疑的。

zhoubi

DeepSeek-V3在仅使用2048块H800 GPU的情况下，完成了6710亿参数模型的训练，成本仅为557.6万美元，远低于其他顶级模型的训练成本（如**-4的10亿美元）

cyberms

其实都不关键：关键的是价格。


DeepSeek-R1 API 服务定价为每百万输入tokens 1 元（缓存命中）/ 4元（缓存未命中），每百万输出tokens 16元。

对比OpenAI o1的 API定价：每百万输入tokens 15美元、每百万输出tokens 60美元。

也就是说，每百万输出定价，DeepSeek-R1大概仅为OpenAI  o1的3.65%。

被美国佬的盈利给干没了。这个才是最关键的。

8owd8wan

1. 确实很省算力
2. 软件架构和代码优化的奇迹，真的没想到
3. 完全公开的代码和技术方案，全球各大科研机构的AI实验室，这几天成功地复现和验证R1，屌丝团队们的狂欢
4. 第一时间适配和AMD和华为，相当于给NV飞龙骑脸
5. 算力屏障依然存在，但此刻，至少缓解了很多
6. 启发了方向，通过程序员而不是纯算法工程师，持续创新架构，优化代码，是否可以继续榨取手头硬件性能？

nihilum

省算力意思是同等算力推理效果更好咯，但是也不影响提高算力进一步提升模型能力咯

8owd8wan

nihilum 发表于 2025-1-27 10:58
省算力意思是同等算力推理效果更好咯，但是也不影响提高算力进一步提升模型能力咯 ...

1. 算力屏障依然存在，只是说目前可以缓解

2. Scaling law也存在边际效应降低的问题

xks07

BFG9K 发表于 2025-1-27 03:34
DS本身太惊艳了，作为个人用户能多一个模型用实在是太爽了

除开DS本身我很喜欢看不同立场的人对DS的反应

都是利益。

Anderson997

YsHaNg 发表于 2025-1-27 09:47
树莓派不服 原生docker性能损耗更小 还是说你没看到r1蒸馏有个1.5b版本？ 你可以去随意拖个q4量化的甚至q ...

萌新试了下7b的回答都不太行啊，你们1.5b是干啥用的？

gartour

寒蝉鸣泣 发表于 2025-1-27 03:46
兄弟们的回帖来看，已经站到了第五层，DS省资源+资本充足=老子要把模型突破天际。 SO 老黄或继续赢？ ...

应该就是这样。这是一次显著的效率改进，但还不足以cover算力饥渴。

类似锂电池，如果某天突然能量密度翻倍了，你觉得各种设备厂商会把电池体积减半维持目前容量，还是维持体积不变让容量翻倍？

RZ.zheng

YsHaNg 发表于 2025-1-27 03:09
既然省算力我肯定先想把模型做更大 现在行业里最不缺热钱 微软meta Google都各揣着几百亿买卡建dc ...

你这句话点醒了我呀

dcx_310

寒蝉鸣泣 发表于 2025-1-27 04:26
坛子里很神奇的地方是，我也知道AI目前创新层出不穷，圈子里不缺钱，大把钱买卡，可是坛子里对50系一片看 ...

因为坛子里话最多的人大多是卖东西的，玩家是沉默的大多数

MolaMola

算力肯定永远都不够的，发展肯定还是往前发展
对AI市场动摇的是算力成本
对老黄动摇的是硬件架构上的话语权

8owd8wan

forfans 发表于 2025-1-27 09:51
算力增加也看成本的，现在也没啥热爆应用。听的的最多的就是一帮程序员和美工说要失业。。。
我看是不是泡 ...

一方面是成本和收益，另外一方面是 scaling law 的边际效应。
所以，算力泡沫确实有那么点儿了

weston

起飞 发表于 2025-1-27 04:56
要求确实不高，随便拿台16核的vps跑了下，cpu吃满，内存只用了20g不到

可以试试，linux下装个ollama，再弄 ...

没有显卡也可以跑吗？

8xwob3ko

BFG9K 发表于 2025-1-27 03:34
DS本身太惊艳了，作为个人用户能多一个模型用实在是太爽了

除开DS本身我很喜欢看不同立场的人对DS的反应

蒸馏怎么保证效果本身就是一个重要研究方向，这个还是很重要的。
不过蒸馏的低算力成本多半不会怎么影响算力需求，蒸馏前的基础模型还是要做大，推理成本影响很大但算力大头本身在训练。

pdvc

YsHaNg 发表于 2025-1-27 09:47
树莓派不服 原生docker性能损耗更小 还是说你没看到r1蒸馏有个1.5b版本？ 你可以去随意拖个q4量化的甚至q ...

说的当然是完整版R1了……

syringalibra

美国科技行业目前已经是资本游戏，华尔街和科技权贵勾结在一起，Sam Altman这种人可以登堂入室就是最好的证明，他们关心的是股票价格，不是技术本身，吹概念割韭菜一波更重要

8owd8wan

syringalibra 发表于 2025-1-27 16:03
美国科技行业目前已经是资本游戏，华尔街和科技权贵勾结在一起，Sam Altman这种人可以登堂入室就是最好的证 ...

OpenAI 前世今生看一遍，是蛮恶心的

声色茶马

YsHaNg 发表于 2025-1-27 03:09
既然省算力我肯定先想把模型做更大 现在行业里最不缺热钱 微软meta Google都各揣着几百亿买卡建dc ...

就是，谁会真因为软件优化好就不堆硬件性能了。

真正能让老黄慌的，一是台积电制程无法进步了，另一是非黄卡跑大模型比黄卡效率还高了。

Montelucast

相当于低成本的达到了现有高度，但是天花板还是很低

YsHaNg

Anderson997 发表于 2025-1-27 03:24
萌新试了下7b的回答都不太行啊，你们1.5b是干啥用的？

改写 code 脚本 对话使用为啥不用网页/api完整版？

YsHaNg

pdvc 发表于 2025-1-27 07:43
说的当然是完整版R1了……

hhhhh 我也看到这个了 很整活

Anderson997

YsHaNg 发表于 2025-1-27 18:52
改写 code 脚本 对话使用为啥不用网页/api完整版？

这不本地ollama试着玩么。。。

YsHaNg

Anderson997 发表于 2025-1-27 10:59
这不本地ollama试着玩么。。。

玩的话 llm能力跟着显存/内存来

xiao4G

这次美国要不要把windows也禁了

aiyaya2004

8owd8wan 发表于 2025-1-27 10:50
1. 确实很省算力
2. 软件架构和代码优化的奇迹，真的没想到
3. 完全公开的代码和技术方案，全球各大科研机 ...

飞龙骑脸，怎么输？

8owd8wan

aiyaya2004 发表于 2025-1-27 19:57
飞龙骑脸，怎么输？

AMD 估计现在偷着笑呢。

Anderson997

YsHaNg 发表于 2025-1-27 19:01
玩的话 llm能力跟着显存/内存来

恩，垃圾配置还是浅尝辄止了