Chiphell - 分享与交流用户体验

标题: 4个mac studio配m2 ultra 192GB内存跑deepseek能有多快？ [打印本页]

作者: 海口天空 时间: 2025-2-6 16:09
标题: 4个mac studio配m2 ultra 192GB内存跑deepseek能有多快？
我看B站有用mac连接跑其他大模型的，跑deepseek 671B能有多快呢？亟需

作者: Miner 时间: 2025-2-6 16:12
m2 ultra 192GB run 70B 都很慢，因为目前 npu 利用不上，纯靠 GPU，上下文大的时候就更慢。推理模型输出量大，每秒没有几十个 token 不可用

作者: 海口天空 时间: 2025-2-6 16:19

Miner 发表于 2025-2-6 16:12
m2 ultra 192GB run 70B 都很慢，因为目前 npu 利用不上，纯靠 GPU，上下文大的时候就更慢。推理模型输出量 ...

这么垃圾，看来软件适配还是不如cuda。英伟达又太贵，吸血啊

作者: Miner 时间: 2025-2-6 16:21

海口天空发表于 2025-2-6 16:19
这么垃圾，看来软件适配还是不如cuda。英伟达又太贵，吸血啊

目前离不开英伟达……等 M4 Ultra，以及苹果的 MLX 未来是否能有足够的优化，需要时间

作者: nagashinn 时间: 2025-2-6 16:23
全民测试开始了。大概1-2周就有各种价位的方案了

作者: 我輩樹である 时间: 2025-2-6 16:23
https://x.com/awnihannun/status/1881412271236346233

这个玩法外网还蛮流行的。自己看吧，3bit量化，两台m2 ultra用雷雳网桥连接，exo框架（后端apple mlx），17t。

今年的m4 ultra一定是大杀器。

作者: lyuewei 时间: 2025-2-6 16:24
正在研究使用Mac Studio 组集群跑deepseek ，我这边有5台闲置M1 Ultra+128GB的Mac Studio

作者: hustlhx 时间: 2025-2-6 16:40
本帖最后由 hustlhx 于 2025-2-6 17:24 编辑

海口天空发表于 2025-2-6 16:19
这么垃圾，看来软件适配还是不如cuda。英伟达又太贵，吸血啊

就ai来说，英伟达会比mac贵？mac优势是内存，但算力是真不行，也不便宜啊。m2 ultra 192GB多少钱？
英伟达贵的是显存，mac贵的是算力（金子内存相比之下都显得眉清目秀）

作者: foxsheep 时间: 2025-2-6 17:18
目前看，能塞啥模型取决于内存大小，推理速度的瓶颈也主要是在内存带宽？
那性价比最高的应该是苏妈把游戏机soc塞满GDDR甚至LPDDR才对

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)