4个mac studio配m2 ultra 192GB内存跑deepseek能有多快？
我看B站有用mac连接跑其他大模型的，跑deepseek 671B能有多快呢？亟需 m2 ultra 192GB run 70B 都很慢，因为目前 npu 利用不上，纯靠 GPU，上下文大的时候就更慢。推理模型输出量大，每秒没有几十个 token 不可用 Miner 发表于 2025-2-6 16:12m2 ultra 192GB run 70B 都很慢，因为目前 npu 利用不上，纯靠 GPU，上下文大的时候就更慢。推理模型输出量 ...
这么垃圾，看来软件适配还是不如cuda。英伟达又太贵，吸血啊 海口天空 发表于 2025-2-6 16:19
这么垃圾，看来软件适配还是不如cuda。英伟达又太贵，吸血啊
目前离不开英伟达……等 M4 Ultra，以及苹果的 MLX 未来是否能有足够的优化，需要时间 全民测试开始了。大概1-2周就有各种价位的方案了 https://x.com/awnihannun/status/1881412271236346233
这个玩法外网还蛮流行的。自己看吧，3bit量化，两台m2 ultra用雷雳网桥连接，exo框架（后端apple mlx），17t。
今年的m4 ultra一定是大杀器。 正在研究使用Mac Studio 组集群跑deepseek ，我这边有5台闲置M1 Ultra+128GB的Mac Studio 本帖最后由 hustlhx 于 2025-2-6 17:24 编辑
海口天空 发表于 2025-2-6 16:19
这么垃圾，看来软件适配还是不如cuda。英伟达又太贵，吸血啊
就ai来说，英伟达会比mac贵？mac优势是内存，但算力是真不行，也不便宜啊。m2 ultra 192GB多少钱？
英伟达贵的是显存，mac贵的是算力（金子内存相比之下都显得眉清目秀） 目前看，能塞啥模型取决于内存大小，推理速度的瓶颈也主要是在内存带宽？
那性价比最高的应该是苏妈把游戏机soc塞满GDDR甚至LPDDR才对
页:
[1]