Chiphell - 分享与交流用户体验

标题: macbook pro内存选择 [打印本页]

作者: Anonymous.R 时间: 2024-1-11 15:10
标题: macbook pro内存选择
主营业务是系统开发，常用idea vscode pycharm这些，偶尔玩玩llm2大模型，偶尔wisky玩玩win游戏，比如老头环

作者: penryn 时间: 2024-1-11 15:12
36g，48g

作者: KN_Monster 时间: 2024-1-11 16:27
内存预算范围内最大，硬盘可以外置

作者: Anonymous.R 时间: 2024-1-11 16:41

KN_Monster 发表于 2024-1-11 16:27
内存预算范围内最大，硬盘可以外置

主要是苹果的内存和硬盘容量跟cpu还交叉绑定，形成了不同的性价比区间，这事情就变得复杂了

作者: Anonymous.R 时间: 2024-1-11 16:41

penryn 发表于 2024-1-11 15:12
36g，48g

18g能考虑吗

作者: 我輩樹である 时间: 2024-1-11 16:46
看你要玩哪种模型，目前8G都能跑tiny llama，1.1B的LoRA模型。

作者: Anonymous.R 时间: 2024-1-11 17:02

我輩樹である发表于 2024-1-11 16:46
看你要玩哪种模型，目前8G都能跑tiny llama，1.1B的LoRA模型。

目前在跑atom 7b

作者: 我輩樹である 时间: 2024-1-11 17:11
本帖最后由我輩樹である于 2024-1-11 17:13 编辑

Anonymous.R 发表于 2024-1-11 17:02
目前在跑atom 7b

70b的模型需要至少64GB，max token 200。给你个参考。7b的大概32G就够了。

(, 下载次数: 79)

要在苹果上跑llm，可以关注一下mlx社区。mlx framework。

作者: Anonymous.R 时间: 2024-1-11 17:39

我輩樹である发表于 2024-1-11 17:11
70b的模型需要至少64GB，max token 200。给你个参考。7b的大概32G就够了。

苹果跑效率如何？性价比咋样，比起cuda

作者: zhuifeng88 时间: 2024-1-11 17:47

我輩樹である发表于 2024-1-11 17:11
70b的模型需要至少64GB，max token 200。给你个参考。7b的大概32G就够了。

https://github.com/ggerganov/llama.cpp/pull/4856
已经有70b PPL还不错的2bit 量化了, 24G m2就勉强能跑

作者: zhuifeng88 时间: 2024-1-11 17:50
本帖最后由 zhuifeng88 于 2024-1-11 18:43 编辑

Anonymous.R 发表于 2024-1-11 17:39
苹果跑效率如何？性价比咋样，比起cuda

效率很一般, 性价比取决于你能接受的方案以及用途
稍微有点早的llama.cpp性能测定参考 (23年11月) https://github.com/ggerganov/llama.cpp/discussions/4167

用于bs1生成:
1. 16g单卡能跑的比较小的模型:
a. 比较新的超低bpw量化方案的34B模型
b. 传统一点的4/5/6bit awq/k-quant量化的13B模型
c. fp16的7B模型(context不能大)
2. 愿意16g多卡跑
3. 愿意用矿渣多卡P40

满足这3种任意一种情况(上述多卡包括m.2延长线外接跑pcie3.0x4之类的一切方案, pcie带宽影响对bs1 tg而言非常小), n卡性能和性价比都高得多
不满足的话, server平台cpu推理性价比也能勉强比果子高(高出不是特别多, 除非你能接受ES之类的)
你不能接受上面那些力大砖飞傻大黑粗的话, 那就只能果子了

用于微调/大bs文章总结之类的:
还是n卡多卡吧, 无论是性价比还是单说性能, 4060ti 16g多卡哪怕在3.0x4走pch这种法国互联下prefill都比m2ultra快

作者: 我輩樹である 时间: 2024-1-11 17:58

Anonymous.R 发表于 2024-1-11 17:39
苹果跑效率如何？性价比咋样，比起cuda

性价比肯定很低了，这个能流行完全是国外mac占有率太高。

作者: 我輩樹である 时间: 2024-1-11 18:12
本帖最后由我輩樹である于 2024-1-11 18:14 编辑

(, 下载次数: 65)

llama 2 7b的下下来跑了下，这是无量化的float16版本。最高33GB内存消耗。当然是包含后台任务的。
功耗64w，怕不怕。

作者: 多崎作 时间: 2024-1-11 18:23
硬盘1T，内存在预算范围内能多大就多大，能当显存用，模拟层转译玩win游戏也是把内存当显存用多多益善。

作者: 九月麦田 时间: 2024-1-11 18:53
提示: 作者被禁止或删除内容自动屏蔽

作者: fudaming 时间: 2024-1-12 16:12
72b的，64G没跑起来

作者: Pau1 时间: 2024-1-12 17:15
当然是内存，硬盘你买个2T的外置才几个钱

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)