macbook pro内存选择

Anonymous.R

主营业务是系统开发，常用idea vscode pycharm这些，偶尔玩玩llm2大模型，偶尔wisky玩玩win游戏，比如老头环

penryn

36g，48g

KN_Monster

内存预算范围内最大，硬盘可以外置

Anonymous.R

KN_Monster 发表于 2024-1-11 16:27
内存预算范围内最大，硬盘可以外置

主要是苹果的内存和硬盘容量跟cpu还交叉绑定，形成了不同的性价比区间，这事情就变得复杂了

Anonymous.R

penryn 发表于 2024-1-11 15:12
36g，48g

18g能考虑吗

我輩樹である

看你要玩哪种模型，目前8G都能跑tiny llama，1.1B的LoRA模型。

Anonymous.R

我輩樹である 发表于 2024-1-11 16:46
看你要玩哪种模型，目前8G都能跑tiny llama，1.1B的LoRA模型。

目前在跑atom 7b

我輩樹である

Anonymous.R 发表于 2024-1-11 17:02
目前在跑atom 7b

70b的模型需要至少64GB，max token 200。给你个参考。7b的大概32G就够了。



要在苹果上跑llm，可以关注一下mlx社区。mlx framework。

Anonymous.R

我輩樹である 发表于 2024-1-11 17:11
70b的模型需要至少64GB，max token 200。给你个参考。7b的大概32G就够了。

苹果跑效率如何？性价比咋样，比起cuda

zhuifeng88

我輩樹である 发表于 2024-1-11 17:11
70b的模型需要至少64GB，max token 200。给你个参考。7b的大概32G就够了。

https://github.com/ggerganov/llama.cpp/pull/4856
已经有70b PPL还不错的2bit 量化了, 24G m2就勉强能跑

zhuifeng88

Anonymous.R 发表于 2024-1-11 17:39
苹果跑效率如何？性价比咋样，比起cuda

效率很一般, 性价比取决于你能接受的方案以及用途
稍微有点早的llama.cpp性能测定参考 (23年11月) https://github.com/ggerganov/llama.cpp/discussions/4167

用于bs1生成:
        1. 16g单卡能跑的比较小的模型:
                a. 比较新的超低bpw量化方案的34B模型
                b. 传统一点的4/5/6bit awq/k-quant量化的13B模型
                c. fp16的7B模型(context不能大)
        2. 愿意16g多卡跑
        3. 愿意用矿渣多卡P40

        满足这3种任意一种情况(上述多卡包括m.2延长线外接跑pcie3.0x4之类的一切方案, pcie带宽影响对bs1 tg而言非常小), n卡性能和性价比都高得多
        不满足的话, server平台cpu推理性价比也能勉强比果子高(高出不是特别多, 除非你能接受ES之类的)
        你不能接受上面那些力大砖飞傻大黑粗的话, 那就只能果子了

用于微调/大bs文章总结之类的:
        还是n卡多卡吧, 无论是性价比还是单说性能, 4060ti 16g多卡哪怕在3.0x4走pch这种法国互联下prefill都比m2ultra快

我輩樹である

Anonymous.R 发表于 2024-1-11 17:39
苹果跑效率如何？性价比咋样，比起cuda

性价比肯定很低了，这个能流行完全是国外mac占有率太高。

我輩樹である

llama 2 7b的下下来跑了下，这是无量化的float16版本。最高33GB内存消耗。当然是包含后台任务的。
功耗64w，怕不怕。

多崎作

硬盘1T，内存在预算范围内能多大就多大，能当显存用，模拟层转译玩win游戏也是把内存当显存用多多益善。

fudaming

72b的，64G没跑起来

Pau1

当然是内存，硬盘你买个2T的外置才几个钱