macbook pro内存选择
主营业务是系统开发，常用idea vscode pycharm这些，偶尔玩玩llm2大模型，偶尔wisky玩玩win游戏，比如老头环 36g，48g 内存预算范围内最大，硬盘可以外置 KN_Monster 发表于 2024-1-11 16:27内存预算范围内最大，硬盘可以外置
主要是苹果的内存和硬盘容量跟cpu还交叉绑定，形成了不同的性价比区间，这事情就变得复杂了 penryn 发表于 2024-1-11 15:12
36g，48g
18g能考虑吗 看你要玩哪种模型，目前8G都能跑tiny llama，1.1B的LoRA模型。 我輩樹である 发表于 2024-1-11 16:46
看你要玩哪种模型，目前8G都能跑tiny llama，1.1B的LoRA模型。
目前在跑atom 7b 本帖最后由 我輩樹である 于 2024-1-11 17:13 编辑
Anonymous.R 发表于 2024-1-11 17:02
目前在跑atom 7b
70b的模型需要至少64GB，max token 200。给你个参考。7b的大概32G就够了。
要在苹果上跑llm，可以关注一下mlx社区。mlx framework。 我輩樹である 发表于 2024-1-11 17:11
70b的模型需要至少64GB，max token 200。给你个参考。7b的大概32G就够了。
苹果跑效率如何？性价比咋样，比起cuda 我輩樹である 发表于 2024-1-11 17:11
70b的模型需要至少64GB，max token 200。给你个参考。7b的大概32G就够了。
https://github.com/ggerganov/llama.cpp/pull/4856
已经有70b PPL还不错的2bit 量化了, 24G m2就勉强能跑 本帖最后由 zhuifeng88 于 2024-1-11 18:43 编辑
Anonymous.R 发表于 2024-1-11 17:39
苹果跑效率如何？性价比咋样，比起cuda
效率很一般, 性价比取决于你能接受的方案以及用途
稍微有点早的llama.cpp性能测定参考 (23年11月) https://github.com/ggerganov/llama.cpp/discussions/4167
用于bs1生成:
1. 16g单卡能跑的比较小的模型:
a. 比较新的超低bpw量化方案的34B模型
b. 传统一点的4/5/6bit awq/k-quant量化的13B模型
c. fp16的7B模型(context不能大)
2. 愿意16g多卡跑
3. 愿意用矿渣多卡P40
满足这3种任意一种情况(上述多卡包括m.2延长线外接跑pcie3.0x4之类的一切方案, pcie带宽影响对bs1 tg而言非常小), n卡性能和性价比都高得多
不满足的话, server平台cpu推理性价比也能勉强比果子高(高出不是特别多, 除非你能接受ES之类的)
你不能接受上面那些力大砖飞傻大黑粗的话, 那就只能果子了
用于微调/大bs文章总结之类的:
还是n卡多卡吧, 无论是性价比还是单说性能, 4060ti 16g多卡哪怕在3.0x4走pch这种法国互联下prefill都比m2ultra快 Anonymous.R 发表于 2024-1-11 17:39
苹果跑效率如何？性价比咋样，比起cuda
性价比肯定很低了，这个能流行完全是国外mac占有率太高。 本帖最后由 我輩樹である 于 2024-1-11 18:14 编辑
llama 2 7b的下下来跑了下，这是无量化的float16版本。最高33GB内存消耗。当然是包含后台任务的。
功耗64w，怕不怕。 硬盘1T，内存在预算范围内能多大就多大，能当显存用，模拟层转译玩win游戏也是把内存当显存用多多益善。 72b的，64G没跑起来 当然是内存，硬盘你买个2T的外置才几个钱
页:
[1]