macbook pro内存选择

我輩樹である

看你要玩哪种模型，目前8G都能跑tiny llama，1.1B的LoRA模型。

我輩樹である

Anonymous.R 发表于 2024-1-11 17:02
目前在跑atom 7b

70b的模型需要至少64GB，max token 200。给你个参考。7b的大概32G就够了。



要在苹果上跑llm，可以关注一下mlx社区。mlx framework。

我輩樹である

Anonymous.R 发表于 2024-1-11 17:39
苹果跑效率如何？性价比咋样，比起cuda

性价比肯定很低了，这个能流行完全是国外mac占有率太高。

我輩樹である

llama 2 7b的下下来跑了下，这是无量化的float16版本。最高33GB内存消耗。当然是包含后台任务的。
功耗64w，怕不怕。