新手本地部署LLM的一些问题

Barcelona

https://ollama.com/library/deepseek-r1/tags

总有一款适合你
富哥买苹果集群吧，部署671b Q4_K_M量化的版本，不过也要404GB内存

Barcelona

秦南瓜 发表于 2025-2-6 10:10
3w兜不住吧

目前来看，3w最多能买128GB的苹果。2台mac mini M4 pro 64GB，15499 * 2。mac studio还没更新

Barcelona

秦南瓜 发表于 2025-2-6 10:32
确实，可以等等，也期待一下amd的 aimax，

1. https://www.ollama.com/SIGJNF/deepseek-r1-671b-1.58bit

复制代码

现在又有1.58bit量化版本了，需要140GB显存

Barcelona

秦南瓜 发表于 2025-2-6 11:10
这会不会笨死。。。

现在并不清楚选量化模型和蒸馏模型哪个更好，反正蒸馏再量化的肯定最差