kkrace 发表于 2025-6-17 22:06

非要本地跑的话。x86 还是老老实实整显卡吧, A6000 整几块，然后可以考虑KTransformer 混合跑。 或者M3 Ultra 512G 了解一下，跑个Q4 的差不多有20多Tokens 勉强能用。
页: 1 2 3 [4]
查看完整版本: 纯CPU 跑LLM （如671B 的全量R1），对于U核心数是否有要求？