找回密码
 加入我们
搜索
      
楼主: KimmyGLM

[CPU] 纯CPU 跑LLM (如671B 的全量R1),对于U核心数是否有要求?

[复制链接]
发表于 2025-6-17 22:06 | 显示全部楼层
非要本地跑的话。x86 还是老老实实整显卡吧, A6000 整几块,然后可以考虑KTransformer 混合跑。 或者M3 Ultra 512G 了解一下,跑个Q4 的差不多有20多Tokens 勉强能用。
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-6-18 04:26 , Processed in 0.007280 second(s), 4 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表