设为首页收藏本站

Chiphell - 分享与交流用户体验»社区 › 讨论区-生活与技术的讨论 › 电脑讨论(新) › 这个双路epyc本地部署完整650b R1的有搞头啊 ...

返回列表发新帖

查看: 10720|回复: 62

[CPU] 这个双路epyc本地部署完整650b R1的有搞头啊

发表于 2025-2-14 01:12 | 显示全部楼层

效率比ollama高的多的方式
机器配置要求也降低了不少
目前可以跑到13.9token

屏幕截图 2025-02-14 011014.png

回复

发表于 2025-2-14 01:20 | 显示全部楼层

机器的配置和对应的模型规模如图
这是清华的一个项目，目前大大降低了对显卡和显存的要求

回复

返回列表发新帖

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )310112100042806

GMT+8, 2025-9-21 05:54 , Processed in 0.006930 second(s), 5 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表