设为首页收藏本站

Chiphell - 分享与交流用户体验»社区 › 讨论区-生活与技术的讨论 › 电脑讨论(新) › 半块RTX4090 玩转70B大语言模型

返回列表发新帖

查看: 25676|回复: 47

[装机] 半块RTX4090 玩转70B大语言模型

发表于 2024-7-21 06:53 | 显示全部楼层

性价比最高的是3090，能耗比加性价比综合最佳的是咸鱼收一台m1 ultra

回复

发表于 2024-7-22 09:36 | 显示全部楼层

搞基薛定谔发表于 2024-7-22 08:45
家里现在的双4090可以跑 llama3:70b 到16tok/s左右。基本够用了。

m1 ultra 128gb，满载100w，70b 7tok/s，110b 5tok/s

回复

返回列表发新帖

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )310112100042806

GMT+8, 2025-10-10 07:15 , Processed in 0.066177 second(s), 6 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表