关于AI PC的50TOPS，请教各位180mm

xy. · 发表于 2024-7-15 21:26

aipc 要求的那个 tops 不区分操作类型或者宽度, 3090ti 换算过来至少有 800 tops

xy. · 发表于 2024-7-16 11:50

本帖最后由 xy. 于 2024-7-16 11:52 编辑

os39000 发表于 2024-7-16 11:35
这么看等下一代50显存大于24G的版本也是不错的选择。我现在能跑34B的int4版本。
70B量化用7980勉强能运行 ...

4bit 量化的模型已经不能说没有优势了基本就是弱智
2024 年 6 月的寄屁踢 3.5 有 10 的话, llama3 70B 4bit 最多有 3

账号		自动登录	找回密码
密码			加入我们

[显卡] 关于AI PC的50TOPS，请教各位180mm