[显卡] P106-100能跑本地大语言模型不？

发表于 2024-6-5 17:13 | 显示全部楼层

显存不够就offload一些层去内存呗，对速度要求不高的话7b级别也能跑
我用笔记本3060 6g，内存ddr4 3200，最高跑过yi-1.5-9b和llama3 8b的q5km，速度大概10t/s
跑qwen-1.5-4b如果不把context开太大（这玩意没有gqa…context很吃显存）的话可以直接显存全装下，40+t/s的速度

返回列表发新帖

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )310112100042806

GMT+8, 2025-8-17 05:42 , Processed in 0.006603 second(s), 5 queries , Gzip On, Redis On.

账号		自动登录	找回密码
密码			加入我们

[显卡] P106-100能跑本地大语言模型不？

浏览过的版块