P106-100能跑本地大语言模型不？

Reder

最近收拾出一张P106-100**

七彩虹 6G显存，2年前无聊买的。当时有破解的驱动，装在有8100机器上打了几把坦克世界就放着吃灰了。性能和1060差不多，个人感觉不出有延迟。无他，几十块钱，便宜啊！

现在翻出来了。也懒得卖二手了。想想能不能干点其他的。比如：大模型？

我知道CHH人均4090。这不，多出一张鸡肋卡。大家也别嘲笑我。

想问：P106-100（可以当做是1060）。这种卡，拿来ollama跑个小点的本地语言模型，行不行？因为P106也支持CUDA。显存是小了点，只有6G，但我看ollama只吃CPU也能跑。

这卡跑stable diffusion是可以的，就是慢了点，但自己玩玩无妨。
我打算把这张P106放在12300T的机器上试试。看看能不能LLM。

各位兄弟，有用这种**玩大模型的吗？

xy.

能跑点 2b 的模型, 总结效果还行, 翻译能用, 其它用途别指望了

raiya

1.5B 3B的

Reder

好的。估计3B应该撑死了。

liyichao97

显存不够就offload一些层去内存呗，对速度要求不高的话7b级别也能跑
我用笔记本3060 6g，内存ddr4 3200，最高跑过yi-1.5-9b和llama3 8b的q5km，速度大概10t/s
跑qwen-1.5-4b如果不把context开太大（这玩意没有gqa…context很吃显存）的话可以直接显存全装下，40+t/s的速度

木子滴血

跑是都能跑，能不能做到即时回答感（20秒~30秒）我就不清楚了。

游荡在灯塔

不如跑GGUF得了

ljy1414

有UP测试过了，不行

Reder

ljy1414 发表于 2024-6-6 05:43
有UP测试过了，不行

哪里的UP，方便说一下不？我去看看。

Reder

亲测，ollama，7B和8B都可以跑，速度也还可以。
win10 LTSC系统，P106的驱动就是官方显卡驱动（不装杂七杂八破解的，本身也不指望106图形输出玩游戏）。

装完之后,ollama自己就能GPU运算。在资源管理器中看不到P106，但我用GPU-Z里看，ollama的确是调用了P106，速度比CPU（12300T）快很多。

dcl2009

有一张p104-100  8G，可惜PCIE带宽被割的太狠

wun_008

p102 能跑7b 8b 13b 不行

Reder

wun_008 发表于 2024-6-27 14:56
p102 能跑7b 8b 13b 不行

其实这样就够了。又不是多人使用。