395单主机跑235b qwen3，速度居然还行

deepfishing · 发表于 2025-7-15 12:05

当然不是全量，跑的q2_k_l，得益于moe，最简单的问答能有18t/s的速度，当然上下文上来速度会下去
截图 2025-07-15 12-00-54.png

开40k的上下文，显存跑到快90G左右，不过农企这玩意还是需要更多的软件适配，还有统一内存到底咋玩

taichow · 发表于 2025-7-15 13:01

羡慕，只能想想。

powerduke · 发表于 2025-7-15 13:08

期待更多测试结果，例如多轮几十k的长上下文的速度，运营稳定性等

manwomans · 发表于 2025-7-15 13:37

说实话q2没啥意思
已经量化的有点弱智了

账号		自动登录	找回密码
密码			加入我们

[显卡] 395单主机跑235b qwen3，速度居然还行