395单主机跑235b qwen3，速度居然还行

查看数: 658 | 评论数: 3 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2025-7-15 12:05

当然不是全量，跑的q2_k_l，得益于moe，最简单的问答能有18t/s的速度，当然上下文上来速度会下去开40k的上下文，显存跑到快90G左右，不过农企这玩意还是需要更多的软件适配，还有统一内存到底咋玩 ...

manwomans 发表于 2025-7-15 13:37

说实话q2没啥意思
已经量化的有点弱智了

powerduke 发表于 2025-7-15 13:08

期待更多测试结果，例如多轮几十k的长上下文的速度，运营稳定性等

taichow 发表于 2025-7-15 13:01

羡慕，只能想想。

GMT+8, 2025-7-18 13:24 , Processed in 0.010587 second(s), 10 queries , Gzip On, Redis On.

账号		自动登录	找回密码
密码			加入我们

回复