找回密码
 加入我们
搜索
      
查看: 620|回复: 3

[显卡] 395单主机跑235b qwen3,速度居然还行

[复制链接]
发表于 2025-7-15 12:05 | 显示全部楼层 |阅读模式
当然不是全量,跑的q2_k_l,得益于moe,最简单的问答能有18t/s的速度,当然上下文上来速度会下去
截图 2025-07-15 12-00-54.png
截图 2025-07-15 12-01-17.png
开40k的上下文,显存跑到快90G左右,不过农企这玩意还是需要更多的软件适配,还有统一内存到底咋玩

评分

参与人数 1邪恶指数 +5 收起 理由
Barcelona + 5 支持一下

查看全部评分

发表于 2025-7-15 13:01 | 显示全部楼层
羡慕,只能想想。
发表于 2025-7-15 13:08 来自手机 | 显示全部楼层
期待更多测试结果,例如多轮几十k的长上下文的速度,运营稳定性等
发表于 2025-7-15 13:37 | 显示全部楼层
说实话q2没啥意思
已经量化的有点弱智了
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-7-17 16:26 , Processed in 0.009273 second(s), 7 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表