qdzx123 发表于 2025-2-18 10:54

FlyKite 发表于 2025-2-18 08:55
看网上有人反映，KT跑deepseek时有出现降智现象

显卡的负载部分应该还有很大的优化空间 应该可以加多卡上到fp8甚至16
但是代码上肯定要付出很大的努力
页: 1 [2]
查看完整版本: 水友用单路9654+KT框架跑 Q4 deepseek 671B 出14Token/S ！