水友用单路9654+KT框架跑 Q4 deepseek 671B 出14Token/S ！

deepfishing

1. prompt eval time =   49944.85 ms /  1653 tokens (   30.21 ms per token,    33.10 tokens per second)
   
2.        eval time =  101428.64 ms /   329 tokens (  308.29 ms per token,     3.24 tokens per second)
   
3.       total time =  151373.49 ms /  1982 tokens
   

复制代码

我用双路7002的epyc+6张4090跑出来的速度，2.22bit模型，用8卡4090 48能把全部模型装进gpu说不定有点意义

deepfishing

KimmyGLM 发表于 2025-2-17 17:15
富哥你好，上面那几个配置只需要两张4090 48G…

超低精度量化最低估计能部到strixhalo+一张48G的卡上，或者两片strixhalo。
虽然但是，农企不靠谱的软件适配和产品经理