3995WX+8路2666内存跑Deepseek速度实测

6892731

cn88695 发表于 2025-2-20 12:51
运行deepseek-r1:671b（404GB）速度实测：
CPU占用75%，内存占用435GB（共512G），随便问了一个简单的问题 ...

没用显卡？

cn88695

6892731 发表于 2025-2-21 18:02
没用显卡？

纯CPU推理

cn88695

coolcoolbear 发表于 2025-2-21 17:37
对了，7900xtx的机器，24g显存会被占满，但是gpu用利率很小，基本不工作，cpu利用率50%左右。
3080ti, 12g ...

我觉得7900xtx是因为框架对amd的显卡支持不足，llama.cpp好像有个专门针对AMD优化的版本，你可以试试