尝试本地部署deepseek！

Leciel

1. total duration:       20.8055385s
   
2. load duration:        18.2959ms
   
3. prompt eval count:    67 token(s)
   
4. prompt eval duration: 4ms
   
5. prompt eval rate:     16750.00 tokens/s
   
6. eval count:           557 token(s)
   
7. eval duration:        20.582s
   
8. eval rate:            27.06 tokens/s

复制代码

32b q4_k_m