zhuifeng88 发表于 2025-1-11 10:42
展开这个那直接去看deepseek的paper喽, mla是在v2最初提出的, 附录C部分
已经有人测试过了，效果不错。MLA不是问题
本帖最后由 zhuifeng88 于 2025-1-14 01:08 编辑
mfkiwl 发表于 2025-1-13 23:58
已经有人测试过了，效果不错。MLA不是问题
我也测过, 现在mla cpu几个实现prefill连20tflops都跑不到, 只能当玩具 (当然性能目标只是单用户十几k context长度以内玩玩的话那当我没说)
zhuifeng88 发表于 2025-1-14 01:06
我也测过, 现在mla cpu几个实现prefill连20tflops都跑不到, 只能当玩具 (当然性能目标只是单用户十几k co ...
你这13格也太高了。这东东能给个提供本地LLM就相当不错了
momo77989724 发表于 2025-1-8 23:50
内存问题不大都支持 48G便宜现在
超微主板睿频后有点卡卡的 我周末去搞个技嘉主板试试 ...
windows 对4 5 6 代cpu 有c6 bug，响应慢，建议关闭c6
fengxu106 发表于 2025-1-15 21:31
windows 对4 5 6 代cpu 有c6 bug，响应慢，建议关闭c6
关闭就没睿频了。。。牙膏唯一的睿频优势就G了
zhuifeng88 发表于 2024-12-12 20:46
不过用法可能和你想的不太一样...因为是纯gemm算力, 而转置/scale之类的能力还是普通CPU水平, 所以4,5,6 ...
厉害[偷笑]
网仙 发表于 2024-12-14 12:19
请教下，这种马来CPU，在海鲜市场存量好像非常之大。而且都是正式版，价格比行货便宜太多，还是很超值的 ...
稳定性应该没问题，算是大厂定制吧，运营商，云服务商，数据中心，很多这种