求推荐点大容量D5，然后上B850还是Z890

qe2bbngit66

Miner 发表于 2025-10-16 17:28
这样速度可能还不如在内存里跑？

你是否在寻找fastllm？   这个推理框架已经支持了80bnext，还可以直接windows下面跑，具体 可以去b站搜索黄歪歪这个up主，他开发的c++推理架构，速度贼快。激活的3b在显卡跑，其他的留在内存里，如果内存不够还可以额外加在到显卡里更多内容。不过消费平台内存带宽太低了，速度估计10-20t/s吧，具体看内存情况

qe2bbngit66

友情提醒，消费级平台跑模型，用内存的话，内存读取带宽速度是最关键的，也是瓶颈，光考虑内存频率还不够，也要cpu和主板。
我有限的观察和研究，结论是d5高频内存，尽量用12-14代的英特尔处理器，高频能力更强，而且内存带宽明显更高，可以到100g/s甚至更高。am5 单ccd的cpu，基本上只能打到60-70g/s的速度，只有双ccd的高端u（贼贵）才能实现和intel差不多的速度。