请教：根据内存读取带宽速度选择cpu平台，求推荐。

qe2bbngit66

近期对炼丹有点上头，之前折腾完了双显卡，发现那么点显存还是杯水车薪，现在重点是想弄高带宽内存，用内存或者内存混合显存来跑moe模型，主要是还千问3 30b a3b和千问3 next 80b a3b，这两个模型因为激活参数只有3b，所以是天生混合推理圣体。
经过咨询专业人士，问ai，了解到内存读取带宽速度是决定内存跑混合推理以及纯cpu推理的速度瓶颈，消费级平台内存只有双通道，这个数能达到100g/s就已经很不容易了。
但是经过观察，似乎am5(ddr4频率太低，直接不考虑了）除了部分双ccd的顶级处理器，其他的无论是7500f 9600x 9700x还是8400f，内存带宽速度都明显要比intel低一截，我看很多12,13,14带的u，都可以跑到接近100，amd基本是60-70，超冒烟也就80。
想问下，如果不考虑游戏，不在乎延迟，只追求内存读取带宽，是不是12-14代带K处理器是最佳选择？有没有具体推荐型号？或者便宜的魔改平台也可以，主打一个性价比，内存因为买的大容量48gx2玖合星域5600c46，也不考虑超频。
新手首次发帖，各位彦祖多指导指导，感谢！

xy.

内存跑 jedec 不超频哪个 msdt 平台都没区别的

miu9889

epyc平台？六通道八通道起飞

qe2bbngit66

miu9889 发表于 2025-10-23 15:24
epyc平台？六通道八通道起飞

服务器平台不考虑了，不想搞太多机子。而且现在服务器内存价格涨的更加离谱，炼丹佬们都想卖显存买显卡了……

hustlhx

幻X 2025 128g可以玩玩，适用很多场景，把场景重合的机器处理掉。就是价格确实偏贵了

zhao1999250

不考虑超频很难发挥出优势。。。现在也没太多jedec6400的内存，但是有很多可以轻松8000的内存

yadong1985

上四通道桌面平台，带宽翻倍。

PPXG

你都打算CPU炼了，MSDT人均128bit为了确保稳定性你大概率还要跑JEDEC频率某些四槽主板插满四根大容量还得进一步调低内存频率，不上服务器能看？

runliuv2

那就INTEL + DDR5 7200

LogLL

推荐Ultra 200。
我只用过GPU跑模型，感觉CPU这边只吃单核性能；
15代取消了超线程，理论上性能更高一点，并且内存支持更好一点。

CraftDeadMRC

消费级太局限了，不过很可惜错过了最适合买内存的时期。倒是可以考虑用老计算卡跑，尽量将大部分层数放在GPU上，否则短板还是很大的。老卡救星框架有fastllm和lmdeploy等，前者适合cpu+gpu混合，后者适合老gpu推理，我双卡V100 16G总价格2000跑qwen3 30b a3b awq量化能单请求输出90tps，预处理比单卡3090还高（必须带nvlink），然后现在d5服务器内存16G一条要接近一千，V100叠卷可能三百八九十一张……

qe2bbngit66

CraftDeadMRC 发表于 2025-10-24 18:05
消费级太局限了，不过很可惜错过了最适合买内存的时期。倒是可以考虑用老计算卡跑，尽量将大部分层数放在GP ...

确实，关注的 时候有点晚了，我目前是2080ti 22g魔改卡，主力模型也是30b，但是纯显卡跑只能用ud q4动态量化模型，速度倒是挺快，主打一个省心。