有几个兄弟希望搞出一堆Threadripper X3D和 Epyc X3D……

赫敏

可以抱的萝卜 发表于 2023-11-28 22:28
哦哦，这样子啊，估计epyc的x3d有专门优化

没有专门优化，纯粹是桌面上挑不出来一款吃内存带宽的，只好拿游戏充数。真正吃内存带宽的比如AI翻倍都不只。7950x3D因为只有半边带了3D，两边都带妥妥的2倍以上了

赫敏

用户 发表于 2023-11-29 01:13
x3d对AI性能有影响？我印象中好像是除非data小到能直接放进缓存，否则一般认为x3d对性能没有影响。一般堪 ...

现在的AI当然吃内存带宽，cpu大概只能发挥10%的算力，GPU浪费的更多

小的模型能cache住现在看没啥用，但以后成熟了有大量成品软件了不一定都是大模型。比如一个手机银行AI客服啥的也不需要很大

赫敏

zhuifeng88 发表于 2023-11-29 01:08
单纯测的模型足够小权重能被完全cache住罢了, 但凡换一个不能完全cache住的就死了
...

以后成品软件落地了，未必是大模型