Chiphell - 分享与交流用户体验

标题: intel Sapphire Rapids 四代 8468V 简易测试 [打印本页]

作者: kevinlin 时间: 2023-2-14 08:08
标题: intel Sapphire Rapids 四代 8468V 简易测试
本帖最后由 kevinlin 于 2023-2-14 12:02 编辑

今天到了 Intel Xeon 四代 8468V 随便测测给有需要的朋友参考
再加个6458Q 的随便测试

作者: allenxml 时间: 2023-2-14 09:03
看这个CPUZ单核心，架构升级的作用太大了

作者: kiteee 时间: 2023-2-14 09:07
大佬试过启用那些加速模块吗，民用市场有没有啥可以玩那些加速模块的场景

作者: aibo 时间: 2023-2-14 09:11
所以2x48c的r23能跑8万7，轮子说的6万的那个是几核的

作者: 用户 时间: 2023-2-14 09:12
本帖最后由用户于 2023-2-14 09:15 编辑

这货avx512和amx fp32和bf16算力能有多少？能不能直接用内存跑transformer

作者: yehaku 时间: 2023-2-14 09:13
跑渲染时候功耗电压频率大概多少。算下每瓦特分数有没提升。

作者: momo77989724 时间: 2023-2-14 09:19

aibo 发表于 2023-2-14 09:11
所以2x48c的r23能跑8万7，轮子说的6万的那个是几核的

56吧单路。。。楼主这个是双路

作者: 用户 时间: 2023-2-14 09:20

aibo 发表于 2023-2-14 09:11
所以2x48c的r23能跑8万7，轮子说的6万的那个是几核的

看来真得是56核。我本来估算是12400 6大核1.2万分 120瓦，48核个降频怎么也能350瓦凹出6万。

作者: Horo 时间: 2023-2-14 09:38
单核比我e5v2洋垃圾高了一倍

作者: YoshinoSakura 时间: 2023-2-14 09:47
1165G7：小老弟你行不行啊

作者: gtv 时间: 2023-2-15 00:21

用户发表于 2023-2-14 09:12
这货avx512和amx fp32和bf16算力能有多少？能不能直接用内存跑transformer

跑avx512 算全核2.4G
那么拿楼主这颗8468来说
avx512的fp32 算力 = 2.4 * 48 * 64=7372.8Gflops bf16的算力再乘2.
换算到AMX ，假设频率不变，则再各乘16.

作者: 用户 时间: 2023-2-15 00:31

gtv 发表于 2023-2-15 00:21
跑avx512 算全核2.4G
那么拿楼主这颗8468来说
avx512的fp32 算力 = 2.4 * 48 * 64=7372.8Gflops bf16的 ...

乘16够狠，不敢信。n计算卡的bf16 tensor好像才1000t，这货能有200t？到时看看工作站上能给多少

作者: HHO 时间: 2023-2-15 00:44
性能真强大，价格更强大，

。

作者: __|__ 时间: 2023-2-15 01:10
还是6458好一些，单核多核都更强。不过8468V的96C没跑过64C属实不应该。

顺便6458这个多核已经超过96C的EPYC 7R32双路了，单核更是薄纱，不过功耗和价格也“薄纱”就是了hhh

作者: Flanker 时间: 2023-2-15 08:09
本帖最后由 Flanker 于 2023-2-15 08:24 编辑

这代就想看看6458q和9374f的实测差距

剩下大部分对位产品9004靠频率就压死了，牙膏的多核boost频率实在太低

作者: 丑牛宝贝 时间: 2023-2-15 11:00
缓存大游戏好

作者: darkness66201 时间: 2023-2-15 11:13

__|__ 发表于 2023-2-15 01:10
还是6458好一些，单核多核都更强。不过8468V的96C没跑过64C属实不应该。

顺便6458这个多核已经超过96C的EP ...

双路7R32跑分和楼主这个差不多，6458一个32C怎么个薄纱……

作者: gtv 时间: 2023-2-15 11:42

用户发表于 2023-2-15 00:31
乘16够狠，不敢信。n计算卡的bf16 tensor好像才1000t，这货能有200t？到时看看工作站上能给多少 ...

参考的是 https://www.intel.com/content/ww ... solution-brief.html page4 里的 Figure 6.

AMX本质上就是tensor core. xeon 也开始带DSA了.

作者: 赫敏 时间: 2023-2-15 12:17
本帖最后由赫敏于 2023-2-14 23:26 编辑

用户发表于 2023-2-13 20:20
看来真得是56核。我本来估算是12400 6大核1.2万分 120瓦，48核个降频怎么也能350瓦凹出6万。 ...

56核才6w那真是菜的抠脚。不过这代应该是功耗不够，350w*2的64核反杀330w*2的96核了

也难怪Intel只字不提传统cpu性能，一直在吹那几个加速卡因为实在拿不出手功耗还高

作者: 赫敏 时间: 2023-2-15 12:19

gtv 发表于 2023-2-14 11:21
跑avx512 算全核2.4G
那么拿楼主这颗8468来说
avx512的fp32 算力 = 2.4 * 48 * 64=7372.8Gflops bf16的 ...

现在amx连指令集都不算，因为只有一条指令就是矩阵乘法。光一条就能跑一个框架吗

作者: 用户 时间: 2023-2-15 13:24
本帖最后由用户于 2023-2-15 14:28 编辑

赫敏发表于 2023-2-15 12:19
现在amx连指令集都不算，因为只有一条指令就是矩阵乘法。光一条就能跑一个框架吗 ...

当年我买了两块titan v，单精度14T，就是看有一个120T的fp16 tensor。最后测出来跑模型有tensor比没tensor只快1.5～2倍。现在跑fp16的模型好像还能和3090拼一拼。

比较好奇spr跑模型的速度。前两天听朋友说拿7950x跑过transformer inference，因为有avx512效率还不错。用gpu凑100g+内存还是挺贵的。自己做模型的话model parallel的代码也不太好写。现在想跑100g+模型想便宜也得4张3090，如果cpu的话插个128g内存，就看算力带宽能不能跟上。

作者: gtv 时间: 2023-2-15 21:56

赫敏发表于 2023-2-15 12:19
现在amx连指令集都不算，因为只有一条指令就是矩阵乘法。光一条就能跑一个框架吗 ...

这就是onednn的事情了

作者: skyfish 时间: 2023-2-15 22:17

gtv 发表于 2023-2-15 00:21
跑avx512 算全核2.4G
那么拿楼主这颗8468来说
avx512的fp32 算力 = 2.4 * 48 * 64=7372.8Gflops bf16的 ...

linux下实测，单核AMX的INT8有5T，bf16是2.5T，多核心自己算

作者: skyfish 时间: 2023-2-15 22:20

gtv 发表于 2023-2-15 21:56
这就是onednn的事情了

AMX只负责矩阵运算，剩余的，还有2个AVX512单元，pytorch和tensorflow框架都支持了

作者: kevinlin 时间: 2023-2-15 23:28
本帖最后由 kevinlin 于 2023-2-15 23:32 编辑

个人的感觉这些软件只能参考而已并不是十分准确测试分数 CPUZ 8470Q 52C 104T>8458V 48C 96T>6458Q 32C 64T然而 R23 却相反 6458Q>8458V>8470Q 当然这些功能没有开启英特尔® AMX 英特尔® IAA 英特尔® QAT 英特尔® DLB 英特尔® DSA 英特尔® SGX 英特尔® HBM 至于开启后有多大的差异让专业人员去测试

作者: allenxml 时间: 2023-2-15 23:40

gtv 发表于 2023-2-15 00:21
跑avx512 算全核2.4G
那么拿楼主这颗8468来说
avx512的fp32 算力 = 2.4 * 48 * 64=7372.8Gflops bf16的 ...

8468V这货计算里面的 64怎么来的，AVX的512位宽 / FP32的32位 * 该型号的 FMA数量2 = 32啊

作者: penryn 时间: 2023-2-16 00:00
跑r23的功耗分别是多少？

作者: zhuifeng88 时间: 2023-2-16 00:10

allenxml 发表于 2023-2-15 23:40
8468V这货计算里面的 64怎么来的，AVX的512位宽 / FP32的32位 * 该型号的 FMA数量2 = 32啊 ...

1fma=1mul+1add, conv操作最后累加也是同理, 都是算2次计算的

作者: kozaya 时间: 2023-2-16 00:28
有没有8490H的测试
目前INTEL阵营多核最强
60核心120线程

作者: aasa0001 时间: 2023-2-16 15:25
这性能是和功耗线性相关的吗

作者: 赫敏 时间: 2023-2-16 16:17

kevinlin 发表于 2023-2-15 10:28
个人的感觉这些软件只能参考而已并不是十分准确测试分数 CPUZ 8470Q 52C 104T>8458V 48C 96T>6458Q 32C ...

这有啥奇怪的，cpuz压力太小

作者: __|__ 时间: 2023-2-20 01:25

darkness66201 发表于 2023-2-15 11:13
双路7R32跑分和楼主这个差不多，6458一个32C怎么个薄纱……

哦哦我说双路6458的多核

作者: darkness66201 时间: 2023-2-20 12:48
本帖最后由 darkness66201 于 2023-2-20 12:50 编辑

__|__ 发表于 2023-2-20 01:25
哦哦我说双路6458的多核

楼主也测了双路6458，看着也差不了太多。这个级别的U用R23已经没什么太大用了，LTT用9654才跑了7万5，核心数量太多R23已经支持不过来了，而且测试压力不够时间也太短，收益在不断下降，上面也有人提到这个........看详细的评测，反正这代SPR，基本上还是延续双路打AMD单路的局面，能耗比稀烂，相同性能下功耗翻倍，价格更是翻四倍，反正就非常的尴尬，

作者: darkness66201 时间: 2023-2-20 13:01

kozaya 发表于 2023-2-16 00:28
有没有8490H的测试
目前INTEL阵营多核最强
60核心120线程

https://www.bilibili.com/read/cv21733404?spm_id_from=333.999.0.0

B站搬运的，丢人丢到姥姥家了，别说96核的9654，甚至连64核的9554和32核的9374F都不一定打得过，超低的性价比和能耗比，也就只有自家的AI应用表现还可以

作者: 猪圈 时间: 2023-2-20 13:11
居然没有数框框的图～

作者: 建议柠檬 时间: 2023-2-20 13:14
双路终于能打四路3647了

作者: kevinlin 时间: 2023-2-20 15:13

darkness66201 发表于 2023-2-20 13:01
https://www.bilibili.com/read/cv21733404?spm_id_from=333.999.0.0

B站搬运的，丢人丢到姥姥家了，别 ...

8490H主要是8路使用双路根本没有优势感觉设计思路不同

作者: darkness66201 时间: 2023-2-20 16:38

kevinlin 发表于 2023-2-20 15:13
8490H主要是8路使用双路根本没有优势感觉设计思路不同

我感觉很难，现在8路的作用已经非常有限，无非节点大小而已，不过intel这边确实是有互联优势和一定程度的pcie连接优势，只是售价和单插槽上性能的巨大劣势，包括能耗劣势都是实打实的。基本上和上一代的情况也没什么太大区别，甚至可能劣势还进一步放大......

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)