这是不是第一次显卡标AI算力了？但是？？？

aibo · 发表于 2024-1-9 10:49

老黄发布会上把AI算力写进了PPT中，是不是第一次？

nvidia-geforce-rtx-ces-2024-4070-super-specifications.png

之前一直不清楚这个算力是怎么算出来的
跟着这个按了下计算器，发现大致是

40系的是tensor数量*频率*1024
30系的是tensor数量*频率*512
20系的是tensor数量*频率*256

以tensor core处理INT8的能力算的
看上去挺好理解的。。。

好，问题来了，还是老黄自家的资料中写了
https://images.nvidia.com/aem-da ... whitepaper-v2.1.pdf

20系算法没问题
但是按照这个白皮书，30和40的算法应该是一致的
即，稀疏矩阵两者应该同为tensor数量*频率*1024
普通矩阵是40系的是tensor数量*频率*512

即4070s按照568T算的话，3070应该是326T

所以，老黄的PPT涉嫌虚假猴式对比贬低30系

fhhghost · 发表于 2024-1-9 12:00

把ai功能阉割了能给我便宜点么打游戏而已不想要ai

zhuifeng88 · 发表于 2024-1-9 12:03

本帖最后由 zhuifeng88 于 2024-1-9 12:38 编辑

你理解错了, 老黄的意思是对比fp8 with fp32 accum的稀疏算力, 30和20系因为没有原生fp8所以只能算fp16 with fp32 accum算力, 虽然不讲武德但是也不能说虚假

gnhen5415 · 发表于 2024-1-9 12:19

fhhghost 发表于 2024-1-9 12:00
把ai功能阉割了能给我便宜点么打游戏而已不想要ai

不要这个40系列怎么卖？对比30系列卖点不就是dlss3吗

aibo · 发表于 2024-1-9 12:22

zhuifeng88 发表于 2024-1-9 12:03
你理解错了, 老黄的意思是对比fp8 with fp32 accum的稀疏算力, 30和20系因为没有原生fp8所以只能算fp16 wit ...

查了下，22年9月才有fp8的消息。这多少有点强行给40贴金了。
话说，包含手机soc的npu，以及牙膏ultra系列的npu。算力的标准统一了吗

毛茸茸 · 发表于 2024-1-9 12:23

这是为了方便政府和企业采购

zhuifeng88 · 发表于 2024-1-9 12:31

本帖最后由 zhuifeng88 于 2024-1-9 12:36 编辑

aibo 发表于 2024-1-9 12:22
查了下，22年9月才有fp8的消息。这多少有点强行给40贴金了。
话说，包含手机soc的npu，以及牙膏ultra系列 ...

这没法统一, 考虑的平台多一点的话大家都支持的权重数据类型和计算数据类型的交集实际上是空的
手机npu一般是拿纯int8说的, 但是纯int8的实用性懂的都懂...所以新一点的npu都不这么做了, 但是给多少比例的fp16就是完全各做各的了
牙膏ultra的npu的话压根就没做int8计算, 是fp16(但不是iee754的fp16)+fp32的

lsy174915864 · 发表于 2024-1-9 12:48

fhhghost 发表于 2024-1-9 12:00
把ai功能阉割了能给我便宜点么打游戏而已不想要ai

把大力水手3阉了你同意就行。

aibo · 发表于 2024-1-9 13:28

本帖最后由 aibo 于 2024-1-9 13:38 编辑

zhuifeng88 发表于 2024-1-9 12:31
这没法统一, 考虑的平台多一点的话大家都支持的权重数据类型和计算数据类型的交集实际上是空的
手机npu一 ...

因为win12说要用npu了。所以牙膏和农企都开始发布ai cpu了。
然后手机端大家也都在卷ai算力

结果大家都是各说各的啊

话说，牙膏一早就在cpu里加了bf16的指令。
npu用的就是这个缩水的吧

fhhghost · 发表于 2024-1-9 13:32

lsy174915864 发表于 2024-1-9 12:48
把大力水手3阉了你同意就行。

没问题这块价格给我便宜掉就行我现在也不开

zhuifeng88 · 发表于 2024-1-9 13:41

本帖最后由 zhuifeng88 于 2024-1-9 13:48 编辑

aibo 发表于 2024-1-9 13:28
因为win12说要用npu了。所以牙膏和农企都开始发布ai cpu了。
然后手机端大家也都在卷ai算力

谈不上缩不缩水, 单纯的格式不一样, 偏向优化能效的目的, 计算精度和ieee754 fp16比较接近, 和bf16没啥关系
bf16主要是训练好用, 对npu这种推理特化的意义不大, 虽然也有少部分npu出于兼容目的做了bf16支持

zwgkg · 发表于 2024-1-9 13:58

ai现在是服务器市场的大头，消费级市场这点蝇头小利老黄根本看不上了

aibo · 发表于 2024-1-9 14:04

zhuifeng88 发表于 2024-1-9 13:41
谈不上缩不缩水, 单纯的格式不一样, 偏向优化能效的目的, 计算精度和ieee754 fp16比较接近, 和bf16没啥关 ...

感谢说明

反正现在这个ai乱世，黄说的肯定是对的

atiufo · 发表于 2024-1-9 14:33

从来不看这指标

PolyMorph · 发表于 2024-1-9 14:49

zhuifeng88 发表于 2024-1-9 12:31
这没法统一, 考虑的平台多一点的话大家都支持的权重数据类型和计算数据类型的交集实际上是空的
手机npu一 ...

dlss用的是int8吧？

zhuifeng88 · 发表于 2024-1-9 15:40

PolyMorph 发表于 2024-1-9 14:49
dlss用的是int8吧？

dlss是fp16的, fsr是fp16/fp32(不支持fp16的卡)

账号		自动登录	找回密码
密码			加入我们

[显卡] 这是不是第一次显卡标AI算力了？但是？？？

浏览过的版块