CPU集成的AI性能

htyjojo

8845和ultra，那边的ai性能更强呢？

再就是目前cpu集成的ai，有没有什么具体用途呢？
我听说就是个噱头，真要ai应用，还是要上显卡？

小梦

桌面的NPU好像是给WIN12和WIN11末期版本做人工智能功能上的适配的，其他第三方软件和大部分生产力软件好像暂时没看到有什么应用。希望后期什么达芬奇的能用NPU把该死的特效预览给整得流畅一点吧，谢天谢地了。

af_x_if

fengpc 发表于 2024-2-24 09:03
这个16TOPS是INT4、INT8、FP16还是FP32？如果是INT4、INT8那这个只能用于语言模型

很多深度学习模型是要 ...

这就是推理用的呀，拿来跑训练想多了。

psps3

fengpc 发表于 2024-2-24 09:12
用NPU的INT８部署的时候量化蒸馏还得再训练一次，效果还不一定好，跑个人脸识别都不太行
这种精度只适合用 ...

等下一代出来再看看吧，AMD的ppt说3倍

fengpc

用NPU的INT８部署的时候量化蒸馏还得再训练一次，效果还不一定好，跑个人脸识别都不太行
这种精度只适合用于对精度要求极低、暴力堆参数的基于transformer的语言大模型，但是就这16TＯＰＳ算力跑个大模型也是够呛。

psps3

fengpc 发表于 2024-2-24 09:03
这个16TOPS是INT4、INT8、FP16还是FP32？如果是INT4、INT8那这个只能用于语言模型

很多深度学习模型是要 ...

看你楼上的图里有

fengpc

psps3 发表于 2024-2-23 15:22
没记错的话，
8845的npu算力是16TOPS
ultra的npu算力是10.6TOPS

这个16TOPS是INT4、INT8、FP16还是FP32？如果是INT4、INT8那这个只能用于语言模型

很多深度学习模型是要FP32精度的，FP16训练容易炸，老老实实用N卡才行

psps3

YsHaNg 发表于 2024-2-24 01:22
有没有intel家的消息? 还有m3那个支不支持int8

intel  npu的10.6tops是int8，fp16是5.3tops

Illidan2004

FelixIvory 发表于 2024-2-23 16:30
7840h是10TOPS，8840h是16TOPS，win12要求45-50TOPS。
我可不是乱说，为了适配win12，下代npu算力提升远 ...

gpu部分可以算的  所以8840才基本弄到40
而且眼下的话 实际上gpu部分才是最容易用的  npu需要适配   

YsHaNg

af_x_if 发表于 2024-2-23 14:23
XDNA的10/16tops指的就是int8性能

这是7000APU的ppt

有没有intel家的消息? 还有m3那个支不支持int8

fairness

买个独显也不贵，还能用到更强的AI应用。

xjr12000

和显卡比估计就还没发育呢

af_x_if

YsHaNg 发表于 2024-2-23 18:49
学学a17 一样的东西开个int8立马翻倍 不行再来个int4 当然你这代没规划复用能力就算了 ...

XDNA的10/16tops指的就是int8性能

这是7000APU的ppt
可以看到10 int8 TOPs，20 int4 TOPs，5 BF16 TFLOPs。

zxwangzidd

htyjojo 发表于 2024-2-23 15:54
百度啊，百度智能换路线时会先语音问询，我可以自己决定要不要改导航路线

不像高德，招呼也不打一个，悄 ...

别提百度，百度也是这德行！
前几天高速，真就突然给你变道~

YsHaNg

FelixIvory 发表于 2024-2-23 08:30
7840h是10TOPS，8840h是16TOPS，win12要求45-50TOPS。
我可不是乱说，为了适配win12，下代npu算力提升远 ...

学学a17 一样的东西开个int8立马翻倍 不行再来个int4 当然你这代没规划复用能力就算了

htyjojo

PolyMorph 发表于 2024-2-23 17:42
这个是8cx gen3 面向笔记本的
8gen3强多了

哦哦，是我搞错了，谢谢

rx_78gp02a

hawkrei 发表于 2024-2-23 16:34
拿来做软路由时，用于OFFLOAD加速，不懂行不行

一个是Network Processing Unit，一个是Neural-network Processing Unit，压根不是一个东西。

PolyMorph

htyjojo 发表于 2024-2-23 16:18
这么看起来，手机端的也没多高啊，8gen3也才15

不过手机端的ai应用倒是广泛些，我日常用手机也接触得到 ...

这个是8cx gen3 面向笔记本的
8gen3强多了

威尼斯睡裤

https://www.chiphell.com/thread-2585301-1-1.html
官方说得很清楚了

hawkrei

拿来做软路由时，用于OFFLOAD加速，不懂行不行

FelixIvory

fszjq32 发表于 2024-2-23 15:36
在下一代面前，上一代都是电子垃圾。
那请问Zen5 apu什么时候出呢？Zen6，7，8？ ...

7840h是10TOPS，8840h是16TOPS，win12要求45-50TOPS。
我可不是乱说，为了适配win12，下代npu算力提升远比这代马甲提升大多了。

zhuifeng88

PolyMorph 发表于 2024-2-23 15:31
ai算力不应该凑数，npu多少就是多少

但是到实际项目头上, npu部署无比恶心, 特定模型结构/算子在npu上效率极低甚至跑不了, 大量模型在手机上也是gpu甚至cpu跑的, 只看npu算力那很多时候是只能看看根本用不上的虚空算力...

htyjojo

PolyMorph 发表于 2024-2-23 15:31
ai算力不应该凑数，npu多少就是多少

这么看起来，手机端的也没多高啊，8gen3也才15

不过手机端的ai应用倒是广泛些，我日常用手机也接触得到

htyjojo

psps3 发表于 2024-2-23 15:29
网上看的数据

收到，谢谢

htyjojo

fszjq32 发表于 2024-2-23 15:36
在下一代面前，上一代都是电子垃圾。
那请问Zen5 apu什么时候出呢？Zen6，7，8？ ...

今年出zen5，明年的apu-9000系列应该会换成zen5了吧？zen4都用了7、8两代了

htyjojo

archxm 发表于 2024-2-23 15:45
那你现在用啥导航？自己的脑子吗🤔

百度啊，百度智能换路线时会先语音问询，我可以自己决定要不要改导航路线

不像高德，招呼也不打一个，悄悄就换了

很久没用高德了，不晓得现在是不是还这样

archxm

htyjojo 发表于 2024-2-23 15:27
额，高德不打招呼就自动换路线的人工智能，坑我不是一次两次了

那你现在用啥导航？自己的脑子吗🤔

zhjook

ai 啊，这些都是半斤八两， 过两年 迭代几次之后再说吧

FelixIvory

zen5 apu是50TOPS，这代全是电子垃圾。