CPU集成的AI性能

psps3

YsHaNg 发表于 2024-2-24 01:22
有没有intel家的消息? 还有m3那个支不支持int8

intel  npu的10.6tops是int8，fp16是5.3tops

fengpc

psps3 发表于 2024-2-23 15:22
没记错的话，
8845的npu算力是16TOPS
ultra的npu算力是10.6TOPS

这个16TOPS是INT4、INT8、FP16还是FP32？如果是INT4、INT8那这个只能用于语言模型

很多深度学习模型是要FP32精度的，FP16训练容易炸，老老实实用N卡才行

psps3

fengpc 发表于 2024-2-24 09:03
这个16TOPS是INT4、INT8、FP16还是FP32？如果是INT4、INT8那这个只能用于语言模型

很多深度学习模型是要 ...

看你楼上的图里有

fengpc

用NPU的INT８部署的时候量化蒸馏还得再训练一次，效果还不一定好，跑个人脸识别都不太行
这种精度只适合用于对精度要求极低、暴力堆参数的基于transformer的语言大模型，但是就这16TＯＰＳ算力跑个大模型也是够呛。

psps3

fengpc 发表于 2024-2-24 09:12
用NPU的INT８部署的时候量化蒸馏还得再训练一次，效果还不一定好，跑个人脸识别都不太行
这种精度只适合用 ...

等下一代出来再看看吧，AMD的ppt说3倍

af_x_if

fengpc 发表于 2024-2-24 09:03
这个16TOPS是INT4、INT8、FP16还是FP32？如果是INT4、INT8那这个只能用于语言模型

很多深度学习模型是要 ...

这就是推理用的呀，拿来跑训练想多了。

小梦

桌面的NPU好像是给WIN12和WIN11末期版本做人工智能功能上的适配的，其他第三方软件和大部分生产力软件好像暂时没看到有什么应用。希望后期什么达芬奇的能用NPU把该死的特效预览给整得流畅一点吧，谢天谢地了。