有没有intel家的消息? 还有m3那个支不支持int8
intelnpu的10.6tops是int8，fp16是5.3tops
psps3 发表于 2024-2-23 15:22
没记错的话，
8845的npu算力是16TOPS
ultra的npu算力是10.6TOPS
这个16TOPS是INT4、INT8、FP16还是FP32？如果是INT4、INT8那这个只能用于语言模型
很多深度学习模型是要FP32精度的，FP16训练容易炸，老老实实用N卡才行 fengpc 发表于 2024-2-24 09:03
这个16TOPS是INT4、INT8、FP16还是FP32？如果是INT4、INT8那这个只能用于语言模型
很多深度学习模型是要 ...
看你楼上的图里有 用NPU的INT８部署的时候量化蒸馏还得再训练一次，效果还不一定好，跑个人脸识别都不太行
这种精度只适合用于对精度要求极低、暴力堆参数的基于transformer的语言大模型，但是就这16TＯＰＳ算力跑个大模型也是够呛。 fengpc 发表于 2024-2-24 09:12
用NPU的INT８部署的时候量化蒸馏还得再训练一次，效果还不一定好，跑个人脸识别都不太行
这种精度只适合用 ...
等下一代出来再看看吧，AMD的ppt说3倍
fengpc 发表于 2024-2-24 09:03
这个16TOPS是INT4、INT8、FP16还是FP32？如果是INT4、INT8那这个只能用于语言模型
很多深度学习模型是要 ...
这就是推理用的呀，拿来跑训练想多了。 桌面的NPU好像是给WIN12和WIN11末期版本做人工智能功能上的适配的，其他第三方软件和大部分生产力软件好像暂时没看到有什么应用。希望后期什么达芬奇的能用NPU把该死的特效预览给整得流畅一点吧，谢天谢地了。
页:
1
[2]