NPU 这个最近很火的单词 名词，求解答
NPU 能百度到的有用信息就是名字：嵌入式神经网络处理器或者神经网络处理器。看了很多文章，没有一篇文章能够清楚的描述这是个什么东西，都是吹怎么怎么牛，怎么厉害，甚至连应用都讲不清楚，最多给出 可以同时并行执行指令和数据传递。
求大佬解惑答疑，这到底是个什么，与GPU一堆core 并行处理 有什么区别？或者其实是一个东西的不同名称？
路由器里面不也经常出现这个词么 gbawrc 发表于 2023-12-19 17:06
本来就是个噱头，跟AMD的APU，高通的SOC是一个概念，过几年就无人问津
虽然但是SoC确实是个老概念了[傻笑] zexin4 发表于 2023-12-19 17:12
路由器里面不也经常出现这个词么
路由器就是高通瞎掰的，实际上就是硬件转发，mtk叫hwnat 噱头，这玩意你说它战未来也没啥问题，但真的未来来了，现在这NPU估计也不支持或者是淘汰了
明眼人一看你是来水的都不想回 神经网络本质是在用梯度下降法来求高维向量函数的各个系数。
NPU就是可以实现该计算过程的硬件。
本帖最后由 PolyMorph 于 2023-12-19 18:07 编辑
给端侧用ai模型进行推理，dlss就是推理像素，端侧用的最多的图像识别，文字语音理解
主要是int8 fp8矩阵加乘，比CPU功耗低 这东西普通人比较难理解很正常，即便是计算机专业的没接触过也是比较难理解的
通俗易懂的讲就是，路由器知道吧，有个NAT硬件加速芯片，数据包可以用这个硬件芯片实现直接转发，不用通过CPU计算直接得到想要的结果，NPU同理就是专门设计出来给神经网络计算用的，既然是专用的那么肯定比cpu计算效率要高，如果路由器例子听不懂，视频转码里硬件编码和软件编码也是类似的东西，其中软件编码就是通过CPU设计算法去转换计算的，硬件编码是硬件已经设计好的电路直接得出结果，省略了转换的步骤
至于应用部分，也可以用视频举例，就是你电脑支持硬解这个软件的能力，和不支持硬解只能软解的区别，多个NPU会快一点，就是个专门给AI算法加速的东西 就是提供了适合ai的低功耗低精度算力
相对gpgpu就是功耗低，精度选择面小 npu的n就是代表神经网络（neural network）吧；理论上只要愿意写所有用神经网络构造的AI算法都能写到NPU上，问题是不同厂家的NPU开发互相不兼容，所以目前也就是终端厂家的系统级应用会愿意费那个劲去调用NPU。
至于用途...明白最开始NPU出现的用途就是为了在某些AI场景里面取代CPU/GPU就OK了，优势主要体现在手机这种电量有限的设备上（功耗低了，手机续航就能多出一两个小时）。现在转战电池同样有限的笔记本我稍微能理解，等过两天台式处理器也上NPU的话乐子就有点大了 network process unit
neural process unit
最近这两个概念比较火
都是炒概念 路由知道
ASIC
FPGA
这类旁路芯片
MTK叫hwnat 7621a能稳定调用的路由挺好使
高通叫nss 跑各种流量加密不吃u
NPU==脑PU，就是AI用的PU 本质是一种跟矿机一样AISC，专用电路，只要软件不兼容就是电热丝，远不如gpu，远远不如cpu灵活 我的理解是针对某种算法或应用的硬件加速，能不占用CPU/GPU资源来低功耗获得高运算性能，但目前使用场景有限，连Mac的AIE也基本没看到有啥软件会调用到。 YoshinoSakura 发表于 2023-12-19 17:26
噱头，这玩意你说它战未来也没啥问题，但真的未来来了，现在这NPU估计也不支持或者是淘汰了
...
+1000086，就是付费内测。 本帖最后由 tengyun 于 2023-12-19 23:38 编辑
[傻笑]
是不是能这么理解
就是个残血版CPU（只保留某几个计算模式） 那其实早期的GPU 不就是现在的NPU 一个路数嘛
传统CPU 就是全能六边形战士 噱头，无视就好了，或者，耗电的电阻丝。 让你加钱呗，不但现在用不上，以后更指望不上
[偷笑] GPU执行的是32位浮点数向量乘法，NPU执行16或者8位浮点数的矩阵乘法 beasy 发表于 2023-12-19 08:59
本质是一种跟矿机一样AISC，专用电路，只要软件不兼容就是电热丝，远不如gpu，远远不如cpu灵活 ...
你有没有想过之所以CPU这么灵活，是因为内部ASIC种类够多。每次加指令集就是加了些ASIC进去 CPU本质是加法器，npu本质是乘加器。cpu对流数据优化，npu对batch优化。 对消费者来说，虽然比喻不准确，但道理差不多： 你可以理解为新增了一种需要硬件支持的功能，就像显卡支持DX11、DX12这样，显卡大换代时候新增的东西多了去了， 为什么包装上特地把DX12印出来， 一个道理 BetaHT 发表于 2023-12-19 17:57
神经网络本质是在用梯度下降法来求高维向量函数的各个系数。
NPU就是可以实现该计算过程的硬件。
回复里的解答，就你的最靠谱了
我理解一下
就是一种算法的直接实现把？
CPU是先把算法分解成基础的+-x/在一步一步计算，
NPU就类似专用DSP直接对数据进行特殊算法计算。 npu这种东西不是应该从A11开始就有了吗 也就是2018年 到现在5年了 可以盖棺定论了 tengyun 发表于 2023-12-19 23:37
是不是能这么理解
就是个残血版CPU（只保留某几个计算模式） 那其实早期的GPU 不就是现在的NPU 一个路数嘛 ...
不是残血CPU，应该说成是有巨量ALU的CPU。 矩阵运算，优势是功耗低 是不是可以看成专门运行特定宏的硬件？
页:
[1]
2