NPU 这个最近很火的单词 名词，求解答

wei73

NPU 能百度到的有用信息就是名字：嵌入式神经网络处理器或者神经网络处理器。

看了很多文章，没有一篇文章能够清楚的描述这是个什么东西，都是吹怎么怎么牛，怎么厉害，甚至连应用都讲不清楚，最多给出 可以同时并行执行指令和数据传递。


求大佬解惑答疑，这到底是个什么，与GPU一堆core 并行处理 有什么区别？或者其实是一个东西的不同名称？

zexin4

路由器里面不也经常出现这个词么

nekotheo

gbawrc 发表于 2023-12-19 17:06
本来就是个噱头，跟AMD的APU，高通的SOC是一个概念，过几年就无人问津

虽然但是SoC确实是个老概念了

腿毛飘飘

zexin4 发表于 2023-12-19 17:12
路由器里面不也经常出现这个词么

路由器就是高通瞎掰的，实际上就是硬件转发，mtk叫hwnat

YoshinoSakura

噱头，这玩意你说它战未来也没啥问题，但真的未来来了，现在这NPU估计也不支持或者是淘汰了

YsHaNg

明眼人一看你是来水的都不想回

BetaHT

神经网络本质是在用梯度下降法来求高维向量函数的各个系数。

NPU就是可以实现该计算过程的硬件。

PolyMorph

给端侧用ai模型进行推理，dlss就是推理像素，端侧用的最多的图像识别，文字语音理解
主要是int8 fp8矩阵加乘，比CPU功耗低

uuyyhhjj

这东西普通人比较难理解很正常，即便是计算机专业的没接触过也是比较难理解的
通俗易懂的讲就是，路由器知道吧，有个NAT硬件加速芯片，数据包可以用这个硬件芯片实现直接转发，不用通过CPU计算直接得到想要的结果，NPU同理就是专门设计出来给神经网络计算用的，既然是专用的那么肯定比cpu计算效率要高，如果路由器例子听不懂，视频转码里硬件编码和软件编码也是类似的东西，其中软件编码就是通过CPU设计算法去转换计算的，硬件编码是硬件已经设计好的电路直接得出结果，省略了转换的步骤
至于应用部分，也可以用视频举例，就是你电脑支持硬解这个软件的能力，和不支持硬解只能软解的区别，多个NPU会快一点，就是个专门给AI算法加速的东西

aibo

就是提供了适合ai的低功耗低精度算力
相对gpgpu就是功耗低，精度选择面小

ltpterry

npu的n就是代表神经网络（neural network）吧；理论上只要愿意写所有用神经网络构造的AI算法都能写到NPU上，问题是不同厂家的NPU开发互相不兼容，所以目前也就是终端厂家的系统级应用会愿意费那个劲去调用NPU。

至于用途...明白最开始NPU出现的用途就是为了在某些AI场景里面取代CPU/GPU就OK了，优势主要体现在手机这种电量有限的设备上（功耗低了，手机续航就能多出一两个小时）。现在转战电池同样有限的笔记本我稍微能理解，等过两天台式处理器也上NPU的话乐子就有点大了

obfuscate

network process unit
neural process unit

最近这两个概念比较火

都是炒概念

卟雨忆萧萧

路由知道
ASIC
FPGA
这类旁路芯片
MTK叫hwnat 7621a能稳定调用的路由挺好使
高通叫nss 跑各种流量加密不吃u

大地飞鹰

NPU==脑PU，就是AI用的PU

beasy

本质是一种跟矿机一样AISC，专用电路，只要软件不兼容就是电热丝，远不如gpu，远远不如cpu灵活

多崎作

我的理解是针对某种算法或应用的硬件加速，能不占用CPU/GPU资源来低功耗获得高运算性能，但目前使用场景有限，连Mac的AIE也基本没看到有啥软件会调用到。

ioko

YoshinoSakura 发表于 2023-12-19 17:26
噱头，这玩意你说它战未来也没啥问题，但真的未来来了，现在这NPU估计也不支持或者是淘汰了
...

+1000086，就是付费内测。

tengyun

是不是能这么理解
就是个残血版CPU（只保留某几个计算模式） 那其实早期的GPU 不就是现在的NPU 一个路数嘛
传统CPU 就是全能六边形战士

ykdo

噱头，无视就好了，或者，耗电的电阻丝。

ssvip

让你加钱呗，不但现在用不上，以后更指望不上

赫敏

GPU执行的是32位浮点数向量乘法，NPU执行16或者8位浮点数的矩阵乘法

赫敏

beasy 发表于 2023-12-19 08:59
本质是一种跟矿机一样AISC，专用电路，只要软件不兼容就是电热丝，远不如gpu，远远不如cpu灵活 ...

你有没有想过之所以CPU这么灵活，是因为内部ASIC种类够多。每次加指令集就是加了些ASIC进去

pcgsf22

CPU本质是加法器，npu本质是乘加器。cpu对流数据优化，npu对batch优化。

Ownab

对消费者来说，虽然比喻不准确，但道理差不多： 你可以理解为新增了一种需要硬件支持的功能，就像显卡支持DX11、DX12这样，显卡大换代时候新增的东西多了去了， 为什么包装上特地把DX12印出来， 一个道理

wei73

BetaHT 发表于 2023-12-19 17:57
神经网络本质是在用梯度下降法来求高维向量函数的各个系数。

NPU就是可以实现该计算过程的硬件。

回复里的解答，就你的最靠谱了

我理解一下
就是一种算法的直接实现把？
CPU是先把算法分解成基础的+-x/在一步一步计算，
NPU就类似专用DSP直接对数据进行特殊算法计算。

林间有新绿

npu这种东西不是应该从A11开始就有了吗 也就是2018年 到现在5年了 可以盖棺定论了

sevastian

tengyun 发表于 2023-12-19 23:37
是不是能这么理解
就是个残血版CPU（只保留某几个计算模式） 那其实早期的GPU 不就是现在的NPU 一个路数嘛 ...

不是残血CPU，应该说成是有巨量ALU的CPU。

noahhhh

矩阵运算，优势是功耗低

lmbh

是不是可以看成专门运行特定宏的硬件？