话说ultra的npu在啥情况下起作用？

manwomans

试了试comfyui和koboldcpp还有ooba
运行的时候npu的占用率为零，完全没起作用
那这玩意啥时候起作用？

sinopart

幽默牢英，它这个NPU根本没达到MS Copilot算力要求，导致原本计划的AIPC认证也上不了。

awpak78

intel这个NPU本质上是用来高速处理卷积神经网络的处理器，和现在流行的Chat**式的AI没关系（但是intel在宣传上始终硬蹭

NPU擅长的工作是比如CS锁头挂这种图像识别，可以在不占CPU不占GPU的前提下跑上100fps


comfyui和koboldcpp这类，就算用上了NPU搞不好也不如用核显或CPU的速度快

pklinqi

我也想知道，这东西什么地方会用上，现在没用啊

dcl2009

这玩意主要用在图像识别，例如摄像头识别人脸、行为，识别车牌之类，别指望干别的事

shiangyeh

照理来说win11要上的recall里面的图像识别是可以用上的，或者微信的文字提取啥的也能用上，或者微软在图片查看器实现一个类似于iOS相册的主体识别提取的功能都能用上。

但是这些都是想想而已，我年初试了下（https://www.chiphell.com/thread-2593275-1-1.html）和自带的GPU比起来毫无优势，实在没必要为了这个起装饰作用的NPU单独开发。

pooChai

那个npu估计是一个专门计算gemm的单元,需要用专门的的指令去调用,不适配新指令肯定调用不到

SimonYeh

价格上起作用

腿毛飘飘

SimonYeh 发表于 2024-12-5 14:32
价格上起作用

indeed，就是噱头。

几十年来，IT业界每1~3年就要造一个新概念割韭菜，割资本市场，割消费者。现在甚至已经放缓速度了，以前真是每年一个噱头。

utabll

在PPT上起作用

nn1122

目前能调用NPU的程序很少，形势也不明朗，不过AMD的U也有NPU，可能最终是噱头了

YsHaNg

兼容以前的gna应用 realtek的声卡驱动 zoom开会降噪就会调用

archxm

sinopart 发表于 2024-12-5 11:06
幽默牢英，它这个NPU根本没达到MS Copilot算力要求，导致原本计划的AIPC认证也上不了。 ...

英特尔现在喝口水都是错的，真受气

gartour

这里有个实例
https://www.reddit.com/r/LocalLL ... hare&utm_term=1

这玩意和n卡的tensor core差不多吧，算力够的话，可以核显也开个硬件上采样和插帧。

sinopart

archxm 发表于 2024-12-5 18:16
英特尔现在喝口水都是错的，真受气

还真不是我说他，早就有人爆料Intel试图在这代200S上通过Copilot AIPC认证，但不知为何最后出来的产品算力很低，达不到认证要求。

8xwob3ko

gartour 发表于 2024-12-5 18:49
这里有个实例
https://www.reddit.com/r/LocalLLaMA/comments/1d9m0z3/running_llama_3_on_the_npu_of_a_f ...

算力差远了。。lnl上完全体的NPU算力还比不过核显。npu现在主要的作用是跑轻量推理任务相比GPU更节能。稍微重一点的还得GPU跑，但桌面更不差这点功耗了。

sun3797

没用 算力低下

zhuifeng88

这年头视频编解码加速适配都没普及呢, 你指望npu适配没个3年5年能普及? 要改亿点代码的...

上面说卷积加速器或者只能图像识别那完全不至于...但凡看一眼相关接口都不至于这么认为
llm加速(包括self speculative decoding)以及diffusion类加速都是有不少实例的


comfyui单纯连适配计划都没提上日程呢

而且开源工具不适配完全可以自己动手, 但一切前提是得有接口比较通用的npu (这点上intel的npu是3家里最好的)
再加上, 硬件不先普及谁给你适配...说没用所以不需要的....我不知道说啥

jxljk

大小核   NPU  这些东西 说到底 硬件设计是没问题的  我可以不用  但是你不能没有  微软不给优化  那就自己优化   intel 自己不都出大小核优化工具了吗


现在这些说NPU没用 大小核没用  其实和当年的4核够用党  现在的8核够用党   纯大核党 没区别


说到底硬件设计过于先进 这些软件厂商  跟不上罢了    软硬结合最好的苹果       vsita现在还有人 认为是个垃圾系统吗

jxljk

gartour 发表于 2024-12-5 18:49
这里有个实例
https://www.reddit.com/r/LocalLLaMA/comments/1d9m0z3/running_llama_3_on_the_npu_of_a_f ...

对头   NPU和tensor core  都是ai运算方面的   NPU如果没用  那tensor core 更是没用 事实真是如此吗

panzerlied

jxljk 发表于 2024-12-8 09:45
大小核   NPU  这些东西 说到底 硬件设计是没问题的  我可以不用  但是你不能没有  微软不给优化  那就自己 ...

就这一点算力先进个大头鬼啊，和手机坐一桌。

labyrin

毫无卵用，只有增加价格以及宣传洗脑之用

leung018

阑尾

ibud

需要软件适配的，比如剪影的抠像

chbss

win11相机-右上角的设置打开，NPU启用了