Chiphell - 分享与交流用户体验»社区 › 分享区-产品开箱与用户体验的分享 › 原创分享(新) › intel OpenVINO深度学习框架搭建+蝰蛇峡谷A770M推理测试 ...

intel OpenVINO深度学习框架搭建+蝰蛇峡谷A770M推理测试

查看数: 22448 | 评论数: 31 | 收藏 16

关灯 | 提示：支持键盘翻页<-左右->

帖子模式

gwha2

发布时间: 2022-11-24 10:26

正文摘要:

本帖最后由 gwha2 于 2022-11-24 10:26 编辑 intel NUC12 蝰蛇峡谷入手已经有不短的时间了，不过在网上并没有看到蝰蛇峡谷的深度学习性能测试啊，因为这张卡单精度浮点还挺高，而且显存也大，所以我也挺想看看这 ...

wzh_allen 发表于 2023-1-12 15:26

感谢测试！前阵子误打误撞用上了openvino，跑在核显上效果比想象中的好很多啊，而且安装实在是太方便了。等arc适配好了蝰蛇峡谷完全可以成为非常好用的边缘端推理机，而且x86 cpu能少很多jetson的兼容问题。也想搞一个玩玩了

gwha2 发表于 2022-11-27 11:56

gtv 发表于 2022-11-26 22:47
skyfish说的对，这个openvino就是一个inference engine，类似TRT。

你不用它也能加速，比如原生tf/pt + ...

A770M我试了下训练，这下真成影音娱乐卡了

dpstower 发表于 2022-11-27 11:24

太硬核了，来学习下...

曾一起走过 发表于 2022-11-27 09:39

双十一买了前代幻影，，感觉对我来说够用了。。

skyfish 发表于 2022-11-26 23:30

gtv 发表于 2022-11-26 22:48
Intel Extension for Tensorflow/Pytorch 了解一下。

chh遇到同行了

，握手握手

gtv 发表于 2022-11-26 22:48

skyfish 发表于 2022-11-25 18:05
Xe没有tensorcore倒是有可能，这个没有仔细研究过，
第一点就等待Intel出tensorflow和pytorch的oneDNN后 ...

Intel Extension for Tensorflow/Pytorch 了解一下。

gtv 发表于 2022-11-26 22:47

gwha2 发表于 2022-11-25 17:13
我比较支持第一观点，我后面也提到了openVINO他并不是像ROCM那样替代CUDA的一个加速框架，要是intel能搞 ...

skyfish说的对，这个openvino就是一个inference engine，类似TRT。

你不用它也能加速，比如原生tf/pt + itex/ipex 也可以有不错的优化。没必要非用openvino。

另外这个nuc跑深度学习纯粹自讨没趣，不支持avx512，onednn的加速发挥不出来。至于用A770，只能说just for fun.

stylejj 发表于 2022-11-26 16:50

好详细的测评，强烈支持……虽然我看不懂

gwha2 发表于 2022-11-25 20:37

izzue 发表于 2022-11-25 20:23
lz想问下。这种机器能拓展双网口嘛。拿来跑虚拟机玩。～

用雷电口就行

izzue 发表于 2022-11-25 20:23

lz想问下。这种机器能拓展双网口嘛。拿来跑虚拟机玩。～

skyfish 发表于 2022-11-25 18:05

gwha2 发表于 2022-11-25 17:13
我比较支持第一观点，我后面也提到了openVINO他并不是像ROCM那样替代CUDA的一个加速框架，要是intel能搞 ...

Xe没有tensorcore倒是有可能，这个没有仔细研究过，
第一点就等待Intel出tensorflow和pytorch的oneDNN后端了，看Intel OneAPI框图上是有的

gwha2 发表于 2022-11-25 17:13

skyfish 发表于 2022-11-25 15:19
想纠正一下
1. openVINO其实并不跟cuda和rocm对应，openVINO只是一个推理引擎，跟cuda生态里的tensorRT是对 ...

我比较支持第一观点，我后面也提到了openVINO他并不是像ROCM那样替代CUDA的一个加速框架，要是intel能搞出来一个的话就舒服很多，这样就能直接用torch或者tf了，而不是训练好了再转IR推理
第二个问题我感觉存疑，因为Xe的具体表现是占用100%而不是显存使用爆了，而且模型的导入应该是一开始就加载到了内存里面，后面的输入都是很小量的，更像是Xe没ML相关的单元所以在硬算

炎夏 发表于 2022-11-25 16:40

这个骷髅比以前还小巧了吧

huihuige 发表于 2022-11-25 16:11

太长了
收藏下
一直对NUC感兴趣
就是没有下坑~

skyfish 发表于 2022-11-25 15:19

想纠正一下
1. openVINO其实并不跟cuda和rocm对应，openVINO只是一个推理引擎，跟cuda生态里的tensorRT是对应关系。tensorRT底层使用了cuDNN，而openVINO底层则使用了oneAPI(oneDNN)
2. 770/xe的加速比大于16/3可能是因为推理跑在xe上大概率顶到了ddr内存的带宽上限，而770则拥有更大的算力/内存带宽，所以看上去加速比更大些
大佬勿喷~

gylj7058 发表于 2022-11-25 14:49