SPR的硬件加速器官方Demo

ternnence@chh

用户 发表于 2022-10-1 04:28
amx加法和avx有区别吗

如果有的话，估计就是同时操作的数据不一样吧。amx都是int8的，而且宽度也比avx512宽。amx的寄存器是二维矩阵形式的。avx都是向量。

ternnence@chh

赫敏 发表于 2022-10-1 03:08
CPU直接集成这些还是有优势，不用来回倒数据。外挂ASIC可能算力过剩IO跟不上 ...

dsa有三种模式:协处理器，集成在cpu但走pcie，插在主板上。

各有优势，看使用场景了。

有些巧合的是，via之前发布的cna处理器和intel这个一样都是第二种。而且via那个团队被intel买走了。估计是集中了相关的人才。

ternnence@chh

赫敏 发表于 2022-10-1 03:08
CPU直接集成这些还是有优势，不用来回倒数据。外挂ASIC可能算力过剩IO跟不上 ...

外挂加速器走的就是offload路线，就像显卡一样，任务全包，板载显存，自带dma可以访问内存。gpu收到的任务基本不需要cpu就可以全部做完了。其实也没有什么问题。

不过intel不会走这个路线就是了。

ternnence@chh

现在各大数据中心厂商基本自研npu（网络加速器），就是走的外接设备路线。所有计算都offload，包括openssl这些。和cpu基本没关系。cpu的作用就是协调管理。

当然，更有想法的就买arm授权自己做集成在cpu的dsa，比如aws和阿里。