英伟达的AI芯片有壁垒吗？

fairness

xeon13 发表于 2023-5-28 14:46
别人能做的ASIC芯片，N厂有啥不能做的？说白了，DSA们所谓的优势，只不过是在提前帮N测试市场上可能存在 ...

大牛，赞同你的观点；  如果市场上果真有对AI加速推动极大的新技术和新方向出现， 老黄也能果断吸收，合并到自身的产品中去。
最大的敌人往往是自己，保持警醒，保持学习才能持续进步。

marcobai

dychenyi 发表于 2023-5-28 17:52
楼里觉得软件生态不叫壁垒吗。。
就苹果那生态都是壁垒，不然你让哪家安卓手机试试看呢。    ...

我也不懂，所以才请教的

芝士雪豹

fairness 发表于 2023-5-26 10:59
业内人士请赐教，说说你的看法：老黄的卡到底有没有技术优势和壁垒。

可算不上业内人士，我们算法工程师说白了就是用显卡的，让我谈硬件有点像让打游戏的玩家谈如何用unity开发游戏。不过看一堆游戏都不打的指点江山也挺有意思的。反正互联网时代，人人都能整两句，没毛病

anishieh`

一般来说对外行来说判断这类问题比较简单的方式是看股价，毕竟对于这一体量的公司股价是靠真金白银砸出来，不是随便就能炒上去的。

klxq15

新技术了解下？MLIR、OpenAI的Triton？PyTorch 2.0的TorchDynamo、PrimTorch、TorchInductor？
我的看法是存在壁垒，但是壁垒没那么强，新出的这些技术用好达到N卡+CUDA的八成效果还是不成问题的
主要是业界被NV喂屎多年，已经都知道不能让NV一家独大了。。况且NV现在利润率那么高，人人都眼红想分一笔。。


从进度上来看A卡和I卡（对你没看错）已经奋起直追了，ROCm软件堆栈最近更新频率快突破天际，Intel的OpenVINO也更新了对I卡的支持，从跑分（https://blog.openvino.ai/blog-po ... nvino-on-intel-gpus）上看感觉还不不错（因为有XMX，A770性能看起来比A卡还强一些。。）

fairness

klxq15 发表于 2023-5-28 20:32
新技术了解下？MLIR、OpenAI的Triton？PyTorch 2.0的TorchDynamo、PrimTorch、TorchInductor？
我的看法是 ...

I家的软件工程师，还是比A家的多； 所以如果在软件兼容性上I家进步更快，这个不出乎意料。

TNTWW

fairness 发表于 2023-5-27 23:03
看来你们公司还是很牛的，有实际产品落地到推理这个领域; 是国外的还是国内的创业公司？ ...

国内的公司，创始人和几个技术骨干以前在北美AMD干的

TNTWW

xeon13 发表于 2023-5-28 14:46
别人能做的ASIC芯片，N厂有啥不能做的？说白了，DSA们所谓的优势，只不过是在提前帮N测试市场上可能存在 ...

基于ASIC的AI推理DSA芯片可以片上加Cadence DSP，然后数据预处理（归一化啥的）和后处理（检测的NMS之类的算法）做成DSP算子，跑在DSP上。这样在推理业务流中CPU只需要喂数据进去，然后直接取结果出来用就可以。不过这种方式相当于定制化去适配算法，开发门槛比较高，用户很难有能力去开发这种算子，只能靠芯片公司这边提供软硬件一条龙服务去整好。

xeon13

TNTWW 发表于 2023-5-28 21:31
基于ASIC的AI推理DSA芯片可以片上加Cadence DSP，然后数据预处理（归一化啥的）和后处理（检测的NMS之类 ...

你说的这些都没有错， 可以做，但是也没有什么是N厂不能做的。NVDLA了解一下。

你也说到了，这相当于是提前定制去适配算法， 越早提前做优化，后边越难适应新算法/模型，举个例子，做AI芯片里边的矩阵乘法， 很多人喜欢用内积去做卷积，用外积去做HPC，所以早期的AI的DSA用内积的比较多，但是有证据表明transformer用外积更好，

Bysmiel

简单，有没有壁垒看几年后涨上天的英伟达股票有没有同赛道跟得上涨幅的对手就知道了

m4a1chbb

intel CPU很久之前好像就提ai什么了。。。但是好像没啥效果。。。
现在intel 被NA打了。。。

亦真亦假

80%市占率，不存在什么壁垒，毕竟老黄AI赛道不管硬件还是软件布局了十几年

d68

短时间，至少3-5年追不上的，英伟达深耕deep learning这么多年，软件，硬件，体系架构，社区等等，都已经有了很大的优势
搞AI，还想着不用NVIDIA是傻子

keyou4

大公司 包括微软 谷歌 亚马逊 meta 做ai都不可能跟nv强绑定，要不做完都是nv的嫁衣。nv卖的不是芯片而且整套解决方案，对中小企业很友好，但是对大公司来说就相当于灵魂被nv拿走了，这是接受不了的。而且nv整体溢价超高，他的销售不会带动整个芯片相关行业起飞。

keyou4

beowulf 发表于 2023-5-27 09:22
立场不同，看问题的角度不同吧。

但是海光的dcu还是部署了不少的，不知道谁代工的🤣 ...

海光主要是站在了amd的巨人肩膀上。但是从当初拿了zen1+vega 这几年一直没有什么更新迭代做出来

kerafyrm

chuxuanax 发表于 2023-5-25 14:51
国内拿不到nvdia显卡可以自己造专门的计算卡吗，

华为没被禁之前有这个实力

SheetLorde

Neo_Granzon 发表于 2023-5-27 09:14
投资人和董事长都是明白人，游戏显卡完全不值得做，梭哈AI计算卡非常明智。 ...

傻子都看得出来游戏显卡没意义吧？一个每年萎缩的存量市场还有两家巨头。Intel究竟是怎么想的还真不知道

fairness

TNTWW 发表于 2023-5-28 21:31
基于ASIC的AI推理DSA芯片可以片上加Cadence DSP，然后数据预处理（归一化啥的）和后处理（检测的NMS之类 ...

这么做的确可行； 但如果内部主要是靠Cadence DSP, 这种的技术核心不是来自于Cadence吗？
而且它是卖IP的， 无论是哪家只要钱到位，都可以买到的； 这种感觉没有自主的核心技术。

TNTWW

fairness 发表于 2023-5-29 18:56
这么做的确可行； 但如果内部主要是靠Cadence DSP, 这种的技术核心不是来自于Cadence吗？
而且它是卖IP的 ...

Cadence的DSP主要是做一些前处理和后处理的杂活，核心的AI模型相关运算，矩阵乘，卷积，池化，transformer啥的这些还是得用自己设计的DSA来做的，然后DSA和DSP之间数据交互的DMA逻辑也是需要自己开发的，设计上会比较复杂。
用Cadence DSP主要是这个IP比较成熟，不用重复造轮子。DSA这块，目前就还没有比较好的可以买授权的IP，大家还在各搞各的阶段，不知道几年后是啥样

fairness

keyou4 发表于 2023-5-29 10:32
大公司 包括微软 谷歌 亚马逊 meta 做ai都不可能跟nv强绑定，要不做完都是nv的嫁衣。nv卖的不是芯片而且整 ...

首先我觉得一个具体的芯片领域，自由竞争后的一般市场规律是： 第一名吃肉，第二名喝汤；第三名亏损；然后不应该有第四，第五，还有第六名的还在这个领域芯片继续做着。
例如做手机SoC的， 第一是高通，第二联发科；第三名。。。
做FPGA，第一是Xilinx， 第二名是Ateral,  第三名。。。；  
做PC CPU的，第一名Intel， 第二名AMD，第三名。。。；

如果你觉做某个同样的芯片领域， 应该是从第一名到第十名都活得有滋有味的，百花齐放的； 这种本身就不符合芯片行业的市场规律。

keyou4

fairness 发表于 2023-5-29 19:06
首先我觉得一个具体的芯片领域，自由竞争后的一般市场规律是： 第一名吃肉，第二名喝汤；第三名亏损；然 ...

但是老黄现在其实已经跳出芯片这个领域了，他其实是提供一个解决方案，而且绑定越深越难脱身。这就会触动很多nv客户的利益了。

gtv

keyou4 发表于 2023-5-30 14:06
但是老黄现在其实已经跳出芯片这个领域了，他其实是提供一个解决方案，而且绑定越深越难脱身。这就会触动 ...

the more you buy, the more you save.