本地大模型的发展必然会导致显卡和计算卡的彻底分离

sinopart

目前的AI推理算法需要的算力还是很大，没办法降低到几十G tlops的程度，这必然导致多Tensor,多FP16，FP8单元的协处理器的问世。
以后配电脑的主流需求就是AI，可以预见的是，如果未来在游戏中引入高功能深度学习AI，双PCIe X16插槽的主板会成为游戏主板的主流，到时候就是一张GPU，一张NPU。由于AI算法生成对话不需要和画面渲染同步，因此这两个单元可以不集成在一个die上。NVIDIA未来势必会推出专用AI推理加速卡，一如曾经的2D、3D图形加速卡。

lqw1314

专业性了点，面向的市场也应该是有这方面需求的公司和个体

gartour

想多了。

只有推理单元和gpu做在一起老黄才有生态壁垒。单独做npu，何必用你老黄的？凭你更贵？

chacha20

确实，目前终端设备算力限制了复杂模型的应用，所以现在AI应用不是联网就是人工智障。

赫敏

反了吧，会导致如果显卡没有低精度卖不出去

分离早就分离了，但有AI以前计算卡只属于专业用途，如果落地成功家用也需要了，不会再和显卡分开了

netjunegg

gbawrc 发表于 2024-2-15 10:52
个人计算机不会有这方面的需求

对，个人使用不需要那么高的算力。

另外，cpu和gpu都会增加AI功能，这种集成的对个人已经够用了。所以，局面不会有啥变化

wenxisuyt

目前的趋势，训练和推理逐渐分开。训练是专门的环境，推理只要主流配置就能跑起来。目前复旦的框架能够在16g vram上跑40B模型，微软的deep speed框架支持用用吧系统的ram和gpu一起跑运算和推理。

surfwave

家用应该没多大需求，更多的是在云端。

cloud

其实本地大模型才是邪路 除了实时性要求高的(比如动作捕捉/语音识别/自动驾驶) 都还是云端好

大多终端(手机/平板/笔记本)根本不具备足够的性能

即使具备 也存在一个持有成本的问题

一个GPU放云端可以被很多用户充分使用 一个GPU放本地你一个人用能用多少？

TurbulenceY

gartour 发表于 2024-2-15 10:52
想多了。

只有推理单元和gpu做在一起老黄才有生态壁垒。单独做npu，何必用你老黄的？凭你更贵？ ...

老黄可是想分开卖的, 这赚两分钱不好么. 你看专业卡和游戏卡不就是这个尿性么, 只能寄希望于AMD了...

huangfuda

本地大模型什么意思？
把训练好的模型下载到本地，还是在本地训练大模型？

gartour

TurbulenceY 发表于 2024-2-15 12:15
老黄可是想分开卖的, 这赚两分钱不好么. 你看专业卡和游戏卡不就是这个尿性么, 只能寄希望于AMD了... ...

反了。现在就是把两者捆在一起卖的两份钱，如果拆开，他就只能卖gpu那一份钱了，独立的npu他并没有优势，买不出溢价来。

beasy

我还是认为个人pc没什么这方面的真正需求。

我輩樹である

当年我就跟intel建议，利用自己在x86和atx上的话语权，直接搞一个独立的npu出来，开辟另外一个战场。

YoshinoSakura

ADA&Hopper:啊对对对

旋风

已经没有专门的2d加速卡了吧？

weindy

拆是不可能拆的，nv就是靠功能集成碾压的amd。而且壁垒都是高度集成打造出来的，想想皮衣黄借鉴苹果那一套就知道了

pdvc

目前来说，显存容量比算力的瓶颈更大，大模型都很吃显存，只要显存够能跑起来，算力不是太大问题，毕竟本地都是一个人独享，最多输出速度慢点。

燕山隐士

我想起来当年 80386，加上一块 80387 协处理器，就可以运算一些更复杂的数据了，后面就各种整合，现在开始又要变成分家的方式。

wun_008

二合一 有人接盘啊 专业卡没人要

gunner_l

现实社会已经够烧脑了，加强ai以后玩个游戏也要绞尽脑汁？那我还是不玩了

赫敏

我輩樹である 发表于 2024-2-14 23:48
当年我就跟intel建议，利用自己在x86和atx上的话语权，直接搞一个独立的npu出来，开辟另外一个战场。 ...

这种实际能落地的领导层不会听，就喜欢听三哥oneAPI这种实现不了的大饼。结果就是做了几年撞墙后集成了一个手机级别的NPU

LocaVoiD

感觉本地大模型很难有前途，现在能这么玩是因为模型开源，和算力关系并不大。以后把花费巨量成本进行训练的模型拿来公开的会越来越少。
何况所谓开源和传统开源也不一样。

limon

试了几个本地模型感觉都是玩具性质

archxm

卧槽，你太乐观，pc 都快要完蛋了，你还在这一惊一乍。
现在是手机的世界，以及各种游戏机。
玩 pc 真的很小众，也就咱国家人多，基数大。让你感觉好像很多人玩 pc 似的。
你看各种游戏各种死板的操作方式，玩会游戏，真不如出去打会球，或者带上车钥匙，开几公里车。开车的操控感，完虐任何游戏。
之前咱穷，建设不起各种娱乐场所。现在不同了。

游荡在灯塔

limon 发表于 2024-2-15 23:46
试了几个本地模型感觉都是玩具性质

还行，酒馆+tgw能玩的13b模型效果都还说得过去

rico19375

我輩樹である 发表于 2024-2-15 12:48
当年我就跟intel建议，利用自己在x86和atx上的话语权，直接搞一个独立的npu出来，开辟另外一个战场。 ...

要是能成就好了。。。英特尔的价格还是比较良心的，至少和老黄比起来很良心。。。

aibo

燕山隐士 发表于 2024-2-15 13:53
我想起来当年 80386，加上一块 80387 协处理器，就可以运算一些更复杂的数据了，后面就各种整合，现在开始 ...

整合始终是基于一般用户需求的。
比如声卡/显卡。

独立的则是会慢慢被挤到高端市场。然后就看这个高端市场有多大了。

sun1a2b3c4d

archxm 发表于 2024-2-16 00:18
卧槽，你太乐观，pc 都快要完蛋了，你还在这一惊一乍。
现在是手机的世界，以及各种游戏机。
玩 pc 真的很 ...

你的观点需要革新了……