Chiphell - 分享与交流用户体验

标题: 一不小心nv官网上线了rtx 5880 ada [打印本页]

作者: q3again0605 时间: 2024-1-5 13:51
标题: 一不小心nv官网上线了rtx 5880 ada
本帖最后由 q3again0605 于 2024-1-5 14:59 编辑

前面搜了相关新闻，今天刚才没注意刷新了一下，发现nv官网上线了https://www.nvidia.com/en-us/design-visualization/rtx-5880/
自己稍微整理了一下数据，如果是只是为了推理（按照现有的开源的LLMs的尺寸来算）的话，2卡和4卡的4090D或者2卡的5000 ADA还是不错的，对于个人开发者或者小型工作室。5880 ada价格猜的，6000ada和5000ada的价格只是我最近问到过的，作为参考。

作者: Illidan2004 时间: 2024-1-5 14:38
6000ada的特供版呗

作者: Garming 时间: 2024-1-5 15:21
看到这种特供版就觉得很

作者: ben19910518 时间: 2024-1-5 15:24
从cuda数算的话应该叫5238ADA，怎么就5880了

作者: gbawrc 时间: 2024-1-5 16:12
提示: 作者被禁止或删除内容自动屏蔽

作者: jtshs256 时间: 2024-1-5 17:01
12/15 丽台的公众号就发了这玩意的预定，直接电话询价呗

作者: pdvc 时间: 2024-1-6 02:10
4090D有NVLINK？没有咋跑20B以上的LLM...

作者: q3again0605 时间: 2024-1-6 10:27

pdvc 发表于 2024-1-6 02:10
4090D有NVLINK？没有咋跑20B以上的LLM...

多卡都是可以跑更大的模型的，按一定的规则进行拆分，nvlink的意义在于卡和卡直接的带宽增大，目前走内存cpu的交换或者pcie-pcie的数据交换瓶颈大。

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)