英伟达一套一站式解决方案 —— RTX Workstation

facebbook

英伟达还准备了一套一站式解决方案 —— RTX Workstation。
支持最多 4 张 RTX 6000 Ada GPU，
可以在 15 小时内完成 8.6 亿 token 的 **3-40B 的微调。

英伟达  炒作合作伙伴 联想，戴尔，HP的四卡工作站。。

========
---


===

pmax

显存还是小啊。3~40B的模型，，，不够看，好歹能支持65B 70B的啊。

这不是摆明了让大家4卡80G的走起么。

aibo

pmax 发表于 2023-8-9 10:49
显存还是小啊。3~40B的模型，，，不够看，好歹能支持65B 70B的啊。

这不是摆明了让大家4卡80G的走起么。 ...

柯基一直在chh找大颗粒显存，可惜都没有收获

所以没办法。

下一代512bit，个人感觉就是因为更多的是显存容量问题才上的

sinopart

aibo 发表于 2023-8-9 10:53
柯基一直在chh找大颗粒显存，可惜都没有收获

所以没办法。

说白了，就是GDDR6X短时间内搞不出单颗4Gb
下一代GDDR7看来也悬，不然NV不会上512bit。

pmax

aibo 发表于 2023-8-9 10:53
柯基一直在chh找大颗粒显存，可惜都没有收获

所以没办法。

大模型现在的特性其实是内存墙更严重。
一方面是容量，另一方面是速度，下一代都HBM3e走起了。

架构再怎么稀疏化优化，这块还是带宽问题严重

cloud

sinopart 发表于 2023-8-9 10:54
说白了，就是GDDR6X短时间内搞不出单颗4Gb
下一代GDDR7看来也悬，不然NV不会上512bit。 ...

GDDR7已经宣布了3GB单个

赫敏

pmax 发表于 2023-8-8 21:49
显存还是小啊。3~40B的模型，，，不够看，好歹能支持65B 70B的啊。

这不是摆明了让大家4卡80G的走起么。 ...

但是多卡nvlink不是能叠加显存吗？所以单卡显存那么重要吗

我輩樹である

都叫rtx ws了，主要还是来搞3d内容创作的。llm只是顺带的性能。

lh0ngfu

这个机箱好像 Boxx 的那个机箱

linchen0950

图里这台是boxx么

chenwen834

CPU是啥？ 牙膏？农企？ 还是自己的Grace

g7muik

现在dell的7960联想最新的系列都支持4卡吧，不过显存还是不太够

ydjj

chenwen834 发表于 2023-8-9 14:50
CPU是啥？ 牙膏？农企？ 还是自己的Grace