facebbook 发表于 2023-8-9 10:48

英伟达一套一站式解决方案 —— RTX Workstation

本帖最后由 facebbook 于 2023-8-9 10:49 编辑

英伟达还准备了一套一站式解决方案 —— RTX Workstation。
支持最多 4 张 RTX 6000 Ada GPU，
可以在 15 小时内完成 8.6 亿 token 的 **3-40B 的微调。

英伟达炒作合作伙伴 联想，戴尔，HP的四卡工作站。。

========
---


===

pmax 发表于 2023-8-9 10:49

显存还是小啊。3~40B的模型，，，不够看，好歹能支持65B 70B的啊。

这不是摆明了让大家4卡80G的走起么。

aibo 发表于 2023-8-9 10:53

pmax 发表于 2023-8-9 10:49
显存还是小啊。3~40B的模型，，，不够看，好歹能支持65B 70B的啊。

这不是摆明了让大家4卡80G的走起么。 ...

柯基一直在chh找大颗粒显存，可惜都没有收获

所以没办法。

下一代512bit，个人感觉就是因为更多的是显存容量问题才上的

sinopart 发表于 2023-8-9 10:54

aibo 发表于 2023-8-9 10:53
柯基一直在chh找大颗粒显存，可惜都没有收获

所以没办法。


说白了，就是GDDR6X短时间内搞不出单颗4Gb
下一代GDDR7看来也悬，不然NV不会上512bit。

pmax 发表于 2023-8-9 11:02

aibo 发表于 2023-8-9 10:53
柯基一直在chh找大颗粒显存，可惜都没有收获

所以没办法。


大模型现在的特性其实是内存墙更严重。
一方面是容量，另一方面是速度，下一代都HBM3e走起了。

架构再怎么稀疏化优化，这块还是带宽问题严重

cloud 发表于 2023-8-9 11:06

sinopart 发表于 2023-8-9 10:54
说白了，就是GDDR6X短时间内搞不出单颗4Gb
下一代GDDR7看来也悬，不然NV不会上512bit。 ...

GDDR7已经宣布了3GB单个

赫敏 发表于 2023-8-9 11:06

pmax 发表于 2023-8-8 21:49
显存还是小啊。3~40B的模型，，，不够看，好歹能支持65B 70B的啊。

这不是摆明了让大家4卡80G的走起么。 ...

但是多卡nvlink不是能叠加显存吗？所以单卡显存那么重要吗

我輩樹である 发表于 2023-8-9 11:16

都叫rtx ws了，主要还是来搞3d内容创作的。llm只是顺带的性能。

lh0ngfu 发表于 2023-8-9 13:50

这个机箱好像 Boxx 的那个机箱
https://techgage.com/wp-content/uploads/2016/07/BOXX-APEXX-4-Workstation-PC-Internals.jpg

linchen0950 发表于 2023-8-9 14:27

图里这台是boxx么

chenwen834 发表于 2023-8-9 14:50

CPU是啥？ 牙膏？农企？ 还是自己的Grace

g7muik 发表于 2023-8-10 00:09

现在dell的7960联想最新的系列都支持4卡吧，不过显存还是不太够

ydjj 发表于 2023-8-10 00:50

chenwen834 发表于 2023-8-9 14:50
CPU是啥？ 牙膏？农企？ 还是自己的Grace

页: [1]
查看完整版本: 英伟达一套一站式解决方案 —— RTX Workstation