Chiphell - 分享与交流用户体验

标题: 英伟达推出H100 NVL 双GPU的AI加速器，针对大语言模型训练设计 [打印本页]

作者: mnak888 时间: 2023-3-23 21:03
标题: 英伟达推出H100 NVL 双GPU的AI加速器，针对大语言模型训练设计

英伟达宣布，针对大型语言模型训练（LLM）设计，推出全新的H100 NVL计算加速卡。其搭载了两个基于Hopper架构的H100芯片，顶部配备了三个NVLink连接器，在服务器里使用了两个相邻的PCIe全长插槽。

英伟达去年就推出了H100，拥有800亿个晶体管，相比上一代的A100，有着六倍的性能提升以及两倍的MMA改进。其采用了CoWoS 2.5D晶圆级封装，单芯片设计，以台积电（TSMC）为英伟达量身定制的4N工艺制造。这次双GPU版本除了更高的计算性能，更大的显存容量也是其优势之一，提供了188GB的HBM3显存。

(, 下载次数: 57)

H100 NVL计算加速卡的FP64计算性能为134 teraFLOPS，TF32计算性能为1979 teraFLOPS，FP8计算性能为7916 teraFLOPS，INT8计算性能为7916 teraFLOPS，是H100 SXM的两倍。其具有完整的6144位显存接口（每个HBM3堆栈为1024位），显存速率可达5.1Gbps，意味着最大吞吐量为7.8TB/s，是H100 SM3的两倍多。由于大型语言模型训练需要更大的缓冲区和更高的带宽，所以更大的显存肯定会对运算有所影响。

据了解，H100 NVL计算加速卡的功耗略高于H100 PCIe（350W）的两倍或以上，在700W至800W之间。英伟达计划在今年下半年推出H100 NVL计算加速卡，不过暂时没有进一步提供任何的细节。

新闻来源：https://www.expreview.com/87473.html

作者: 邪恶的光B 时间: 2023-3-24 01:09
不让买的东西，就当他不存在了。

作者: vistacoming 时间: 2023-3-24 06:22
略高于H100 PCIe（350W）的两倍或以上，在700W至800W之间
这个略字用得有点

作者: beowulf 时间: 2023-3-24 10:02

邪恶的光B 发表于 2023-3-24 01:09
不让买的东西，就当他不存在了。

据wccftech说有H800。

作者: aibo 时间: 2023-3-24 10:20
然后显存硬生生割了2G留下94G，刀工是厉害的

作者: Laferrari 时间: 2023-3-24 14:22

beowulf 发表于 2023-3-24 10:02
据wccftech说有H800。

H800是H100阉割版

作者: beowulf 时间: 2023-3-24 16:10

Laferrari 发表于 2023-3-24 14:22
H800是H100阉割版

跟a800类似，割了一部分nvlink而已。

作者: o尐懶魚〇 时间: 2023-3-29 15:38

beowulf 发表于 2023-3-24 16:10
跟a800类似，割了一部分nvlink而已。

双精度也割了，而且割废了

作者: imluvian 时间: 2023-4-3 18:41

o尐懶魚〇发表于 2023-3-29 15:38
双精度也割了，而且割废了

砍了10%多一点而已，不至于叫割废了。。

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)