英伟达扩展数据中心产品组合 GB200 NVL4和H200 NVL PCIe GPU

mnak888

英伟达在SC24超算大会上宣布，进一步拓展旗下数据中心产品线，带来GB200 NVL4和H200 NVL PCIe GPU两款产品。

GB200 NVL4是一种单服务器解决方案，扩展了Blackwell架构产品组合。其在单个主板上集成了四个Blackwell GPU和两个Grace CPU，利用NVLink互连技术实现相互间的通信，配有768GB的HBM3E和960GB的LPDDR5X内存，提供了32TB/s的组合内存带宽，拥有卓越的单服务器系统规格，使其成为要求苛刻的 AI 工作负载的强大动力源。




英伟达表示，GB200 NVL4与GH200 NVL4相比，提供了2.2倍的模拟性能、1.8倍的AI训练性能和1.8倍的AI推理性能。该系统的功耗达到5400W，安装了液冷散热系统，从而提供最佳的性能，预计将进入超大规模客户的服务器机架。

NVIDIA H200 NVL PCIe GPU是Hopper系列的最新成员，非常适合拥有数据中心的客户，适配低功耗、风冷式企业机架的设计，并具有灵活的配置，可为每个AI和HPC工作负载提供加速。根据最新的调查显示，大约70%的企业机架的功率为20kW及以下，并采用风冷散热，这使得PCIe GPU变得至关重要。



NVIDIA H200 NVL PCIe GPU为双槽厚度，TDP为600W，低于H200 SXM的700W，同时INT8 Tensor Core算力也相应降低，下降的幅度约为15.6% ，不过仍然支持双路或四路的900GB/s NVLink互联。相比于H100 NVL，新产品的显存是其1.5倍，带宽也达到了1.2倍，并拥有1.7倍的AI推理性能，在HPC应用中性能也高出了30%。

新闻来源 https://www.expreview.com/96884.html

aibo

据说这玩意儿热炸了

正义的大宝剑

aibo 发表于 2024-11-19 23:52
据说这玩意儿热炸了

数据中心应用场景的，又不是家用，再热，只要是正规数据中心，也能扛住

jeff.kwan

正义的大宝剑 发表于 2024-11-20 08:26
数据中心应用场景的，又不是家用，再热，只要是正规数据中心，也能扛住 ...

就算不正规的机房，只要冷气够力，还是能抗个几年

正义的大宝剑

jeff.kwan 发表于 2024-11-20 10:37
就算不正规的机房，只要冷气够力，还是能抗个几年

那得看设备冗余和运营能力了毕竟正规机房也有摆烂的运营

aibo

正义的大宝剑 发表于 2024-11-20 08:26
数据中心应用场景的，又不是家用，再热，只要是正规数据中心，也能扛住 ...

现在的问题据说就是机柜的散热扛不住。。。

在重新优化

https://www.techpowerup.com/3289 ... verheating-problems

beowulf

正义的大宝剑 发表于 2024-11-20 08:26
数据中心应用场景的，又不是家用，再热，只要是正规数据中心，也能扛住 ...

快热炸了，这些玩意已经接近目前水冷的极限了。

正义的大宝剑

aibo 发表于 2024-11-20 12:14
现在的问题据说就是机柜的散热扛不住。。。

在重新优化

普通风冷机柜肯定扛不住，得上液冷

正义的大宝剑

beowulf 发表于 2024-11-20 13:03
快热炸了，这些玩意已经接近目前水冷的极限了。

没有啊，液冷单机柜48KW-100KW都可以做的。难不成是设备内部的散热结构有问题？

宁死不屈cosmo

aibo 发表于 2024-11-19 23:52
据说这玩意儿热炸了

哈哈，B200这波太仓促了

dazhe

已经水冷了

就爱TJ

正义的大宝剑 发表于 2024-11-20 14:42
没有啊，液冷单机柜48KW-100KW都可以做的。难不成是设备内部的散热结构有问题？ ...

问题是这玩意单机柜120kW

beowulf

正义的大宝剑 发表于 2024-11-20 14:42
没有啊，液冷单机柜48KW-100KW都可以做的。难不成是设备内部的散热结构有问题？ ...

水冷据说单个芯片差不多可以吃1500W，这玩意单个gpu已经1200W了。
另外单机柜100KW其实压力蛮大的，各大厂商也算是刚准备好，英伟达直接
就推到上限了。

正义的大宝剑

就爱TJ 发表于 2024-11-21 13:49
问题是这玩意单机柜120kW

我艹，那我这边落地的风冷+液冷方案也扛不住

赫敏

beowulf 发表于 2024-11-21 01:06
水冷据说单个芯片差不多可以吃1500W，这玩意单个gpu已经1200W了。
另外单机柜100KW其实压力蛮大的，各大 ...

4GPU+2CPU总共5400w，怎么可能单GPU就1500w

我輩樹である

aibo 发表于 2024-11-19 23:52
据说这玩意儿热炸了

想给它算算容积率了。

beowulf

赫敏 发表于 2024-11-23 15:42
4GPU+2CPU总共5400w，怎么可能单GPU就1500w

1200接近1500，没问题吧？