zhuifeng88 发表于 2023-4-20 12:31

fkpwolf 发表于 2023-4-20 12:17
https://docs.nvidia.com/deeplearning/transformer-engine/user-guide/installation.html#prerequisites

...

这个只是库, 只有在hopper上才会用fp8专用单元加速, 在其他gpu上是软件优化
"Transformer Engine (TE) is a library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit floating point (FP8) precision on Hopper GPUs"

gtv 发表于 2023-4-20 15:01

代码库方便share吗？我这边有硬件，也想测测看

我輩樹である 发表于 2023-4-20 15:39

今天更新了cuda 12.1 release 1，根据nv开发者的信息transformer engine应该可以正常运作了。

https://github.com/NVIDIA/TransformerEngine/issues/15#issuecomment-1515703357
页: 1 2 [3]
查看完整版本: 买40系的理由越来越少了。