RTX5090D测试跑完了，跑AI的天塌了

fengpc

testcb00 发表于 2025-1-18 19:44
ECC模式啊 科研必须用ECC

以前的科研超算是跑双精度，数据不能错所以要ECC。现在跑深度学习的，特别是transformer模型FP8、FP4这么低的精度都能用，有丁点数据错误对结果不影响的，而且GDDR5、GDDR6、GDDR7显存本来就有EDC，最容易出错的传输环节已经是带纠错的

fengpc

xjr12000 发表于 2025-1-18 19:38
4090我估计最少7成都在跑算力用，真正用它打游戏，并且即使不打游戏了还留着不卖的，我估计很少
4090发布半 ...

如果是FP8、FP16精度训练LLM，砍tensor core对性能影响比较大。如果是用FP32全精度训练就没什么影响，FP32是用shader核心跑的。我们公司买4090D跑训练，速度就比30系快得多，不是训练LLM，就是一些CNN和transformer结合的模型，FP16训练超参调不好就容易炸，都是用FP32在训练。FP32训练尽管开就行，FP16就得时常盯着，炸了就得调学习率从异常位置再开始