[显卡] 分享手头三个N卡的AI计算速度对比（个人程序）

发表于 2024-4-8 01:14 | 显示全部楼层

用户发表于 2024-4-8 00:59
AI一般不用double，都是float，bfloat

准确来说.......FP32算是out了
现在基本盘是BF16/FP16
FP8是40系tensor的主流，Blackwell的FP6估计还能提一级
LLM好像可以量化到int4
至于fp64感觉更像是有限元仿真......

GMT+8, 2025-4-30 14:01 , Processed in 0.008980 second(s), 6 queries , Gzip On, Redis On.

账号		自动登录	找回密码
密码			加入我们