[分享]RTX A6000 fp16性能 和bf16性能 《补交测试数据》

我輩樹である

是微调吧，主要是看你基于的模型的量化程度。一般一个预训练大语言模型都会发布多个量化的版本，即使没有别人也会帮他量化。如果基于fp16的量化版本，就可以用fp16微调。很多llm甚至有4bit的模型。

我輩樹である

godspeed66 发表于 2023-7-10 19:00
是的

已经单卡在跑了，预计要跑18万条数据，时间不能容忍，18天才能跑一个epoch

这个取决于代码如何写的，但另外的帖子里面你说你用的deepspeed，现代一点的框架都能利用tensor core，你只需要关注tensor的性能就行了。

我輩樹である

另外文本类的transformer模型是相对density的模型，所以sparse性能肯定是达不到标称的值。

我輩樹である

godspeed66 发表于 2023-7-11 14:17
呀呀 算错了  忘了还有sparsity

根据nvidia的官方材料

根据squeezellm的最新研究成果，llm可以提高到稀疏度0.45%。稀疏性能仅用于可以压缩的部分。

我輩樹である

https://huggingface.co/meta-llama

llama2出了，楼主可以试试。