［ai应用3］单卡可跑的语言模型，100x速度
本帖最后由 T.JOHN 于 2023-2-22 09:21 编辑项目flexgen：
地址：https://github.com/FMInference/FlexGen 斯坦福 伯克利 meta (facebook) 联合发布
标题：Running large language models like OPT-175B/g p t-3 on a single GPU. Up to 100x faster than other offloading systems.
在单个gpu上运行大型语言模型，类似opt-175b/g p t-3，相比其他卸载系统有高达100x速度提升
论文：
地址：https://github.com/FMInference/FlexGen/blob/main/docs/paper.pdf
https://img.kolbb.com/images/2023/02/21/paper.png
目测10个联合署名的7个应该是华人
运行硬件：
测试平台：Hardware: an NVIDIA T4 (16GB) instance on GCP with 208GB of DRAM and 1.5TB of SSD.
gcp上一块16gb t4，208gb内存，1.5tb ssd。我没仔细看内存是不是要吃那么多，回头试了再说
12小时直接2.3k star，这速度基本超级爆炸了
相比纸片人老婆，你可以打造真正的soulmate waifu[偷笑]
目前只能在16GB以上显存跑，仅有的消费级N卡是3090/4080/4090。可见老黄未雨绸缪，刀法精准，80ti 12gb实在太有远见。显存或者内存不足有解决方案，参考github
static/image/hrline/3.gif
以下为g p t3的数据量，中文文章仅29万篇，英文2亿3千篇。可见中文训练还大有可为！
languagenumber of documentspercentage of total documents
en23598742093.69%
de30145971.20%
fr25683411.02%
pt16084280.64%
it14563500.58%
es12840450.51%
nl9347880.37%
pl6329590.25%
ja6195820.25%
da3964770.16%
no3792390.15%
ro3202560.13%
fi3152280.13%
zh2929760.12%
ru2891210.11%
cs2438020.10%
sv1615160.06%
hu1495840.06%
zh-Hant1075880.04%
目前的结果是英语训练完以后，模型同样能理解其他语言，开发人员不知道为啥。
https://img.kolbb.com/images/2023/02/21/twitter.png
参考：
文章数量 https://github.com/openai/**-3/b ... _document_count.csv
Jan Leike蓝鸟：https://twitter.com/janleike/status/1625207251630960640 试试消费级的卡呢，别出个凤Jie就行[狂笑] 这玩意咋玩的？ 刚出来的，单卡跑**3等级的模型。 我輩樹である 发表于 2023-2-22 00:56
刚出来的，单卡跑**3等级的模型。
被屏了啥 3090要涨价！ 碌木 发表于 2023-2-22 05:54
被屏了啥
g p t 三个字母连续起来变星号 SheetLorde 发表于 2023-2-22 06:51
3090要涨价！
我4080不服[怪脸] mark，最近传说在封g-p-t，所以这是可以自建一个简易版了对吧 狂牛疯牛生不逢时 叶子烟 发表于 2023-2-22 09:10
狂牛疯牛生不逢时
以后绝对不会再有狂牛版本了，你没看之前3070 16gb es被取消了么？老黄显然有部分是出于限制ai应用的考虑。过去你们嫌弃我黄狂牛卡，现在我黄直接不给了[狂笑] mypchas6fans 发表于 2023-2-22 09:06
mark，最近传说在封g-p-t，所以这是可以自建一个简易版了对吧
格局低了，什么简易版？你这就是自主研发，独立可控的xxx语言模型 T.JOHN 发表于 2023-2-22 09:12
以后绝对不会再有狂牛版本了，你没看之前3070 16gb es被取消了么？老黄显然有部分是出于限制ai应用的考虑 ...
别太在乎显存大小，有解决方案的。 碌木 发表于 2023-2-21 21:54
被屏了啥
Generative pre trained transformers 补一个新鲜出炉amazon家的 吹自己百分之一的参数量做到准确率更高 要超越openai的 https://github.com/amazon-science/mm-cot
页:
[1]