Chiphell - 分享与交流用户体验

标题: ［ai应用3］单卡可跑的语言模型，100x速度 [打印本页]
作者: T.JOHN    时间: 2023-2-21 22:05
标题: ［ai应用3］单卡可跑的语言模型，100x速度
本帖最后由 T.JOHN 于 2023-2-22 09:21 编辑

项目flexgen：

地址：https://github.com/FMInference/FlexGen 斯坦福 伯克利 meta (facebook) 联合发布

标题：Running large language models like OPT-175B/g p t-3 on a single GPU. Up to 100x faster than other offloading systems.

在单个gpu上运行大型语言模型，类似opt-175b/g p t-3，相比其他卸载系统有高达100x速度提升

论文：

地址：https://github.com/FMInference/FlexGen/blob/main/docs/paper.pdf


目测10个联合署名的7个应该是华人

运行硬件：
测试平台：Hardware: an NVIDIA T4 (16GB) instance on GCP with 208GB of DRAM and 1.5TB of SSD.

gcp上一块16gb t4，208gb内存，1.5tb ssd。我没仔细看内存是不是要吃那么多，回头试了再说

12小时直接2.3k star，这速度基本超级爆炸了

相比纸片人老婆，你可以打造真正的soulmate waifu

目前只能在16GB以上显存跑，仅有的消费级N卡是3090/4080/4090。可见老黄未雨绸缪，刀法精准，80ti 12gb实在太有远见。显存或者内存不足有解决方案，参考github


以下为g p t3的数据量，中文文章仅29万篇，英文2亿3千篇。可见中文训练还大有可为！
languagenumber of documentspercentage of total documents
en
235987420
93.69%
de
3014597
1.20%
fr
2568341
1.02%
pt
1608428
0.64%
it
1456350
0.58%
es
1284045
0.51%
nl
934788
0.37%
pl
632959
0.25%
ja
619582
0.25%
da
396477
0.16%
no
379239
0.15%
ro
320256
0.13%
fi
315228
0.13%
zh
292976
0.12%
ru
289121
0.11%
cs
243802
0.10%
sv
161516
0.06%
hu
149584
0.06%
zh-Hant
107588
0.04%

目前的结果是英语训练完以后，模型同样能理解其他语言，开发人员不知道为啥。

参考：
文章数量 https://github.com/openai/**-3/b ... _document_count.csv
Jan Leike蓝鸟：https://twitter.com/janleike/status/1625207251630960640
作者: iooo    时间: 2023-2-21 22:27
试试消费级的卡呢，别出个凤Jie就行
作者: gmlee1999    时间: 2023-2-21 23:40
这玩意咋玩的？
作者: 我輩樹である    时间: 2023-2-22 00:56
刚出来的，单卡跑**3等级的模型。
作者: 碌木    时间: 2023-2-22 05:54
我輩樹である 发表于 2023-2-22 00:56
刚出来的，单卡跑**3等级的模型。

被屏了啥
作者: SheetLorde    时间: 2023-2-22 06:51
3090要涨价！
作者: T.JOHN    时间: 2023-2-22 07:02
碌木 发表于 2023-2-22 05:54
被屏了啥

g p t 三个字母连续起来变星号
作者: T.JOHN    时间: 2023-2-22 07:02
SheetLorde 发表于 2023-2-22 06:51
3090要涨价！

我4080不服
作者: mypchas6fans    时间: 2023-2-22 09:06
mark，最近传说在封g-p-t，所以这是可以自建一个简易版了对吧
作者: 叶子烟    时间: 2023-2-22 09:10
狂牛疯牛生不逢时
作者: T.JOHN    时间: 2023-2-22 09:12
叶子烟 发表于 2023-2-22 09:10
狂牛疯牛生不逢时

以后绝对不会再有狂牛版本了，你没看之前3070 16gb es被取消了么？老黄显然有部分是出于限制ai应用的考虑。过去你们嫌弃我黄狂牛卡，现在我黄直接不给了
作者: T.JOHN    时间: 2023-2-22 09:14
mypchas6fans 发表于 2023-2-22 09:06
mark，最近传说在封g-p-t，所以这是可以自建一个简易版了对吧

格局低了，什么简易版？你这就是自主研发，独立可控的xxx语言模型
作者: fairness    时间: 2023-2-22 13:22
T.JOHN 发表于 2023-2-22 09:12
以后绝对不会再有狂牛版本了，你没看之前3070 16gb es被取消了么？老黄显然有部分是出于限制ai应用的考虑 ...

别太在乎显存大小，有解决方案的。
作者: YsHaNg    时间: 2023-2-23 20:21
碌木 发表于 2023-2-21 21:54
被屏了啥

Generative pre trained transformers
作者: YsHaNg    时间: 2023-2-23 20:24
补一个新鲜出炉amazon家的 吹自己百分之一的参数量做到准确率更高 要超越openai的
作者: YsHaNg    时间: 2023-2-23 20:25
https://github.com/amazon-science/mm-cot



欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/) Powered by Discuz! X3.5