4070tis和4080s选择

hanyou7

土星实验室 发表于 2024-3-14 17:32
12G和16G差别巨大https://www.bilibili.com/video/BV18e411J7Nv/?spm_id_from=333.337.search-card.all.c ...

还没看到4070tis  4080s
的区别

秦南瓜

土星实验室 发表于 2024-3-14 17:32
12G和16G差别巨大https://www.bilibili.com/video/BV18e411J7Nv/?spm_id_from=333.337.search-card.all.c ...

我说的是4070ti s呀
ai 和4080s无区别。

ltx

推理还是训练？训练的话16G也只能微调小模型。如果是刚入门学习建议弄个4060 16G+核显，这卡是目前AI入门性价比最高的卡。16G显存基本可以推理绝大部分7B模型，用核显是因为系统会占用一部分显存(300m-1G)。有些模型会加载其它模块刚好用满甚至超出16xxxMB显存，这个时候显存不够要么挂了要么借内存用速度暴降。

KN_Monster

炼模型肯定4090啊
你这个问题我前阵子纠结过，后面选择了4070ti super ad oc。

raiya

训练chat类语言模型大模型16G不够用，24G都不够，lora么不差这么点性能。
训练画图模型的话，大模型你素材不够， 或者问题都出在素材上，lora的话不差这么点性能。
训练换脸之类的，速度差距差不多就是你看到的性能差距，不过因为过程长，结果判断主观，所以从数字上看的差距，在结果上体现的不敏感。显存倒是明确影响参数大小。

画图的使用，速度差距还是有的。但是画图的问题不在这个速度上，而在怎么用上。

总的来说，性能带来的速度差距还是明显的，否则24G的tesla老卡也不会就只值800块钱了。但是么这个速度差距，是一种可以被主观意识影响的程度。

旋风

我选便宜的那个

hanyou7

raiya 发表于 2024-3-14 18:36
训练chat类语言模型大模型16G不够用，24G都不够，lora么不差这么点性能。
训练画图模型的话，大模型你素材 ...

感谢大佬。。。

hanyou7

KN_Monster 发表于 2024-3-14 18:24
炼模型肯定4090啊
你这个问题我前阵子纠结过，后面选择了4070ti super ad oc。

感谢大佬。。。

hanyou7

ltx 发表于 2024-3-14 18:20
推理还是训练？训练的话16G也只能微调小模型。如果是刚入门学习建议弄个4060 16G+核显，这卡是目前AI入门性 ...

那其实二手3090才是最划算的

ltx

hanyou7 发表于 2024-3-14 18:52
那其实二手3090才是最划算的

能接受二手的话4*2080TI 22G 4*3090性价比也不错。至于老一代的卡比如p100 v100已经不被新的算法支持了比如flashattention，所以不建议购买

blackbeardever

预算不足的话，我选映众4070ts曜夜/映雪，大概是目前40系卡里仅有的双槽不越肩性能最强的卡，其它三槽三风扇的丐版看着就没兴趣，又不是4090你做那么大干嘛？

hanyou7

ltx 发表于 2024-3-14 19:08
能接受二手的话4*2080TI 22G 4*3090性价比也不错。至于老一代的卡比如p100 v100已经不被新的算法支持了比 ...

现在的3090 矿有点多 不敢下手

hanyou7

blackbeardever 发表于 2024-3-14 19:10
预算不足的话，我选映众4070ts曜夜/映雪，大概是目前40系卡里仅有的双槽不越肩性能最强的卡，其它三槽三风 ...

多谢大佬 我去瞅瞅

fut888

语言识别加翻译同时操作必须24g显存，黄皮全靠显存赚钱，cuda倒并不是太重要，所以预算不足4060ti也可以

raiya

hanyou7 发表于 2024-3-14 18:52
那其实二手3090才是最划算的

所谓的二手卡的性价比是薛定谔的，这个风险你要自己承担。

hanyou7

cloudybeyond 发表于 2024-3-14 15:32
首先你这干活有回报么，有金钱或其他重要回报 直接4090

只是自己研究玩玩，或不能报销的研究，才考虑4080s ...

目前没有回报 研究好了 买A100

有福之州

这两个跑topaz ai咋样？