搞AI的话同样价格是3060 12Gx2好还是4060Ti 16G好？
研究生组里面想搞自然语言处理，大语言模型（仅推理不训练）等等。现在1万每台的预算，要N卡还是大显存显卡 只能是3060 12Gx2（￥3400）或者4060Ti 16G（￥3500）
因为要正规渠道且开发票所以2080Ti 22G或者P40那些是肯定不行。
所以就想问下搞过AI的，两张3060G看似22G显存性价比很高，有没有什么坑，比如双卡兼容性或者不支持双卡等等
4060Ti的话最省事，而且单卡不挑机箱电源，但是就怕16G显存不够用
请大佬们解答 3060 12Gx2（￥3400）或者4060Ti 16G都不合适，2080Ti 22G最合适，或者上3090ti，上淘宝买发票跟店家商量，加钱一般能搞定
你两张3060，不能连nvlink显存又不能叠加 之前看评测,搞ai
4070ti性价比最高 fengpc 发表于 2023-9-18 16:45
3060 12Gx2（￥3400）或者4060Ti 16G都不合适，2080Ti 22G最合适，或者上3090ti，上淘宝买发票跟店家商量， ...
稳定性最重要，这种手工焊。。。还是算了吧，看b站维修哥也有当时烤鸡没问题，过段时间脱焊 fengpc 发表于 2023-9-18 16:45
3060 12Gx2（￥3400）或者4060Ti 16G都不合适，2080Ti 22G最合适，或者上3090ti，上淘宝买发票跟店家商量， ...
Pytorch跑东西的时候不能使用全部显存嘛？我看很多多卡都不是NVLINK 有些地方可以开2080ti 22g发票。 airbeta 发表于 2023-9-18 16:54
之前看评测,搞ai
4070ti性价比最高
显存不足 yin19991999 发表于 2023-9-18 16:57
稳定性最重要，这种手工焊。。。还是算了吧，看b站维修哥也有当时烤鸡没问题，过段时间脱焊 ...
那加预算上4090，这点预算又要前怕狼后怕虎，3060、4060/16G都会遇到显存不足的问题。
我现在是办公室能走经费的上a100，自己家里又要兼顾两头的又得自己掏钱的就用2080ti 22G。 robles 发表于 2023-9-18 17:16
那加预算上4090，这点预算又要前怕狼后怕虎，3060、4060/16G都会遇到显存不足的问题。
我现在是办公室能 ...
学校采购买手工焊2080ti肯定不行，就只能3060 4060ti这样选呢 vLLM框架 分布式推理性能不是很好，单卡大显存或是NVLINK才行
搞LLM还是上专业一点的卡吧，我们原先推理用的4090，参数量上去后，只能换了A40
想要性价比可以考虑3090 24G NVLINK 本帖最后由 kartanus 于 2023-9-18 17:31 编辑
我提供个曲线救国的[傻笑]
比如你现在需要采购20台，每台1w就是20w预算对吧
1、单机预算提高到2w，上3090/4090这类当下最好的民用显卡，搞5台=花掉10w
2、剩下的10w直接租云端机器，按分钟计费
台式机放实验室，校园内网远程连接认证，学生谁需要用就远程，相当于20人共用5台学习研究(甚至你可以搞搞虚拟化，直接1台机器分配4个实验组，显卡虚拟化github上有破解支持的)；有生产需求(生产=可以给导师赚钱了)，直接云端跑就完了，ROI超不过云端综合费用XX倍的就继续实验室台式机研究去。
进阶的本地台式机数量增加到10台，但是只有2台性能强，可以直接预生产；8台3060水平的学习调试，然后剩下的云端租嘛，本质上就是你手里的硬件一天发挥不出价值就是在亏钱，学生又不是7*24再用电脑，完全可以划分出时段。 正儿八经的采购
上不起4090的情况下 还是建议 3090/90Ti 24G 4000Ada不行么？ robles 发表于 2023-9-18 17:16
那加预算上4090，这点预算又要前怕狼后怕虎，3060、4060/16G都会遇到显存不足的问题。
我现在是办公室能 ...
我看网上关于深度学习装机都说多卡显存在深度学习中可以像叠加那样用（不是字面意思上的叠加）。换到大语言模型这边，它是不能“叠加”了嘛？ 省事第一，4060ti 16g，效果不好就说预算所限 yin19991999 发表于 2023-9-18 16:57
稳定性最重要，这种手工焊。。。还是算了吧，看b站维修哥也有当时烤鸡没问题，过段时间脱焊 ...
只要PCB提前烤够时间，显存不用拆机的就没事，再说这种高速高密度的显存颗粒拆机本来就少见，批量换BGA都是上返修台的，这么大的板子底部不加热只是手动拿风枪换很容易搞坏PCB
你30系的卡现在默认都是矿，而且3060 12G版本不到两千块钱的大概率是laptop版，矿本拆机搬到新PCB的 1014982466 发表于 2023-9-18 17:06
Pytorch跑东西的时候不能使用全部显存嘛？我看很多多卡都不是NVLINK
你要看训练什么模型啊，普通的CNN和transformer模型用多卡凑成大batch size跑是没问题，比单个大显存的卡稍微差别一丢丢，差不多没问题
如果是大语言模型，单卡显存就算量化成低精也塞不下一个模型的话，压根跑不起来，单卡24G和双卡12Gx2完全是两回事，要多卡合并显存需要用tesla/quadro卡连nvlink 1014982466 发表于 2023-9-18 19:33
我看网上关于深度学习装机都说多卡显存在深度学习中可以像叠加那样用（不是字面意思上的叠加）。换到大语 ...
有一些办法可以一定程度降低显存重要性，但是如果你显存够，你就不用费脑汁去考虑这种没用的事情了。 搞LLM的话，24G起步吧，再往下就没必要考虑了。16G听上去挺大的，问题是搞AI的基本就是8G/11G/24G这三档卡着，你16G也不会带来质的提升的。其实我赞同楼上的A40方案，准确的说应该是A40/L40/L40s 48G。24G的上限还是太低，到最后就变成用deepspeed那种分布式训练直接把数据offload到内存/nvme上面顶着
nvlink的 ”显存叠加“ 我一直都觉得是以讹传讹。最开始大家想要的是无感使用，好比说你买了两张RTX6000 24GB，然后你开了“显存共享” 以后就拥有了一张 ”RTX5000 48GB“，也就是说花了2张卡的钱买到了1张卡的算力和1+1张卡的显存。好处就是你的软件可以直接用，不需要改软件。
现在主流的训练框架可以让你在Data/Model/Tensor Parallel自己定义，先把模型/数据切分到能放进一张卡的大小，然后再进行汇总计算。NVLINK最大的好处就是通信速度比一般的P2P/内存通信要快很多，少一个短板。 抛开AI问题，单论能跑AI的显卡而言目前适配度最高的是4060.
4060有8g和16G ，4060 Ti 是 AD106、RTX 4060 是 AD107。
4060 不带Ti 2000元/4060ti 2800元/4060ti 16G 3300元 /// 4060 AI单元96个 RT单元34个 4060tiAI单元136个 RT单元24个
论性价比来说2000的4060 8G 是目前能HDMI2.1/AVI/DLSS3/光追/第四代AI 价格最低的了。
抛开兼容适配度A750 8G显卡 1300元算是持平4060. 确认用的软件支持intel显卡的前提选择ARC的一代卡是不错选择。
如需自行训练AI显存目前低价位最高就是16G的A770显卡。
游戏和视频AI目前都是套模，需要考虑intel显卡是否兼容。毕竟能用和不能用还是有差别，就像训练和建模需要24G以上。训练和建模可以花钱代跑，只要软件支持intel就选A750.不支持就4060或4090. 才1万块钱的预算，买个笔记本送导师小孩玩游戏吧[偷笑]干这行的3090x2起 yin19991999 发表于 2023-9-18 16:57
稳定性最重要，这种手工焊。。。还是算了吧，看b站维修哥也有当时烤鸡没问题，过段时间脱焊 ...
这个经费咱就别谈稳定性了，不放心就上V100吧 只要钱到位发票不是问题。
页:
[1]