xhs上看到的，改了涡轮的4090显卡
发布时间为17号当天，数量为150张有大神看得出是成品卡还是改的吗？ 大概率某寨厂不知道从哪搞来的一批核心自己弄的，没见过这么长的4090 PCB
而且这东西也挺怪的，正经服务器gpu都是单8pin供电，没有12pin的 zcyandrew 发表于 2023-11-23 08:02
大概率某寨厂不知道从哪搞来的一批核心自己弄的，没见过这么长的4090 PCB
而且这东西也挺怪的，正经服务器g ...
核心肯定就是咸鱼收的二手拆的啊，结合之前有位兄弟发的，咸鱼目前大量拆了核心的料板和散热器出售，供电我估计是为了方便集中，所以也改了，不得不说改造力强大 lalabangbang 发表于 2023-11-23 08:13
核心肯定就是咸鱼收的二手拆的啊，结合之前有位兄弟发的，咸鱼目前大量拆了核心的料板和散热器出售，供电 ...
理论上来说模型的大小受单卡24g影响，多片4090相比只能够让模型训练的更快，无法训练和推理更大的模型，我还是没理解企业在现在这个时间点大批量买4090炼丹意义何在 zcyandrew 发表于 2023-11-23 08:31
理论上来说模型的大小受单卡24g影响，多片4090相比只能够让模型训练的更快，无法训练和推理更大的模型， ...
之前传闻说是一些科研院所需要，包括一些运营AI的公司，具体我们局外人也不知，目前4090就是企业和公司在收购，个人用户几乎完全没有接盘的了 zcyandrew 发表于 2023-11-23 08:02
大概率某寨厂不知道从哪搞来的一批核心自己弄的，没见过这么长的4090 PCB
而且这东西也挺怪的，正经服务器g ...
正经4090涡轮也是尾出12pin，6000ada也是尾出12pin，时代变了 渲染和AI公司大量收4090涡轮卡 星辰柯博文 发表于 2023-11-23 09:07
渲染和AI公司大量收4090涡轮卡
请问为啥是涡轮卡呀？改了之后体积小么？ liu88665432 发表于 2023-11-23 09:19
请问为啥是涡轮卡呀？改了之后体积小么？
服务器的风道和体积限制只能用涡轮卡 感觉 4090 还会涨 ，貌似 国内4090 数量有限，除非国外进来。 本帖最后由 momo77989724 于 2023-11-23 09:35 编辑
liu88665432 发表于 2023-11-23 09:19
请问为啥是涡轮卡呀？改了之后体积小么？
小可以塞进2U 服务器机箱 最大利用机房面积
数据中心最贵的是机位
怎么最大化在相同面积下 堆出最大算力和存储 一直是各大服务器厂商的新产品发展方向
一旦某个卡紧张最贵的肯定是涡轮之前3090也是收回去改涡轮的人家不在乎你的皮只要你的心本质上核心科技 就是中间那块晶片其他都可以丢
外皮也就忽悠忽悠零售的一个个溢价起飞 在人家老板眼里一文不值。 zcyandrew 发表于 2023-11-23 08:31
理论上来说模型的大小受单卡24g影响，多片4090相比只能够让模型训练的更快，无法训练和推理更大的模型， ...
不对，可以的，40b的模型分割到2张24g的卡当然可以，只是单pcie不如有pcie之间数据交换的卡，有pcie互联数据交换的不如nvlink，nvlink不如大显存单卡。带宽。 这贴涨知识了 momo77989724 发表于 2023-11-23 09:30
小可以塞进2U 服务器机箱 最大利用机房面积
数据中心最贵的是机位
原来如此，谢谢 看了最近nv的财报，只能说逆天，通吃这一波ai风潮 zcyandrew 发表于 2023-11-23 08:31
理论上来说模型的大小受单卡24g影响，多片4090相比只能够让模型训练的更快，无法训练和推理更大的模型， ...
可以跑推理的，我这里8卡3090可以跑186B的大模型 所有的技术问题都不是问题
不能叠加只针对民用市场（没人给你做，无非慢点 本帖最后由 A2305 于 2023-11-23 12:18 编辑
这是生产的，如果改的话，尾插位置一个在上，服务器尾插在后PCB板也要重新做，成本上去了
至于为啥不贴牌，你们懂的[偷笑] zcyandrew 发表于 2023-11-23 08:31
理论上来说模型的大小受单卡24g影响，多片4090相比只能够让模型训练的更快，无法训练和推理更大的模型， ...
FlashAttention 可以解决显存不够用的问题
例如cutoff_len=4096只能在48GB显存的显卡上跑，但是可以用FlashAttention，在2张4090 24GB的卡上跑
因此4090在炼丹界已经是神卡了
4090能跑到450W 的TDP（而4090的TDP上限更高），性能远超RTX 6000 ADA@300WTDP 和其他320W、350W TDP的数据中心卡；
例如RTX 6000 ADA在300W 的 TDP上限时，频率仅有900+MHz 本帖最后由 kupanda2021 于 2023-11-23 12:58 编辑
godspeed66 发表于 2023-11-23 12:19
FlashAttention 可以解决显存不够用的问题
例如cutoff_len=4096只能在48GB显存的显卡上跑，但是可以用Fl ...
4090 通信效率太低，
batchsize太大，训练收敛和精度都是问题。
我还没见过2000块以上的4090训练集群，中间状态存储就是大问题，别说还有千卡的通信问题。
pcie gen4 传输4GB数据就得差不多0.3s
4090 显存带宽也小，1t左右，搞tensor并行的话效率也上不去，这玩意就没法搞大模型的训练集群。
下一代算力再长一倍，那900G的nvlink也是瓶颈，或者升级50Gx24口 1200G的nvlink，或者搞GH200那种
统一大内存， 用内存换网络通信 ITNewTyper 发表于 2023-11-23 09:29
感觉 4090 还会涨 ，貌似 国内4090 数量有限，除非国外进来。
国人已经把国外的基本都扫光了。。。。。。。国外已经涨价，而且老黄已经停了4090生产线 godspeed66 发表于 2023-11-23 12:19
FlashAttention 可以解决显存不够用的问题
例如cutoff_len=4096只能在48GB显存的显卡上跑，但是可以用Fl ...
4090推理算力没阉割，性价比无敌，training算力只有6000ada 50%水平 需要算力卡的企业还得感谢这帮人，这魔幻的现实[偷笑]
页:
[1]