xhs上看到的，改了涡轮的4090显卡

lalabangbang

发布时间为17号当天，数量为150张

lalabangbang

有大神看得出是成品卡还是改的吗？

zcyandrew

大概率某寨厂不知道从哪搞来的一批核心自己弄的，没见过这么长的4090 PCB
而且这东西也挺怪的，正经服务器gpu都是单8pin供电，没有12pin的

lalabangbang

zcyandrew 发表于 2023-11-23 08:02
大概率某寨厂不知道从哪搞来的一批核心自己弄的，没见过这么长的4090 PCB
而且这东西也挺怪的，正经服务器g ...

核心肯定就是咸鱼收的二手拆的啊，结合之前有位兄弟发的，咸鱼目前大量拆了核心的料板和散热器出售，供电我估计是为了方便集中，所以也改了，不得不说改造力强大

zcyandrew

lalabangbang 发表于 2023-11-23 08:13
核心肯定就是咸鱼收的二手拆的啊，结合之前有位兄弟发的，咸鱼目前大量拆了核心的料板和散热器出售，供电 ...

理论上来说模型的大小受单卡24g影响，多片4090相比只能够让模型训练的更快，无法训练和推理更大的模型，我还是没理解企业在现在这个时间点大批量买4090炼丹意义何在

lalabangbang

zcyandrew 发表于 2023-11-23 08:31
理论上来说模型的大小受单卡24g影响，多片4090相比只能够让模型训练的更快，无法训练和推理更大的模型， ...

之前传闻说是一些科研院所需要，包括一些运营AI的公司，具体我们局外人也不知，目前4090就是企业和公司在收购，个人用户几乎完全没有接盘的了

盐湖

zcyandrew 发表于 2023-11-23 08:02
大概率某寨厂不知道从哪搞来的一批核心自己弄的，没见过这么长的4090 PCB
而且这东西也挺怪的，正经服务器g ...

正经4090涡轮也是尾出12pin，6000ada也是尾出12pin，时代变了

星辰柯博文

渲染和AI公司大量收4090涡轮卡

liu88665432

星辰柯博文 发表于 2023-11-23 09:07
渲染和AI公司大量收4090涡轮卡

请问为啥是涡轮卡呀？改了之后体积小么？

gladiator

liu88665432 发表于 2023-11-23 09:19
请问为啥是涡轮卡呀？改了之后体积小么？

服务器的风道和体积限制只能用涡轮卡

ITNewTyper

感觉 4090 还会涨 ，貌似 国内4090 数量有限，除非国外进来。

momo77989724

liu88665432 发表于 2023-11-23 09:19
请问为啥是涡轮卡呀？改了之后体积小么？

小  可以塞进2U 服务器机箱   最大利用机房面积

数据中心最贵的是机位  
怎么最大化在相同面积下 堆出最大算力和存储 一直是各大服务器厂商的新产品发展方向  

一旦某个卡紧张  最贵的肯定是涡轮  之前3090也是收回去改涡轮的  人家不在乎你的皮  只要你的心  本质上核心科技 就是中间那块晶片  其他都可以丢

外皮也就忽悠忽悠零售的  一个个溢价起飞   在人家老板眼里一文不值。

q3again0605

zcyandrew 发表于 2023-11-23 08:31
理论上来说模型的大小受单卡24g影响，多片4090相比只能够让模型训练的更快，无法训练和推理更大的模型， ...

不对，可以的，40b的模型分割到2张24g的卡当然可以，只是单pcie不如有pcie之间数据交换的卡，有pcie互联数据交换的不如nvlink，nvlink不如大显存单卡。带宽。

Johnoldman

这贴涨知识了

liu88665432

momo77989724 发表于 2023-11-23 09:30
小  可以塞进2U 服务器机箱   最大利用机房面积

数据中心最贵的是机位  

原来如此，谢谢

atiufo

看了最近nv的财报，只能说逆天，通吃这一波ai风潮

terryhux

zcyandrew 发表于 2023-11-23 08:31
理论上来说模型的大小受单卡24g影响，多片4090相比只能够让模型训练的更快，无法训练和推理更大的模型， ...

可以跑推理的，我这里8卡3090可以跑186B的大模型

st1860

所有的技术问题都不是问题
不能叠加只针对民用市场（没人给你做，无非慢点

A2305

这是生产的，如果改的话，尾插位置一个在上，服务器尾插在后PCB板也要重新做，成本上去了

至于为啥不贴牌，你们懂的

godspeed66

zcyandrew 发表于 2023-11-23 08:31
理论上来说模型的大小受单卡24g影响，多片4090相比只能够让模型训练的更快，无法训练和推理更大的模型， ...

FlashAttention 可以解决显存不够用的问题

例如cutoff_len=4096只能在48GB显存的显卡上跑，但是可以用FlashAttention，在2张4090 24GB的卡上跑

因此4090在炼丹界已经是神卡了

4090能跑到450W 的TDP（而4090的TDP上限更高），性能远超RTX 6000 ADA@300WTDP 和其他320W、350W TDP的数据中心卡；
例如RTX 6000 ADA在300W 的 TDP上限时，频率仅有900+MHz

kupanda2021

godspeed66 发表于 2023-11-23 12:19
FlashAttention 可以解决显存不够用的问题

例如cutoff_len=4096只能在48GB显存的显卡上跑，但是可以用Fl ...

4090 通信效率太低，

batchsize太大，训练收敛和精度都是问题。

我还没见过2000块以上的4090训练集群，中间状态存储就是大问题，别说还有千卡的通信问题。

pcie gen4 传输4GB数据就得差不多0.3s

4090 显存带宽也小，1t左右，搞tensor并行的话效率也上不去，这玩意就没法搞大模型的训练集群。

下一代算力再长一倍，那900G的nvlink也是瓶颈，或者升级50Gx24口 1200G的nvlink，或者搞GH200那种

统一大内存， 用内存换网络通信

lalabangbang

ITNewTyper 发表于 2023-11-23 09:29
感觉 4090 还会涨 ，貌似 国内4090 数量有限，除非国外进来。

国人已经把国外的基本都扫光了。。。。。。。国外已经涨价，而且老黄已经停了4090生产线

PolyMorph

godspeed66 发表于 2023-11-23 12:19
FlashAttention 可以解决显存不够用的问题

例如cutoff_len=4096只能在48GB显存的显卡上跑，但是可以用Fl ...

4090推理算力没阉割，性价比无敌，training算力只有6000ada 50%水平

weindy

需要算力卡的企业还得感谢这帮人，这魔幻的现实