50系AI TOPS值高，4090能改48G显存，那么问题来了：跑AI更倾向于哪个？
本帖最后由 nekotheo 于 2025-1-7 12:37 编辑[偷笑]
单从AI TOPS的数值上看，5070Ti已经超过4090且价格低了很多，但显存只有16GB，5080也是同样如此
4090还能改48G
那么问题来了：
跑AI更倾向于哪个？ 5090真实算力是3352/2/1321=127% 4090 llwin 发表于 2025-1-7 12:49
5090真实算力是3352/2/1321=127% 4090
正解，50系放的算力是int4 40系放的算力是int8故50系要除以2才能对上实际算力。 毫无疑问是4090 48G,显存多少决定你模型跑不跑得起来,至于算力只影响速度 那么4090现在改48G要多少钱？使用后稳定性如何？谁知道？ 只能说你压根没看明白ai tops这个指标背后是怎么来的 Fp4你要用得上前提是 gmlee1999 发表于 2025-1-7 12:51
那么4090现在改48G要多少钱？使用后稳定性如何？谁知道？
2w4可开票，涡轮。搬核心技术非常成熟 转一下在隔壁贴的回复
wjm47196 发表于 2025-1-7 12:57
能改但是没人要。。。其实我也觉得很奇怪，又不差那点性能
因为技术还没流出吧，只有改好的批量卖，不像 2080 Ti 22G 一样可以拿自己的卡去改
对于大批量采购算力的企业用户来说，4090 一般都是用来推理，推理的话 24G 大部分时候已经足够了，正规一点的算力中心也不会去买魔改卡，何况政府出资的都有信创的要求，我认为这一端对 4090 48G 的需求其实是高估了的
个人用户倒是有用4090训练的需求，但是4090毕竟是五位数价格的东西，我已经有卡了再加点钱改一下倒还行，让我一次性出两万多买张随时会BOOM的魔改卡大部分人还是要打退堂鼓的
2080 Ti 22G 受欢迎是因为便宜，三千块，就当买个玩具了，坏了算自己倒霉 5090改64G[狂笑] gsy111 发表于 2025-1-7 13:20
5090改64G
pass，暂时技术未攻克[偷笑] 肯定是48G呀
还有不少用 Mac Mini 来跑，图它的64G呢 平安是福 发表于 2025-1-7 12:50
正解，50系放的算力是int4 40系放的算力是int8故50系要除以2才能对上实际算力。 ...
我就说怎么提升这么大，搞半天 5080 AI还比不过4090。这算下来5080的 TPP只有3600，跟禁售差远了 neavo 发表于 2025-1-7 13:18
转一下在隔壁贴的回复
我也搬一下回复，24g勉强够，但是谁也不保证下一个模型就能装，但凡能用到48的，要不就花7w买ada6000，要不就是3w的这个，那么同样的钱买两片半这个不香嘛 pingji 发表于 2025-1-7 13:43
我也搬一下回复，24g勉强够，但是谁也不保证下一个模型就能装，但凡能用到48的，要不就花7w买ada6000，要 ...
当然是有这种需求的，但是这应该不是主流需求 肯定是50系，我也改过显存翻倍。这玩意副作用贼大。算了吧。要么是间歇闪屏，要么掉驱动，要么游戏内验证不通过。二手卖的时候还是个大修货，别想卖上价。 neavo 发表于 2025-1-7 14:05
当然是有这种需求的，但是这应该不是主流需求
100片起订的规模……主流……无限收都能收几片卖几片的规模说主流不主流有毛线意义，就整个大陆个人diy手里这点4090的量，只要敢卖，随便来俩大商家就能把货全吃了信不信 pingji 发表于 2025-1-7 14:21
100片起订的规模……主流……无限收都能收几片卖几片的规模说主流不主流有毛线意义，就整个大陆个人diy手 ...
主要是真玩AI的也不会用4090了 很明显单卡可以算力不足 但是能互联成系统的才是大规模开发需要的 Illidan2004 发表于 2025-1-7 14:34
主要是真玩AI的也不会用4090了 很明显单卡可以算力不足 但是能互联成系统的才是大规模开发需要的 ...
pcie互联又不是不能用, l20/l40s 8卡机卖那么好... Illidan2004 发表于 2025-1-7 14:34
主要是真玩AI的也不会用4090了 很明显单卡可以算力不足 但是能互联成系统的才是大规模开发需要的 ...
我寻思ada6000不是也没nvlink嘛…… Illidan2004 发表于 2025-1-7 14:34
主要是真玩AI的也不会用4090了 很明显单卡可以算力不足 但是能互联成系统的才是大规模开发需要的 ...
4卡8卡单节点的还是不错的。现在p2p也可以可以打开的。 neavo 发表于 2025-1-7 13:18
转一下在隔壁贴的回复
反老美制裁的强力部门是最大消费者
不敢那么乱来的 平安是福 发表于 2025-1-7 12:50
正解，50系放的算力是int4 40系放的算力是int8故50系要除以2才能对上实际算力。 ...
应该是fp4，40系标的是fp8
30系只能fp16或者int8 aibo 发表于 2025-1-7 16:18
应该是fp4，40系标的是fp8
30系只能fp16或者int8
如果是浮点会专门用tflops标注来着，autodl网站上4090标注165t fp16（稠密）算力，也就是660t 稀疏fp8算力，老黄标1330t那应该就是指的int8（稀疏）算力 本帖最后由 zbq123 于 2025-1-7 17:12 编辑
都不选，老黄这次不是掏出来个Nvidia Project Digits跑AI开发，虽然暂时还是个期货，但是1 PFLOP FP4浮点+128 GB统一内存太香了 平安是福 发表于 2025-1-7 16:22
如果是浮点会专门用tflops标注来着，autodl网站上4090标注165t fp16（稠密）算力，也就是660t 稀疏fp8算 ...
ada白皮书，4090的int8和fp8都支持稀疏，算力都是1321，4090也支持int4，稀疏算力翻倍2642。
但是老黄在ada/hopper的时候着重说了fp8，因为30系支持int4/8，但不支持fp8。
所以这次我甚至怀疑老黄用的是fp4。
不然4090的int4不会那么低 llwin 发表于 2025-1-7 12:49
5090真实算力是3352/2/1321=127% 4090
所以 4090是禁售卡 而5090D不是 因为5090D的int8算力只有4090的89.89% 而5090D 是1187.54090D 的int8 是1177恩 10.5的差距 难怪不禁售 1. 肯定48G啊
2. int4精度太差了，量化能接受的，是int8
真搞AI没必要自己买这么贵的卡，花点小钱租计算中心的卡不是挺好，方便快捷价格低。
看新闻现在计算中心的利用率也就2x%，完全可以本地游戏卡+租计算卡，算下来省很多钱。
页:
[1]
2