fairness 发表于 2023-7-11 17:17
大规模的AI训练系统，不仅仅看单卡，还要看多卡互联；4090没有NVLINK，互联的方案只能走PCIE的话，这样 ...
根据我了解到的，RTX 3090、4090不支持PCIE至PCIE，要通过内存绕一圈
我輩樹である 发表于 2023-7-11 17:42
这个当然是技术上的原因。我要说的是4090组AI集群/HPC在源头就是被禁止的。
至于llm的对吞吐量的需求， ...
其实你们讨论这些只是一些利润在不同的厂商之间分配而已；
假如： 一万美金的A100只卖1万人民币； 3-4万的H100只卖2万人民币； 这会有什么影响呢？
首先就是像大厂采购的成本更低了，它们花的钱少了； 但大厂买回去只作为自己的生产力工具，提供的服务可能还是原价，它们按照自己的服务能力售价；例如： OpenAI的收费还是20美金/月； 这样只是大厂的利润更高，OpenAI能更早的盈利； 然后NV这边的赚的钱少了一些 ---- 相当利润于转移到大厂。
第二，在售价改为这么低以后，销量和预售的量势必更大； 台积电开心； 但是对于那些同样想做ＡＩ芯片的创业公司却会更加艰难； 现在，只要它们的产品只要比１Ｗ美金的A100,和3-4W美金的H100低就有性价比；变为要对比１Ｗ人民币的A100,和2W人民币的H100低； 难度大的不是一点半点。
fairness 发表于 2023-7-11 19:54
其实你们讨论这些只是一些利润在不同的厂商之间分配而已；
假如： 一万美金的A100只卖1万人民币； 3-4万 ...
这个我就不懂啦。
将要出的4060ti 16g估计也很多实验室买。毕竟大显存决定是否可以训练，速度可以熬时间或者堆数量。3070 16g胎死腹中估计也是怕抢rtx a4000的生意。
darkness66201 发表于 2023-7-10 15:57
反正现在A100/H100供不应求，30万一张都一样依然在疯抢，却没有公司花30万买20张4090跑AI，那么多大公司人 ...
用4090跑 老黄会找上家门
而且没有NVLINK
有，即使不考虑抢占产能，大量非正规工业界需求也接受普通精度，便宜就是一切，更别说现在好多大显存的游戏卡了。