z690通道分配，x8/x8划分
本帖最后由 Enerald 于 2022-8-10 06:35 编辑1、背景介绍：
小弟是搞深度学习炼丹的，运算主要用GPU，目前用的机器配置全部是双卡机。
目前使用的平台如下：z270+双1080Ti，z390+双1080Ti，z390+双2080Ti，x570+双2080Ti，x570+双3090。
总之，每年新买入机器的配置，CPU都是当年在售的酷睿/锐龙，显卡都是双路当年在售的GeForce系列算力最强的那个。
今年又要买新机器了，目前在看z690+双3090Ti。或者下半年新U新卡如果不缺货，也会继续买z790+双4090。
买机器一般是京东自营买配件（方便报销），然后自己组装跑程序。
2、遇到的z690主板选购问题：
目前京东在售的3090Ti，普遍是3~4个slot的厚度（60~80mm），下半年发售的4090，厚度肯定也是3~4个slot的厚度。
这就需要主板两个x16插槽的间距必须是4 slot宽度，符合条件的只有鸡架的几款z690。
此外，我观察到，z690主板，除了高端的型号，大多数z690主板，两条x16插槽都没有做x8/x8划分。
支持x8/x8划分的z690主板，京东自营在售型号中，
微星最便宜的是Z690 Carbon，3599元；华硕最便宜的是ROG Z690 Hero，4699元；
鸡架最便宜的是Z690 TACHYON，4899元；华擎最便宜的是Z690 Taichi，4599元。
要么就买中低端型号的z690，仅支持x16/x4。
问题：双3090Ti或双4090，跑在x16/x4模式下，性能损失是否可以容忍？
比如双3090Ti或双4090，并行训一个PyTorch的网络，x4的卡数据传输慢一些，x16的卡应该会等x4的卡数据同步。
这个等待数据同步的时间，其实就是变相的性能损失。不知道有没有大佬可以解释一下，这个影响大约有几何？
3、纠结上述问题的原因：
预算，想省钱买更多的3090Ti或4090。
如果买支持x8/x8的主板：鸡架Z690 TACHYON，4899元 + 4条英睿达32G D5内存，4800元。合计9699元。
如果买中端型号的z690，比如鸡架Z690 ELITE D4，1999元 + 4条光威32G D4内存，2400元。合计4399元。
等于说，高端D5和中端D4，差4000多块钱。
4、写在最后：
这个帖子写到最后，似乎我也释然了，以后可能就得接受，多花钱买高端D5主板这个现实了。
比如，即将发布的七代锐龙，芯片组分为x670和x670e，我想x670e就是那些支持x8/x8的高端型号主板。
HEDT没有了的今天，高端酷睿/锐龙的主板承接了多卡交火，为双路GPU提供一个解决方案。
而随着显卡厚度来到3~4个slot的厚度，x16插槽的间距是4 slot的主板也会越来越多。
另外，我也想催促华硕微星，z790，赶紧出几款x16插槽间距为4 slot的主板，为的是能装下双路4090。因为实在不想买鸡架。
附：之前论坛里关于z690通道划分的帖子：
https://www.chiphell.com/thread-2365838-1-1.html
https://www.chiphell.com/thread-2366645-1-1.html 本帖最后由 mdk2000 于 2022-8-10 03:58 编辑
我建议你去买amd的Pro WS X570-ACE, cpu和主板都便宜,真白菜了
关键这个版支持pcie 4.0 x8 x8 x8(第3条是主板芯片)同时3张显卡,显卡太厚用延长线就好了
我实测pcie 第1根显卡跑x8 第2根转接了2块pcie 4.0 x4 u2 ssd,第3根接了张dell raid卡 (卡只支持pcie3.0),能同时3插槽 pcie 4.0x8 昂?我那块就用了一个月结果最后海鲜挂了一个月2000不到才勉强卖出去的Z690 Force就支持x8+x8啊 观察不到位啊[困惑] mdk2000 发表于 2022-8-10 03:55
我建议你去买amd的Pro WS X570-ACE, cpu和主板都便宜,真白菜了
关键这个版支持pcie 4.0 x8 x8 x8(第3条是 ...
深度学习，多卡炼丹，AMD平台有硬件方面的bug。
AMD在用多卡训练的时候，效率不如Intel平台，而且一定概率会发生死锁。
这个问题，在github下面挂了一年了，pytorch官方至今未解决。https://github.com/pytorch/pytorch/issues/52142
我以前有个程序被搞了几个月，只要调用nn.DataParallel()，必死机。
我师弟也有两台服务器，配置分别为9700K+双2080Ti，3700X+双2080Ti。
两台机器训同一个网络，速度大约是这样的：9700K那台跑完32个epoch时，3700X那台才跑完25个epoch。 xuting77 发表于 2022-8-10 03:58
昂?我那块就用了一个月结果最后海鲜挂了一个月2000不到才勉强卖出去的Z690 Force就支持x8+x8啊 观察不到位 ...
微星Z690 Force配置良心，这可能是最便宜的支持x8/x8的主板了，可惜京东自营不卖。 Enerald 发表于 2022-8-10 04:00
微星Z690 Force配置良心，这可能是最便宜的支持x8/x8的主板了，可惜京东自营不卖。 ...
那就买carbon嘛 换皮还多个灯 我买force才是后悔 买了ace更后悔[困惑] xuting77 发表于 2022-8-10 04:02
那就买carbon嘛 换皮还多个灯 我买force才是后悔 买了ace更后悔
微星这边可以暂时按下不表，我其实还有另一个刚需，主板两个x16插槽的间距需要是4 slot宽度。 只买国行不是就那些选择吗？
你都做了全部功课了，还要找别的就只能从非国行找起了，不然等Z790，就今年冬天的事情。 现在的情况下机架才是最终方案。你如果一个机箱，就算能塞进两张4090，电源也不带不动。机架都是双电源 Z690的X4不是单独给SSD直连的么？如果最后那条PCIE是PCH提供，那就有点慢了。 为啥不考虑上tr或者tr pro？这么多卡分这么多机子也不好用吧，一个tr pro的4u机箱放6~8张不成问题吧？ junior_zhou 发表于 2022-8-10 10:07
为啥不考虑上tr或者tr pro？这么多卡分这么多机子也不好用吧，一个tr pro的4u机箱放6~8张不成问题吧？ ...
AMD有bug。 Enerald 发表于 2022-8-10 04:00
微星Z690 Force配置良心，这可能是最便宜的支持x8/x8的主板了，可惜京东自营不卖。 ...
这个好办，找个代理给你安排的明明白白的，给他10%抽水就行了 LZ应该上11代，Z590支持拆分的旗舰板子都在2000元以内了，随便买个11700KF也足够了，而且都支持PCI-E4.0
Narumi 发表于 2022-8-10 10:08
AMD有bug。
上面github说的那个么？我看最新的回复好像有workaround了？
最近epyc的超算搞了那么多，都是双路7763+四路A100集群。如果还有致命性bug应该说不过去吧- - xuting77 发表于 2022-8-10 04:02
那就买carbon嘛 换皮还多个灯 我买force才是后悔 买了ace更后悔
哪裡感到後悔？好奇
Force是張好版，價錢還合適；690ACE顯得太貴，但Unify居然全系都不帶內顯支持，完全是微星PM蝦J芭亂搞的結果 上机架的话，完全可以通过短接cpu触点的方式把x16拆成x8 x8，然后找个x16转2个x8的转接，转到2张显卡上 建議找一張最合適690板；兩代通吃當然不要去換主板
Z790並沒有比較補，就是一管PCH牙膏，而且很可能690/790的版型相去無幾 本帖最后由 traekle 于 2022-8-10 11:04 编辑
实验室组？ 还是自费科研？。
实验室经费的话上服务器机架， 4U的那种， 买超威主板。 家用主板最大的限制就是一板只能塞2个GPU, 在大模型训练这块很乏力。
鉴于现在还是GPU 瓶颈的情况下， 我们实验室最后考虑以后还是上机架机， PCIE 通道和PCIE位绝对够用， 现在几台机器有4x RTX titian， 4x 3090，之后4x 4090TI 都没问题。 而且如果是双槽的GPU 8个GPU 都没问题。
AMD 那个BUG 之前我师兄自己组的TR + 4x1080ti 没有出现, 而且看issue说是可以通过关闭IOMMU 解决。 BFG9K 发表于 2022-8-10 10:12
LZ应该上11代，Z590支持拆分的旗舰板子都在2000元以内了，随便买个11700KF也足够了，而且都支持PCI-E4.0
...
同意，1000元内就够了。 我的3080在3x4和3x8（4x4）之间有明显差异 如果4x4和4x16差异应该不大。
X2993个 pcie3.0X16 pcie延长线 完美解决 本帖最后由 playclan 于 2022-8-10 11:41 编辑
D4的z690里只有映泰能拆，其他能拆的都是D5
D4的x4也都是pch的3.0x4 上水冷，可以不考虑slot的宽度，除非是因为要搭桥 本帖最后由 370390490590 于 2022-8-10 14:22 编辑
x670e不一定支持x8/x8
鸡架最便宜的是Z690 AERO D 其实只要用导电胶带短接两个针脚就可以实现X16插槽实际运行在8+8模式[偷笑] 但是这时候需要扩展卡实现分拆和PCIE延长线，这会带来不稳定的问题 用户 发表于 2022-8-10 07:21
现在的情况下机架才是最终方案。你如果一个机箱，就算能塞进两张4090，电源也不带不动。机架都是双电源 ...
日本有1万人民币的双电源巨塔机箱 z590 carbon，咸鱼二手的，550，可以8+8，我插了两个阵列卡玩nas Enerald 发表于 2022-8-10 04:07
微星这边可以暂时按下不表，我其实还有另一个刚需，主板两个x16插槽的间距需要是4 slot宽度。 ...
为啥非得要4槽，上水多好，温度低了更稳定。 mdk2000 发表于 2022-8-10 03:55
我建议你去买amd的Pro WS X570-ACE, cpu和主板都便宜,真白菜了
关键这个版支持pcie 4.0 x8 x8 x8(第3条是 ...
这主板和我无缘啊，我也是很喜欢这种无光污染的主板，而且SATA口子我基本很少用，原本JD都看好5900套装了，结果当我准备买的时候（618）原本的伴有套装价格暴涨。。。一刀砍的我不得不放弃，真是遗憾。。。。。
页:
[1]
2