Chiphell - 分享与交流用户体验

标题: 【NVLink/SLI/RTX A5000】第一次上桥 [打印本页]

作者: Opteron 时间: 2023-2-20 22:30
标题: 【NVLink/SLI/RTX A5000】第一次上桥
本帖最后由 Opteron 于 2023-2-20 22:51 编辑

(, 下载次数: 126)
(, 下载次数: 121)
(, 下载次数: 117)

小伙伴想搞个机来做3D，帮忙搞一下。

第一次搞SLI（现在硬件叫NVLink，软件层面还叫SLI）
先大概合个影
(, 下载次数: 127)

CPU要求不是非常高，Xeon 3、4代和EPYC 7003/7004不在考虑范围内，而Xeon二代不支持PCIE 4.0，在充分考虑性价比的前提下选择了EPYC 7402，24核心48线程，128MB L3，主频2.80-3.35GHz，TDP 180W。
(, 下载次数: 119)

功率不是很大，散热很好解决，为了效果更好一点，搞了个能压300W的散热器，满载温度也就50多度，风扇转速几乎都不提高。
(, 下载次数: 132)

主板是Tyan 的S8030GM2NE，基本功能还是可以的，得益于AMD的CPU，所有PCIE全都是4.0，5个×16都是×16。
(, 下载次数: 120)

官网复制一下规格

1S AMD EPYC Milan-X / Milan / Rome CPU
12" x 9.8" ATX form factor
8 DIMM slots w/ DDR4 3200 memory support
Up to 14 SATA ports
5 PCIe Gen.4 x16 slots
2 PCIe 4.0 x8 SlimSAS conn. for 4 NVMe U.2
2 NVMe M.2 22110 / 2280 slots
2 1000Base-T LAN + 1 dedicate 1000Base-T IPMI ports
AST2500 BMC with IPMI v2.0 & Redfish support

SlimSAS（8654）接口是PCIE 4.0 ×8，甚至两个口可以聚合成×16来接显卡。
(, 下载次数: 108)

内部接口比较丰富，但是后置I/O约等于没有，USB只有俩，只能外加一个扩展卡，由于板子没有Type-E接口，又加了个Type-E的卡，然后板子没有声卡，又加了个声卡，5个PCIE就用完了。
(, 下载次数: 131)

这主板目测在海鲜市场最低才1k2-1k3这样子，如果自己玩的话性价比很高，支持7002/7003系列CPU。

CPU插槽
(, 下载次数: 144)

CPU的安装方式，先这样，然后这样，再那样，最后这样。
(, 下载次数: 121)
(, 下载次数: 117)
(, 下载次数: 132)
(, 下载次数: 129)
(, 下载次数: 115)
(, 下载次数: 123)
(, 下载次数: 114)

内存没什么好说的，算是入门级的，8×32GB 3200。
(, 下载次数: 121)

插上内存
(, 下载次数: 134)

硬盘找了半天U.2的，没有什么性价比高的，还只能用m.2的了。
(, 下载次数: 128)
（HDD在最后又换掉了，这块库存的太久了，换了个新一些的希捷ST8000NM017B）

为了各种软件的兼容性，游戏卡完全不在考虑范围内。
预算上一个A6000是够的，但是感觉两个A5000从规格上看是强于A6000的，然后就想试试看实际效果如何，很多3D和视频软件对多卡支持的都不是很好，无法从软件层面调用多张卡，只能通过上桥的方式来解决。桥的价格，差不多相当于一张二手2080，但对于A5000这个价位的显卡还是划算的。
(, 下载次数: 117)
(, 下载次数: 142)
(, 下载次数: 119)
(, 下载次数: 112)
(, 下载次数: 125)
(, 下载次数: 121)

电源还是老朋友巨龙。
（忘了单独拍了）

选机箱才是最难的，牢固，不透光，不发光，不太大，电源不能竖装，有前置Type-C。
选了半天，最后随便买一个吧，但是买回来就后悔了，来不及了没法换了，凑合着吧。
(, 下载次数: 123)

远不如价格一半的机架式机箱做工好，自带的风扇还不能调速，PCIE螺丝孔有些是歪的。

初步完工
(, 下载次数: 135)
(, 下载次数: 120)

撕膜，锃亮
(, 下载次数: 135)

盖上盖子
(, 下载次数: 133)

最后信仰标签安排，战斗力+100%。
(, 下载次数: 120)

和前几台机器相比这个性价比还是不错的。

最后Link一下之前搞的几台机器。
2×EPYC 7V13/1TB/TITAN RTX
Xeon 8352Y/256GB/6×RTX A4000
DELL Precision 3660（12900K）
DELL Precision 7920（2×Xeon 4214R/3×RTX A4000）

再附上一个前段时间搞的4kg内存，4KG内存（多重含义）和8路E7

(, 下载次数: 118)
(, 下载次数: 121)
(, 下载次数: 112)

作者: jxljk 时间: 2023-2-20 22:39
提示: 作者被禁止或删除内容自动屏蔽

作者: 王骞 时间: 2023-2-20 23:43
RTX A4000，，我就满足了。。

作者: Wolverine 时间: 2023-2-21 08:28
霸气.....感谢分享

作者: xavier_cx 时间: 2023-2-21 08:33
4KG的内存，很震撼。感谢分享。

作者: Congda 时间: 2023-2-21 08:46
您好，方便分享一下专业软件的使用体验吗？最近也在考虑A5000双卡

作者: gylj7058 时间: 2023-2-21 09:02
4KG的内存，很震撼

作者: nekotheo 时间: 2023-2-21 09:14
这两代的专业卡太漂亮了

作者: icefish7 时间: 2023-2-21 09:14
看着很专业的玩法

作者: qubick 时间: 2023-2-21 09:30
用着T5810 双路 A4000 的我露出羡慕的眼神

话说 NVLink 之后对机器学习有什么帮助有测试过？

作者: xintaiyy 时间: 2023-2-21 09:35
4kg?现在都是按kg算了吗？

作者: 大光光 时间: 2023-2-21 09:45
师傅你是做什么工作的

作者: 冠希羊羊羊 时间: 2023-2-21 09:46
讲道理，感觉FD家的箱子多少有些被吹捧过头了。。。

作者: 张家村老张 时间: 2023-2-21 09:46
4KG的内存很壮观

作者: okko123 时间: 2023-2-21 10:27
4KG内存，nvlink居然要一张二手2080.这也太贵了吧？

作者: hope2774 时间: 2023-2-21 10:42
4KG内存，第一次看见这个单位，哈哈哈

作者: 拉风小西米 时间: 2023-2-21 11:05
太牛逼了

作者: 男人不潮 时间: 2023-2-21 11:13
这代专业卡是真的帅

作者: 加预算 时间: 2023-2-21 11:17
很强。话说显卡上面另外两个接口是干什么的呢？

作者: 微木洋大 时间: 2023-2-21 11:34
很好奇作者是干什么工作的，平时都是什么样的应用场景。

作者: xunisa 时间: 2023-2-21 12:21
那么多内存除了在工厂见过吗真的少见了

作者: jeff.kwan 时间: 2023-2-21 12:22
这配置是准备用来研究怎么样才能俄乌停战吗

作者: Arbiter_AZ 时间: 2023-2-21 12:40
不会拿来做生物信息运算吧
牛逼

作者: Opteron 时间: 2023-2-21 13:10

qubick 发表于 2023-2-21 09:30
用着T5810 双路 A4000 的我露出羡慕的眼神

话说 NVLink 之后对机器学习有什么帮助有测试过？ ...

用NVLink原则上确实能加快GPU之间通信，专业卡应该也可以共享显存。
但跑机器学习软件层面都直接能调用多张卡，可以各干各的，多数情况下不太需要GPU之间交互，用不用NVLink无所谓。

作者: Opteron 时间: 2023-2-21 13:12

Congda 发表于 2023-2-21 08:46
您好，方便分享一下专业软件的使用体验吗？最近也在考虑A5000双卡

试了试反正应该至少不弱于一张A6000

作者: 理工雷雨轩 时间: 2023-2-21 13:19
就喜欢看这种帖子~内存量很大哈~双A5000组合就是很实在~

作者: Theodore010 时间: 2023-2-21 13:30
之前一直在3090SLI玩模拟飞行，后来有一天清完灰还有张3090就懒得装回去了，发现居然没啥区别，说实话从逼格角度还是很喜欢sli，可惜rtx的sli英年早逝了

作者: Opteron 时间: 2023-2-21 13:52

Theodore010 发表于 2023-2-21 13:30
之前一直在3090SLI玩模拟飞行，后来有一天清完灰还有张3090就懒得装回去了，发现居然没啥区别，说实话从逼 ...

游戏卡和专业卡的SLI是两个概念。

作者: swokpr 时间: 2023-2-21 13:56
敢问楼主是做什么的？2块专业卡

作者: beowulf 时间: 2023-2-21 14:07
期待4kg内存的装机文章

作者: eagle94 时间: 2023-2-21 14:23
AMD配NV，这咋说呢，干吗不AMD全家桶呢？

作者: Opteron 时间: 2023-2-21 14:26

beowulf 发表于 2023-2-21 14:07
期待4kg内存的装机文章

老机器加内存，没有装机

作者: COFFFEEEE 时间: 2023-2-21 14:31
桥为什么如此之贵我是不懂的

作者: Opteron 时间: 2023-2-21 14:38

COFFFEEEE 发表于 2023-2-21 14:31
桥为什么如此之贵我是不懂的

600GB/s的带宽。两张40Gbps的网卡这个价格都拿不下，更别说4800Gbps的NVLink桥了。

作者: massacreformash 时间: 2023-2-21 14:44
期待4KG内存发表的学术文章，hhh

作者: TurbulenceY 时间: 2023-2-21 15:43
楼主这 CVPR 什么的不得随便发啊。。。。哈哈哈哈。。。

作者: sorx 时间: 2023-2-21 16:07

4KG内存 V587

作者: beowulf 时间: 2023-2-21 16:11

Opteron 发表于 2023-2-21 14:38
600GB/s的带宽。两张40Gbps的网卡这个价格都拿不下，更别说4800Gbps的NVLink桥了。 ...

可是这个相当于网线而已，
“网卡”焊在显卡里的。

作者: Opteron 时间: 2023-2-21 16:45

beowulf 发表于 2023-2-21 16:11
可是这个相当于网线而已，
“网卡”焊在显卡里的。

这里面是有芯片的，相当于交换机吧

作者: Opteron 时间: 2023-2-21 16:46

TurbulenceY 发表于 2023-2-21 15:43
楼主这 CVPR 什么的不得随便发啊。。。。哈哈哈哈。。。

那还得用另外一台3张A6000才行

作者: huihuige 时间: 2023-2-21 17:03
霸气帅漂亮羡慕口水哇咔咔不知道再接啥了

这块板子前一段时间的时候研究过
后来发现还是挖矿专用那种超大的板子香
因为PCIE槽间距大
再牛逼的PCIE扩展，如果限制在7个槽位内，还是插卡的时候捉襟见肘~

作者: TurbulenceY 时间: 2023-2-21 17:24

Opteron 发表于 2023-2-21 16:46
那还得用另外一台3张A6000才行

电费我都耗不起。。。我的4090买了还没上机，主要是做了仿真用的那些软件吃的是CPU不是GPU，而且电脑的电源也扛不住。。。羡慕楼主的BUG机器。。。

作者: Opteron 时间: 2023-2-21 17:49

huihuige 发表于 2023-2-21 17:03
霸气帅漂亮羡慕口水哇咔咔不知道再接啥了

这块板子前一段时间的时候研究过

那种板子啥都干不了，PCIE速度跟不上什么都白搭。
也有10个PCIE ×16的板子，外加其他接口能插12张卡，PCIE间距不够可以搞单独的扩展柜，用8654之类的线引出去，都是4.0 ×16，速度不影响。

作者: QSG 时间: 2023-2-21 18:27
怎么感觉又是一个中招的，现在2r4内存基本都是2400和2133超上去的，js贴标之后再售卖。
还有就是二代epyc不一定要干到3200，可能性能还不如2666

作者: 疯疯颠颠 时间: 2023-2-21 18:32
帅，感觉这种机器得整个不透低调的机箱才合适
另外不知道楼主是啥行业的，有试过跑GPU渲染器的benchmark吗

作者: Opteron 时间: 2023-2-21 18:38

QSG 发表于 2023-2-21 18:27
怎么感觉又是一个中招的，现在2r4内存基本都是2400和2133超上去的，js贴标之后再售卖。
还有就是二代epyc不 ...

换标是能看出来的，得看东西的来源，我经手的内存差不多几千条了，只发现过一次（8条）换标的。
目前手里库存没有2666的，都是3200了。

作者: Opteron 时间: 2023-2-21 18:39

疯疯颠颠发表于 2023-2-21 18:32
帅，感觉这种机器得整个不透低调的机箱才合适
另外不知道楼主是啥行业的，有试过跑GPU渲染器的benchmark吗 ...

不透又符合其他要求的机箱太难买了

作者: Opteron 时间: 2023-2-21 18:39

TurbulenceY 发表于 2023-2-21 17:24
电费我都耗不起。。。我的4090买了还没上机，主要是做了仿真用的那些软件吃的是CPU不是GPU，而且电脑的电 ...

不要的4090可以送给我

作者: TurbulenceY 时间: 2023-2-21 18:47

Opteron 发表于 2023-2-21 18:39
不要的4090可以送给我

送不起。。。要不 4090给你 AXXX给我咱俩换一下。。。我就吃点儿亏。。。

作者: Opteron 时间: 2023-2-21 18:48

TurbulenceY 发表于 2023-2-21 18:47
送不起。。。要不 4090给你 AXXX给我咱俩换一下。。。我就吃点儿亏。。。

A4000换4090，给你补90块钱

作者: TurbulenceY 时间: 2023-2-21 18:49

Opteron 发表于 2023-2-21 18:48
A4000换4090，给你补90块钱

这样不太好吧。。。

作者: QSG 时间: 2023-2-21 18:51

Opteron 发表于 2023-2-21 18:38
换标是能看出来的，得看东西的来源，我经手的内存差不多几千条了，只发现过一次（8条）换标的。
目前手里 ...

这板子内存可以调的，你可以测试一下

作者: Opteron 时间: 2023-2-21 19:00

QSG 发表于 2023-2-21 18:51
这板子内存可以调的，你可以测试一下

一般不关机，等下次重启的时候吧

作者: xlanbluex 时间: 2023-2-21 19:18
高清头像还是得看我

作者: Heracles 时间: 2023-2-21 19:52
我的天楼主这是啥行业的太豪了

作者: flere000 时间: 2023-2-21 23:01
溢出屏幕的生产力

作者: feiying1980 时间: 2023-2-21 23:06
光模块没装也就算了，还扣了两块

作者: qubick 时间: 2023-2-22 00:18

Opteron 发表于 2023-2-21 13:10
用NVLink原则上确实能加快GPU之间通信，专业卡应该也可以共享显存。
但跑机器学习软件层面都直接能调用多 ...

原来如此，目前都是用双A4000 跑多任务或者对比任务，就一直在想 NVLINK 会有什么作用。

作者: regedityou 时间: 2023-2-22 08:34
绝对的生产力。。。是不是用来计算地外生命的。。。

作者: 许同学 时间: 2023-2-22 09:21
这么多内存，菊花不够插呀

作者: LFA9 时间: 2023-2-22 09:25
八路E7，这是要用算力拿捏KMT吗

羡慕楼主，我最近在玩一个很低配的二手塔式服务器，联想TS560，有IPMI的那种，PCIE通道甚至都只有一个3.0x16，不过机箱感觉很不错，如果能改造了自用也是蛮好的

跑题了，楼主牛的，4公斤的内存，太强大了

作者: teges 时间: 2023-2-22 13:20
4公斤内存能干点啥呢

作者: sum 时间: 2023-2-22 14:27
这种涡轮卡噪声如何呀。

作者: Opteron 时间: 2023-2-22 15:06

sum 发表于 2023-2-22 14:27
这种涡轮卡噪声如何呀。

比机箱风扇的噪音小多了。

作者: liubin8666 时间: 2023-2-22 18:23
想起我多年前的8800GTX*2 SLI，竟然连一张相片都没留下

作者: tuohuan 时间: 2023-2-24 15:03
涨知识了，原来内存是以KG计算的

作者: expediency 时间: 2023-2-27 14:11
4KG的内存是批发吗？

作者: k288 时间: 2023-3-7 11:36
看到这个配置就想到那个吊图，楼主你这电脑算力这么强，你算什么东西？

作者: shuishi123 时间: 2023-6-30 17:12
最近在倒腾A5500,公司一个项目要用，是真的很帅

作者: f1s2 时间: 2023-6-30 23:06
跪下就完事儿了

作者: Lunatic_CHH 时间: 2024-10-9 09:51
两块A5000通过NVLink连接后，需要在NV的设置面板里再开启SLI选项吗？

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)