Chiphell - 分享与交流用户体验

标题: 用于模型训练，最好能插两张4090显卡的主板，兄弟们推荐一下！ [打印本页]

作者: easyeiji 时间: 2023-6-8 10:22
标题: 用于模型训练，最好能插两张4090显卡的主板，兄弟们推荐一下！
本帖最后由 easyeiji 于 2023-6-8 13:36 编辑

用于模型训练，最好能插两张4090显卡的主板，兄弟们推荐一下！CPU、电源和内存包括4090显卡大家推荐一下，主板要尽可能的小

注：有没有能改NVLink的4090

目前了解下来只有屏蔽牌的4090gaming还保留nvlink的设计

作者: 沐雨丶晨潇 时间: 2023-6-8 10:25
插两张4090占用6槽基本不用想，ATX怎么都得上了，不存在尽量小，电源1600W海韵有双16PIN，功率也够，想缩水的话，名人堂1300W也有双16PIN，见过有人带4090双公版也够用

作者: qicaihong 时间: 2023-6-8 10:27
你这要求只能改水了啊

作者: ljy1414 时间: 2023-6-8 10:29
X570 Pro ws + 4090涡轮卡*3，电源可以用2000w以上的
只不过噪音就....

作者: ljy1414 时间: 2023-6-8 10:30

ljy1414 发表于 2023-6-8 10:29
X570 Pro ws + 4090涡轮卡*3，电源可以用2000w以上的
只不过噪音就....

啊，没看到你要求体积小，那就只能双卡了

作者: easyeiji 时间: 2023-6-8 10:31

沐雨丶晨潇发表于 2023-6-8 10:25
插两张4090占用6槽基本不用想，ATX怎么都得上了，不存在尽量小，电源1600W海韵有双16PIN，功率也够，想缩水 ...

能插两张4090的intel和AMD平台的主板，都推荐一下

作者: Xp47 时间: 2023-6-8 10:32
本帖最后由 Xp47 于 2023-6-8 10:34 编辑

我现在是13900 + 4090 + b760 台达 mk1000，自己买的atx3那个电源模组线，128G，不过，你要是不是自己compile的tf和pytorch，感觉13900就行，你要是经常编译c++ api，建议amd的那些全大核心吧。说实话，我现在deepmd（属于graph），quip（属于soap），ace（训练GPR或者tf，自己魔改的炒豆子），clip，transformer，就连之前的MC也都无法让4090保持p0，除了vasp（cuda和openacc两种），gaussian（openacc）这种确实4090搞不来，其他还行。

(, 下载次数: 67)

我的另一张卡，因为追风者的延长线还在等，竖着来了

作者: jiro2004 时间: 2023-6-8 10:35
你这需求有点矛盾，两张4090就不小了，还是安心工作站板吧

作者: 建议柠檬 时间: 2023-6-8 10:38
蓝宝石激流随便买

作者: easyeiji 时间: 2023-6-8 10:42

Xp47 发表于 2023-6-8 10:32
我现在是13900 + 4090 + b760 台达 mk1000，自己买的atx3那个电源模组线，128G，不过，你要是不是自己comp ...

求可以改nv link的4090显卡

作者: deigo_block 时间: 2023-6-8 10:43

ljy1414 发表于 2023-6-8 10:29
X570 Pro ws + 4090涡轮卡*3，电源可以用2000w以上的
只不过噪音就....

第三根槽的速度如何

作者: 假酒迷人 时间: 2023-6-8 10:44

easyeiji 发表于 2023-6-8 10:42
求可以改nv link的4090显卡

40系没有nvlink了。上双卡最好找能拆分X8+X8的主板接延长线出来。直插双卡是不太现实了

作者: ljy1414 时间: 2023-6-8 10:45

deigo_block 发表于 2023-6-8 10:43
第三根槽的速度如何

https://www.asus.com/tw/motherbo ... on/pro-ws-x570-ace/

算是X570的平民妖版，可以4.0 X8 3槽，还带了一个U2接口

作者: iimxsh8p 时间: 2023-6-8 10:45

easyeiji 发表于 2023-6-8 10:42
求可以改nv link的4090显卡

还有这种操作？RTX6000 ADA都不支持nvlink吧

作者: Xp47 时间: 2023-6-8 10:47

easyeiji 发表于 2023-6-8 10:42
求可以改nv link的4090显卡

啊，还有nvlink吗....我以为没了（据说某品牌可以，（不过没有nvlink 那就运行的时候按照numa domain来并行问题也不大

作者: easyeiji 时间: 2023-6-8 10:48

iimxsh8p 发表于 2023-6-8 10:45
还有这种操作？RTX6000 ADA都不支持nvlink吧

有的4090好像是还保留端子，可以接出NVLINK来

作者: Xp47 时间: 2023-6-8 10:50
本帖最后由 Xp47 于 2023-6-8 10:52 编辑

我现在远程启动用的wol，用一台有ipmi的机器来做wol启动，我感觉你估计也不会放到办公室吧....放到机房还是得想一下，没有ipmi还是不方便，这种卡还不便宜 (, 下载次数: 66)

作者: 21mm 时间: 2023-6-8 11:00

Xp47 发表于 2023-6-8 10:32
我现在是13900 + 4090 + b760 台达 mk1000，自己买的atx3那个电源模组线，128G，不过，你要是不是自己comp ...

跑python 和编码类的还是intel强一些吧如果 make -j32

作者: Xp47 时间: 2023-6-8 11:05
本帖最后由 Xp47 于 2023-6-8 11:06 编辑

21mm 发表于 2023-6-8 11:00
跑python 和编码类的还是intel强一些吧如果 make -j32

😂 都是泪，tf2.9.2 gcc8编译下面 13900 的e核心就是拖拉机.....而且，opt=mkl的话虽然intel取消了zen的bonus但是好像还是可以用的 DEBUG_CPUTYPE和CBWR这俩，依然很香。以后icc换成llvm之后那真的没啥依恋的了，肯定要转头openblas。（特别是c2py或者f2py。。。

作者: 沙悟净@蓝领 时间: 2023-6-8 11:06
好奇为啥不选NV的高端专业卡？

作者: xiaoyu199009 时间: 2023-6-8 11:07
服务器主板呗

作者: cqn3887 时间: 2023-6-8 11:08

Xp47 发表于 2023-6-8 10:32
我现在是13900 + 4090 + b760 台达 mk1000，自己买的atx3那个电源模组线，128G，不过，你要是不是自己comp ...

感觉有点弯

作者: Xp47 时间: 2023-6-8 11:12

沙悟净@蓝领发表于 2023-6-8 11:06
好奇为啥不选NV的高端专业卡？

因为4090 对于16p或者8p的比a100 40g快一些，如果是32以上也没慢多少，就先存不行，但是便宜，忍着呗...https://zhuanlan.zhihu.com/p/576015496?utm_id=0

作者: Xp47 时间: 2023-6-8 11:13

cqn3887 发表于 2023-6-8 11:08
感觉有点弯

送的支架太短了用不了.....😂

作者: 沙悟净@蓝领 时间: 2023-6-8 11:18

Xp47 发表于 2023-6-8 11:12
因为4090 对于16p或者8p的比a100 40g快一些，如果是32以上也没慢多少，就先存不行，但是便宜，忍着呗...h ...

看应用了，4090好像显存没ECC，某些应用工作到一半显存出个错，重做就费时间了

作者: Xp47 时间: 2023-6-8 11:25

沙悟净@蓝领发表于 2023-6-8 11:18
看应用了，4090好像显存没ECC，某些应用工作到一半显存出个错，重做就费时间了 ...

虽然说都要ecc，但是考虑到每步opted了就backup起来，基本上ecc的用处不是太大，但容量和带宽还有双精度是痛点，机器学习还好，精度本来就不高小数点后数不到32位....有钱当然要h800这些，自己用的话4090算是cp高的选择了

作者: 灰狐 时间: 2023-6-8 11:30
其实主板无所谓，大不了PCI-E用延长线

关键是机箱的PCI-E槽位够多

作者: 21mm 时间: 2023-6-8 11:55

Xp47 发表于 2023-6-8 11:05
😂 都是泪，tf2.9.2 gcc8编译下面 13900 的e核心就是拖拉机.....而且，opt=mkl的话虽然intel取消了zen的b ...

之前为了对比139k和7950x 特意在网上租了一台7950x 跑了下，性能不及139k 。能耗比确实amd 优势。139k 顶着100°擦边 252w的功耗。

作者: fcs15963 时间: 2023-6-8 12:28
前两天咸鱼有人一万二卖4090涡轮来着，好像还不止一个，你要是赶上买俩很不错。

作者: dirbackif01 时间: 2023-6-8 13:21
(, 下载次数: 61)

作者: amike 时间: 2023-6-8 13:24
本帖最后由 amike 于 2023-6-8 13:26 编辑

ljy1414 发表于 2023-6-8 10:45
https://www.asus.com/tw/motherbo ... on/pro-ws-x570-ace/

算是X57 ...

艹，这种pcie通道多的板子我太喜欢了。比较新的平台有类似的吗，670 790平台之类的
还有个U.2？太爽了啊

作者: easyeiji 时间: 2023-6-8 13:49

fcs15963 发表于 2023-6-8 12:28
前两天咸鱼有人一万二卖4090涡轮来着，好像还不止一个，你要是赶上买俩很不错。 ...

我去海鲜市场了解一下涡轮卡，感谢

作者: ljy1414 时间: 2023-6-8 13:53

amike 发表于 2023-6-8 13:24
艹，这种pcie通道多的板子我太喜欢了。比较新的平台有类似的吗，670 790平台之类的
还有个U.2？太爽了啊 ...

我想应该没有了
X670E、Z790都是双PCIE X8设计

作者: ljy1414 时间: 2023-6-8 13:54

fcs15963 发表于 2023-6-8 12:28
前两天咸鱼有人一万二卖4090涡轮来着，好像还不止一个，你要是赶上买俩很不错。 ...

我比较想知道CN的4090涡轮卡是不是都出自于万丽?
或是有更好的厂牌能选择?

作者: evolution0532 时间: 2023-6-8 13:56
推荐品牌机的图形工作站！

避免兼容性故障

还有快速现场支持，备用件快速替换

NVIDIA RTX A6000

联想的
ThinkStation PX
Up to two Xeon Platinum 8490H with 120 cores
Up to Windows® 11 Pro for Workstations
Up to four NVIDIA® RTX 6000 Ada Generation。。。。支持 4个RTX6000
Up to 2TB, 16 DDR5 DIMM slots
Up to 9 drives (2x 3.5" SATA HDD + 7x M.2 SSD)

https://psref.lenovo.com/Product/ThinkStation/ThinkStation_PX

DELL Precision 7920 塔式工作站 - 高级定制服务

显卡有下面选择

双 NVIDIA® RTX™ A6000, 48 GB GDDR6, NVLink SLI, 4 DP

三倍 NVIDIA® RTX™ A6000, 48 GB GDDR6, 4 DP

作者: fcs15963 时间: 2023-6-8 14:00
本帖最后由 fcs15963 于 2023-6-8 14:02 编辑

ljy1414 发表于 2023-6-8 13:54
我比较想知道CN的4090涡轮卡是不是都出自于万丽?
或是有更好的厂牌能选择? ...

我感觉有三种，看涡轮风扇的样式的话，一种**的，一种丽台的，再加一种可能就是万丽的。

你要我说我肯定买丽台的

作者: ljy1414 时间: 2023-6-8 14:13

fcs15963 发表于 2023-6-8 14:00
我感觉有三种，看涡轮风扇的样式的话，一种**的，一种丽台的，再加一种可能就是万丽的。

你要我说我肯定 ...

** = 某嘉吗?
能不能提供某嘉、丽台4090涡轮卡的型号，谢谢

作者: fcs15963 时间: 2023-6-8 14:14

ljy1414 发表于 2023-6-8 14:13
** = 某嘉吗?
能不能提供某嘉、丽台4090涡轮卡的型号，谢谢

不能，我只是看样子区分一下而已

作者: easyeiji 时间: 2023-6-8 14:15

evolution0532 发表于 2023-6-8 13:56
推荐品牌机的图形工作站！

避免兼容性故障

感谢，我来研究一下价格是否能接受

作者: evolution0532 时间: 2023-6-8 14:22

easyeiji 发表于 2023-6-8 14:15
感谢，我来研究一下价格是否能接受

戴尔的官网选配

低配 25w，后期配件内存硬盘自己买，戴尔配件坑爹的贵，电源根据负载选择，默认功率可以双 A6000显卡，也可以 2400w 1+1 冗余

满配 110万

双 A6000 显卡

作者: 百分百好牛 时间: 2023-6-8 15:07

21mm 发表于 2023-6-8 11:55
之前为了对比139k和7950x 特意在网上租了一台7950x 跑了下，性能不及139k 。能耗比确实amd 优势。139k 顶 ...

跑啥 7950x 跑不过 139k ？
是为intel专门优化过的编译器么？

作者: PPXG 时间: 2023-6-8 17:27

easyeiji 发表于 2023-6-8 10:42
求可以改nv link的4090显卡

没有这种东西，AD102核心原生就没有NVLINK的支持
(, 下载次数: 54)
上GA102，下AD102
(, 下载次数: 60)

作者: Xp47 时间: 2023-6-8 19:00
本帖最后由 Xp47 于 2023-6-8 19:06 编辑

21mm 发表于 2023-6-8 11:55
之前为了对比139k和7950x 特意在网上租了一台7950x 跑了下，性能不及139k 。能耗比确实amd 优势。139k 顶 ...

额，tf编译的时候加了mkl同时修改了cbwr和cputype了吗？哦哦哦还要修改那个numa domain

作者: 堕落的翼 时间: 2023-6-8 20:14

ljy1414 发表于 2023-6-8 10:45
https://www.asus.com/tw/motherboards-components/motherboards/workstation/pro-ws-x570-ace/

算是X57 ...

x570上联就4.0*4没有意义

作者: 21mm 时间: 2023-6-8 20:33

Xp47 发表于 2023-6-8 19:00
额，tf编译的时候加了mkl同时修改了cbwr和cputype了吗？哦哦哦还要修改那个numa domain ...

日常的字典类型的操作，intel的会快很多。

作者: g7muik 时间: 2023-6-8 20:50

iimxsh8p 发表于 2023-6-8 10:45
还有这种操作？RTX6000 ADA都不支持nvlink吧

6000，不支持多卡，可以双卡

作者: evolution0532 时间: 2023-6-8 21:03
本帖最后由 evolution0532 于 2023-6-8 21:13 编辑

https://www.asus.com.cn/motherbo ... on/pro-ws-w790-ace/

https://www.asus.com.cn/motherbo ... o-ws-w790e-sage-se/

https://www.asus.com.cn/motherbo ... 0e-sage-se-wifi-ii/

https://www.amd.com/zh-hans/chipsets/wrx80

https://www.supermicro.org.cn/zh ... therboard/m12swa-tf

https://www.supermicro.org.cn/zh ... therboard/x13swa-tf

作者: evolution0532 时间: 2023-6-8 21:06

amike 发表于 2023-6-8 13:24
艹，这种pcie通道多的板子我太喜欢了。比较新的平台有类似的吗，670 790平台之类的
还有个U.2？太爽了啊 ...

https://www.asus.com.cn/motherbo ... o-ws-w790e-sage-se/

https://www.asus.com.cn/motherbo ... 0e-sage-se-wifi-ii/

作者: ljy1414 时间: 2023-6-8 21:10

堕落的翼发表于 2023-6-8 20:14
x570上联就4.0*4没有意义

那麻烦你RMB2000内可支持 PCIE4.0 X8 3槽的主板
X299你要拉进来比较也是可以，但是电费倒转，或是你家有水火核电

作者: Xp47 时间: 2023-6-8 21:11

21mm 发表于 2023-6-8 20:33
日常的字典类型的操作，intel的会快很多。

这个确实😂，日常使用intel比amd强的多。不过，我现在还是搞不懂怎么调试加速python程序，而且并行开了也得很小心，所以一般实在没法，就只能f2py或者c2py做api。而且现在环境很糟糕，每台机器都不一样，很头大.....以前一台机器调好了，xcat部署就好了，现在得一台台来。。。

作者: ysc3839 时间: 2023-6-8 21:16
买涡轮卡就能插两张了，没法改NVLink

作者: tonightmare 时间: 2023-6-9 10:34
插两张的主板有，关键是40系没有nvlink了，没法双卡交火啊。。。就算保留接口，驱动什么的nvidia也不会更新吧。。

实例有的：但无参考价值。
ROG 最高端 Z790 Extreme 1W 多的板子，强上2块ROG 猛禽 4090 ，1块X16，1块X8，还导致PCIE通道不够，导致了1个M.2失效。。。

作者: 建议柠檬 时间: 2023-6-9 10:38

ljy1414 发表于 2023-6-8 21:10
那麻烦你RMB2000内可支持 PCIE4.0 X8 3槽的主板
X299你要拉进来比较也是可以，但是电费倒转，或是你家有 ...

我记得超微的X299 海鲜市场就400多还是500多了

作者: 21mm 时间: 2023-6-9 10:56

Xp47 发表于 2023-6-8 21:11
这个确实😂，日常使用intel比amd强的多。不过，我现在还是搞不懂怎么调试加速python程序，而且并行开了也 ...

纯cpu的可以上docker，gpu的话docker损耗有些大。

作者: ljy1414 时间: 2023-6-9 13:12

建议柠檬发表于 2023-6-9 10:38
我记得超微的X299 海鲜市场就400多还是500多了

记得X299好像有分第一版还第二版来着，说什么供电容易烧掉?
请教一下你知道这件事吗? 好像有看到坛友提起几次过...

作者: 建议柠檬 时间: 2023-6-9 15:06

ljy1414 发表于 2023-6-9 13:12
记得X299好像有分第一版还第二版来着，说什么供电容易烧掉?
请教一下你知道这件事吗? 好像有看到坛友提起 ...

完全没关注过
不过想想几百块钱的破烂什么烧不烧的无所谓了就

作者: houshuheng 时间: 2023-6-9 15:47

Xp47 发表于 2023-6-8 10:32
我现在是13900 + 4090 + b760 台达 mk1000，自己买的atx3那个电源模组线，128G，不过，你要是不是自己comp ...

同款机箱

作者: 马丁711 时间: 2023-6-9 16:35

Xp47 发表于 2023-6-8 10:32
我现在是13900 + 4090 + b760 台达 mk1000，自己买的atx3那个电源模组线，128G，不过，你要是不是自己comp ...

机箱过大都感觉显卡很袖珍

作者: qdzsc 时间: 2023-6-9 16:47
提示: 作者被禁止或删除内容自动屏蔽

作者: Xp47 时间: 2023-6-10 01:32

马丁711 发表于 2023-6-9 16:35
机箱过大都感觉显卡很袖珍

是的主要是为了通风良好😂

作者: Xp47 时间: 2023-6-10 01:33

houshuheng 发表于 2023-6-9 15:47
同款机箱

是个好机箱，除了薄一些，挺好😂

作者: 老饭 时间: 2023-6-10 01:39
aorus 能兼容4槽

作者: inSeek 时间: 2023-6-10 01:40

easyeiji 发表于 2023-6-8 10:42
求可以改nv link的4090显卡

就算PCB的硬件部分留着了，但驱动呢...？

作者: coconutgallo 时间: 2023-6-10 03:39

g7muik 发表于 2023-6-8 20:50
6000，不支持多卡，可以双卡

a6000 Ada取消了

作者: houshuheng 时间: 2023-6-11 02:05

Xp47 发表于 2023-6-10 01:33
是个好机箱，除了薄一些，挺好😂

我塞了两套主板CPU，非常好用

作者: YsHaNg 时间: 2023-6-11 05:37

Xp47 发表于 2023-6-8 13:11
这个确实😂，日常使用intel比amd强的多。不过，我现在还是搞不懂怎么调试加速python程序，而且并行开了也 ...

py调优靠谱的现在也就那三板斧本身不是性能向的工具

作者: YsHaNg 时间: 2023-6-11 05:38

houshuheng 发表于 2023-6-10 18:05
我塞了两套主板CPU，非常好用

那这搞k8s node啊集群分布式多进程并行化

作者: houshuheng 时间: 2023-6-11 09:45

YsHaNg 发表于 2023-6-11 05:38
那这搞k8s node啊集群分布式多进程并行化

一套ITX是挂游戏用，ATX日常用，因为挂机要前台

作者: ITNewTyper 时间: 2023-6-14 16:13
PICE延长线不行吗？

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)