All in One家庭服务器主板二选一，求分析推荐。

bumplin

最近开始研究All in One想装一台试试，主板发现了两款比较满意的希望大家给分析和推荐一下。

我是小白，刚开始研究家用服务器，有些问题可能比较naive，请见谅。

两款主板都是华擎的，但好像是不同部门的产品，一个是AsRock Rack，另一个是AsRock Industrial。我也不知道这两个产品线具体有什么区别，定位谁高谁低。

第一款是AsRock Rack W680D4U-2L2T/G5
与它类似（Pcie Gen5 vs Gen4）的是AsRock Rack W680D4U-2L2T，其实更喜欢这个但貌似不好买。

第二款貌似6月底才发布，更新一些，是AsRock Industrial IMB-X1316-10G
与它类似（没有10G网口）的是AsRock Industrial IMB-X1316

服务器打算底层用Proxmox或者ESXi之类的hypervisor，然后HTPC、NAS(打算U.2全闪)、HomeAssistant、Linux(炼丹)之类的都部署为独立的虚拟机，没有容器化打算。家庭打算建全10Gbps内网。只打算用m-ATX和W680的主板。

希望大家能给提点想法和建议。

另外，因为是小白问几个蠢问题：
1. 主板上多个网口有什么用？一个网口是不是就能解决我全部问题，那多出来的我该怎么用，特别是有两个10Gbps网口的那款主板。
2. 两款主板分别支持IPMI和vPro中的一个，该怎么选择？

真心提问，求勿喷勿笑，谢谢大家的意见。

bumplin

thereone 发表于 2023-9-4 01:11
当然有需求场景啊，这个在数据中心中非常常见
业务网口10G/25G 双光口和交换机做链路聚合保证业务冗余
管 ...

学习了 感谢
我是码农跟你是上下游，之前从来没想过自己写的服务是怎么部署到服务器上的

thereone

bumplin 发表于 2023-9-3 00:58
他们说的我也懂，我不懂的是为什么这些主板像是刚需设计一样都是三个接口，这些网口可以用但是都没什么刚 ...

当然有需求场景啊，这个在数据中心中非常常见
业务网口10G/25G 双光口和交换机做链路聚合保证业务冗余
管理网口1G 双电口和交换机做链路聚合保证管理冗余
IPMI口单独接入IPMI的网络线路。
这下懂了吧为啥会有这么多的网口，以上三种网络全部隔离的流量互不影响，我现在维护的某云的网络中服务器就是这样接入的。
如果服务器是和存储网络直连的那么就会有6个网口用到
在上面说的有的之外再加一对25G的网卡和存储网络交换机相连，那就是四张网络了
IPMI网络 管理网络 业务网络 存储网络

aning

bumplin 发表于 2023-9-3 23:54
老哥，真心感谢你指导。拆分的事我昨天仔细看了一下发现自己没好好做功课，的确不能拆x4，就把问题后半段 ...

何不考虑一下收个二手的hp ml110 gen10(9)?可以参考我帖子，要10G加个网卡即可，hp的iLo巨好用，又便宜又大杯！~~~不知道能否满足LZ需求。

bumplin

nw_liqi 发表于 2023-9-3 14:53
以及不管怎么样W680主板不支持X16拆成4个X4，要另外用带switch的拆分卡

老哥，真心感谢你指导。拆分的事我昨天仔细看了一下发现自己没好好做功课，的确不能拆x4，就把问题后半段给删了，你最开始关于东擎的说明我也理解错了，my bad

我没理解错的话东擎不如永擎的主要问题是m2和缺少4个OcuLink是吧？
根据你说的，我不知道这个理解对不对：
永擎G4 > 永擎G5+拆分卡 > 东擎10G > 东擎普通，但是不管哪一个都实现不了我最初的x16插槽放4块u.2+x8插槽放显卡的想法。比较合理的就是永擎无论G5还是G4都是x16插个显卡，然后四个OcuLink插4个u2，这样就不用拆分卡也能满足最开始对于硬件的计划。

bumplin

21PENNY 发表于 2023-9-3 15:58
对于PVE系统，KVM识别大小核没有什么问题；不过，记得3-4月份和人讨论的时候，linux下的优先级是大核>小 ...

是的 Proxmox调用大小核逻辑没问题，你说的顺序也是对的，我在这个帖子别的回复里分享过一个视频链接来论证这点。

21PENNY

bumplin 发表于 2023-9-2 09:33
不想用AMD，问就是N年前给这红色公司做实习生的时候给显卡驱动贡献过代码，握过苏妈的手，感觉见得够多， ...

对于PVE系统，KVM识别大小核没有什么问题；不过，记得3-4月份和人讨论的时候，linux下的优先级是大核>小核>超线程，没有前后台一说；不绑核的话，如果当前一个大核idle了，小核上跑得好好的任务经常会被强行push到大核上跑，这样对qemu-kvm这种较为复杂（牵扯vCPU和EPT table）的进程来说开销就大不少了，出问题的可能性也大不少，目前还不了解PVE里有什么额外的优化。

nw_liqi

bumplin 发表于 2023-9-3 13:54
谢谢老哥耐心指导🙏 学到了不少，看来确实应该买永擎。
就是还有一点不理解，东擎那个好像也有x16和x8接 ...

以及不管怎么样W680主板不支持X16拆成4个X4，要另外用带switch的拆分卡

nw_liqi

bumplin 发表于 2023-9-3 13:54
谢谢老哥耐心指导🙏 学到了不少，看来确实应该买永擎。
就是还有一点不理解，东擎那个好像也有x16和x8接 ...

W680没有那么多PCIE通道，所以主板上的X16和X8是share lanes的，即当X8插了东西之后，X16会降成X8，即8+8，永擎的G5那块没给两个X8，你要拆的话之后用那种拆分卡或者转接线了

bumplin

nw_liqi 发表于 2023-9-3 12:59
这两块主板，我认为应该毫无疑问选asrock rack的，第一块。
1.就是永擎比东擎更好买，永擎有零售渠道，保 ...

谢谢老哥耐心指导🙏 学到了不少，看来确实应该买永擎。
就是还有一点不理解，东擎那个好像也有x16和x8接口。我看介绍页写的是1 x PCIex16 (Gen5), 1 x PCIex8 (Gen5), 2 x PCIex4 (Gen4)

nw_liqi

bumplin 发表于 2023-9-3 12:14
老哥 你最专业！Pcie是我没仔细看资料想当然了。
请问为啥四根情况下ecc没意义?
可否给点意见两个主板改 ...

这两块主板，我认为应该毫无疑问选asrock rack的，第一块。
1.就是永擎比东擎更好买，永擎有零售渠道，保修方便些。此外永擎的个人用户也有不少，真有问题查资料也方便，东擎除了industrial客户我感觉真的没人用
2.第二块主板的扩展性不满足你需求，比如东擎都没有M.2，他的两个M.2是给无线网卡和5G SIM的，主板只有两个pcie x4，就算拆了X16你最多也只有三个u.2，另外还有一堆LVDS，GPIO之类的借口，显然你也用不上。
永擎这块有一个X16（可8+8），外加4个X4的oculink，正正好。虽然说多了两个10G口也许你用不上，但这不是纠结的重点。

nw_liqi

bumplin 发表于 2023-9-3 12:14
老哥 你最专业！Pcie是我没仔细看资料想当然了。
请问为啥四根情况下ecc没意义?
可否给点意见两个主板改 ...

ECC这事，我说的有点武断，但大致还是因为在通道数比较少和内存容量相对比较小的时候，发生位翻转的概率太低了。服务器平台因为recc内存本身容量翻倍，再加上动辄插满6通道8通道10几条内存，发生内存错误的概率也大大提高了。

当然，如果你的虚拟机吃的内存够多，比如32*4=128G内存，你能吃个100来G的话，还是强烈建议上ecc的。

我自己之前有一台纯NAS，跑个三五个docker，平时就备份文件视频解码，日常idle内存占用2-3G，那ecc就完全没意义

bumplin

czsec0 发表于 2023-9-3 11:34
我一个月前配的H12SSL+7D12(4通道, 以后可以升级到8通道), 功耗100w, 装的PVE, 用作NAS, 旁路由, 一些Web服 ...

显卡单槽75W, cpu i3, 硬盘就只有四块u2和一块nvme，需要这么大电源吗? 手头上有个1000w的钛金准备直接用。
不打算用服务器机箱，就装个matx，想用银欣的处置风道那个。

bumplin

nw_liqi 发表于 2023-9-3 11:51
如果不要AMD不要xeon，且要上ecc内存，那W680确实是最好的选择。虽然内存插四根的情况下ecc没啥意义，但没 ...

老哥 你最专业！Pcie是我没仔细看资料想当然了。
请问为啥四根情况下ecc没意义?
可否给点意见两个主板改选哪个？多网口能不能指导一下怎么用比较合理？

谢谢！

nw_liqi

如果不要AMD不要xeon，且要上ecc内存，那W680确实是最好的选择。虽然内存插四根的情况下ecc没啥意义，但没玩过可以玩玩。
底层虚拟化的话，有没有ipmi和vpro意义不大，反正你要管理虚拟机也是在PVE或者ESXI下面

另外关于pcie这个，W680最多只能8+8，且不能再拆了，如果你要上显卡+全闪的话，显卡占个X8，还剩1个X8+4个X4=5个U.2，如果你要是够用的话也没问题。但你提到了X16给4个U.2，那就实现不了了

czsec0

我一个月前配的H12SSL+7D12(4通道, 以后可以升级到8通道), 功耗100w, 装的PVE, 用作NAS, 旁路由, 一些Web服务,
磁盘功耗没算在内, 1200买的二手2U12盘的超微机箱4xu.2和8xsas.
你如果要上显卡,建议4U的机箱, 电源2000w以上的钛金级别.
PCIE5没有刚需大可不必上, 功耗偏高, 而PCIE4对于PCIE3功耗是有优化的.
咸鱼100买的麦洛思10G光口网卡.

bumplin

seven@chh 发表于 2023-9-3 10:09
如果先是试着玩玩，淘宝上可以看看淘汰的机架服务器。
1U的华为1288V3或浪潮5112M4，另外配2.5寸的U2盘或 ...

淘宝搞不了 在国外
而且就想装个好看的服务器 为了醋包盘饺子

seven@chh

bumplin 发表于 2023-9-2 11:19
谢谢 我研究研究

如果先是试着玩玩，淘宝上可以看看淘汰的机架服务器。
1U的华为1288V3或浪潮5112M4，另外配2.5寸的U2盘或SATA口SSD。
2U的华为2288V3或浪潮5212M4，可以配3.5寸盘。
上面这些装E5-2680V4，ECC内存，一千多（不算硬盘），然后配上需要的其他配件，如硬盘架、转接卡、冗余电源、万兆网卡。如果不是运气差，可以玩好几年了。
如果对性能要求高些，1U的华为1288V5或浪潮5112M5，cpu用6133，价格稍贵些。

190

bumplin 发表于 2023-9-3 09:16
是两个口聚合的意思吗？baremetal os和虚拟机都不打算用win

不是聚合，聚合只能平衡负载，应该突破不了万兆上限。

煎饼果子chh

玩虚拟机就别搞直通，特别还是万兆网卡

bumplin

190 发表于 2023-9-3 09:02
要全大核可以用12500，功耗低性能也不弱。万兆网卡建议双口，win下的smb多通道可以1.5g的速度传输，可以更 ...

是两个口聚合的意思吗？baremetal os和虚拟机都不打算用win

bumplin

cabala 发表于 2023-9-3 08:55
我的意思是不给别的虚拟机留个10G口，别的虚拟机就没法实现10G了

哦哦 懂了 谢谢

190

要全大核可以用12500，功耗低性能也不弱。万兆网卡建议双口，win下的smb多通道可以1.5g的速度传输，可以更好的发挥固态的速度。

cabala

bumplin 发表于 2023-9-3 08:54
这个例子里其他的网络需求低的虚拟机就用第三个2.5Gbps呗，我就是随便拿两个虚拟机举个例子，我是没懂“1 ...

我的意思是不给别的虚拟机留个10G口，别的虚拟机就没法实现10G了

bumplin

cabala 发表于 2023-9-3 07:58
两个口都用完了，同一台母鸡中的其他虚拟机呢？

这个例子里其他的网络需求低的虚拟机就用第三个2.5Gbps呗，我就是随便拿两个虚拟机举个例子，我是没懂“10G都直通了就没法10G内网了”是个什么意思。10Gbps直通给了需要的虚拟机，那不还是10Gbps的内网速度吗？多个虚拟机用一个口就用网桥配置直通呗。

cabala

bumplin 发表于 2023-9-3 01:00
How? 比如说口1直通给NAS虚拟机，口2直通给Linux，口1和2都接路由器LAN，那NAS和Linux跟内网里的其他设备 ...

两个口都用完了，同一台母鸡中的其他虚拟机呢？

bumplin

testcb00 发表于 2023-9-3 01:18
不看看Intel Sapphire Rapids?

用不上哇

testcb00

bumplin 发表于 2023-9-3 01:02
就是单纯不想用AMD 烤鸭店上过班的肯定不想吃烤鸭了

不看看Intel Sapphire Rapids?

bumplin

wxcup 发表于 2023-9-2 14:41
真不如上amd epyc，现在大船货价格很实惠，我上的就是asrock romed6u，matx小版，而且支持的SATA接口最多能 ...

就是单纯不想用AMD 烤鸭店上过班的肯定不想吃烤鸭了

maniacwj

bumplin 发表于 2023-9-2 09:33
不想用AMD，问就是N年前给这红色公司做实习生的时候给显卡驱动贡献过代码，握过苏妈的手，感觉见得够多， ...

AIO别用大小核是正解，看起来不错的都不靠谱，抵抗AMD，但I家也有全大核的U，AIO对U的性能压榨并不高，90%以上的时间负载很低的。