2024年，搭建高性能+高性价比AIO家用工作站有哪些方案？

vicai

需求：
以PVE为底层，跑多个虚拟机，搭建一台All in One主机，其中：
- 虚拟机1【Proxy】：7x24小时运行，提供DDNS域名+https反代服务，代理CUDA和emby证书，跑旁路由Openwrt科学
- 虚拟机2【NAS】：7x24小时运行，直通本地硬盘，提供Samba、NFS及Webdav服务，集中管理本地存储和百度云等网盘；提供网络文件下载，文件同步及备份服务、密码管理服务，支持手机平板等浏览器直接访问服务器上的文件；存放电影音乐、工作素材、AI模型、视频监控、虚拟机备份、软件安装包等所有数据；
- 虚拟机3【HomeDeviceManager】：7x24小时运行，管理并联动家中所有的智能设备，如智能音箱、摄像头等；
- 虚拟机4【HTPC/Playstation】：按需运行，直通显卡或使用vGPU，提供网页浏览，影音播放、相册查看、游戏娱乐，考虑黑群晖或SteamOS；
- 虚拟机5【Windows Workstation】：按需运行，直通显卡或使用vGPU，用于3D设计建模和视频剪辑、轻度渲染
- 虚拟机6【macOS Studio】：按需运行，直通显卡或使用核显vGPU，用于平面设计、笔记和编程（未来可能用macbook或macmini替代）

update@2024.8.8：增加一个虚拟机7【AI Copilot Server】：按需运行，直通显卡或使用vGPU，Ollama跑本地LLM大模型，提供AIGC文生图、文生音视频服务

虚拟机1~3日常开启，能够低功耗稳定运行
虚拟机4~6在需要时开启，可以远程开关机，可以直连显示器输出画面；
不怎么玩游戏，工作用途多一些
要能放在桌面上，希望能够静音运行

存储配置：
- 1个512G的固态硬盘给PVE宿主系统
- 1个4T的固态硬盘给虚拟机，将来可能需要扩充多个固态硬盘（2~4个）
- 2个12T的机械硬盘作数据备份，不再考虑机械硬盘的扩展

问题：
1. 我应该选择什么样的CPU、主板平台和内存？至少要多少个核心和通道能满足需求？可以的话推荐一下具体的型号
2. 显卡方面，要跑黑苹果系统又要跑AI大模型，只能A卡和N卡都要了，这里有多个虚拟机要使用显卡，N卡是买支持虚拟化的还是4090这样的显卡？以及至少要多大显存？
3. 哪些CPU能同时支持高性能和低功耗？或者说对于多核高性能CPU，能否通过软件设置的方式，在NAS场景下自动关闭CPU部分核心以达到降低运行功耗的目的
4. 搭配这些硬件选择什么样的机箱会更好、更有助于散热和静音运行？
5. 这样一套配置下来（不算硬盘、显示器等外设）最低要多少费用？

YoshinoSakura

其他的不懂，但鉴于你456的需求，似乎并不需要vGPU
尤其是vGPU并不能满足需求“可以直连显示器输出画面”的需求，与需求冲突
所以你实际上并不需要vGPU，在你给出的两个选项我觉得直接4090得了吧（有钱的话全都要，6000ADA即刻下单）

这个是我对问题2的部分看法

银月

我这个就是你要的完全体呗

对特殊接口没需求的话基本上就够了

显卡加个a770不知道能不能跑黑果，感觉这年头黑果意义不大

women

不知道你怎么远程剪片？是要从显卡接出来显示器吗？

其他的应该对cpu要求都不高吧，剪视频这个需求不懂哈

vicai

YoshinoSakura 发表于 2024-8-7 00:13
其他的不懂，但鉴于你456的需求，似乎并不需要vGPU
尤其是vGPU并不能满足需求“可以直连显示器输出画面”的 ...

感谢提醒，vGPU是因为想分给多个虚拟机用，计划是一个解码用途，一个跑AIGC绘图，一个游戏，一个视频剪辑和3D设计，一个3D渲染。单独分出多个虚拟机各跑各的，是想这些应用互不影响。比如，家里有人在看本地高清视频，另一个人在玩游戏，游戏结束关闭游戏虚拟机不影响视频解码；AIGC可以同时给多个家庭成员使用，其中一个人工作结束，关闭自己的虚拟机不影响AIGC服务在后台运行；渲染也是同理，用一台虚拟机单独渲染，设计工作结束就可以关机，渲染继续。

然后直连显示器是因为不想再弄第二台机器来作为客户端了，直接输出虚拟机的显示画面，必要的时候我就可以将服务器中的虚拟机当作物理机去用。

这样看的话是直接上 ADA？还是4090+vGPU？

vicai

银月 发表于 2024-8-7 00:17
我这个就是你要的完全体呗

对特殊接口没需求的话基本上就够了

你这台跑了多少个虚拟机，同时3D渲染+视频剪辑+AIGC绘图(如stable diffusion)有压力吗？看内存是96G？

我跑黑果主要还是用它的软件生态习惯了，win平台下没有应用。我试过PVE用核显直通跑黑果是没问题的，但还是想上A卡省心一点

vicai

women 发表于 2024-8-7 02:26
不知道你怎么远程剪片？是要从显卡接出来显示器吗？

其他的应该对cpu要求都不高吧，剪视频这个需求不懂哈

远程的话两个方案，一个就直接rdp，手机/平板/AR眼镜装RD Client；另一个就是moonlight+sunshine串流

直连显示器是在家的时候，输出虚拟机的画面到显示器上用。

银月

vicai 发表于 2024-8-7 08:57
你这台跑了多少个虚拟机，同时3D渲染+视频剪辑+AIGC绘图(如stable diffusion)有压力吗？看内存是96G？

...

同时3D渲染+视频剪辑+AIGC绘图的话，你需要3张4090

散落烟灰

分享一下，不做建议

我有2台

1、deskmeet b660，12500+128G内存 + 1个M2，2个PCIE 4.0的U2，windows server 2022+ hyper-v
这个干活用，主要开虚拟机干活，一个项目一个虚拟机，所以内存要大，别的不干。图它小，128G内存，只有8L体积，待机功耗45W。


2、新换的天钡5825U+32G内存，4个HDD，2个M2，1个SSD，windows server 2022+ hyper-v
也是个小不点，8核16线程，15W TDP，主要用来跑虚拟化服务，属于家用AIO，像alist，icloud，mt-photos之类支持win客户端的，直接跑在宿主机上面，省了直通什么的一堆折腾，没有的就扔虚拟机用LINUX或docker跑，待机28W。

如果要插显卡，hyper-v是个不错的选择，可以直通给多个虚拟机，这些虚拟机共享你这块显卡的资源，我当初就用过这个方案，开2台虚拟机，都直通同一块显卡，和娃一起玩游戏用

Dolfin

不考虑全虚拟化的维护难度及成本，以及All in boom的风险。
你需要的这台Host需要至少两块GPU，多个SSD（或NVme SSD），多块网卡，且对硬件稳定性兼容性有要求。
那么消费级硬件很可能不足以满足，而企业级的功耗、噪音、成本会和你的需求相悖。

如果把需求拆解，虚拟机1、2、3可以整合为All in one NAS
虚拟机4、5是一台高性能PC
虚拟机6是一台MacBook

三台计算机的成本、噪音、功耗加起来，很有可能比这台全虚拟的host更低，而性能和安全性一定会更好。

建议柠檬

我觉得如果还得考虑什么静音啊一类的
还得是企业级

直接联想PX吧
图便宜就买准系统去自己配
至少他能塞四张双宽的显卡

按双路8452Y一共72C144T，内存插个256G的D5 REG基本上也就够了
虚拟机1-2-3每个分2C（俩物理核心）4G内存
虚拟机4分8C16T，16G内存
虚拟机5分48C96T，192G内存
剩下的一股脑给虚机6



虚拟机123直接一块INTEl显卡应该就能伺候了
虚拟机4按需分配，自己看性能决定是上4090还是别的N卡
虚拟机5就按4090来
虚拟机6可以再来一块6950XT

这样的话30W差不多就拿下了，不用瞎折腾了就
好歹也是企业级的工作站，总比什么野鸡NUC配DIY主板强多了吧

YoshinoSakura

vicai 发表于 2024-8-7 08:49
感谢提醒，vGPU是因为想分给多个虚拟机用，计划是一个解码用途，一个跑AIGC绘图，一个游戏，一个视频剪辑 ...

如果你真的有这需求的话只能6000ada吧，4090应该是开不起sriov的

反正从30系开始NVIDIA就转投sriov了，消费级卡强开vGPU是Maxwell架构至图灵架构的事情了

不过还得是看你的需求，为了满足虚拟机6的需求，你至少有一张卡是黑苹果能用的A卡，或者是Intel那些旧核显（不是UHD7XX那些）
但看你这个需求明显不会用Intel旧核显的U，也用不得它们，因为性能低不能满足需求了

但如果是UHD770那些核显，又可以开sriov塞给其他虚拟机用，虽然性能就个核显水平，但也能用
不是什么特别的猛的游戏，或者是不是那么猛的编解码都可以交给它，至于aigc我觉得正常人不会用它跑，onnx图一乐得了
这个核显只是给个参考，实际上我觉得你都上这么猛的配置的，配出来的机器应该是没核显的，不然PCIe通道哪里够

不过你这个虚拟机1的cuda代理是指的哪种
https://www.bilibili.com/read/cv26461074/
是类似这文章写的网络走显卡吗，gpu over ip的这种

自挂东南枝

显卡直通可以用hyper-v WSL2代替.

kartanus

YoshinoSakura 发表于 2024-8-7 13:53
如果你真的有这需求的话只能6000ada吧，4090应该是开不起sriov的

反正从30系开始NVIDIA就转投sriov了， ...

搭车问一下，消费级N卡的SR-IOV支持Hper-V吗？还是仅限PVE

没楼主那么强的需求，就是能调用独显一部分计算资源的话，Hyper-V有好的方案么？
目前还是双路E5 v4插一堆网卡、HBA卡主要做文件共享用，想了解下显卡虚拟化的方案

shalei2004

有几个需求感觉千把块钱的小主机就能搞定，为什么要用虚拟机？
买个nas才几个钱，也考虑到黑群了，直接买个黑群主机或者二手群晖不香么？
用虚拟机跑图啥呢？不太理解

zcyandrew

性价比就Rome/Milan，但是他们单核都不太够

高扩展性+多核+单核性能 只能选线撕，但是很贵

ihainan

shalei2004 发表于 2024-8-7 14:55
有几个需求感觉千把块钱的小主机就能搞定，为什么要用虚拟机？
买个nas才几个钱，也考虑到黑群了，直接买个 ...

对于爱折腾的人，用着 AIO 就想拆，拆完没多久又想 AIO。

xyzhangabc

建议拆开，4~6 明显不在一个区域进行的活动，放在一台机器里面输入和输出走线都很麻烦。

shalei2004

ihainan 发表于 2024-8-7 15:15
对于爱折腾的人，用着 AIO 就想拆，拆完没多久又想 AIO。

想想各种配置就头疼，关键是不方便也不省钱，一个高配置电脑24小时开机不烦么？

YoshinoSakura

kartanus 发表于 2024-8-7 14:52
搭车问一下，消费级N卡的SR-IOV支持Hper-V吗？还是仅限PVE

没楼主那么强的需求，就是能调用独显一部分计 ...

消费级N卡没有sriov
Azure-Stack-HCI驱动开sriov跑hyperV虚拟机的话只有A、H系列专业卡支持，没记错的话
GRID15.2那阵子是只有下面这几个，现在应该是多了一些了
NVIDIA_DEV.2235.145A.10DE = "NVIDIA A40"
NVIDIA_DEV.2236.1482.10DE = "NVIDIA A10"
NVIDIA_DEV.25B6.14A9.10DE = "NVIDIA A16"
NVIDIA_DEV.25B6.157E.10DE = "NVIDIA A2"
只是调用一部分资源的话试试WDDM GPU virtualization，大家习惯叫这东西GPU-PV
感兴趣可以搜索下
Windows那个沙盒用的也是这个技术
https://learn.microsoft.com/zh-c ... -gpu-virtualization

卧龙凤雏

目前13500+3060ti+rx560+32G在用。和你需求差别只有游戏和ai
1.vgpu最好不要捣鼓，除非商业用途。核显虚拟化就行
2.功耗不低，就算只开123，cpu 小核5%运行，硬盘休眠。功耗也要80w。并且内外网关于压制功耗的文章非常少。
3.主（n）显卡可以直通，核显和a卡直通很费劲...索性直接用sunshine串流。
主板选择没啥好说的，32G/48G够使就D5,不够用就D4，御三家找个有两槽的随便挑呗。

vicai

散落烟灰 发表于 2024-8-7 11:25
分享一下，不做建议

我有2台

hyper-v只能是Windows平台吧，如果套个mac虚拟机能以虚拟化的方式使用4090之类的显卡吗？

相对于pve作为底层，有什么优势

vicai

Dolfin 发表于 2024-8-7 11:38
不考虑全虚拟化的维护难度及成本，以及All in boom的风险。
你需要的这台Host需要至少两块GPU，多个SSD（或 ...

All in One主要是资源管理上的考虑，还有体积和空间占用

使用虚拟机的方式，主要是为了共享内存、存储、网络和电源，然后pve快照备份还原方便维护，虚拟机系统盘和数据盘都在同一个系统和物理机下管理，拷贝和备份不受网络传输环境影响，对网卡没有要求，如果拆分成两台或三台物理机，那就要多维护一台设备（包括CPU、主板、内存、硬盘、网络、电源和操作系统），而且一台高性能PC肯定是要ATX规格的主板和独立显卡，本身体积就更大，完全塞得下作为NAS所用到的硬件资源，如果不安装硬盘也是空间浪费。至于mac系统，我自己也有台macbook，搞成虚拟机是想在办公室电脑或着搭配XR眼镜远程桌面私人使用（不想带着macbook出门）。

当然冗余有冗余的好处，不会AIB，还有你说的成本噪音功耗优势。如果能解决拆分后的资源管理问题，我会考虑这个方案。

vicai

建议柠檬 发表于 2024-8-7 11:52
我觉得如果还得考虑什么静音啊一类的
还得是企业级

我最早看中的也是PX，整体设计都很赞，但贵是我的缺点，还是趋向于选择准系统吧
不知道超微这个配e5 2699v4如何？ https://item.taobao.com/item.htm ... AvgdNXTDnpmTA2CStc.

虽然我想要高性能，但可能也没到你想这个强度
游戏多数是怀旧类小游戏，偶尔才玩个赛博朋克2077之类
虚拟机5 感觉分16c 32g内存也够了？ 多数是c4d/blender建模，pr剪个视频
虚拟机6 mac系统就干平面设计的活，PS搭配SD comfyUI出图，偶尔写一点前端代码啥的

主要还是考虑单独分个虚拟机跑AIGC和本地大模型 打算装个Stable Diffusion在Ubuntu Linux虚拟机上，要求生成素材的同时不影响干活和上网

vicai

YoshinoSakura 发表于 2024-8-7 13:53
如果你真的有这需求的话只能6000ada吧，4090应该是开不起sriov的

反正从30系开始NVIDIA就转投sriov了， ...

不是，那个cuda代理是之前破解Nvidia 10系消费级显卡，开启vGPU用的，跑的fastapi-dls docker，但性能损失太多，不知道4090能不能破，我放在虚拟机1里面是方便管理，gpu直通的话就不需要了。

话说ada这类型号支持显示器输出吗？用来aigc和干活是不是比4090好使？

nn1122

vicai 发表于 2024-8-8 09:42
hyper-v只能是Windows平台吧，如果套个mac虚拟机能以虚拟化的方式使用4090之类的显卡吗？

相对于pve作为 ...

mac系统好多年不支持N卡了，苹果和老黄是有仇的

散落烟灰

vicai 发表于 2024-8-8 09:42
hyper-v只能是Windows平台吧，如果套个mac虚拟机能以虚拟化的方式使用4090之类的显卡吗？

相对于pve作为 ...

MAC自20系及之后就不支持N卡了，用什么方案搞黑果都搞不了。

WIN与PVE各有优劣，主要就是简单，省事，功耗更低。

Dolfin

vicai 发表于 2024-8-8 10:15
All in One主要是资源管理上的考虑，还有体积和空间占用

使用虚拟机的方式，主要是为了共享内存、存储、 ...

前面你已经想的很清楚了，并分成了两类，7*24 和 按需运行。那搞成两台呗，一台做服务，一台做桌面体验。

另外，共享确实是共享，不过不光共享硬件、性能，同时还共享功耗、噪音，当然还有风险，共享是双向的。

恰好，功耗噪音的大头，就在硬盘和显卡上，这俩一个在 7*24上，一个在按需运行上，这都是共享的。

你提的内存、存储拿来共享，但只要VM同时运行，所需的资源大概就是A+B+C，看起来，多个存储也是按VM分的，不是准备拿来做一整个大存储池来共享吧？

那么资源管理，不止是计件管理，计算总共有多少个零部件。看起来是为7*24服务额外搞了个mini PC或者小NAS，确实多了零件，那么小微服务全天候跑在高性能PC/工作站（20核以上，多显卡）上是不是也是种资源浪费？

还有，对虚拟化平台的管理难度，绝不会比多台物理机低，且不说虚拟化带来的性能损失，这也是额外消耗。

我对虚拟化的理解，是多台VM同时运行的资源优化，且达到一定规模优势才会显现，没有必要把各种需求都装进虚拟化。

建议柠檬

vicai 发表于 2024-8-8 10:41
我最早看中的也是PX，整体设计都很赞，但贵是我的缺点，还是趋向于选择准系统吧
不知道超微这个配e5 2699 ...

古董还是留给我们图吧基佬吧

最次你整个P920伍的啊，最起码PCIE管够

vicai

Dolfin 发表于 2024-8-8 12:10
前面你已经想的很清楚了，并分成了两类，7*24 和 按需运行。那搞成两台呗，一台做服务，一台做桌面体验。 ...

存储的话我是这样分配的：
存储分配：
- SSD1：存放pve系统，运行时虚拟机系统
- SSD2：存放win/mac/linux虚拟机下的软件游戏应用，计划按文件系统分区（NTFS/APFS/EXT4），能绿色版就尽量绿色版，比如有多个Win VM就共享同一个存储；
- SSD3：存放网上下载的各种文件，包括AI模型、设计/视频素材、电影、音乐、图书、游戏、操作系统ISO镜像、应用软件安装包等，exFAT格式；
- SSD4：存放私人工作文档、笔记、拍摄的照片、视频、监控、IM聊天记录、设计源文件等；
- HDD RAID1：定期自动备份重要数据，如虚拟机快照及个人工作文件、照片等，以及一些存档的无需更新的文件

这些硬盘全部分给基于PVE LXC搭建的NAS，以SMB/NFS协议映射为各个VM的本地磁盘，或挂载为PVE目录，共享给各个VM使用。其他所有要用硬盘的机器都通过该服务挂载NAS。

如果按你说的都放在一台7*24小时的NAS上，那另一台高性能PC要怎么直接访问这套NAS中的虚拟机及应用？存储在NAS中的虚拟机又怎么使用高性能PC中的CPU显卡内存资源？还是说我只能在这台高性能PC单独搭建一套PVE+win/mac虚拟机，再额外买个SSD给高性能PC专机专用？还有就是千兆网络会不会成为PC读取、写入和运行NAS上的数据和应用的瓶颈？如果是，那这两台设备要不要上万兆网卡？

另外请教下，20核以上、多显卡的工作站有没有办法在关闭VM后自动关闭相应的显卡资源和部分核心，以达到降低功耗，减少资源浪费的目的？