2024年，搭建高性能+高性价比AIO家用工作站有哪些方案？

vicai

需求：
以PVE为底层，跑多个虚拟机，搭建一台All in One主机，其中：
- 虚拟机1【Proxy】：7x24小时运行，提供DDNS域名+https反代服务，代理CUDA和emby证书，跑旁路由Openwrt科学
- 虚拟机2【NAS】：7x24小时运行，直通本地硬盘，提供Samba、NFS及Webdav服务，集中管理本地存储和百度云等网盘；提供网络文件下载，文件同步及备份服务、密码管理服务，支持手机平板等浏览器直接访问服务器上的文件；存放电影音乐、工作素材、AI模型、视频监控、虚拟机备份、软件安装包等所有数据；
- 虚拟机3【HomeDeviceManager】：7x24小时运行，管理并联动家中所有的智能设备，如智能音箱、摄像头等；
- 虚拟机4【HTPC/Playstation】：按需运行，直通显卡或使用vGPU，提供网页浏览，影音播放、相册查看、游戏娱乐，考虑黑群晖或SteamOS；
- 虚拟机5【Windows Workstation】：按需运行，直通显卡或使用vGPU，用于3D设计建模和视频剪辑、轻度渲染
- 虚拟机6【macOS Studio】：按需运行，直通显卡或使用核显vGPU，用于平面设计、笔记和编程（未来可能用macbook或macmini替代）

update@2024.8.8：增加一个虚拟机7【AI Copilot Server】：按需运行，直通显卡或使用vGPU，Ollama跑本地LLM大模型，提供AIGC文生图、文生音视频服务

虚拟机1~3日常开启，能够低功耗稳定运行
虚拟机4~6在需要时开启，可以远程开关机，可以直连显示器输出画面；
不怎么玩游戏，工作用途多一些
要能放在桌面上，希望能够静音运行

存储配置：
- 1个512G的固态硬盘给PVE宿主系统
- 1个4T的固态硬盘给虚拟机，将来可能需要扩充多个固态硬盘（2~4个）
- 2个12T的机械硬盘作数据备份，不再考虑机械硬盘的扩展

问题：
1. 我应该选择什么样的CPU、主板平台和内存？至少要多少个核心和通道能满足需求？可以的话推荐一下具体的型号
2. 显卡方面，要跑黑苹果系统又要跑AI大模型，只能A卡和N卡都要了，这里有多个虚拟机要使用显卡，N卡是买支持虚拟化的还是4090这样的显卡？以及至少要多大显存？
3. 哪些CPU能同时支持高性能和低功耗？或者说对于多核高性能CPU，能否通过软件设置的方式，在NAS场景下自动关闭CPU部分核心以达到降低运行功耗的目的
4. 搭配这些硬件选择什么样的机箱会更好、更有助于散热和静音运行？
5. 这样一套配置下来（不算硬盘、显示器等外设）最低要多少费用？

vicai

YoshinoSakura 发表于 2024-8-7 00:13
其他的不懂，但鉴于你456的需求，似乎并不需要vGPU
尤其是vGPU并不能满足需求“可以直连显示器输出画面”的 ...

感谢提醒，vGPU是因为想分给多个虚拟机用，计划是一个解码用途，一个跑AIGC绘图，一个游戏，一个视频剪辑和3D设计，一个3D渲染。单独分出多个虚拟机各跑各的，是想这些应用互不影响。比如，家里有人在看本地高清视频，另一个人在玩游戏，游戏结束关闭游戏虚拟机不影响视频解码；AIGC可以同时给多个家庭成员使用，其中一个人工作结束，关闭自己的虚拟机不影响AIGC服务在后台运行；渲染也是同理，用一台虚拟机单独渲染，设计工作结束就可以关机，渲染继续。

然后直连显示器是因为不想再弄第二台机器来作为客户端了，直接输出虚拟机的显示画面，必要的时候我就可以将服务器中的虚拟机当作物理机去用。

这样看的话是直接上 ADA？还是4090+vGPU？

vicai

银月 发表于 2024-8-7 00:17
我这个就是你要的完全体呗

对特殊接口没需求的话基本上就够了

你这台跑了多少个虚拟机，同时3D渲染+视频剪辑+AIGC绘图(如stable diffusion)有压力吗？看内存是96G？

我跑黑果主要还是用它的软件生态习惯了，win平台下没有应用。我试过PVE用核显直通跑黑果是没问题的，但还是想上A卡省心一点

vicai

women 发表于 2024-8-7 02:26
不知道你怎么远程剪片？是要从显卡接出来显示器吗？

其他的应该对cpu要求都不高吧，剪视频这个需求不懂哈

远程的话两个方案，一个就直接rdp，手机/平板/AR眼镜装RD Client；另一个就是moonlight+sunshine串流

直连显示器是在家的时候，输出虚拟机的画面到显示器上用。

vicai

散落烟灰 发表于 2024-8-7 11:25
分享一下，不做建议

我有2台

hyper-v只能是Windows平台吧，如果套个mac虚拟机能以虚拟化的方式使用4090之类的显卡吗？

相对于pve作为底层，有什么优势

vicai

Dolfin 发表于 2024-8-7 11:38
不考虑全虚拟化的维护难度及成本，以及All in boom的风险。
你需要的这台Host需要至少两块GPU，多个SSD（或 ...

All in One主要是资源管理上的考虑，还有体积和空间占用

使用虚拟机的方式，主要是为了共享内存、存储、网络和电源，然后pve快照备份还原方便维护，虚拟机系统盘和数据盘都在同一个系统和物理机下管理，拷贝和备份不受网络传输环境影响，对网卡没有要求，如果拆分成两台或三台物理机，那就要多维护一台设备（包括CPU、主板、内存、硬盘、网络、电源和操作系统），而且一台高性能PC肯定是要ATX规格的主板和独立显卡，本身体积就更大，完全塞得下作为NAS所用到的硬件资源，如果不安装硬盘也是空间浪费。至于mac系统，我自己也有台macbook，搞成虚拟机是想在办公室电脑或着搭配XR眼镜远程桌面私人使用（不想带着macbook出门）。

当然冗余有冗余的好处，不会AIB，还有你说的成本噪音功耗优势。如果能解决拆分后的资源管理问题，我会考虑这个方案。

vicai

建议柠檬 发表于 2024-8-7 11:52
我觉得如果还得考虑什么静音啊一类的
还得是企业级

我最早看中的也是PX，整体设计都很赞，但贵是我的缺点，还是趋向于选择准系统吧
不知道超微这个配e5 2699v4如何？ https://item.taobao.com/item.htm ... AvgdNXTDnpmTA2CStc.

虽然我想要高性能，但可能也没到你想这个强度
游戏多数是怀旧类小游戏，偶尔才玩个赛博朋克2077之类
虚拟机5 感觉分16c 32g内存也够了？ 多数是c4d/blender建模，pr剪个视频
虚拟机6 mac系统就干平面设计的活，PS搭配SD comfyUI出图，偶尔写一点前端代码啥的

主要还是考虑单独分个虚拟机跑AIGC和本地大模型 打算装个Stable Diffusion在Ubuntu Linux虚拟机上，要求生成素材的同时不影响干活和上网

vicai

YoshinoSakura 发表于 2024-8-7 13:53
如果你真的有这需求的话只能6000ada吧，4090应该是开不起sriov的

反正从30系开始NVIDIA就转投sriov了， ...

不是，那个cuda代理是之前破解Nvidia 10系消费级显卡，开启vGPU用的，跑的fastapi-dls docker，但性能损失太多，不知道4090能不能破，我放在虚拟机1里面是方便管理，gpu直通的话就不需要了。

话说ada这类型号支持显示器输出吗？用来aigc和干活是不是比4090好使？

vicai

Dolfin 发表于 2024-8-8 12:10
前面你已经想的很清楚了，并分成了两类，7*24 和 按需运行。那搞成两台呗，一台做服务，一台做桌面体验。 ...

存储的话我是这样分配的：
存储分配：
- SSD1：存放pve系统，运行时虚拟机系统
- SSD2：存放win/mac/linux虚拟机下的软件游戏应用，计划按文件系统分区（NTFS/APFS/EXT4），能绿色版就尽量绿色版，比如有多个Win VM就共享同一个存储；
- SSD3：存放网上下载的各种文件，包括AI模型、设计/视频素材、电影、音乐、图书、游戏、操作系统ISO镜像、应用软件安装包等，exFAT格式；
- SSD4：存放私人工作文档、笔记、拍摄的照片、视频、监控、IM聊天记录、设计源文件等；
- HDD RAID1：定期自动备份重要数据，如虚拟机快照及个人工作文件、照片等，以及一些存档的无需更新的文件

这些硬盘全部分给基于PVE LXC搭建的NAS，以SMB/NFS协议映射为各个VM的本地磁盘，或挂载为PVE目录，共享给各个VM使用。其他所有要用硬盘的机器都通过该服务挂载NAS。

如果按你说的都放在一台7*24小时的NAS上，那另一台高性能PC要怎么直接访问这套NAS中的虚拟机及应用？存储在NAS中的虚拟机又怎么使用高性能PC中的CPU显卡内存资源？还是说我只能在这台高性能PC单独搭建一套PVE+win/mac虚拟机，再额外买个SSD给高性能PC专机专用？还有就是千兆网络会不会成为PC读取、写入和运行NAS上的数据和应用的瓶颈？如果是，那这两台设备要不要上万兆网卡？

另外请教下，20核以上、多显卡的工作站有没有办法在关闭VM后自动关闭相应的显卡资源和部分核心，以达到降低功耗，减少资源浪费的目的？

vicai

卧龙凤雏 发表于 2024-8-7 19:32
目前13500+3060ti+rx560+32G在用。和你需求差别只有游戏和ai
1.vgpu最好不要捣鼓，除非商业用途。核显虚拟 ...

pve下我试过intel核显虚拟化，开启后就无法vgpu，两者只能二选一

另外你这个13500和楼上12500那个待机功耗怎么差那么多，你这个配置作生产力，同时跑AIGC、3D建模和浏览几十个网页的话有压力吗