Mini服务器升级固态，简单测试PVE和ESXI下虚拟机磁盘IO性能的损耗

lifenglive

一台Mini服务器，配置为D-1581 128Gb内存  西数10T HDDx2，平时主要是在PVE7.3下运行黑群晖、Windows 10， Debian虚拟机以及一些lxc、docker服务等， 最近入手了两条容量均为2t的nvme pcie 3.0固态硬盘，分别是爱国者P3500和京造麒麟，性能方面没什么特别的，就是很普通的pcie 3.0固态，在PC上测试没问题后插到服务器上，PVE里直通给黑群晖7.1.1，并在转换成存储池，但是感觉在黑群晖上固态硬盘的读写速度明显不对，估计是因为虚拟机造成的磁盘IO性能损耗，逐简单测试。

由于服务器尚未升级万兆网卡，主要在服务器本地测试，为控制变量，两条nvme固态分别插在CPU直出的pcie X4通道上，不通过虚拟交换机，测试原生或虚拟机直通状态下一块固态硬盘上的文件复制到另一块的速度。

测试1：

服务器重装Windows 10专业工作站版，用CDM测了下：



将一个大小为60G的文件从一块固态硬盘复制到另一块，平均速度约为：2GB/s。

测试2：

PVE7.3下黑群晖7.1虚拟机，直通两块nvme固态并转换为存储池后，复制文件的速度：450-550Mb/s。
PVE7.3下Window10虚拟机，直通两块nvme固态，复制文件速度约为：870-950Mb/s。（虚拟机下CDM测速和原生几乎没区别）

测试3：

esxi8U1a下黑群晖7.1虚拟机，直通两块nvme固态并转换为存储池后，复制文件的速度：900-1000Mb/s。
esxi8U1a下Window10虚拟机，直通两块nvme固态（未测，安装Window时，用于安装的128G SSD损坏了）

基于测试，推估：

1、PVE下虚拟机的磁盘IO性能损耗还是很大的，即使是直通也是如此，不知道PVE8.0是否有改善；
2、esxi下虚拟机的磁盘IO性能损耗优于PVE；
3、群晖将nvme ssd作为存储池，因系统原因仍无法发挥ssd的全部性能，同等情况下ssd读写效率不如Windows。（没有更多的测试，请有相关信息的朋友指正）

这台服务器准备升级万兆了，下一步只得以Windows Server或Windows 10专业工作站版作为主nas系统，用vmware workstation保留黑群晖7。

cabala

按硬盘直通的还是按pcie设备直通的？

happysun110

pve8 的性能损失也很大，我都改成用物理机了。

Mufasa

我这里，大部分机器用ESXi

有个HA容错，用了PVE，3台机器组成HA，PVE配置比较简单

lifenglive

cabala 发表于 2023-8-19 23:41
按硬盘直通的还是按pcie设备直通的？

都是直通pice设备测的，也许是这台机太老，CPU太弱，下次换13代U的PC再测下。

nn1122

所以我比较喜欢esxi，还有个原因就是官方开发了免费的APP，在手机上就能进行快捷的运维

summerq

你esix与pve比较没有意义。一个是windows，另一个是群晖。能否都用windows比较呢？然后你就会发现，esxi与pve没什么

summerq

summerq 发表于 2023-8-20 12:58
你esix与pve比较没有意义。一个是windows，另一个是群晖。能否都用windows比较呢？然后你就会发现，esxi与p ...

另外我也试过 本地裸机windows跟pve直通windows两种环境，nvme性能有差别。主要是4k下降大约20%，但是顺序读写没有区别

Ownab

nn1122 发表于 2023-8-20 12:48
所以我比较喜欢esxi，还有个原因就是官方开发了免费的APP，在手机上就能进行快捷的运维 ...

啊?  有这种东西?  名字叫 vSphere Mobile Client 嘛?

Anderson997

那4k掉了多少啊？

nn1122

Ownab 发表于 2023-8-20 13:13
啊?  有这种东西?  名字叫 vSphere Mobile Client 嘛?

对。字数补丁

wei73

summerq 发表于 2023-8-20 12:58
你esix与pve比较没有意义。一个是windows，另一个是群晖。能否都用windows比较呢？然后你就会发现，esxi与p ...

楼主不是都测了吗？

PVE 确实拉一些

yeahshow

我也有一块D-1581这cpu，主频太低了，发挥不了固态硬盘4K速度，给它上傲腾也跑不起来，只能跑出傲腾三分之一的4k性能