Chiphell - 分享与交流用户体验

标题: 在VMware ESXi实际应用中LSI Logic SAS与Paravirtual SCSI控制器性能差距有多大？ [打印本页]

作者: 红色狂想 时间: 2024-8-3 21:18
标题: 在VMware ESXi实际应用中LSI Logic SAS与Paravirtual SCSI控制器性能差距有多大？
在VMware ESXi 6.7版环境下，创建虚拟机时默认SCSI控制器类型为LSI Logic SAS，这是VM虚拟化环境中广泛使用的标准SCSI控制器类型。它无需安装额外的驱动程序即可被大多数操作系统识别，适用于广泛的虚拟机工作负载。但如果ESXi主机的数据存储是Intel Optane SSD DC P4800X，该固态硬盘是基于NVMe标准PCIe SSD，它利用了3D XPoint技术，提供了极高的吞吐量和极低的延迟。这种情况下所创建的虚拟机，SCSI控制器类型是选择LSI Logic SAS好呢，还是VMware Paravirtual SCSI好呢？看介绍中说，Paravirtual SCSI是一种高效能的存储控制器，它专为提高吞吐量和减少CPU使用量而设计，与标准的SCSI或SATA控制器相比，它通常能提供更好的性能表现。

假设这里的应用项目是数据库处理，虚拟机操作系统是Windows 10，存放数据库文件的虚拟硬盘是企业级NVMe PCIe SSD，此时SCSI控制器类型选LSI Logic SAS或Paravirtual SCSI相比，I/O吞吐性能差距会有多大？假如这个存放数据库文件的虚拟硬盘是SATA企业级SSD，还有必要在乎LSI Logic SAS和Paravirtual SCSI吗？

作者: iooo 时间: 2024-8-3 22:22
有条件还是直通给子系统用吧，与其纠结骑哪个单车块，还不如直接上moto

作者: ysc3839 时间: 2024-8-4 04:16
本帖最后由 ysc3839 于 2024-8-4 04:24 编辑

之前也好奇过这个问题，去网上搜了下，看到过一篇测试。
没记错的话结果是 Paravirtual SCSI 优于 LSI Logic SAS。Paravirtual SCSI 和 NVMe 互有胜负。
链接在此 https://opvizor.com/blog/deep-di ... and-nvme-controller

另外 VMware 的默认值似乎挺有问题的。目前主流 Linux 发行版应该都内置 vmxnet3 网卡驱动了，但是似乎只有选择 RHEL 等几个发行版时创建的网卡才会用 vmxnet3。还是建议手动改掉。
Windows 安装 VMTools 之后也能支持 vmxnet3 的，所以除非为了兼容远古系统，或者快速测试不想装驱动，都建议用 vmxnet3。

作者: 赫敏 时间: 2024-8-4 04:21
自己跑分测下呗，拿hammerDB全程下一步安装

作者: summerq 时间: 2024-8-4 10:52
我几年前跑过测试，nvme存储Paravirtual SCSI性能比LSI好，但不如直通。
网络方面vmxnet比e1000好，但不如直通

作者: ice0291 时间: 2024-8-4 13:03
PVSCSI是配套给SAN使用的，家用不要纠结那么多

作者: 红色狂想 时间: 2024-8-4 13:44

summerq 发表于 2024-8-4 10:52
我几年前跑过测试，nvme存储Paravirtual SCSI性能比LSI好，但不如直通。
网络方面vmxnet比e1000好，但不如 ...

嗯，任何虚拟化技术都不应该与直通比，完全不是一个概念，我就是想了解一下LSI Logic SAS、Paravirtual SCSI两者的性能差距，毕竟现在玩儿VM已经可以实现全SSD固态化存储了，在这种情况下如果Paravirtual SCSI表现的更优越，干嘛还要继续用LSI Logic SAS呢

作者: 红色狂想 时间: 2024-8-4 13:50

iooo 发表于 2024-8-3 22:22
有条件还是直通给子系统用吧，与其纠结骑哪个单车块，还不如直接上moto

我觉得直通这种做法只会拖累虚拟化应用，既然已经VM了，就应该计算、存储、网络全部虚拟化，只有这样才能真正发挥该技术的灵活快速便捷优势。

作者: 红色狂想 时间: 2024-8-4 21:34

ice0291 发表于 2024-8-4 13:03
PVSCSI是配套给SAN使用的，家用不要纠结那么多

我用常见的几款硬盘基准工具简单跑了几圈测试

测试环境如下：
　　　　　　　　　　　　　　　　　　　　　　　　硬件 / 软件
20 CPUs x Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz　 Windows 10 Enterprise LTSC 虚拟机 8核 8G内存
　　　　　　　　　Intel Optane SSD DC P4800X Series　 80G disk1.vmdk 系统盘
　　　　　　　　　　　　 Intel DC P4618 6.4TB Series　 480G disk2.vmdk 测试数据盘

结果LSI Logic SAS、Paravirtual SCSI差距并不明显，只不过PVSCSI驱动版本较新，对现在的系统和软件兼容性更好，比如在LSI Logic SAS控制器模式下TxBENCH会报错无法运行测试，而PVSCSI下就正常。看来只有进行复杂专业的I/O密集型压力综合测试才能分出差距

Paravirtual SCSI 控制器下的 480G disk2.vmdk 基准测试数据

(, 下载次数: 76)
(, 下载次数: 74)
(, 下载次数: 77)

LSI Logic SAS 控制器下的 480G disk2.vmdk 基准测试数据

(, 下载次数: 67)
(, 下载次数: 75)

作者: 红色狂想 时间: 2024-8-4 22:28

ysc3839 发表于 2024-8-4 04:16
之前也好奇过这个问题，去网上搜了下，看到过一篇测试。
没记错的话结果是 Paravirtual SCSI 优于 LSI Logi ...

Paravirtual SCSI控制器的驱动是在VMware Tools包中吗？搜到这篇文章，Windows Server 2016 VM with a VMware Paravirtual SCSI controller，才弄明白怎样给Windows虚拟机装PVSCSI驱动。。。

我用常见的几款硬盘基准工具简单跑了几圈测试，貌似差距不大，详见9#楼的回帖……

另外再请教一个问题，给Windows虚拟机系统盘配一个单独的SCSI控制器1，数据盘也配一个单独的SCSI控制器2，在I/O性能表现上是不是要比系统盘与数据盘共用同一个SCSI控制器1要好呀？

作者: Emmerich 时间: 2024-8-5 14:00

红色狂想发表于 2024-8-4 22:28
Paravirtual SCSI控制器的驱动是在VMware Tools包中吗？搜到这篇文章，Windows Server 2016 VM with a VM ...

添加多个SCSI控制器的确可以降低负载
https://docs.vmware.com/en/VMwar ... B-9DB0EB0E7362.html
LSI Logic SAS与Paravirtual SCSI都是虚拟机连接存储硬件的一个接口，区别就在于LSI模拟为一个真实的LSI硬件设备提供通信，而Paravirtual不需要模拟直接参与数据交换，同理可参考网络适配器中e1000e与vmxnet3

作者: 红色狂想 时间: 2024-8-5 16:28

Emmerich 发表于 2024-8-5 14:00
添加多个SCSI控制器的确可以降低负载
https://docs.vmware.com/en/VMware-vSphere/6.5/com.vmware.vspher ...

感谢提供官方文档。还有一个问题想不明白，当初创建虚拟机安装Windows 10是默认配置LSI Logic SAS，后来想把连接系统盘的这个控制器改成Paravirtual SCSI，如果直接修改会导致客户机引导启动失败蓝屏。但正如10#楼帖子那篇文章中介绍的那样，这里有一个诀窍：

可以先向VM添加一个新的存储控制器，并将类型更改为Paravirtual SCSI。
然后随便添加一个2 GB的小硬盘，并将其连接到SCSI控制器1（确保选择 SCSI 1:0 作为连接）。此磁盘不是系统磁盘，因此虚拟机将正常启动，Windows操作系统将自动找到可用于安装此VMware准虚拟控制器的驱动程序。
操作系统找到磁盘的驱动程序后，请确保磁盘出现在磁盘管理控制台中，以便您可以初始化、格式化磁盘并使其联机。完成后，正常关闭虚拟机并将第一个SCSI控制器0更改为Paravirtual SCSI，然后单击保存编辑。
现在您可以启动虚拟机了，因为操作系统已经知道它的一些控制器正在使用Paravirtual SCSI，因此它可以成功启动，操作系统已经通过上一步安装了驱动程序。

以上方法确实可以使虚拟机系统盘从LSI Logic SAS更改为Paravirtual SCSI。但我想同样用这个办法将虚拟机系统盘从Paravirtual SCSI改成NVMe控制器，为什么却行不通了呢？会导致引导启动失败蓝屏

作者: Emmerich 时间: 2024-8-6 09:37

红色狂想发表于 2024-8-5 16:28
感谢提供官方文档。还有一个问题想不明白，当初创建虚拟机安装Windows 10是默认配置LSI Logic SAS，后来 ...

这个操作我还没玩过，如果系统已经正常安装NVME控制器的话，有可能是nvme驱动没开机加载，可以删个注册表搞定，键值是HKEY_LOCAL_MACHI\system\ControlSet001\Services\stornvme，然后删除stornvme中的StartOverride子目录
如果这个操作依旧蓝屏，那可能还是nvme控制器的安装问题，就帮不上什么忙了

作者: Dreamwalker 时间: 2024-8-6 17:23
6.7 创建虚拟机默认就是Paravirtual SCSI了呀，除非比较老的系统（Win7）我是不会再选LSI Logic SAS, 系统太老没有 Paravirtual SCSI 驱动，装系统都找不到盘

作者: 红色狂想 时间: 2024-8-11 13:31

Dreamwalker 发表于 2024-8-6 17:23
6.7 创建虚拟机默认就是Paravirtual SCSI了呀，除非比较老的系统（Win7）我是不会再选LSI Logic SAS, ...

我的是 HPE-ESXi-6.7.0-Update3-19195723-iso-Gen9plus-670.U3.10.9.0.8 (Hewlett Packard Enterprise) 版，创建虚拟机时默认配置是LSI Logic SAS，难道同样是6.7，OEM版的为了做到最大兼容性，默认配置比较保守，你有尝试过NVMe控制器吗？

作者: jim9606 时间: 2024-8-12 00:35
个人感觉nvme和pvscsi二选一，workstatsion是推荐nvme的。
windows改系统盘驱动需要预先改注册表HKLM\System\CurrentControlSet\Services\{stornvme/pvscsi} 将驱动设为引导加载start=0，这操作十几年前ide切ahci就搞过一波了。
小技巧：系统盘标准安装是可以预载pvscsi驱动的。
网卡手动选vmxnet3了，除了不是开箱即用想不到啥坏处，肯定比e1000e好。

作者: Dreamwalker 时间: 2024-8-12 09:56

红色狂想发表于 2024-8-11 13:31
我的是 HPE-ESXi-6.7.0-Update3-19195723-iso-Gen9plus-670.U3.10.9.0.8 (Hewlett Packard Enterprise) ...

我的版本跟你一模一样

G9标配

随便怎么选，默认出来都是 VMware Paravirtual

作者: 红色狂想 时间: 2024-8-12 15:05

Dreamwalker 发表于 2024-8-12 09:56
我的版本跟你一模一样 G9标配

随便怎么选，默认出来都是 VMware Paravirtual ...

那我就想不明白了，一样的软硬件环境，难道是因为你没接那个P440AR阵列卡？

作者: Dreamwalker 时间: 2024-8-12 17:50

红色狂想发表于 2024-8-12 15:05
那我就想不明白了，一样的软硬件环境，难道是因为你没接那个P440AR阵列卡？ ...

440我也有啊，唯一的差别就是我还单U

作者: 红色狂想 时间: 2024-8-12 20:52

Dreamwalker 发表于 2024-8-12 17:50
440我也有啊，唯一的差别就是我还单U

和是否是单双U应该没关系，你上的是L低压U，我是30块钱钥匙链E5-2650 v3×2电老虎。你以上说的随便怎么选，默认出来都是VMware Paravirtual是啥意思呀，具体是怎么个操作法？

作者: Dreamwalker 时间: 2024-8-13 10:29

红色狂想发表于 2024-8-12 20:52
和是否是单双U应该没关系，你上的是L低压U，我是30块钱钥匙链E5-2650 v3×2电老虎。你以上说的随便怎么选 ...

就是创建虚拟机的时候默认的磁盘控制器就是 VMware Paravirtual
只有为了兼容老OS 才会去选 LSI Logical SAS

作者: 红色狂想 时间: 2024-8-14 13:46

Dreamwalker 发表于 2024-8-13 10:29
就是创建虚拟机的时候默认的磁盘控制器就是 VMware Paravirtual
只有为了兼容老OS 才会去选 LSI Logical ...

我新建虚拟机向导界面，一路点击下一步，默认配置是下图这个样子，这该怎么解释？

(, 下载次数: 71)

作者: Dreamwalker 时间: 2024-8-14 23:03

红色狂想发表于 2024-8-14 13:46
我新建虚拟机向导界面，一路点击下一步，默认配置是下图这个样子，这该怎么解释？

...

你这是选Windows操作系统了吧

作者: Juzi丶 时间: 2024-8-15 07:27
pvscsi都是淘汰的东西了，现在都应该出nvme

作者: hu2851 时间: 2024-8-15 08:09
俺都是选默认的
不过还真没测过差异

作者: 红色狂想 时间: 2024-8-21 21:05

Dreamwalker 发表于 2024-8-14 23:03
你这是选Windows操作系统了吧

还真如你所说，选Lunx虚拟机，默认配置就变为VMware Paravirtual了，难道Windows系统就应该这么低端妈？

(, 下载次数: 61)

另外再问一下，你的HP ProLiant DL360 Gen9 1U机架式服务器，前面8个硬盘笼子插满硬盘了吗？我想插8个2.5寸10K SAS机械盘用于存储，不然心不死。但又担心7个暴力风扇会增加转速噪音变大，不知有没有这种可能

作者: zh21688 时间: 2024-8-21 21:31
给你推荐个 HPE ProLiant DL388 Gen10 ,gen9就别玩了，都淘汰了！又有新的够你研究了！

作者: Dreamwalker 时间: 2024-8-21 22:21

红色狂想发表于 2024-8-21 21:05
还真如你所说，选Lunx虚拟机，默认配置就变为VMware Paravirtual了，难道Windows系统就应该这么低端妈？ ...

linux带了pv驱动，centos7都能直接认pv磁盘，所以就默认了
windows就不太行了，没有内置驱动，就算选了pv，安装的时候也不识别磁盘控制器。

我这是3.5寸，插了3个MG08 风扇转速直接从2x升到3x%
这么大热天，你可以考虑空调直接对着机柜吹，这样就不担心噪音了

作者: Dreamwalker 时间: 2024-8-21 22:22

zh21688 发表于 2024-8-21 21:31
给你推荐个 HPE ProLiant DL388 Gen10 ,gen9就别玩了，都淘汰了！又有新的够你研究了！ ...

等U2降价，真的可以搞个G10了

作者: 红色狂想 时间: 2024-8-21 23:05

Dreamwalker 发表于 2024-8-21 22:21
linux带了pv驱动，centos7都能直接认pv磁盘，所以就默认了
windows就不太行了，没有内置驱动，就算选了pv ...

那我岂不是要从3x%升到4x%，本来还想着上8个HP 1.8T SAS盘呢，看来又省了2700。。。

作者: 红色狂想 时间: 2024-8-21 23:15

zh21688 发表于 2024-8-21 21:31
给你推荐个 HPE ProLiant DL388 Gen10 ,gen9就别玩了，都淘汰了！又有新的够你研究了！ ...

不淘汰我能买得起呀，你看看现在E5-2650 v3啥价，钥匙链，香不香，这要是15年你玩儿得起？等有钱了吧，我下一台机器准备选个4U的，机箱空间大，风扇散热性好，上个低压U，专门插两张NVIDIA计算卡跑画图玩儿

作者: Dreamwalker 时间: 2024-8-22 09:51

红色狂想发表于 2024-8-21 23:05
那我岂不是要从3x%升到4x%，本来还想着上8个HP 1.8T SAS盘呢，看来又省了2700。。。 ...

10k肯定巨热，你可以试试 SAS SSD

作者: 红色狂想 时间: 2024-8-23 13:25

Dreamwalker 发表于 2024-8-22 09:51
10k肯定巨热，你可以试试 SAS SSD

起初就是想的上满SAS SSD，全闪化。但看了一圈儿SAS SSD的价格，这如果插满8盘位都可以买几台Gen9机器了，总不能插一堆小容量的盘一直跑着在那费电吧？所以一直等到现在，想来想去，还是选择SAS HDD吧，反正这机器都淘汰到老掉牙了，一个SSD就能买4台Gen9机器的做法太任性了。

作者: Dreamwalker 时间: 2024-8-26 11:16

红色狂想发表于 2024-8-23 13:25
起初就是想的上满SAS SSD，全闪化。但看了一圈儿SAS SSD的价格，这如果插满8盘位都可以买几台Gen9机器了 ...

也不一定非得SAS嘛， SATA SSD也可以啊， HK4R之类的

作者: 红色狂想 时间: 2024-8-26 22:33

Dreamwalker 发表于 2024-8-26 11:16
也不一定非得SAS嘛， SATA SSD也可以啊， HK4R之类的

因为有P440AR阵列卡，如果不上SAS盘不完美，强迫症会泛滥的。。。你说的HK4R闲鱼上资源非常少，这种冷门产品应该兼容性很差，盘体上只写了5V供电，连12V都没写，估计服务器上用不了，而且也不便宜啊，如果是这样干嘛不选S3500之类……

这几点一直在物色合适的SAS盘，终于发现了一款HPE MODEL：MM2000JEFRC，P/N：765452-002，盘体ST2000NX0273，exos-7e2000-DS1955-1-1709CN-zh_CN，专为高密度数据中心而设计的低能耗低成本存储解决方案
怎么样，你觉得可以上8个组RAID 0吗，这盘没什么缺陷吧？SAS 12G接口，转速降到7.2K，对于存储数据性能影响不大，但热量和功耗却降了不少吧

(, 下载次数: 20)

作者: Dreamwalker 时间: 2024-8-27 09:54

红色狂想发表于 2024-8-26 22:33
因为有P440AR阵列卡，如果不上SAS盘不完美，强迫症会泛滥的。。。你说的HK4R闲鱼上资源非常少，这种冷门 ...

HK4R我都用一年多了，现在是涨价了货源少，之前可是很热的

HP 这SAS盘用是能用，就是太老了点，不知道会不会翻车

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)