【不懂就问】同一物理机上挂载nfs是走网卡还是PCIE？

weston

物理机上装的esxi，然后在esxi上建个虚拟机跑黑裙，给这个黑裙直通U2的硬盘，然后再通过nfs挂载到esxi作为datastore的存储设备，这个时候建在这个datastore上的虚拟机，它的IO是怎么走的啊？过不过网卡？或者换个问法，就是虚拟机的IO速度是受限于网卡，还是受限于PCIE？谢谢各位彦祖。


==============================================
以下为补充内容：
这个结构我是实现了的，也跑了测试，表象上看是走网卡的，但还是想确认一下，原理想搞明白一下。
esxi装在pc上，配置是5700G+华硕B550M，另一台机器是超微X11DPI-N，两台机器都是X540的网卡，中间通过威联通QSW-2104交换机连着。

这个图是两个机器之间的

这个图是在同一个机器上的

BetaHT

依赖实现，得做实验。大概率要去网卡。如果有专门优化就另当别论了。

红枫叶

因为是通过NFS，理论上走网卡的

大头吃小头

走的默认的虚拟网桥吧

weston

BetaHT 发表于 2023-11-1 17:23
依赖实现，得做实验。大概率要去网卡。如果有专门优化就另当别论了。

我做了实验的，表像上看，是走网卡的，但是我不确定

zhuifeng88

如果没offload功能的话走的虚拟网桥, 受限于cpu

7hfi0bu6

没记错的话，只要你黑群的虚拟网卡和ESXi的管理接口在同一个vSwich上，数据不会到物理网卡上去，但是ESXi的虚拟网卡好像最高是10Gb/s的，也就是最高万兆。

老饭

走 vswitch

skywaymanz

6、7、8说得对，走虚拟网卡，看cpu，不会占用物理网卡

weston

skywaymanz 发表于 2023-11-1 20:24
6、7、8说得对，走虚拟网卡，看cpu，不会占用物理网卡

网卡开了sr-iov的，也是走虚拟网卡吗？

weston

7hfi0bu6 发表于 2023-11-1 17:40
没记错的话，只要你黑群的虚拟网卡和ESXi的管理接口在同一个vSwich上，数据不会到物理网卡上去，但是ESXi的 ...

网卡开了sr-iov的，也是走虚拟网卡吗？

zhuifeng88

weston 发表于 2023-11-1 21:04
网卡开了sr-iov的，也是走虚拟网卡吗？

你只开了sriov没开别的offload功能的话那就是出去走交换机了, 看交换机和网卡

又看了眼, x540的话也没卡上eswitch之类的功能, 那就是出去走交换机了

BH1PXK

虚拟机应该可以设置一个 虚拟交换机的，  几个虚拟机交换数据 估计直接内存交换的。

Mufasa

weston 发表于 2023-11-1 21:04
网卡开了sr-iov的，也是走虚拟网卡吗？

你开了SR IOV，就是走网卡。

你用ESXi自带的那个VMNET网卡，就是走虚拟交换机，也就是CPU和内存。

weston

zhuifeng88 发表于 2023-11-1 21:07
你只开了sriov没开别的offload功能的话那就是出去走交换机了, 看交换机和网卡

又看了眼, x540的话也没卡 ...

好的，谢谢

weston

感谢各位彦祖

c2h6o

按照你现在的结构关系，走的是VSWITCH，走不到物理网卡，ESXI里面物理网卡相当于VSWITCH的一个接口而已。不过这么转来转去的数据包瓶颈也不少，嵌套了。

weston

c2h6o 发表于 2023-11-1 22:00
按照你现在的结构关系，走的是VSWITCH，走不到物理网卡，ESXI里面物理网卡相当于VSWITCH的一个接口而已。不 ...

有更好的选择吗？

labyrin

不走网卡也不走pcie，受限于的是内存速度

c2h6o

weston 发表于 2023-11-1 22:21
有更好的选择吗？

看你想干什么了，虚拟机多的话还是直接挂U2做存储，黑群数据量不大就在U2上面建个VMDK，数据大的话再挂个硬盘去直通。总之不要去嵌套。

7hfi0bu6

weston 发表于 2023-11-1 22:21
有更好的选择吗？

20楼的思路是正确的，尽量避免虚拟机和物理机之间来回套。
一来损失性能，二来损失可靠性，满足好奇心玩这么一下可以，别用来日常使用，更别用在重要的生产网络上，不然崩了可就不好玩了。