直通网卡通过 openwrt 连接网桥虚拟机速度偏慢

lgapple

通过 pve 搭建虚拟化平台，openwrt 分别连接了直通的 x550t2 的万兆网卡和内网网桥，物理机通过 x550t2 的网卡连接 openwrt 测速是万兆，虚拟机通过网桥连接 openwrt 测速可以达到 30G ，理论上讲瓶颈应该在万兆网卡，但是物理机连接虚拟机测速只能达到万兆的一半，哪位帮忙指点一下，谢谢！

summerq

物理机与openwrt通讯：数据经过直通的网卡与openwrt直接交换。
vm与openwrt通讯：数据是内存拷贝，交换速度主要取决于内存速度。
物理机与vm通讯：跟第一种比起来，openwrt要多转发一次数据，从物理网口到虚拟网卡。
因此我猜是你的openwrt有些问题。
具体的解决办法其实很容易，x550开sriov，其中PF给host做vmbr port，vf一个给openwrt，另一个给虚拟机即可

lgapple

summerq 发表于 2024-8-4 22:21
物理机与openwrt通讯：数据经过直通的网卡与openwrt直接交换。
vm与openwrt通讯：数据是内存拷贝，交换速度 ...

谢谢你的回复，好像软路由的软交换就是达不到理论速度，即使两个直通网卡也是这样的。
我是从SRIOV转过来的，SRIOV好归好，但是VF不能与其他接口桥接，这点太烦人了，不同网段互访太麻烦了。

summerq

lgapple 发表于 2024-8-5 08:48
谢谢你的回复，好像软路由的软交换就是达不到理论速度，即使两个直通网卡也是这样的。
我是从SRIOV转过来 ...

只有pf可以接入网桥，而其他vf均可以互通。
我是x710，没有任何问题。x550应该也可以。如果你是用mellanox的网卡，那么看这里
https://foxi.buduanwang.vip/virtualization/pve/2175.html/

normanlu

openwrt那个加速开了吗？好像叫shortcut啥的

lgapple

summerq 发表于 2024-8-5 11:05
只有pf可以接入网桥，而其他vf均可以互通。
我是x710，没有任何问题。x550应该也可以。如果你是用mellano ...

哦，把pf直通给openwrt，然后把vf直通给其他虚拟机，这样就又可以桥接又可以物理网桥了

lgapple

normanlu 发表于 2024-8-5 11:14
openwrt那个加速开了吗？好像叫shortcut啥的

这个有打开的

summerq

lgapple 发表于 2024-8-5 18:48
哦，把pf直通给openwrt，然后把vf直通给其他虚拟机，这样就又可以桥接又可以物理网桥了 ...

不能这样！我的意思是pf永远在pve host中 接入网桥。openwrt和其他vp都去直通vf

lgapple

summerq 发表于 2024-8-5 23:18
不能这样！我的意思是pf永远在pve host中 接入网桥。openwrt和其他vp都去直通vf ...

PF直通给OPENWRT之后，SRIOV的VF就都不见了

lgapple

summerq 发表于 2024-8-5 23:18
不能这样！我的意思是pf永远在pve host中 接入网桥。openwrt和其他vp都去直通vf ...

SR-IOV的VF不能跟其他的网卡桥接，所以就要单独给它追加一个端口，IP段就不一样了

rx_78gp02a

lgapple 发表于 2024-8-6 09:14
PF直通给OPENWRT之后，SRIOV的VF就都不见了

你把PF直通了，宿主就管不了网卡，VF自然就不见了。

rx_78gp02a

lgapple 发表于 2024-8-6 09:16
SR-IOV的VF不能跟其他的网卡桥接，所以就要单独给它追加一个端口，IP段就不一样了 ...

VF就算不放软桥里面，插交换机上还是可以和网桥互访的。只是数据从交换机绕一圈。

Retdin

我也是 x550t2，把用于做LAN口的网口SR-IOV直通，其他虚拟机都用这个口SR-IOV直通就没问题了。
建议两个网口一个直通给openwrt做wan口，一个SR-IOV直通做LAN口就不会搞错了。

lgapple

rx_78gp02a 发表于 2024-8-6 09:24
VF就算不放软桥里面，插交换机上还是可以和网桥互访的。只是数据从交换机绕一圈。 ...

但是没有合适的万兆交换机呀

lgapple

Retdin 发表于 2024-8-6 10:49
我也是 x550t2，把用于做LAN口的网口SR-IOV直通，其他虚拟机都用这个口SR-IOV直通就没问题了。
建议两个网 ...

我是主板分别有千兆和2.5G，千兆作为管理口了，2.5G直通给openwrt作为wan口，x550t2的两个口，一个直通作为openwrt的lan口，一个sr-iov分别给openwrt以及omv和docker等虚拟机。