lgapple 发表于 2024-8-4 20:35

直通网卡通过 openwrt 连接网桥虚拟机速度偏慢

通过 pve 搭建虚拟化平台,openwrt 分别连接了直通的 x550t2 的万兆网卡和内网网桥,物理机通过 x550t2 的网卡连接 openwrt 测速是万兆,虚拟机通过网桥连接 openwrt 测速可以达到 30G ,理论上讲瓶颈应该在万兆网卡,但是物理机连接虚拟机测速只能达到万兆的一半,哪位帮忙指点一下,谢谢!

summerq 发表于 2024-8-4 22:21

物理机与openwrt通讯:数据经过直通的网卡与openwrt直接交换。
vm与openwrt通讯:数据是内存拷贝,交换速度主要取决于内存速度。
物理机与vm通讯:跟第一种比起来,openwrt要多转发一次数据,从物理网口到虚拟网卡。
因此我猜是你的openwrt有些问题。
具体的解决办法其实很容易,x550开sriov,其中PF给host做vmbr port,vf一个给openwrt,另一个给虚拟机即可

lgapple 发表于 2024-8-5 08:48

summerq 发表于 2024-8-4 22:21
物理机与openwrt通讯:数据经过直通的网卡与openwrt直接交换。
vm与openwrt通讯:数据是内存拷贝,交换速度 ...

谢谢你的回复,好像软路由的软交换就是达不到理论速度,即使两个直通网卡也是这样的。
我是从SRIOV转过来的,SRIOV好归好,但是VF不能与其他接口桥接,这点太烦人了,不同网段互访太麻烦了。

summerq 发表于 2024-8-5 11:05

lgapple 发表于 2024-8-5 08:48
谢谢你的回复,好像软路由的软交换就是达不到理论速度,即使两个直通网卡也是这样的。
我是从SRIOV转过来 ...

只有pf可以接入网桥,而其他vf均可以互通。
我是x710,没有任何问题。x550应该也可以。如果你是用mellanox的网卡,那么看这里
https://foxi.buduanwang.vip/virtualization/pve/2175.html/

normanlu 发表于 2024-8-5 11:14

openwrt那个加速开了吗?好像叫shortcut啥的

lgapple 发表于 2024-8-5 18:48

summerq 发表于 2024-8-5 11:05
只有pf可以接入网桥,而其他vf均可以互通。
我是x710,没有任何问题。x550应该也可以。如果你是用mellano ...

哦,把pf直通给openwrt,然后把vf直通给其他虚拟机,这样就又可以桥接又可以物理网桥了

lgapple 发表于 2024-8-5 18:48

normanlu 发表于 2024-8-5 11:14
openwrt那个加速开了吗?好像叫shortcut啥的

这个有打开的

summerq 发表于 2024-8-5 23:18

lgapple 发表于 2024-8-5 18:48
哦,把pf直通给openwrt,然后把vf直通给其他虚拟机,这样就又可以桥接又可以物理网桥了 ...

不能这样!我的意思是pf永远在pve host中 接入网桥。openwrt和其他vp都去直通vf

lgapple 发表于 2024-8-6 09:14

summerq 发表于 2024-8-5 23:18
不能这样!我的意思是pf永远在pve host中 接入网桥。openwrt和其他vp都去直通vf ...

PF直通给OPENWRT之后,SRIOV的VF就都不见了

lgapple 发表于 2024-8-6 09:16

summerq 发表于 2024-8-5 23:18
不能这样!我的意思是pf永远在pve host中 接入网桥。openwrt和其他vp都去直通vf ...

SR-IOV的VF不能跟其他的网卡桥接,所以就要单独给它追加一个端口,IP段就不一样了

rx_78gp02a 发表于 2024-8-6 09:22

lgapple 发表于 2024-8-6 09:14
PF直通给OPENWRT之后,SRIOV的VF就都不见了

你把PF直通了,宿主就管不了网卡,VF自然就不见了。

rx_78gp02a 发表于 2024-8-6 09:24

lgapple 发表于 2024-8-6 09:16
SR-IOV的VF不能跟其他的网卡桥接,所以就要单独给它追加一个端口,IP段就不一样了 ...

VF就算不放软桥里面,插交换机上还是可以和网桥互访的。只是数据从交换机绕一圈。

Retdin 发表于 2024-8-6 10:49

我也是 x550t2,把用于做LAN口的网口SR-IOV直通,其他虚拟机都用这个口SR-IOV直通就没问题了。
建议两个网口一个直通给openwrt做wan口,一个SR-IOV直通做LAN口就不会搞错了。

lgapple 发表于 2024-8-6 16:52

rx_78gp02a 发表于 2024-8-6 09:24
VF就算不放软桥里面,插交换机上还是可以和网桥互访的。只是数据从交换机绕一圈。 ...

但是没有合适的万兆交换机呀

lgapple 发表于 2024-8-6 16:54

Retdin 发表于 2024-8-6 10:49
我也是 x550t2,把用于做LAN口的网口SR-IOV直通,其他虚拟机都用这个口SR-IOV直通就没问题了。
建议两个网 ...

我是主板分别有千兆和2.5G,千兆作为管理口了,2.5G直通给openwrt作为wan口,x550t2的两个口,一个直通作为openwrt的lan口,一个sr-iov分别给openwrt以及omv和docker等虚拟机。
页: [1]
查看完整版本: 直通网卡通过 openwrt 连接网桥虚拟机速度偏慢