Chiphell - 分享与交流用户体验

标题: SR-IOV直通VF给虚拟机，无法桥接 [打印本页]

作者: Brunt1104 时间: 2024-8-29 15:31
标题: SR-IOV直通VF给虚拟机，无法桥接
双口CX5网卡，2个接口SR-IOV开了4个VF直通给Openwrt虚拟机想当LAN口用，绑定到br-lan不通，查了下发现VF无法桥接，有大佬知道怎么解决吗

作者: rwindz 时间: 2024-8-29 15:38
chh 以前帖子有教程，具体忘记了

作者: 散落烟灰 时间: 2024-8-29 16:08
用win的话,可以用hyper-v,直接把网卡硬件直通给openwrt虚拟机用

作者: ksong 时间: 2024-8-30 08:17
vf为什么要绑到op的br-lan，难道你pf没分配到op？pf通了，vf自然就通了，何必走桥

作者: normanlu 时间: 2024-8-30 08:51
vf不能桥接才是正常操作

作者: summerq 时间: 2024-8-30 10:49
PVE可以用这个脚本，在vm启动项中加入，可以把mac地址加入fib表内

https://github.com/jdlayman/pve-hookscript-sriov

作者: highchh 时间: 2024-8-30 11:12
不知道楼主是不是说这个“VF网络和主机网络不能互相访问”：https://www.geekxw.top/638/
昨晚刚刚看到的。

作者: Brunt1104 时间: 2024-8-31 21:18

highchh 发表于 2024-8-30 11:12
不知道楼主是不是说这个“VF网络和主机网络不能互相访问”：https://www.geekxw.top/638/
昨晚刚刚看到的。 ...

跟宿主机不通，桥接br-lan之后对插DAC线也不通，单独新建接口对端网卡能通

作者: Brunt1104 时间: 2024-9-7 22:56

ksong 发表于 2024-8-30 08:17
vf为什么要绑到op的br-lan，难道你pf没分配到op？pf通了，vf自然就通了，何必走桥 ...

我试了直通PF之后重启VF就起不来了

作者: mdk2000 时间: 2024-9-9 10:32
我mcx512f,没做任何设置

proxmox开SR-IOV

vf给alpin linux

lan里的所有机子,proxmox主机,proxmox下的虚拟机(vf),都能连接这台alpin linux

作者: happysun110 时间: 2024-9-9 11:48

mdk2000 发表于 2024-9-9 10:32
我mcx512f,没做任何设置

proxmox开SR-IOV

我觉得应该也是这样啊

网卡开 sriov， pf做上行，vf透传给各个虚拟机，自然就通了。pf/vf之间自带交换功能。

作者: mdk2000 时间: 2024-9-9 12:08

happysun110 发表于 2024-9-9 11:48
我觉得应该也是这样啊

网卡开 sriov， pf做上行，vf透传给各个虚拟机，自然就通了。pf/vf之间自带交换功 ...

刚发现你和我用法好像有区别

我测的是单口vf,你是1,2口要求互通?这个我没试过

作者: mdk2000 时间: 2024-9-25 11:42
今天看到这个,兄弟可以试试
https://juejin.cn/post/7313102241605730319
https://enterprise-support.nvidi ... ith-mellanox-asap-2

作者: wangfenghun 时间: 2024-11-7 15:47

happysun110 发表于 2024-9-9 11:48
我觉得应该也是这样啊

网卡开 sriov， pf做上行，vf透传给各个虚拟机，自然就通了。pf/vf之间自带交换功 ...

似乎，CX4的默认网卡状态，两个PF网卡之下的VF网卡不能互访。哪怕两个PF网卡在LINUX下桥接。即PF1不能访问PF2下的VF网卡，反之亦然。。。

作者: waio0 时间: 2024-11-7 15:53
本帖最后由 waio0 于 2024-11-7 16:03 编辑

因为cx6以下的模型是这样的
(, 下载次数: 33)

试试只把一个vf给op，在host上把pf转switchdev，然后把pf vf-rep绑一起试试

作者: 雷帝彬 时间: 2024-11-9 12:13
多次测试这个问题，100块钱买个4x2.5g+2x10g的光口交换机完美解决问题，这个是协议层问题，楼上都是骚操作，稍不注意就断网

还是接交换机安逸。稳定不折腾

作者: wangfenghun 时间: 2024-11-9 14:11

summerq 发表于 2024-8-30 10:49
PVE可以用这个脚本，在vm启动项中加入，可以把mac地址加入fib表内

https://github.com/jdlayman/pve-hooks ...

您好，请问CX5 会有这个问题吗？

作者: 网仙 时间: 2024-11-9 15:01
本帖最后由网仙于 2024-11-9 21:38 编辑

这个问题貌似无解。
之前弄了个四口25G的光卡，想在ALL in one机器里面打开软交换，这样就可以给有限的几个25G有线设备实现25G软交换了
（家用，对性能的要求并不那么高，满负荷使用的机会也有限，专门为三四个25g的设备添置一台昂贵且高功耗大噪音的25G交换机有点浪费）

宿主ESXI 7u3，虚拟OP，群晖，winserver，ubunt，debian，trueNas等，
第一个网口物理直通给OP，作为op的wan口。
另外三个口，
第2个口，sriov虚拟化，分配给各虚拟机，该物理口外部连接为QNAP万兆交换机。
第3.4口，物理直通给debian（或winServer），

在虚拟机Debian（或winserver）下将3.4物理口和第2口下的VF，共三张网卡桥接起来，作为虚拟交换机，目标是让3.4物理口能连接另外两台PC的两张25G网卡（winNAS和物理白群晖），这样两台PC也可以通过该网桥接入局域网。

尝试无法使用，后来查了一下，VF网卡本身是虚拟化的，无法继续使用在网桥。在debian和winserver下都试过无法实现。

作者: waio0 时间: 2024-11-9 17:01
本帖最后由 waio0 于 2024-11-9 17:06 编辑

ovs+switchdev解决。我的cx6所有vf pf都能互相通信

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)