测了下Mellonax MCX512f sr-iov rdma,虚拟机内部互联速度

mdk2000

系统proxmox 8.2

硬盘,英韧 dongting n2 3.84t,双盘组的zfs raid 1 (单盘速度读7000M+写5000M+)

网卡MCX512f  (25g)
系统内置网卡驱动,系统只改了开启sr-iov

2台虚拟机都设置8核32g内存,系统用win 2022,开启rdma,硬盘用的zfs zvol

之前看帖子,听说虚拟机内还是要受限于网卡性能,这张网卡只是25g卡,实际跑出了硬盘极限速度

summerq

connectx5/6内部eswitch交换速度很快 跟pcie带宽以及内存频率成正比 跟具体光口速率无关。数据不经过光口首发，而是直接在内部eswitch中通过rdma交换。

kk321

给了sriov给winservers 2022  ，给vf开启rdma 安装驱动的时候，mxlup找不到vf网卡。。 但是设备管理器里是能看到已经安装了mellnaox驱动的。请教一下大佬是怎么操作的

巴特沃斯

以前用cx3就跑出过1.7g

wangfenghun

summerq 发表于 2024-10-3 16:05
connectx5/6内部eswitch交换速度很快 跟pcie带宽以及内存频率成正比 跟具体光口速率无关。数据不经过光口首 ...

请问大佬，CX5 网卡NIC1和千兆网卡NIC2做 LINUX 桥接 。千兆NIC2连接交换机和局域网1相连。CX5 可以做到，VF网卡在PF down（非故障，不连通而已）后仍然和局域网1联通吗？

summerq

wangfenghun 发表于 2024-11-6 01:03
请问大佬，CX5 网卡NIC1和千兆网卡NIC2做 LINUX 桥接 。千兆NIC2连接交换机和局域网1相连。CX5 可以做到 ...

默认是不行。pf down之后vf也down。不过mellanox可以配置firmware，强制port always up，这样即便是你手动down pf，也不会影响vf互通。

wangfenghun

summerq 发表于 2024-11-6 01:54
默认是不行。pf down之后vf也down。不过mellanox可以配置firmware，强制port always up，这样即便是你手 ...

在UNRAID下，用CX4 LX试过，虽然VF显示是UP，但是不能和系统通信。把其中一个VF加入桥接，直接就造成环路。。。我看有人反映X710及以上的网卡好像可以。所以不知道CX5可以不可以。如果可以，那么能省不少事。

Musk1024

summerq 发表于 2024-11-6 01:54
默认是不行。pf down之后vf也down。不过mellanox可以配置firmware，强制port always up，这样即便是你手 ...

怎么配置强制port always up？之前尝试过，失败了。

rx_78gp02a

在connectx4 lx上测试过，端口插的10G模块，但是VF之间的交换速率有25G，也就是VF走的网卡交换，没有走外部交换机