NFS 挂载 IB网络读速度不理想只有260MB每秒

viphsj

请教个问题：

系统都是 Ubuntu 22.04
配置了一台存储节点，用 16T * 8 组了 RAID5，加了2T SSD做 LVM 缓存，用 fio 测试裸盘 可以达到 1.5G左右的读取，fio测试文件基本在600M左右读取。配了 100G 的IB卡和交换机。nfs server 开启了32 线程。

在其它电脑上测IB带宽可以满速（11505MiB/s)，但是拷贝测试文件，只有 260MB 左右。我看网上说nfs可以挂载的时候加参数 nconnect=4 开启多并发连接提高速度，但是我设置了，没用。
rsync -ah --progress /public/read2.0.0  ~/

pv /public/read1.0.0 > ~/123
（可能带了 lvm 缓存）


不知道如何提高nfs 的读取速度

viphsj

搞了半天是 单线程拷贝…
用 fio 测试是正常的

mdk2000

NFS支持rdma的

viphsj

mdk2000 发表于 2025-7-25 13:37
NFS支持rdma的

是的 是的，研究了下。发现还是暂时不用操作了。
1.我需要重新安装电脑的 驱动，之前安装驱动没有添加support kernel 的参数。
2.受限于物理磁盘 raid5 顺序读文件才600MB左右，就算开启了。几个电脑同时读取的速度也不会好到哪里去

等以后换成u.2的阵列可以试试