summerq 发表于 2024-9-13 13:39
哈哈 没错 其实我就是想说 rdma导致4k拉垮

我这几块MemBlaze 6530 都没有做过稳态处理，全盘都还没写完过一次，进入稳态后，4K性能应该是有提升空间的。

summerq 发表于 2024-9-13 13:03
主机debian kernel 6.10，ext4，ksmbd，单盘u2 H3200，网卡connectx6-dx 25g
客户端win server 2022， 网卡 ...

这盘4K Q1还挺漂亮的

oldnetdog 发表于 2024-9-13 13:35
我这里XFS比Ext4性能好不少，4K都不太行，SMBDirect检查过了是启用的。

哈哈 没错 其实我就是想说 rdma导致4k拉垮

主机debian kernel 6.10，ext4，ksmbd，单盘u2 H3200，网卡connectx6-dx 25g
客户端win server 2022， 网卡也是cx6，windows拷贝速度如下图

oldnetdog 发表于 2024-9-13 11:50
32个，因为服务器是16核32线程的。

那应该是足够， 奇怪.....

chopin1998 发表于 2024-9-13 11:11
看着链路是ok的。。

你开了几个nfs server进程？ 要么你cp的时候， top看一下 ...

32个，因为服务器是16核32线程的。

oldnetdog 发表于 2024-9-13 10:50
在/run/shm试了下，测试了10GB文件，远程服务器采用XFS性能比Ext4好，SMBDirect比NFSoRDMA好。
仍然没有 ...

看着链路是ok的。。

你开了几个nfs server进程？ 要么你cp的时候， top看一下

LexarARES_4T/ DAPUSTOR R5100

都是 pcie4的， 不过对于2.xGB/s 只要是nvme的都没问题吧。。

你要是怕本地的盘速度影响， 可以先复制到 /run/shm/ 里

chopin1998 发表于 2024-9-13 10:09
有，
mount -t nfs -o rdma,port=20049,rsize=1048576,wsize=1048576,noatime  xxxx xxxxx

mount参数都差不多。
除了处理器，你本地和远程的硬盘是什么规格的，操作系统内核版本呢？

oldnetdog 发表于 2024-9-13 10:05
启用了NFSoRDMA了么？

有，
mount -t nfs -o rdma,port=20049,rsize=1048576,wsize=1048576,noatime  xxxx xxxxx

但是估计影响不会太大， 最多是降低一点点cpu， 毕竟只有25G， cpu硬刚都能跑满。

100G可能对单核要求就比较高

chopin1998 发表于 2024-9-13 10:00
25G cx4-l 互联，

nfs server 是 一台epyc7002， client是 13700k

启用了NFSoRDMA了么？

25G cx4-l 互联，

nfs server 是 一台epyc7002， client是 13700k

100G的太高级没用过， 但是25G 的nfs 单cp进程就能跑满呀
放个图， 你看一下？

Dolfin 发表于 2024-9-13 04:03
一些探讨：
1.对NFS不怎么熟悉，不好回答你的疑问，仅有的测试中，NFS使用NFSoRDMA，local_lock=none，asyn ...

感谢，简单测试了下
1、Linux客户机1下，fio吞吐测试，bs=1M，基本可以打满100Gb网卡。NFS稳定测试通过，SMB报错失败，ksmbd还是不太稳定。
2、Windows下fastcopy，远程SMB目录，如果是XFS，速度最高4GB/s，Ext4反而比较慢，大概1GB/s。

我服务器处理器性能一般，和你EPYC Gen4差很多。

一些探讨：
1.对NFS不怎么熟悉，不好回答你的疑问，仅有的测试中，NFS使用NFSoRDMA，local_lock=none，async，rsize wsize 1M，内核参数sunrpc.rdma_slot_table_entries和nfs线程数128，其他默认没动。客户端FIO 1MB 顺序读取，接近10GB/s，服务器CPU占有率15%。

2.SMB服务器 Windows Server是很好的选择。2022下大文件顺序IO基本可以跑满带宽，200Gbps也不是问题。100GbE下，非测速负载，在实际传输中，Robocopy可超过10GB/s，接近吞吐极限，IOPS也是所向披靡。另外，也像SummerQ说的，Server 2025在存储上，如NVME，S2D这些都有新的提升和创造，貌似也会原生支持Nvmf。这要还不够，还有SMB集群，翻倍。

3.SPDK提供的Nvmf拥有更极限的爆发，单盘超过250万的 iops，分配核心1-2两个就行。

4.我的实验条件下，顺序大文件吞吐都不成问题，基本都是满的，不管是SMB NFS Nvmf；不过4K随机的IOPS，差别不小，建议也测试一下。

iooo 发表于 2024-9-12 21:52
感觉通用环境对如此高的带宽优化有限，更多的是对高并发和低延迟的支持
...

确实也是，不过NVMeOF可以打满网路带宽。
200G卡和模块也有，但服务器性能有点跟不上，PCIe Gen3带宽不足。

summerq 发表于 2024-9-12 20:54
你的测试结果跟我以前试过的一致。 如果你有时间，可以试试两边都是win server 2025，据说它nvme驱动以及sm ...

本地和远端都试了试EXT4和mount参数，差异不大，速度或高一些或低一些，目前看来，这个方向调整应该影响不大。

有空再试试看WinServer 2025，不过服务器端正常情况不会选择Windows作为服务端。

看到kernel 6.11下Ext4性能提升10%，等发布了看一下。

用BSD测试不知道支持程度如何

感觉通用环境对如此高的带宽优化有限，更多的是对高并发和低延迟的支持

你的测试结果跟我以前试过的一致。 如果你有时间，可以试试两边都是win server 2025，据说它nvme驱动以及smbdirect性能都提高很多。
linux这边，kernel 6.11 会在这周末发布，你可以再看看性能。并且ext4的性能也有提高。这里xfs可以换ext4，同时mount参数加上 noatime nodiratime试试

mmma 发表于 2024-9-12 17:59
NFS本身性能就不好，建议能用smb还是smb吧。

就是想知道Linux下NFS单文件拷贝还有多少提升空间。Linux下SMBDirect稳定性还是略差些。
NFS本身，看vastnfs的文档，通过多通道和RDMA，性能可以支持到160GiB/s以上。

NFS本身性能就不好，建议能用smb还是smb吧。