百思不得其解！客户端与服务端数据传输速度问题

knightps

1.服务器esxi装的windows server系统，系统装在3.0的固态盘上，直通一张4.0的固态作为从盘。
2.客户端装的win11工作站版，系统装在3.0的固态上，从盘均为4.0盘。

问题:两台电脑40G网卡直连，顺利开启RDMA，两台电脑4.0的从盘互相拷贝文件一直只有2.8G/秒，远远达不到既定速度。

疑问:速度限制问题是系统装在了3.0的盘上吗？如果是，那到底是客户端的问题还是服务端虚拟化系统的问题？或者两边都要把系统装到4.0的盘上才能解决问题？

mhggpo

是不是资源管理器自己拉了，换个fastcopy试试

knightps

mhggpo 发表于 2024-12-12 11:44
是不是资源管理器自己拉了，换个fastcopy试试

开启了RDMA，40G网卡系统资源管理器可以跑3.xG/秒的

knightps

mhggpo 发表于 2024-12-12 11:44
是不是资源管理器自己拉了，换个fastcopy试试

这是别人的正常速度

mosigan

资源管理器拉垮的可能性很大，老顽疾了

knightps

mosigan 发表于 2024-12-12 12:09
资源管理器拉垮的可能性很大，老顽疾了

开启了RDMA,看楼上的贴图

mosigan

knightps 发表于 2024-12-12 12:13
开启了RDMA,看楼上的贴图

这和rdma没关心，微软自己的锅，windows的文件资源管理器本身的限制或者说瓶颈，我rdma100g也只能跑到3g

knightps

mosigan 发表于 2024-12-12 12:15
这和rdma没关心，微软自己的锅，windows的文件资源管理器本身的限制或者说瓶颈，我rdma100g也只能跑到3g ...

不是，b站上也有很多例子，开启RDMA之后，40G网卡系统自带的单任务能跑到3.xG/秒。我这死活一条直线2.8。总感觉是不是两边系统都装在3.0的盘上，限制了速度

hantty

2.8一条直线的话说明速率到顶了呀，检查一下握手吧

liolio

好像内存大小也会影响rdma上限

knightps

liolio 发表于 2024-12-12 14:33
好像内存大小也会影响rdma上限

客户端64g内存，服务端给虚拟机分了32g内存。传输10G或100G文件都是顶着2.8跑

weindy

插在x4还是x8的pcie上？看下工作带宽吧。另外可以刷成56g的再试试。

knightps

weindy 发表于 2024-12-12 17:56
插在x4还是x8的pcie上？看下工作带宽吧。另外可以刷成56g的再试试。

在各自的电脑上用软件测4.0的盘速度没问题，互拷就只能到2.8

weindy

knightps 发表于 2024-12-12 18:06
在各自的电脑上用软件测4.0的盘速度没问题，互拷就只能到2.8

额我意思是看下40g网卡的工作状态。。另外samba不跑单文件确实会慢一点的

knightps

weindy 发表于 2024-12-12 18:11
额我意思是看下40g网卡的工作状态。。另外samba不跑单文件确实会慢一点的

单文件传输，40G网卡没问题