网卡的4K单线程随机读写能力，是什么决定的

houyuzhou

一直在做本地去硬盘化，NAS里也加入SSD，走网线映射网络磁盘。
有个小小问题


拉了两条10G，顺序读写没问题，多队列4K也还可，就是Q1 T1始终很慢。   
这个性能是由什么决定的，网卡的性能参数中，包含这一条么，有没有软件\设置优化的可能性。

ljy1414

我记得老莱的测试，还是很吃CPU不是吗? 从NAS、交换机、到本地
(我不太懂这方面，但是老莱有一期100万美刀美超微的视频有提到)

houyuzhou

ljy1414 发表于 2022-11-19 10:34
我记得老莱的测试，还是很吃CPU不是吗? 从NAS、交换机、到本地
(我不太懂这方面，但是老莱有一期100万美刀 ...

也就是说可能瓶颈不在网卡这面，而是某一端的CPU瓶颈了？ 老莱的配置看了，他那个速度太快了。。。

这么说好像很有道理，我清晰记得之前测速4K Q1T1只有5M，今天为了发帖重新跑了下变成9M了，似乎并不是稳定的。

ljy1414

houyuzhou 发表于 2022-11-19 10:38
也就是说可能瓶颈不在网卡这面，而是某一端的CPU瓶颈了？ 老莱的配置看了，他那个速度太快了。。。

这么 ...

100万美刀配置的网卡是被NV收购的Mellanox
走的似乎是光纤

鱼鱼鱼1

要不咱走rdma试试？

playclan

网卡是hp544+ 40g
借楼问一下是不是得有一端是windows server才能用rdma呀，之前存储机装的windows server2022可以rdma，但有不少软件打开就死机，就换win10了速度没问题稍微用点U

xsdianeht

吃cpu的，主机和NAS都吃

zhuifeng88

你需要rdma
(虽然你这个还有其他问题, 没有rdma一般也不至于这么低)

litguy

q1t1 考验 io 延迟的，正常，要解决还是 nvme of 才行，和本地无显著差别

houyuzhou

zhuifeng88 发表于 2022-11-19 14:29
你需要rdma
(虽然你这个还有其他问题, 没有rdma一般也不至于这么低)

所以该怎样debug。 刚试了把服务器节能改高性能，主频从1.2变成4，没什么变化。

houyuzhou

xsdianeht 发表于 2022-11-19 14:23
吃cpu的，主机和NAS都吃

主机是13900K，对面是双路E5 2667V2,16C32T,睿频4G的，也没看到线程满载的情况，本地测速没问题。 不知道这个4K Q1T1具体是吃哪方面的性能。

houyuzhou

playclan 发表于 2022-11-19 12:47
网卡是hp544+ 40g
借楼问一下是不是得有一端是windows server才能用rdma呀，之前存储机装的windows server2 ...

这个很强啊，价格也无敌。。就是DAC线麻烦点。

houyuzhou

litguy 发表于 2022-11-19 16:45
q1t1 考验 io 延迟的，正常，要解决还是 nvme of 才行，和本地无显著差别

不知道有没有可能优化一下，现在10M都跑不到太糟糕了。

houyuzhou

鱼鱼鱼1 发表于 2022-11-19 11:57
要不咱走rdma试试？

普通X540可以走RDMA么，学习一下去。

goat

houyuzhou 发表于 2022-11-19 21:05
普通X540可以走RDMA么，学习一下去。

intel不是7/8系列基本可以放弃了
intel的网卡要不是国内捧，被m全方位吊打

litguy

houyuzhou 发表于 2022-11-19 21:01
所以该怎样debug。 刚试了把服务器节能改高性能，主频从1.2变成4，没什么变化。 ...

这个需要开启 NVME OVER FABRIC 功能，至少需要 NVME OVER TCP 支持
另外没必要关注 Q1T1 的性能，除非你跑数据库这种负载
要提高性能，或者用 RDMA 的网卡，开启 NVME OVER FABRIC 功能
至少也需要软件实现 NVME OVER TCP
如果是普通块设备，然后 ISCSI OVER TCP，那肯定不行
如果这个东西只是你一个人用
可以考虑不用 CIFS 文件系统作共享
把那个盘设置为块设备
电脑用 ISCSI 协议访问
应该比 CIFS 性能高不少

Dolfin

单条10G，没有聚合，能好点吗

Dolfin

playclan 发表于 2022-11-19 12:47
网卡是hp544+ 40g
借楼问一下是不是得有一端是windows server才能用rdma呀，之前存储机装的windows server2 ...

另一端也可以是workstation版

Dolfin

litguy 发表于 2022-11-20 08:27
这个需要开启 NVME OVER FABRIC 功能，至少需要 NVME OVER TCP 支持
另外没必要关注 Q1T1 的性能，除非你 ...

nvmeof对楼主的nas应该挺困难的，能有个iser就很强了

playclan

Dolfin 发表于 2022-11-20 10:13
另一端也可以是workstation版

两端都是工作站版也不行么

momo77989724

houyuzhou 发表于 2022-11-19 21:04
不知道有没有可能优化一下，现在10M都跑不到太糟糕了。

NVME不会那么低
你肯定不是全 NVME



刚随便跑的  NVME P5510


2台主机都是低主频的。 通过交换机

不用交换机也能跑  这个当AR矿工时候都试过。。。就算你不开  RMDA 也不会个位数   实测。别问。。。

NAS 如果用NVME做缓存 性能达不到???

momo77989724

要测试也很简单  你另外找个主机  用单片NVME映射试下 就知道是你NAS 池子性能问题 还是RMDA问题

如果是RMDA问题 买个万兆交换机？？


4K吃主频 以前他们测固态 跑的4K 都是轻装系统 外加超5G+

houyuzhou

momo77989724 发表于 2022-11-20 11:01
NVME不会那么低
你肯定不是全 NVME

磁盘瓶颈肯定是没有的，不知道为什么这么低，甚至怀疑X540就是这种速度？测900P也是10M。。。 不是池子，SSD都是独立的，一个盘一个区。

houyuzhou

Dolfin 发表于 2022-11-20 10:12
单条10G，没有聚合，能好点吗

刚测试了，都是10M左右。

AQC-交换机-X540，10M
X540-X540，10M
AQC-交换机-X540+X540-X540 读写2.2G，4KQ1T1 13M.。。。

momo77989724

houyuzhou 发表于 2022-11-20 11:53
磁盘瓶颈肯定是没有的，不知道为什么这么低，甚至怀疑X540就是这种速度？测900P也是10M。。。 不是池子， ...

按道理没有RDMA 最多就是-25%-30%  性能 4K还没减那么多的

用光口的试试？ 我是CX341 + ST5008F   但是不用5008F 也没那么低 这个我试过的

chungexcy

Jumbo frame?

houyuzhou

chungexcy 发表于 2022-11-20 12:00
Jumbo frame?

这个开关都试过了，没什么变化，所有性能都没变化。

T.JOHN

Q1T1不吃CPU，只有数据量大的时候才吃CPU，RMDA技术就是尽量绕过CPU降低CPU负载

同理像netflix的流媒体服务器也是想办法用技术让数据从硬盘直接走网络而不通过内存/CPU，上次转总一个吹epyc的帖子里面就有，系统用的是定制freebsd，现在帖子折叠了，找不到了

chungexcy

houyuzhou 发表于 2022-11-20 12:01
这个开关都试过了，没什么变化，所有性能都没变化。

我也没试过jumbo frame。你是两头+路由器都开了么？

我用Windows自带的共享，千兆远程访问SATA SSD，也是你这个10MB/s的4k性能。

houyuzhou

momo77989724 发表于 2022-11-20 11:57
按道理没有RDMA 最多就是-25%-30%  性能 4K还没减那么多的

用光口的试试？ 我是CX341 + ST5008F   但是 ...

这是最好的一次，NAS开高性能主频拉满，两条网线都打开，盘是傲腾900P。

我是板载AOC10G-QNAP QSW-2104-2T-X540T2一条线路。
X540T2-X540T2直连一条线路。

难道说电口4K性能就是不好？。。。