找回密码
 加入我们
搜索
      

网卡的4K单线程随机读写能力,是什么决定的

查看数: 15470 | 评论数: 44 | 收藏 1
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2022-11-19 10:28

正文摘要:

一直在做本地去硬盘化,NAS里也加入SSD,走网线映射网络磁盘。 有个小小问题

回复

tommyc 发表于 2025-1-7 15:19
jerrytsao 发表于 2022-11-20 20:12
和Win没关系, 也不需要RDMA, 你需要的是合理硬软件配置, 老早之前的现成帖子不看 https://www.chiphell.com ...

这服务端环境
不是LINUX环境了吗
jerrytsao 发表于 2022-11-20 20:12
本帖最后由 jerrytsao 于 2022-11-20 20:16 编辑

和Win没关系, 也不需要RDMA, 你需要的是合理硬软件配置, 老早之前的现成帖子不看 https://www.chiphell.com/thread-2402960-1-1.html




houyuzhou 发表于 2022-11-20 18:25
Juzi丶 发表于 2022-11-20 17:39
TrueNAS-13.0-U3

开AIO,开SMB加密

好快,难道说是WINDOWS系统的问题。。
houyuzhou 发表于 2022-11-20 18:25
uuyyhhjj 发表于 2022-11-20 16:01
我拿gen10+的i350试下了,好像也是这速度,但是中间有50M的网线和1个交换机过主路由再到电脑测的,no rdma ...

感谢,现在感觉不是系统问题就是X540问题。
Juzi丶 发表于 2022-11-20 17:39
1.jpg

2.jpg

TrueNAS-13.0-U3

开AIO,开SMB加密
uuyyhhjj 发表于 2022-11-20 16:01
屏幕截图 2022-11-20 144636.png
我拿gen10+的i350试下了,好像也是这速度,但是中间有50M的网线和1个交换机过主路由再到电脑测的,no rdma,iscsi甚至没smb性能好,基本持平
sss.JPG
而且SMB好像也没啥可设置的地方,感觉你可以试试两头都是server的情况或者干脆换个支持rdma的试试再说
houyuzhou 发表于 2022-11-20 12:41
T.JOHN 发表于 2022-11-20 12:20
你这种问题最简单的方法就是换linux测一下,我保证99%就正常了。windows当服务器,如果出现问题,网络上 ...

技术盲只能闭眼睛吃windows的亏,哎。
houyuzhou 发表于 2022-11-20 12:40
momo77989724 发表于 2022-11-20 12:10
刚帮你测了 不用交换机  4K速度也没变化  顺便我用的2台都是工作站
系统都是直接克隆的。。。 ...

多谢,就很奇怪的毛病啊。无伤大雅就是比较讨厌。
momo77989724 发表于 2022-11-20 12:26
还有几张544+  但是40G交换机 家里噪音 又懒得改。。。就算了。。仍那里了 有需要的可以顺便联系我下 我出了 带线
T.JOHN 发表于 2022-11-20 12:20
houyuzhou 发表于 2022-11-20 12:04
我这就是简单的WINDOWS SERVER,SMB共享,两条线路也没做聚合自动叠加的。
但是楼上的momo77989724 ...

你这种问题最简单的方法就是换linux测一下,我保证99%就正常了。windows当服务器,如果出现问题,网络上是90%搜不到解决方案的。
momo77989724 发表于 2022-11-20 12:10
本帖最后由 momo77989724 于 2022-11-20 12:27 编辑
houyuzhou 发表于 2022-11-20 12:04
我这就是简单的WINDOWS SERVER,SMB共享,两条线路也没做聚合自动叠加的。
但是楼上的momo77989724 ...


刚帮你测了 不用交换机  4K速度也没变化  顺便我用的2台都是工作站
系统都是直接克隆的。。。
houyuzhou 发表于 2022-11-20 12:06
chungexcy 发表于 2022-11-20 12:03
我也没试过jumbo frame。你是两头+路由器都开了么?

我用Windows自带的共享,千兆远程访问SATA SSD,也 ...

这个开不开没什么意义,我测试了开关对比和几种大小对比,没感受到差别。
momo77989724 发表于 2022-11-20 12:05
本帖最后由 momo77989724 于 2022-11-20 12:09 编辑
houyuzhou 发表于 2022-11-20 12:03
这是最好的一次,NAS开高性能主频拉满,两条网线都打开,盘是傲腾900P。

我是板载AOC10G-QNAP QSW-210 ...


电口卡再不好 你这不是有个900P么  也不至于这样

111122220221120120756.png



这是CX341直连的 。。。电口卡我都出掉了 没法帮你测
houyuzhou 发表于 2022-11-20 12:04
T.JOHN 发表于 2022-11-20 12:02
Q1T1不吃CPU,只有数据量大的时候才吃CPU,RMDA技术就是尽量绕过CPU降低CPU负载

同理像netflix的流媒体服 ...

我这就是简单的WINDOWS SERVER,SMB共享,两条线路也没做聚合自动叠加的。
但是楼上的momo77989724兄弟就很正常,难道说是网卡问题。。
chungexcy 发表于 2022-11-20 12:03
本帖最后由 chungexcy 于 2022-11-20 12:04 编辑
houyuzhou 发表于 2022-11-20 12:01
这个开关都试过了,没什么变化,所有性能都没变化。


我也没试过jumbo frame。你是两头+路由器都开了么?

我用Windows自带的共享,千兆远程访问SATA SSD,也是你这个10MB/s的4k性能。
T.JOHN 发表于 2022-11-20 12:02
Q1T1不吃CPU,只有数据量大的时候才吃CPU,RMDA技术就是尽量绕过CPU降低CPU负载

同理像netflix的流媒体服务器也是想办法用技术让数据从硬盘直接走网络而不通过内存/CPU,上次转总一个吹epyc的帖子里面就有,系统用的是定制freebsd,现在帖子折叠了,找不到了
houyuzhou 发表于 2022-11-20 12:01

这个开关都试过了,没什么变化,所有性能都没变化。
chungexcy 发表于 2022-11-20 12:00
Jumbo frame?
momo77989724 发表于 2022-11-20 11:57
houyuzhou 发表于 2022-11-20 11:53
磁盘瓶颈肯定是没有的,不知道为什么这么低,甚至怀疑X540就是这种速度?测900P也是10M。。。 不是池子, ...

按道理没有RDMA 最多就是-25%-30%  性能 4K还没减那么多的

用光口的试试? 我是CX341 + ST5008F   但是不用5008F 也没那么低 这个我试过的
houyuzhou 发表于 2022-11-20 11:56
Dolfin 发表于 2022-11-20 10:12
单条10G,没有聚合,能好点吗


刚测试了,都是10M左右。

AQC-交换机-X540,10M
X540-X540,10M
AQC-交换机-X540+X540-X540 读写2.2G,4KQ1T1 13M.。。。
houyuzhou 发表于 2022-11-20 11:53
momo77989724 发表于 2022-11-20 11:01
NVME不会那么低
你肯定不是全 NVME

磁盘瓶颈肯定是没有的,不知道为什么这么低,甚至怀疑X540就是这种速度?测900P也是10M。。。 不是池子,SSD都是独立的,一个盘一个区。
momo77989724 发表于 2022-11-20 11:44
本帖最后由 momo77989724 于 2022-11-20 11:53 编辑

要测试也很简单  你另外找个主机  用单片NVME映射试下 就知道是你NAS 池子性能问题 还是RMDA问题

如果是RMDA问题 买个万兆交换机??


4K吃主频 以前他们测固态 跑的4K 都是轻装系统 外加超5G+

momo77989724 发表于 2022-11-20 11:01
本帖最后由 momo77989724 于 2022-11-20 11:34 编辑
houyuzhou 发表于 2022-11-19 21:04
不知道有没有可能优化一下,现在10M都跑不到太糟糕了。


NVME不会那么低
你肯定不是全 NVME

QQ图片20221120112852.png

刚随便跑的  NVME P5510


2台主机都是低主频的。 通过交换机

不用交换机也能跑  这个当AR矿工时候都试过。。。就算你不开  RMDA 也不会个位数   实测。别问。。。

NAS 如果用NVME做缓存 性能达不到???
playclan 发表于 2022-11-20 10:21
Dolfin 发表于 2022-11-20 10:13
另一端也可以是workstation版


两端都是工作站版也不行么
Dolfin 发表于 2022-11-20 10:15
litguy 发表于 2022-11-20 08:27
这个需要开启 NVME OVER FABRIC 功能,至少需要 NVME OVER TCP 支持
另外没必要关注 Q1T1 的性能,除非你 ...

nvmeof对楼主的nas应该挺困难的,能有个iser就很强了
Dolfin 发表于 2022-11-20 10:13
playclan 发表于 2022-11-19 12:47
网卡是hp544+ 40g
借楼问一下是不是得有一端是windows server才能用rdma呀,之前存储机装的windows server2 ...

另一端也可以是workstation版
Dolfin 发表于 2022-11-20 10:12
单条10G,没有聚合,能好点吗

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-5-22 05:19 , Processed in 0.016971 second(s), 9 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表