SMB再次提升，4GB/s达成，再次更新，突破5GB/s

summerq

StevenG 发表于 2024-6-10 15:28
楼主不是那个威联通的25g交换机吗？没有rdma也能跑满？win的smb不是效果有瓶颈嘛 ...

你也不看看他的cpu有多快…毕竟力大砖飞

Dolfin

StevenG 发表于 2024-6-10 15:28
楼主不是那个威联通的25g交换机吗？没有rdma也能跑满？win的smb不是效果有瓶颈嘛 ...

没有rdma也是可以跑100G的

brucelee1126

summerq 发表于 2024-6-10 16:08
你也不看看他的cpu有多快…毕竟力大砖飞

感觉是这样了，cpu占用40%以上，40%是最低，不是太优雅

测速时只截到这个，基本双口同时跑满

Dolfin

赫敏 发表于 2024-6-9 15:21
4GB/s是什么magic number吗？AWS的SMB服务也是4GB/s单机

4GB/s 我看挺难，要不你也试试？

hu2851

高端操作啊
俺的内网1G就够俺用的了

赫敏

Dolfin 发表于 2024-6-11 09:38
4GB/s 我看挺难，要不你也试试？

没有东西试咯。我只是在想是不是协议方面有一些隐藏的限制。aws也刚好限制在了4096MB/s
https://docs.aws.amazon.com/fsx/ ... de/performance.html

brucelee1126

Dolfin 发表于 2024-6-11 22:38
4GB/s 我看挺难，要不你也试试？

还是这个牛

tyy474

可以开iser试试，那个可以更加快

chopin1998

台式机和 epyc都是 cx-4l。 RDMA+NFS/ 普通25G ethernet混合使用(rsync/http之类的)

表示羡慕 cx-6

brucelee1126

tyy474 发表于 2024-6-12 08:12
可以开iser试试，那个可以更加快

我只知道iser在两个威联通之间可以开启，请问威联通和win之间如何开启

Van64

散落烟灰 发表于 2024-6-9 15:05
牛的，这基本上可以把远程机当成本地机使用了，很多很多人的电脑都还没这个速度 ...

延迟也是一方面

Dolfin

brucelee1126 发表于 2024-6-12 08:36
我只知道iser在两个威联通之间可以开启，请问威联通和win之间如何开启

威联通的文档里只介绍了QNAP NAS 和 VM Server（ VMware）之间的iSer通信。至于Windows的配置，应该和iSCSI一样也使用windows initiator，不过我从没使用过iSer。

iSer是块存储，是同smb这样的文件存储完全不一样的。你使用了smb multichannel，在iSer / iSCSI 中可能需要 multipath 来实现性能提升/冗余，不过威联通怎么配置，也没看到相关信息。你可以试试。

理论讲，使用块存储的话你的4k随机性能和延迟肯定会有提升。（基于我NVMe OF的实验结果）

Dolfin

chopin1998 发表于 2024-6-12 08:21
台式机和 epyc都是 cx-4l。 RDMA+NFS/ 普通25G ethernet混合使用(rsync/http之类的)

表示羡慕 cx-6

你的RDMA + NFS 的4k随机性能怎么样？我的倒是很拉垮

ironmaiden

楼主可以参考下，虽然最后几条命令我这里提示失败，但抄他的作业还是成功开启了rdma
https://www.bilibili.com/video/BV1hc41187aa/

chopin1998

Dolfin 发表于 2024-6-12 09:40
你的RDMA + NFS 的4k随机性能怎么样？我的倒是很拉垮

恩， 和原生肯定没法比，


4k 随机读
原生：IOPS=1523k, BW=5949MiB/s
远程：IOPS=202k, BW=789MiB/s
////
大文件嘛，目前两台机器是单个 25G直联， 随便怎么样反正都能跑满。

就等pcie4.0的卡白菜价了。。。。

brucelee1126

Dolfin 发表于 2024-6-12 09:36
威联通的文档里只介绍了QNAP NAS 和 VM Server（ VMware）之间的iSer通信。至于Windows的配置，应该和iSC ...

威联通之间倒是可以用多通道挂载块存储，就是那个虚拟扩展柜功能，如果是威联通白名单网卡会自动启用iser,win我也不知道如何操作，我抽空试试单通道挂载iscsi。

Dolfin

chopin1998 发表于 2024-6-12 10:16
恩， 和原生肯定没法比，

mcx516 双口100G，应该是最便宜的4.0 x16吧

brucelee1126

Dolfin 发表于 2024-6-12 09:36
威联通的文档里只介绍了QNAP NAS 和 VM Server（ VMware）之间的iSer通信。至于Windows的配置，应该和iSC ...

另外请教一下，我的客户端win可能有磁盘性能瓶颈，一块pe6110 pcie3.0 写1900，一块pm9a3 pcie4.0 写2700，两个盘组raid0的话，写入是1900*2还是1900＋2700？

chopin1998

Dolfin 发表于 2024-6-12 10:25
mcx516 双口100G，应该是最便宜的4.0 x16吧

这个太变态了。。能跑满 两个双口25G， 我就知足了

而且epyc倒是好说， 目前是ocp2.0的卡， 但是台式机上只有2~3个空的 pcie4.0x4的槽。。。

Dolfin

brucelee1126 发表于 2024-6-12 10:26
另外请教一下，我的客户端win可能有磁盘性能瓶颈，一块pe6110 pcie3.0 写1900，一块pm9a3 pcie4.0 写2700 ...

我的理解是，理论上是1900+2700，但不建议这么做。
一个写入的任务，RAID控制器会把文件拆成多个条带，举例是同一时间内，条带1写入磁盘A，条带2写入磁盘B，一块磁盘完成了该条带的写入，下一个条带写入任务才会开始，最优性能会受到阵列中最慢驱动器速度的影响。

不过写入的过程还会有其他影响因素譬如磁盘缓存、操作系统缓存等等影响，也会有额外的IO开销，这也会涉及延迟。所以我觉得可以玩玩看，但会对IO连续性和稳定性可能有所影响。

Dolfin

chopin1998 发表于 2024-6-12 10:29
这个太变态了。。能跑满 两个双口25G， 我就知足了

而且epyc倒是好说， 目前是ocp2.0的卡， 但是台式机 ...

那就是MCX512A-ADAT，PCIe Gen4 X8，在X4下面双25Gbps应该没问题

jwongsv

请问你的网络拓扑是怎么做的，我新居要搭建网络，老房子也打算升级一下

brucelee1126

jwongsv 发表于 2024-6-12 15:57
请问你的网络拓扑是怎么做的，我新居要搭建网络，老房子也打算升级一下

之前画过一个，现在稍有变动

brucelee1126

再次突破5GB/s

yoyofuture

搞个nvme 固态的速度看看？

zxy2001

FLR544+ 是不是会更快？？

brucelee1126

yoyofuture 发表于 2024-6-13 23:58
搞个nvme 固态的速度看看？

看单盘吗，我这是阵列跑的

Johnsnow-s

brucelee1126 发表于 2024-6-9 14:30
我又忘了看了 epyc7232

RDMA下,CPU是不会有什么负载的

yoyofuture

brucelee1126 发表于 2024-6-14 08:42
看单盘吗，我这是阵列跑的

对啊，nvme固态，单盘都跑满你的宽带了。

brucelee1126

yoyofuture 发表于 2024-6-14 17:39
对啊，nvme固态，单盘都跑满你的宽带了。

跑不满，我现在客户端的双盘raid0，读6000写3800，这还是是本地软件测速，smb只会更慢