问题已解决，感谢CHH

Dolfin

感受体验/规格参数，就像主观需求的和客观具备的对立统一，当需要被实现，特性被感知，就达到了平衡。初见SSD是2008年的Intel X25m，体验行云流水；而随着存储需求的增加便添置了DAS；再考虑到数据安全和共享，我部署了NAS。从机械到固态，机内存储向机外，直连变网络。现在又迈一步，就有了这个分享。

本文会围绕全闪服务器、NVMe存储、100GbE网络、RDMA等方面展开，来自直观感受和一手体验。我没有IT/运维/研发相关经验或背景，这分享理论不多，实验不少，扯东扯西，愿你乐意读下去。












本文会围绕全闪服务器、NVME存储、100GbE 网络、RDMA 等方面展开，来自直观感受和一手体验NVME initiator，从零搭建。我没有IT/运维/研发相关经验或背景，本文理论不多，实验不少，扯东扯西，愿你乐意读下去。





测试平台
NAS 存储端
•        AMD EYPC 9124 3.0GHz，16C/32T，DDR5-4800 32GB
•        100GbE（单口） Mellanox ConnectX4 * 1，40GbE * 2（双口）Mellanox ConnectX3 Pro * 1, 25GbE * 4（四口） Broadcom BCM97504 * 1
•        Kioxia CD 7 960GB * 1，Kioxia CM6 960GB * 3 (RAID 0)
•        Windows Server 2022 Datacenter

SMB 100G 客户端
•        Intel i7 9800X 3.8GHz, 8C/16T, DDR4-2666 128GB
•        100GbE Mellanox ConnectX4 * 1
•        HP EX 920 256GB
•        Windows Server 2022 Datacenter

SMB 40G * 2 客户端
•        Intel i7 9800X 3.8GHz, 8C/16T, DDR4-2666 128GB
•        40GbE * 2 Mellanox ConnectX3 Pro * 2
•        HP EX920 256GB
•        Windows Server 2022 Datacenter

SMB 40G 客户端
•        Intel i5 9400 2.9GHz, 6C/6T, DDR4-2133 8GB
•        40GbE * 2 Mellanox ConnectX3 Pro * 1
•        HP EX900 500GB
•        Windows Server 2022 Datacenter

雷电 40G 客户端
•        Intel i5 12500H 2.5GHz, 12C/16T, DDR4-3200 16GB
•        40GbE * 2 Mellanox ConnectX4 * 1
•        HP EX920 1TB
•        Gigabyte Gaming box
•        Windows 11 Pro for Workstations

雷电 25G 客户端
•        Apple M1 3.2GHz, 8C/8T, LPDDR4X-4266 8GB
•        25GbE * 2 Mellanox ConnectX4 * 1
•        Apple SSD 256GB
•        Akitio Node Pro
•        MacOS 13.4.1

evangelion_air

如果你觉得windows在实现 复制阶段暂停并把U盘拔出来然后插回去点恢复还能继续复制 这个功能时不牺牲点什么的话那可能是外星人科技

Dolfin

evangelion_air 发表于 2023-7-17 22:29
如果你觉得windows在实现 复制阶段暂停并把U盘拔出来然后插回去点恢复还能继续复制 这个功能时不牺牲点什么 ...

我说的是有不少视频在win下，实现了4GB/s以上的复制

狮子歌歌

Dolfin 发表于 2023-7-17 22:34
我说的是有不少视频在win下，实现了4GB/s以上的复制

4G应该是多队列，WIN系统极限差不多就这个速度。

reyytr

系统自带的robocopy可以实现  不过需要命令行

Dolfin

狮子歌歌 发表于 2023-7-17 22:43
4G应该是多队列，WIN系统极限差不多就这个速度。

普通复制可以设置多队列吗

wxlg1117

evangelion_air 发表于 2023-7-17 22:29
如果你觉得windows在实现 复制阶段暂停并把U盘拔出来然后插回去点恢复还能继续复制 这个功能时不牺牲点什么 ...

fastcopy,teracopy之类的不都有这功能么?

Dolfin

wxlg1117 发表于 2023-7-17 23:33
fastcopy,teracopy之类的不都有这功能么?

我帖子说了啊，fastcopy robocopy能突破，但为啥有人能文件管理器突破4g…

zxy2001

去看那些40G 网卡评测视频，貌似是server OS 然后打开某个功能。。名称忘记了

狮子歌歌

Dolfin 发表于 2023-7-17 23:19
普通复制可以设置多队列吗

你操作两次复制粘贴就是双队列，队列那里有两条进度，单个文件只能单队列。

冰汐

Dolfin 发表于 2023-7-18 00:20
我帖子说了啊，fastcopy robocopy能突破，但为啥有人能文件管理器突破4g…

突破了多少啊，win下自带管理器4G多一点点也是正常的，如果跑上5g了就没见过了

Dolfin

冰汐 发表于 2023-7-18 11:27
突破了多少啊，win下自带管理器4G多一点点也是正常的，如果跑上5g了就没见过了 ...

一番折腾，客户端复制到服务器，到5GB/s了

Dolfin

狮子歌歌 发表于 2023-7-18 10:56
你操作两次复制粘贴就是双队列，队列那里有两条进度，单个文件只能单队列。 ...

测试两个文件复制，速度会共享，还是单通道

Dolfin

zxy2001 发表于 2023-7-18 00:26
去看那些40G 网卡评测视频，貌似是server OS 然后打开某个功能。。名称忘记了 ...

你应该说的是RDMA

zhgbbs

Dolfin 发表于 2023-7-19 18:45
一番折腾，客户端复制到服务器，到5GB/s了

怎么折腾的？分享一下呀

孤舟一笠

我记得前几个月有个补丁，打了之后win11复制速度就上来了

zhgbbs

折腾了啥呀，话说一半真难受

羽风之歌

这方面是不是有什么特殊问题？如果能加快不应该早就加快了吗？

wangfenghun

WIN的资源管理器是看CPU的，论坛里J大的NAS，用的13900KS，和他的服务器（64核128核心的EPYC 7003系列，512G内存），不用RDMA刻意跑到4G以上，但是也已经是极限了。在高只能用RDMA。实现两台机器的RDMA也很简单，不需要打开什么，只要你的两台电脑（通常情况下是一台服务器和一台消费级电脑）其中一台是WINSERVER ,另一台可以是WINSERVER也可以是WIN10专业工作站版，用100G网卡（支持RDMA功能的）互联或通过100G交换机（交换机也要支持RDMA）互联，然后就可以享受RDMA了。这个功能直接绕开了CPU，是直接从一方存储怼到另一方内存的操作。

wangfenghun

WIN的资源管理器是看CPU的，论坛里J大的NAS，用的13900KS，和他的服务器（64核128核心的EPYC 7003系列，512G内存），不用RDMA刻意跑到4G以上，但是也已经是极限了。在高只能用RDMA。实现两台机器的RDMA也很简单，不需要打开什么，只要你的两台电脑（通常情况下是一台服务器和一台消费级电脑）其中一台是WINSERVER ,另一台可以是WINSERVER也可以是WIN10专业工作站版，用100G网卡（支持RDMA功能的）互联或通过100G交换机（交换机也要支持RDMA）互联，然后就可以享受RDMA了。这个功能直接绕开了CPU，是直接从一方存储怼到另一方内存的操作。

Dolfin

wangfenghun 发表于 2023-7-24 19:13
WIN的资源管理器是看CPU的，论坛里J大的NAS，用的13900KS，和他的服务器（64核128核心的EPYC 7003系列，512 ...

对，是看CPU的，节能模式和性能模式会有差别，单核性能强弱也有差别。SMB速度和双边磁盘也有关系，基本极限是Q1T1的性能。RDMA也会提升性能

ruanjianxuqiu

lz i7 9800x能支持8x32g内存吗