问题已解决，感谢CHH
本帖最后由 Dolfin 于 2023-9-6 22:28 编辑感受体验/规格参数，就像主观需求的和客观具备的对立统一，当需要被实现，特性被感知，就达到了平衡。初见SSD是2008年的Intel X25m，体验行云流水；而随着存储需求的增加便添置了DAS；再考虑到数据安全和共享，我部署了NAS。从机械到固态，机内存储向机外，直连变网络。现在又迈一步，就有了这个分享。
本文会围绕全闪服务器、NVMe存储、100GbE网络、RDMA等方面展开，来自直观感受和一手体验。我没有IT/运维/研发相关经验或背景，这分享理论不多，实验不少，扯东扯西，愿你乐意读下去。
本文会围绕全闪服务器、NVME存储、100GbE 网络、RDMA 等方面展开，来自直观感受和一手体验NVME initiator，从零搭建。我没有IT/运维/研发相关经验或背景，本文理论不多，实验不少，扯东扯西，愿你乐意读下去。
测试平台
NAS 存储端
• AMD EYPC 9124 3.0GHz，16C/32T，DDR5-4800 32GB
• 100GbE（单口） Mellanox ConnectX4 * 1，40GbE * 2（双口）Mellanox ConnectX3 Pro * 1, 25GbE * 4（四口） Broadcom BCM97504 * 1
• Kioxia CD 7 960GB * 1，Kioxia CM6 960GB * 3 (RAID 0)
• Windows Server 2022 Datacenter
SMB 100G 客户端
• Intel i7 9800X 3.8GHz, 8C/16T, DDR4-2666 128GB
• 100GbE Mellanox ConnectX4 * 1
• HP EX 920 256GB
• Windows Server 2022 Datacenter
SMB 40G * 2 客户端
• Intel i7 9800X 3.8GHz, 8C/16T, DDR4-2666 128GB
• 40GbE * 2 Mellanox ConnectX3 Pro * 2
• HP EX920 256GB
• Windows Server 2022 Datacenter
SMB 40G 客户端
• Intel i5 9400 2.9GHz, 6C/6T, DDR4-2133 8GB
• 40GbE * 2 Mellanox ConnectX3 Pro * 1
• HP EX900 500GB
• Windows Server 2022 Datacenter
雷电 40G 客户端
• Intel i5 12500H 2.5GHz, 12C/16T, DDR4-3200 16GB
• 40GbE * 2 Mellanox ConnectX4 * 1
• HP EX920 1TB
• Gigabyte Gaming box
• Windows 11 Pro for Workstations
雷电 25G 客户端
• Apple M1 3.2GHz, 8C/8T, LPDDR4X-4266 8GB
• 25GbE * 2 Mellanox ConnectX4 * 1
• Apple SSD 256GB
• Akitio Node Pro
• MacOS 13.4.1
如果你觉得windows在实现 复制阶段暂停并把U盘拔出来然后插回去点恢复还能继续复制 这个功能时不牺牲点什么的话那可能是外星人科技 evangelion_air 发表于 2023-7-17 22:29
如果你觉得windows在实现 复制阶段暂停并把U盘拔出来然后插回去点恢复还能继续复制 这个功能时不牺牲点什么 ...
我说的是有不少视频在win下，实现了4GB/s以上的复制 Dolfin 发表于 2023-7-17 22:34
我说的是有不少视频在win下，实现了4GB/s以上的复制
4G应该是多队列，WIN系统极限差不多就这个速度。 系统自带的robocopy可以实现不过需要命令行 狮子歌歌 发表于 2023-7-17 22:43
4G应该是多队列，WIN系统极限差不多就这个速度。
普通复制可以设置多队列吗 evangelion_air 发表于 2023-7-17 22:29
如果你觉得windows在实现 复制阶段暂停并把U盘拔出来然后插回去点恢复还能继续复制 这个功能时不牺牲点什么 ...
[雷人]fastcopy,teracopy之类的不都有这功能么? wxlg1117 发表于 2023-7-17 23:33
fastcopy,teracopy之类的不都有这功能么?
我帖子说了啊，fastcopy robocopy能突破，但为啥有人能文件管理器突破4g… 去看那些40G 网卡评测视频，貌似是server OS 然后打开某个功能。。名称忘记了[晕倒] Dolfin 发表于 2023-7-17 23:19
普通复制可以设置多队列吗
你操作两次复制粘贴就是双队列，队列那里有两条进度，单个文件只能单队列。 Dolfin 发表于 2023-7-18 00:20
我帖子说了啊，fastcopy robocopy能突破，但为啥有人能文件管理器突破4g…
突破了多少啊，win下自带管理器4G多一点点也是正常的，如果跑上5g了就没见过了 冰汐 发表于 2023-7-18 11:27
突破了多少啊，win下自带管理器4G多一点点也是正常的，如果跑上5g了就没见过了 ...
一番折腾，客户端复制到服务器，到5GB/s了 狮子歌歌 发表于 2023-7-18 10:56
你操作两次复制粘贴就是双队列，队列那里有两条进度，单个文件只能单队列。 ...
测试两个文件复制，速度会共享，还是单通道 zxy2001 发表于 2023-7-18 00:26
去看那些40G 网卡评测视频，貌似是server OS 然后打开某个功能。。名称忘记了 ...
你应该说的是RDMA Dolfin 发表于 2023-7-19 18:45
一番折腾，客户端复制到服务器，到5GB/s了
怎么折腾的？分享一下呀 我记得前几个月有个补丁，打了之后win11复制速度就上来了 折腾了啥呀，话说一半真难受 这方面是不是有什么特殊问题？如果能加快不应该早就加快了吗？ WIN的资源管理器是看CPU的，论坛里J大的NAS，用的13900KS，和他的服务器（64核128核心的EPYC 7003系列，512G内存），不用RDMA刻意跑到4G以上，但是也已经是极限了。在高只能用RDMA。实现两台机器的RDMA也很简单，不需要打开什么，只要你的两台电脑（通常情况下是一台服务器和一台消费级电脑）其中一台是WINSERVER ,另一台可以是WINSERVER也可以是WIN10专业工作站版，用100G网卡（支持RDMA功能的）互联或通过100G交换机（交换机也要支持RDMA）互联，然后就可以享受RDMA了。这个功能直接绕开了CPU，是直接从一方存储怼到另一方内存的操作。 WIN的资源管理器是看CPU的，论坛里J大的NAS，用的13900KS，和他的服务器（64核128核心的EPYC 7003系列，512G内存），不用RDMA刻意跑到4G以上，但是也已经是极限了。在高只能用RDMA。实现两台机器的RDMA也很简单，不需要打开什么，只要你的两台电脑（通常情况下是一台服务器和一台消费级电脑）其中一台是WINSERVER ,另一台可以是WINSERVER也可以是WIN10专业工作站版，用100G网卡（支持RDMA功能的）互联或通过100G交换机（交换机也要支持RDMA）互联，然后就可以享受RDMA了。这个功能直接绕开了CPU，是直接从一方存储怼到另一方内存的操作。 wangfenghun 发表于 2023-7-24 19:13
WIN的资源管理器是看CPU的，论坛里J大的NAS，用的13900KS，和他的服务器（64核128核心的EPYC 7003系列，512 ...
对，是看CPU的，节能模式和性能模式会有差别，单核性能强弱也有差别。SMB速度和双边磁盘也有关系，基本极限是Q1T1的性能。RDMA也会提升性能 lz i7 9800x能支持8x32g内存吗
页:
[1]