群晖1621+的smb测速试验，1.5GB/S是群晖SMB的极限吗？
本帖最后由 网仙 于 2024-11-19 14:27 编辑20241118补充
双25G，samba3多线程，往群晖写入最大可以到2.4GB/S左右。没有RDMA加持的群晖，这大概是其网络界面的极限速度了。
=================================
这台1621+应该算是满配的，6x20TB(WD-hc560)raid5 + 2xSN650(U.2)raid0；
QLogic的25G光卡，32GB*2内存ecc；测试了一下速度(MTU1500默认)
HDD阵列的极限能力(写入图，读取差不多)
SSD阵列的极限能力（读取图，写入差不多）：
首先，群晖比较扯淡的是不支持RDMA（ROCE）；这个对SMB的性能表现非常不利。
根据上图的测试：
hdd部分，应该已经是到了机械盘的满载状态（1.1GB/S左右），其他位置没有形成瓶颈。刚好喂饱10G网络。
ssd阵列目前还有点疑问，因为群晖的M.2给的是pcie3.0，2X的带宽，也就是16GT/S，双U.2组raid0，应该能到30GT/S左右的带宽，跑够25G应该问题不大。但事实是只能到1.5~1.6GB/S左右。我暂且把它理解为这台群晖的极限。
如果说SSD阵列没有瓶颈，系统/cpu没有瓶颈，还有一种可能是网卡运行在2.0X4或者3.0X2状态，好像更符合这个测试数据；回头再研究。
在群晖上搭建speedtest测速服务，最快也只能测到1700MB/S左右，群晖孱弱的软硬件性能是公认的，估计换成MTU9000会有所改善。
机器照片：
补充：刚才远程看了一下pcie的链路状态：
网卡 ~# lspci -n -d 1077:8070 -vvv | grep --colorWidth
LnkCap: Port #0, Speed 8GT/s, Width x8, ASPM not supported
LnkSta: Speed 8GT/s (ok), Width x4 (downgraded)
网卡PCIE链路部分没有问题，运行在3.0x4,带宽足够25G跑满
SSD硬盘 ~# lspci -n -d 1b96:2720 -vvv | grep --colorWidth
LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L0s, Exit Latency L0s unlimited
LnkSta: Speed 8GT/s (downgraded), Width x2 (downgraded)
m.2插槽确实运行在X2
支持rdma需要服务器和客户端的软硬件同时支持才行，群晖的所有网卡都不支持rdma，你让它怎么支持。还有就是10g网络rdma用处并不大，再高速度的网络群晖的cpu性能跟不上了，意义也不大 mosigan 发表于 2024-10-28 10:26
支持rdma需要服务器和客户端的软硬件同时支持才行，群晖的所有网卡都不支持rdma，你让它怎么支持。还有就是 ...
我这个25G的网卡是支持RDMA的（在winserver下试过），虽然只要200块钱[傻笑] 本帖最后由 mosigan 于 2024-10-28 10:34 编辑
网仙 发表于 2024-10-28 10:28
我这个25G的网卡是支持RDMA的（在winserver下试过），虽然只要200块钱
群晖自家的网卡不支持rdma，你说它怎么会支持,而且win下的rdma实现比linux下方便多了 我ds1821+，网卡x710，开启smb多通道，走nvme用两条sn550 1t做raid0，能跑满2.0GB/s。25GB网卡，单口直连速度就是1.4-1.5GB/s是上限了，因为群晖没有rdma 冷知识，那俩m2是pcie x1通道，和rdma没半毛钱关系，即使有rdma，瓶颈也会在x1通道上 StevenG 发表于 2024-10-28 12:41
冷知识，那俩m2是pcie x1通道，和rdma没半毛钱关系，即使有rdma，瓶颈也会在x1通道上 ...
你那是什么年代的群晖？
上面测试过了，实际运行在3.0x2. 网仙 发表于 2024-10-28 12:46
你那是什么年代的群晖？
上面测试过了，实际运行在3.0x2.
那两个m2 单条就是x1通道 pcie3.0版本。。。最早发售时有拆解视频，官网没写带宽。你可以看看同硬件平台的873a参数。。https://www.qnap.com.cn/zh-cn/product/ts-873a/specs/hardware 你那个测试结果应该是raid0带宽叠加了，所以看起来是x2 看帖子最后一行 本帖最后由 网仙 于 2024-10-28 17:02 编辑
StevenG 发表于 2024-10-28 12:55
你那个测试结果应该是raid0带宽叠加了，所以看起来是x2
这个是针对单个U.2设备测试的
论坛里有人晒过，双万兆群晖和威联通都能跑到2G+这样子 网仙 发表于 2024-10-28 13:12
这个是针对设备测试的
你把缓存改成raid1试试，v1500b pcie通道数很少，单条m2理论上给不出x2的带宽。。 不是缓存，直接做的存储池 同样的1621，我的6块酷狼4T 只能跑700MB/s左右。 NamiKo320 发表于 2024-10-28 15:38
同样的1621，我的6块酷狼4T 只能跑700MB/s左右。
我的跟你差不多，10G的网卡，5块shr StevenG 发表于 2024-10-28 14:52
你把缓存改成raid1试试，v1500b pcie通道数很少，单条m2理论上给不出x2的带宽。。 ...
群晖是两条x2的m.2，一条x4的pcie，威联通是两条x1的m.2，两条x4的pcie,配置虽类似，但pcie通道分配的不一样 为什么你的群晖可以这样接2.5寸硬盘的？（只接触过DS418、DS918、DS1522） brucelee1126 发表于 2024-10-28 16:29
群晖是两条x2的m.2，一条x4的pcie，威联通是两条x1的m.2，两条x4的pcie,配置虽类似，但pcie通道分配的不 ...
这样啊，那我是记错了。。。一直以为1821+和873一样，可惜机柜没空间了，不然1821+的双口都接上，备份时还能提提速。。。 伏地拖泥卡 发表于 2024-10-28 16:31
为什么你的群晖可以这样接2.5寸硬盘的？（只接触过DS418、DS918、DS1522）
M.2转8611转8639，硬盘仓顶部刚好有18mm的空间，够放15mm的U.2，硬盘上下贴导热贴，机箱铁件可以帮助散热，实际使用温度可以接受，一般待机45，工作时50℃左右。 天道太酬勤 发表于 2024-10-28 13:56
论坛里有人晒过，双万兆群晖和威联通都能跑到2G+这样子
嗯，2G应该是群晖软硬件极限了，
U.2的SSD阵列的极限应该是够到3G左右的，目前没有25G交换机，没法两个口同时插上做smb3.0的多线传输.目前我看到的单线极限就是1.5-1.6GB/S. 网仙 发表于 2024-10-28 17:01
M.2转8611转8639，硬盘仓顶部刚好有18mm的空间，够放15mm的U.2，硬盘上下贴导热贴，机箱铁件可以帮助散热 ...
我用的8654转8639，8611看起来有点消薄 brucelee1126 发表于 2024-10-28 17:17
我用的8654转8639，8611看起来有点消薄
嗯，都一样的，只是我觉得8611的线材柔软一点。
没用过8654-4i的线，8i的用过，又粗又硬，没法整理。 想问下U2盘怎么额外供电 从电源输出的黄线上接出来就可以。剪破一点线皮，用烙铁焊根线上去。
黄色是＋12V，黑色是GND。
U2只需要12V.
页:
[1]