本帖最后由 Dolfin 于 2025-6-24 09:55 编辑
1.1.93GB 8万多个小文件，平均一个文件的大小20多KB。
2.SMB协议不适合做这个工作，可能会在文件名长度、特殊字符支持、unicode支持、隐藏文件、字符集转换等等地方出问题。我也是觉得拿rsync试试。
3.速度慢的情况，能出现问题的地方就是网络、存储、协议，可以逐一排查
4.怀疑是存储的问题的话，就FIO把两端的存储都测一下，BS=32KB，看看速度，看最慢的那个速度和你的实际传输性能是否相似
这种情况真不知道非要走网络图个啥，又不是异地传输说接触不到服务器那没辙。
都自己东西了，也就不到1t数据，直接拿个固态做中转复制粘贴不就完事了。
Dolfin 发表于 2025-6-24 09:54
1.1.93GB 8万多个小文件，平均一个文件的大小20多KB。
2.SMB协议不适合做这个工作，可能会在文件名长度、 ...
非常感谢：）
1. 确实从图形界面上显示的速度就是这个级别的
2. rsync在windows下不好找 我找了freefilesync感觉于rsync差别不是很大 回头我再尝试下rsync
3. 网络打流测试过 不过nas上的存储没有测试过 不知道unraid下有没有这种硬盘测速工具 windows下是机械盘 速度也就100M但是跑不满只有几百K速度在这个场景下
4. 这个没有接触过 难道就是在unraid下可以测试硬盘的软件吗
Kud 发表于 2025-6-24 09:56
这种情况真不知道非要走网络图个啥，又不是异地传输说接触不到服务器那没辙。
都自己东西了，也就不到1t数 ...
说得很有道理 但是已经是NAS了 还是希望方法统一一些
这些设备各有各的文件系统 用盘中转也不好弄呀
0cjousc2 发表于 2025-6-24 10:01
非常感谢：）
1. 确实从图形界面上显示的速度就是这个级别的
回复3和4，
我感觉你对机械盘慢有预期，但是究竟有多慢，你不好判断，是本来就是慢，还是因为哪里有问题，所以这么慢。所以我觉得你可以测一下。
大致看了一下，你的情况是从Windows客户端上的机械磁盘读取，在Unraid的SSD上写入对吧？
你提的100MB/s是大文件顺序读取的速度，小文件会远小于这个，那么到底是多小，可能就需要你测一下。
最简单的方法，就是Windows安装CDM，选机械盘，测试块大小4KB / 32KB，看看读取速度
0cjousc2 发表于 2025-6-24 10:02
说得很有道理 但是已经是NAS了 还是希望方法统一一些
这些设备各有各的文件系统 用盘中转也不好弄呀 ...
中转盘走USB硬盘盒就够了啊，服务器什么系统都不影响读取中转盘的文件系统，unraid装个插件就能挂载USB硬盘
先拷个大文件测一下，正常的话把小文件打包再传就行了，实在不行的话走iscsi
如果是小文件，确实非常非常的慢。
打流速度正常那就是正常，
其他的问题，例如，有没有用固态缓存，固态缓存是不是满了没写入。
用大文件试试，小文件肯定慢的。
0cjousc2 发表于 2025-6-24 09:37
但是我的cache是固态呀 是镁光的PE6110
数据是到cache中再mover到阵列 还没开始mover呢 ...
你看看PE6110 随机4K多少吧,毕竟性能瓶颈在IO上.
本帖最后由 Jimmy_Qiu 于 2025-6-24 13:32 编辑
我们从老设备，导入近30T的数据到新设备。全是4k左右的小文件。
传输+校验，最终差不多耗时俩月……
网络环境是40G直连，老设备这边只支持QSFP+，新设备这边其实支持QSFP28，然而毫无卵用，瓶颈根本不在网络。
Dolfin 发表于 2025-6-24 10:14
回复3和4，
我感觉你对机械盘慢有预期，但是究竟有多慢，你不好判断，是本来就是慢，还是因为哪里有问题 ...
好的 谢谢 很详细晚上我回去测试一下
除了这个速度之外就剩下网络的速度了 以及小文件创建的这些耗时
Kud 发表于 2025-6-24 10:15
中转盘走USB硬盘盒就够了啊，服务器什么系统都不影响读取中转盘的文件系统，unraid装个插件就能挂载USB硬 ...
哦 明白了 就是用一个单独的盘来中转 每个系统有自己的磁盘
InuYasha 发表于 2025-6-24 10:19
先拷个大文件测一下，正常的话把小文件打包再传就行了，实在不行的话走iscsi ...
嗯嗯 大文件速度正常的 小文件估计确实只能压缩之后在传了
ISCSI这个在网上看过几次 有机会一定试试这个
zgpnhhy 发表于 2025-6-24 10:46
打流速度正常那就是正常，
其他的问题，例如，有没有用固态缓存，固态缓存是不是满了没写入。
用大文件试试 ...
嗯 是的 大文件正常
小文件慢的不行 我比较关注的是这个小文件这样慢是正常的吗
瓶颈到底在哪里
hbmask 发表于 2025-6-24 11:23
你看看PE6110 随机4K多少吧,毕竟性能瓶颈在IO上.
在网上看别人测试的 PE6110的测试数据
4K Q8T1 在280M附近 不过我的系统unraid下还不知道有没有什么软件可以测试
确实需要测试一下才知道真实情况 感谢
0cjousc2 发表于 2025-6-24 13:39
在网上看别人测试的 PE6110的测试数据
4K Q8T1 在280M附近 不过我的系统unraid下还不知道有没有什么软件 ...
ATTO 能测试吧...写入4k
Jimmy_Qiu 发表于 2025-6-24 13:28
我们从老设备，导入近30T的数据到新设备。全是4k左右的小文件。
传输+校验，最终差不多耗时俩月……
哇 这个好真实与我的感觉是一个级别的
我这也全是小文件 全部是代码这种的 各种sdk
备份一下太痛苦了
大佬有没有什么并行方式吗 是否有效果
比如启动 50～100个rsync的同步命令 分别同步不同文件夹
我测试了两个 freefilesync 分别同步不同的文件夹
感觉整体速度会下降 所以有点想不通。。。
这个瓶颈到底在哪里
hbmask 发表于 2025-6-24 13:40
ATTO 能测试吧...写入4k
好的 谢谢：）
晚上搞一下这个ATTO
0cjousc2 发表于 2025-6-24 13:42
哇 这个好真实与我的感觉是一个级别的
我这也全是小文件 全部是代码这种的 各种sdk
因为瓶颈是读取IO。
多个同步进程并没有帮助，反而会因为不同位置的文件增加磁盘的寻道时间。
Jimmy_Qiu 发表于 2025-6-24 13:58
因为瓶颈是读取IO。
多个同步进程并没有帮助，反而会因为不同位置的文件增加磁盘的寻道时间。 ...
所以说我这个系统的瓶颈时机械盘的4K IO吗
但是机械盘的4K IO不应该不到100K/s的速度吧
0cjousc2 发表于 2025-6-24 14:31
所以说我这个系统的瓶颈时机械盘的4K IO吗
但是机械盘的4K IO不应该不到100K/s的速度吧 ...
你可以测测看。
我们是6盘16T SAS组Raid6，带缓存的Raid卡。
实际传输的IOPS也就刚过1k。
普通单sata盘，随机4k的IOPS大概也就100~200吧。
Jimmy_Qiu 发表于 2025-6-24 14:53
你可以测测看。
我们是6盘16T SAS组Raid6，带缓存的Raid卡。
实际传输的IOPS也就刚过1k。
感谢感谢
数据很有参考价值 晚上我看能不能测试起来 ：）
查了一下资料 7200转的机械盘
4K 随机读写 IOPS 通常在 80〜150 左右 。。。
看来这是罪魁祸首
所以对于NAS应该有针对文件特性的规划
比如有很多小文件的这种就不要放机械了 用固态毕竟小文件组成的最终体量不会太大 按照1T已经很大了
只有大文件再考虑机械
这次真对IPOS有了很深刻的理解 可能用个傲腾比较合适：）
同步软件或者FTP吧，小文件没办法，还是机械盘。
c2h6o 发表于 2025-6-24 15:07
同步软件或者FTP吧，小文件没办法，还是机械盘。
是的 从机械盘弄到cache中 还要继续从cache弄到机械阵列
感觉两头都很慢
全固态适合小文件 看来NAS需要针对性的规划存储池 不是一味堆一个存储池什么都往里放
我有一个nextcloud的全固态 不过只放了一些关键的数据比如代码的git备份这些
目前需要备份的这些小文太大了 足足有800G。。
0cjousc2 发表于 2025-6-24 01:34
哦哦 谢谢 很详细有空我试试 无人值守的方式
但是这个主机功耗不低呀 7900x 比较费电 ...
……..不是 你差那点电费吗 机器的价值能缴多少年电费了 退一万步 rsync又不是满载 能有20w顶天了 耗电不如先把冰箱空调拔了
0cjousc2 发表于 2025-6-24 15:51
是的 从机械盘弄到cache中 还要继续从cache弄到机械阵列
感觉两头都很慢
经常做全量备份，最好是打包。如果是对比增量，那么靠同步软件解决。首次都慢。
0cjousc2 发表于 2025-6-24 02:01
非常感谢：）
1. 确实从图形界面上显示的速度就是这个级别的
最好趁早停用freefilesync 这东西不支持delta copy 每次都要把完整文件再copy一次 如果你不想用wsl可以试试这个https://github.com/rn7s2/rsync-win
自己看自己14楼的图，正常拷贝怎么可能一堆错误，你应该排查什么导致的错误，而不是找什么优化。