各位大佬 我这NAS还有救吗 速度太慢了 2G需要4小时 怎么优化

Dolfin

1.1.93GB 8万多个小文件，平均一个文件的大小20多KB。

2.SMB协议不适合做这个工作，可能会在文件名长度、特殊字符支持、unicode支持、隐藏文件、字符集转换等等地方出问题。我也是觉得拿rsync试试。

3.速度慢的情况，能出现问题的地方就是网络、存储、协议，可以逐一排查

4.怀疑是存储的问题的话，就FIO把两端的存储都测一下，BS=32KB，看看速度，看最慢的那个速度和你的实际传输性能是否相似

Kud

这种情况真不知道非要走网络图个啥，又不是异地传输说接触不到服务器那没辙。

都自己东西了，也就不到1t数据，直接拿个固态做中转复制粘贴不就完事了。

0cjousc2

Dolfin 发表于 2025-6-24 09:54
1.1.93GB 8万多个小文件，平均一个文件的大小20多KB。

2.SMB协议不适合做这个工作，可能会在文件名长度、 ...

非常感谢：）

1. 确实从图形界面上显示的速度就是这个级别的

2. rsync在windows下不好找 我找了freefilesync感觉于rsync差别不是很大 回头我再尝试下rsync

3. 网络打流测试过 不过nas上的存储没有测试过 不知道unraid下有没有这种硬盘测速工具 windows下是机械盘 速度也就100M但是跑不满只有几百K速度在这个场景下

4. 这个没有接触过 难道就是在unraid下可以测试硬盘的软件吗

0cjousc2

Kud 发表于 2025-6-24 09:56
这种情况真不知道非要走网络图个啥，又不是异地传输说接触不到服务器那没辙。

都自己东西了，也就不到1t数 ...

说得很有道理 但是已经是NAS了 还是希望方法统一一些

这些设备各有各的文件系统 用盘中转也不好弄呀

Dolfin

0cjousc2 发表于 2025-6-24 10:01
非常感谢：）

1. 确实从图形界面上显示的速度就是这个级别的

回复3和4，

我感觉你对机械盘慢有预期，但是究竟有多慢，你不好判断，是本来就是慢，还是因为哪里有问题，所以这么慢。所以我觉得你可以测一下。

大致看了一下，你的情况是从Windows客户端上的机械磁盘读取，在Unraid的SSD上写入对吧？

你提的100MB/s是大文件顺序读取的速度，小文件会远小于这个，那么到底是多小，可能就需要你测一下。

最简单的方法，就是Windows安装CDM，选机械盘，测试块大小4KB / 32KB，看看读取速度

Kud

0cjousc2 发表于 2025-6-24 10:02
说得很有道理 但是已经是NAS了 还是希望方法统一一些

这些设备各有各的文件系统 用盘中转也不好弄呀 ...

中转盘走USB硬盘盒就够了啊，服务器什么系统都不影响读取中转盘的文件系统，unraid装个插件就能挂载USB硬盘

InuYasha

先拷个大文件测一下，正常的话把小文件打包再传就行了，实在不行的话走iscsi

ghwwx

如果是小文件，确实非常非常的慢。

zgpnhhy

打流速度正常那就是正常，
其他的问题，例如，有没有用固态缓存，固态缓存是不是满了没写入。
用大文件试试，小文件肯定慢的。

hbmask

0cjousc2 发表于 2025-6-24 09:37
但是我的cache是固态呀 是镁光的PE6110
数据是到cache中再mover到阵列 还没开始mover呢 ...

你看看PE6110 随机4K多少吧,毕竟性能瓶颈在IO上.

Jimmy_Qiu

我们从老设备，导入近30T的数据到新设备。全是4k左右的小文件。
传输+校验，最终差不多耗时俩月……

网络环境是40G直连，老设备这边只支持QSFP+，新设备这边其实支持QSFP28，然而毫无卵用，瓶颈根本不在网络。

0cjousc2

Dolfin 发表于 2025-6-24 10:14
回复3和4，

我感觉你对机械盘慢有预期，但是究竟有多慢，你不好判断，是本来就是慢，还是因为哪里有问题 ...

好的 谢谢 很详细晚上我回去测试一下
除了这个速度之外就剩下网络的速度了 以及小文件创建的这些耗时

0cjousc2

Kud 发表于 2025-6-24 10:15
中转盘走USB硬盘盒就够了啊，服务器什么系统都不影响读取中转盘的文件系统，unraid装个插件就能挂载USB硬 ...

哦 明白了 就是用一个单独的盘来中转 每个系统有自己的磁盘

0cjousc2

InuYasha 发表于 2025-6-24 10:19
先拷个大文件测一下，正常的话把小文件打包再传就行了，实在不行的话走iscsi ...

嗯嗯 大文件速度正常的 小文件估计确实只能压缩之后在传了
ISCSI这个在网上看过几次 有机会一定试试这个

0cjousc2

zgpnhhy 发表于 2025-6-24 10:46
打流速度正常那就是正常，
其他的问题，例如，有没有用固态缓存，固态缓存是不是满了没写入。
用大文件试试 ...

嗯 是的 大文件正常
小文件慢的不行 我比较关注的是这个小文件这样慢是正常的吗
瓶颈到底在哪里

0cjousc2

hbmask 发表于 2025-6-24 11:23
你看看PE6110 随机4K多少吧,毕竟性能瓶颈在IO上.

在网上看别人测试的 PE6110的测试数据
4K Q8T1 在280M附近 不过我的系统unraid下还不知道有没有什么软件可以测试
确实需要测试一下才知道真实情况 感谢

hbmask

0cjousc2 发表于 2025-6-24 13:39
在网上看别人测试的 PE6110的测试数据
4K Q8T1 在280M附近 不过我的系统unraid下还不知道有没有什么软件 ...

ATTO 能测试吧...写入4k

0cjousc2

Jimmy_Qiu 发表于 2025-6-24 13:28
我们从老设备，导入近30T的数据到新设备。全是4k左右的小文件。
传输+校验，最终差不多耗时俩月……

哇 这个好真实与我的感觉是一个级别的

我这也全是小文件 全部是代码这种的 各种sdk
备份一下太痛苦了

大佬有没有什么并行方式吗 是否有效果

比如启动 50～100个rsync的同步命令 分别同步不同文件夹
我测试了两个 freefilesync 分别同步不同的文件夹
感觉整体速度会下降 所以有点想不通。。。
这个瓶颈到底在哪里

0cjousc2

hbmask 发表于 2025-6-24 13:40
ATTO 能测试吧...写入4k

好的 谢谢：）
晚上搞一下这个ATTO

Jimmy_Qiu

0cjousc2 发表于 2025-6-24 13:42
哇 这个好真实与我的感觉是一个级别的

我这也全是小文件 全部是代码这种的 各种sdk

因为瓶颈是读取IO。
多个同步进程并没有帮助，反而会因为不同位置的文件增加磁盘的寻道时间。

0cjousc2

Jimmy_Qiu 发表于 2025-6-24 13:58
因为瓶颈是读取IO。
多个同步进程并没有帮助，反而会因为不同位置的文件增加磁盘的寻道时间。 ...

所以说我这个系统的瓶颈时机械盘的4K IO吗
但是机械盘的4K IO不应该不到100K/s的速度吧

Jimmy_Qiu

0cjousc2 发表于 2025-6-24 14:31
所以说我这个系统的瓶颈时机械盘的4K IO吗
但是机械盘的4K IO不应该不到100K/s的速度吧 ...

你可以测测看。
我们是6盘16T SAS组Raid6，带缓存的Raid卡。
实际传输的IOPS也就刚过1k。

普通单sata盘，随机4k的IOPS大概也就100~200吧。

0cjousc2

Jimmy_Qiu 发表于 2025-6-24 14:53
你可以测测看。
我们是6盘16T SAS组Raid6，带缓存的Raid卡。
实际传输的IOPS也就刚过1k。

感谢感谢

数据很有参考价值 晚上我看能不能测试起来 ：）

0cjousc2

查了一下资料 7200转的机械盘

4K 随机读写 IOPS 通常在 80〜150 左右 。。。
看来这是罪魁祸首

所以对于NAS应该有针对文件特性的规划

比如有很多小文件的这种就不要放机械了 用固态毕竟小文件组成的最终体量不会太大 按照1T已经很大了
只有大文件再考虑机械

这次真对IPOS有了很深刻的理解 可能用个傲腾比较合适：）

c2h6o

同步软件或者FTP吧，小文件没办法，还是机械盘。

0cjousc2

c2h6o 发表于 2025-6-24 15:07
同步软件或者FTP吧，小文件没办法，还是机械盘。

是的 从机械盘弄到cache中 还要继续从cache弄到机械阵列
感觉两头都很慢

全固态适合小文件 看来NAS需要针对性的规划存储池 不是一味堆一个存储池什么都往里放
我有一个nextcloud的全固态 不过只放了一些关键的数据比如代码的git备份这些

目前需要备份的这些小文太大了 足足有800G。。

YsHaNg

0cjousc2 发表于 2025-6-24 01:34
哦哦 谢谢 很详细有空我试试 无人值守的方式
但是这个主机功耗不低呀 7900x 比较费电 ...

……..不是 你差那点电费吗 机器的价值能缴多少年电费了 退一万步 rsync又不是满载 能有20w顶天了 耗电不如先把冰箱空调拔了

c2h6o

0cjousc2 发表于 2025-6-24 15:51
是的 从机械盘弄到cache中 还要继续从cache弄到机械阵列
感觉两头都很慢

经常做全量备份，最好是打包。如果是对比增量，那么靠同步软件解决。首次都慢。

YsHaNg

0cjousc2 发表于 2025-6-24 02:01
非常感谢：）

1. 确实从图形界面上显示的速度就是这个级别的

最好趁早停用freefilesync 这东西不支持delta copy 每次都要把完整文件再copy一次 如果你不想用wsl可以试试这个https://github.com/rn7s2/rsync-win

皛羽控

自己看自己14楼的图，正常拷贝怎么可能一堆错误，你应该排查什么导致的错误，而不是找什么优化。