HappyTime 发表于 2025-6-23 22:24
是不是现在光网卡太热了
不然你这个都应该秒过的啊
还有是不是光纤哪里有问题 ...
0cjousc2 发表于 2025-6-23 22:28
拷贝一些文件夹等了我2小时 都没结束 真的是邪门了 我已经拷贝了2小时了 。。太痛苦
请大佬们支招 ...
鱼鱼鱼1 发表于 2025-6-23 22:30
你不能打个tar包再传吗?零碎文件本来就慢。
0cjousc2 发表于 2025-6-23 22:39
谢谢 这种文件夹有 800G 全部打tar吗 常规操作么
还有其他办法吗 真的是慢的不得了 有其他解法吗 ...
鱼鱼鱼1 发表于 2025-6-23 22:44
800G的小文件?那我直接做镜像了,然后去恢复了。
0cjousc2 发表于 2025-6-23 14:45
镜像怎么弄啊 挂到nas中操作吗
我得nas是unraid那个盘是xfs的格式
这个800g小文件是在windows下使用的我 ...
YsHaNg 发表于 2025-6-23 22:56
rsync后台慢慢传 你管他的呢 unraid用这个就好 https://hub.docker.com/r/windix/docker-rsyncd
命令用rs ...
131CC6A 发表于 2025-6-23 22:46
我看你图上已处理的2g里就有8w多个小文件...传输零碎小文件本身就会比较慢
如果你的文件是放在机械里向NAS ...
SAS 2.5寸 1.2T x 4 (磁盘阵列)
0cjousc2 发表于 2025-6-23 15:03
这个是将windows共享给unraid吗 然后在unraid中使用docker拷贝数据么
wangfenghun 发表于 2025-6-23 23:12
不如你先暂停。然后弄个10G左右的单个文件比如电影啥的,拉进NAS再拉出来,看看是不是硬盘或者阵列要挂了。 ...
银月 发表于 2025-6-23 23:12
你这个别是古代sas过热了吧。。smb的小文件性能是差,但也不至于这么差
YsHaNg 发表于 2025-6-23 23:18
unraid不是服务器吗?windows就是个客户端 server上起个rsync服务放着 越轻量越好 rsync各种平台实现一大 ...
jie3303 发表于 2025-6-24 00:43
小文件没办法,慢慢来。
我有几台群晖做同步,也都是小文件。十多年后,重组其中几台。第一次同步时有好几 ...
jaycty 发表于 2025-6-24 00:50
你这NAS系统是不是有点问题 或者存储池有点问题
hbmask 发表于 2025-6-24 09:04
4K 效率低,,全固态没这问题
cga_oliver 发表于 2025-6-24 09:22
除非光模块太热,这速度没啥问题,我前段时间手动拷贝了个midi(700MB)的文件夹(群晖12盘到飞牛5盘,全ra ...
Dolfin 发表于 2025-6-24 09:54
1.1.93GB 8万多个小文件,平均一个文件的大小20多KB。
2.SMB协议不适合做这个工作,可能会在文件名长度、 ...
Kud 发表于 2025-6-24 09:56
这种情况真不知道非要走网络图个啥,又不是异地传输说接触不到服务器那没辙。
都自己东西了,也就不到1t数 ...
0cjousc2 发表于 2025-6-24 10:01
非常感谢:)
1. 确实从图形界面上显示的速度就是这个级别的
0cjousc2 发表于 2025-6-24 10:02
说得很有道理 但是已经是NAS了 还是希望方法统一一些
这些设备各有各的文件系统 用盘中转也不好弄呀 ...
0cjousc2 发表于 2025-6-24 09:37
但是我的cache是固态呀 是镁光的PE6110
数据是到cache中再mover到阵列 还没开始mover呢 ...
Dolfin 发表于 2025-6-24 10:14
回复3和4,
我感觉你对机械盘慢有预期,但是究竟有多慢,你不好判断,是本来就是慢,还是因为哪里有问题 ...
Kud 发表于 2025-6-24 10:15
中转盘走USB硬盘盒就够了啊,服务器什么系统都不影响读取中转盘的文件系统,unraid装个插件就能挂载USB硬 ...
InuYasha 发表于 2025-6-24 10:19
先拷个大文件测一下,正常的话把小文件打包再传就行了,实在不行的话走iscsi ...
zgpnhhy 发表于 2025-6-24 10:46
打流速度正常那就是正常,
其他的问题,例如,有没有用固态缓存,固态缓存是不是满了没写入。
用大文件试试 ...
hbmask 发表于 2025-6-24 11:23
你看看PE6110 随机4K多少吧,毕竟性能瓶颈在IO上.
0cjousc2 发表于 2025-6-24 13:39
在网上看别人测试的 PE6110的测试数据
4K Q8T1 在280M附近 不过我的系统unraid下还不知道有没有什么软件 ...
Jimmy_Qiu 发表于 2025-6-24 13:28
我们从老设备,导入近30T的数据到新设备。全是4k左右的小文件。
传输+校验,最终差不多耗时俩月……
hbmask 发表于 2025-6-24 13:40
ATTO 能测试吧...写入4k
0cjousc2 发表于 2025-6-24 13:42
哇 这个好真实与我的感觉是一个级别的
我这也全是小文件 全部是代码这种的 各种sdk
Jimmy_Qiu 发表于 2025-6-24 13:58
因为瓶颈是读取IO。
多个同步进程并没有帮助,反而会因为不同位置的文件增加磁盘的寻道时间。 ...
0cjousc2 发表于 2025-6-24 14:31
所以说我这个系统的瓶颈时机械盘的4K IO吗
但是机械盘的4K IO不应该不到100K/s的速度吧 ...
Jimmy_Qiu 发表于 2025-6-24 14:53
你可以测测看。
我们是6盘16T SAS组Raid6,带缓存的Raid卡。
实际传输的IOPS也就刚过1k。
c2h6o 发表于 2025-6-24 15:07
同步软件或者FTP吧,小文件没办法,还是机械盘。
0cjousc2 发表于 2025-6-24 01:34
哦哦 谢谢 很详细有空我试试 无人值守的方式
但是这个主机功耗不低呀 7900x 比较费电 ...
0cjousc2 发表于 2025-6-24 15:51
是的 从机械盘弄到cache中 还要继续从cache弄到机械阵列
感觉两头都很慢
0cjousc2 发表于 2025-6-24 02:01
非常感谢:)
1. 确实从图形界面上显示的速度就是这个级别的
YsHaNg 发表于 2025-6-24 16:21
……..不是 你差那点电费吗 机器的价值能缴多少年电费了 退一万步 rsync又不是满载 能有20w顶天了 耗电不 ...
c2h6o 发表于 2025-6-24 16:22
经常做全量备份,最好是打包。如果是对比增量,那么靠同步软件解决。首次都慢。 ...
皛羽控 发表于 2025-6-24 16:37
自己看自己14楼的图,正常拷贝怎么可能一堆错误,你应该排查什么导致的错误,而不是找什么优化。 ...
YsHaNg 发表于 2025-6-24 16:33
最好趁早停用freefilesync 这东西不支持delta copy 每次都要把完整文件再copy一次 如果你不想用wsl可以试 ...
0cjousc2 发表于 2025-6-24 09:05
感谢 这个rsync-win确实是很好的
freefilesync如果拷贝没有完成下一次是可以继续拷贝的 我是看中这个功 ...
YsHaNg 发表于 2025-6-24 17:17
是可以继续copy 但不是发送delta差分数据 overhead高很多 网络层先发送diff内容的metadata这样两端可以 ...
电脑 发表于 2025-6-24 17:42
老哥拷贝用的是什么软件
0cjousc2 发表于 2025-6-24 13:37
嗯 是的 大文件正常
小文件慢的不行 我比较关注的是这个小文件这样慢是正常的吗
瓶颈到底在哪里 ...
zgpnhhy 发表于 2025-6-24 20:29
你应该重点在于有没有上固态作为缓存,小文件对谁都是杀手。
对固态也是杀手,只不过现在的固态很快而已 ...
mshtyu 发表于 2025-6-24 20:56
看下server端的io_wait,可能你的cache盘有问题,我遇到过类似的,可以用top,或者iostats
...
欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/) | Powered by Discuz! X3.5 |