Chiphell - 分享与交流用户体验

标题: 群晖的重复数据删除功能有用吗？你们都打开了吗？ [打印本页]

作者: shyily 时间: 2023-12-4 10:40
标题: 群晖的重复数据删除功能有用吗？你们都打开了吗？
本帖最后由 shyily 于 2023-12-4 13:00 编辑

群晖型号是423+，DSM7.2.1。前两天加了块M2新硬盘，创建存储空间时提示有个重复数据删除功能。后来官网查了一下，说是“由于重复数据删除会移除重复的数据块，可能会造成部分数据不连续，影响读写性能。”不知道这个功能你们都开了没？
另外我原来有一块Intel的S4520 SSD创建的存储空间，没有显示这个功能，不知道是硬盘不支持还是已经存在的存储空间不能开启这个功能？

(, 下载次数: 392)
(, 下载次数: 397)

作者: lovetree1225 时间: 2023-12-4 10:43
同样423+ 4块银河18T

作者: 二手烟 时间: 2023-12-4 10:52
用过一次，还好重复的是电影。

作者: shyily 时间: 2023-12-4 10:58

lovetree1225 发表于 2023-12-4 10:43
同样423+ 4块银河18T

我是资料放在S4520里，影视之类的在HC550里，分开了。

作者: shyily 时间: 2023-12-4 10:59

二手烟发表于 2023-12-4 10:52
用过一次，还好重复的是电影。

NAS里也要不了太强的硬盘性能吧，牺牲点性能换取空间我觉得也是个不错的办法

作者: lovetree1225 时间: 2023-12-4 11:33
不想去搞这些就是放照片和做家庭影视库年纪大了不想搞明白其他功能了

作者: dcl2009 时间: 2023-12-4 11:39
跟truenas里面的zfs一样的效果？

我现在群晖里面mount truenas 里面的NFS用，truenas开去重和压缩，效果挺不错

作者: 高子 时间: 2023-12-4 12:18
群晖也支持去重了？

什么原理啊，比如我A文件夹里有1 2 3 4 5文件，B文件夹里有2 4 6 7 8文件，存储的时候就是1 2 3 4 5 6 7 8文件，那我复制出来A或者B文件夹的时候，得到还是1 2 3 4 5或者2 4 6 7 8文件么？

作者: BONBONBON 时间: 2023-12-4 12:28
没看到这个功能

作者: 七尺大汉 时间: 2023-12-4 12:34
貌似是固态盘专属。
我感觉没啥大的意思。

作者: bxhaai 时间: 2023-12-4 12:34
用过，因为我之前几块硬盘的数据合并到一块大容量盘，有些数据是重复的，筛选出来还是手动删比较稳妥

作者: yguomin 时间: 2023-12-4 12:36
压缩去重这不是高端存储才有的功能么？

作者: huihuige 时间: 2023-12-4 12:42
我这试了
我记得官网问了
好像是不是自动的
我这有几个重复的文件
他是不会自动删除的

作者: shyily 时间: 2023-12-4 13:01

huihuige 发表于 2023-12-4 12:42
我这试了
我记得官网问了
好像是不是自动的

可以设置自动的呀，我传图片了，你看看

作者: shyily 时间: 2023-12-4 13:02

dcl2009 发表于 2023-12-4 11:39
跟truenas里面的zfs一样的效果？

我现在群晖里面mount truenas 里面的NFS用，truenas开去重和压缩，效果 ...

不知道啥原理

作者: 圆圆的小土豆 时间: 2023-12-4 13:31

高子发表于 2023-12-4 12:18
群晖也支持去重了？

什么原理啊，比如我A文件夹里有1 2 3 4 5文件，B文件夹里有2 4 6 7 8文件，存储的时候 ...

类似Linux的软连接，只要文件Hash一样，只保留一份数据，不重复占用空间，底层都指向一个文件。

作者: tide~ 时间: 2023-12-4 13:48
同名文件(同hash)只留一个，具有不同文件夹属性；这个好理解；
问题是这是存在NAS层的某记录文件里的；一旦取出这块硬盘，放win环境下的磁盘扫描，会不会报交叉链接错误，就再也没法恢复了？

作者: roubaozi1 时间: 2023-12-4 13:55
“由于重复数据删除会移除重复的数据块，可能会造成部分数据不连续，影响读写性能。”这句话已经说的很明白了，块级别的重删，不是文件级别的做个软连接这么简单

作者: YsHaNg 时间: 2023-12-4 20:01

tide~ 发表于 2023-12-4 05:48
同名文件(同hash)只留一个，具有不同文件夹属性；这个好理解；
问题是这是存在NAS层的某记录文件里的；一旦 ...

新点内核的Linux box没问题为啥要放windows上扫

作者: moveable 时间: 2023-12-4 22:39
赛门铁克备份里用过这个功能，能节省超过一半的备份空间。

作者: netlzh 时间: 2023-12-4 22:46
真没注意过这功能，消除重复数据块是个什么逻辑？重复文件我能明白。

作者: chin39 时间: 2023-12-4 23:24
块级的去重，盲猜用的bees https://btrfs.readthedocs.io/en/latest/Deduplication.html

作者: RK27 时间: 2025-7-2 22:02
哪些 Synology NAS 型号支持重复数据删除？
存储管理器Btrfs
更新时间：Nov 6, 2023
部分文章为机器自动翻译，文中可能有文法错误或语义模糊之处。

详细信息
重复数据删除使您可以用更少的存储空间存储更多数据而不会影响数据完整性。您可以计划在非高峰时段自动运行重复数据删除，也可以选择手动运行一次性操作。

重复数据删除需要至少一个仅由 Synology SSD 组成的 Btrfs 存储空间。要了解更多信息请参阅本文。

解决方案
下表列出了支持重复数据删除的Synology NAS型号。 1

系列
型号
FS 系列
FS6400、FS3600、FS3410、FS3400、FS2500
HD 系列
HD6500
SA 系列
SA6400、SA3610、SA3600、SA3410、SA3400
21 系列
RS4021xs+、RS3621xs+ 2 、RS3621RPxs 2
注意

您所在地区可能未提供某些型号，请联系您当地的经销商以了解更多信息。
启用重复数据删除至少需要 16 GB 内存。

//

恩。。。

作者: proc 时间: 2025-7-14 08:25

tide~ 发表于 2023-12-4 13:48
同名文件(同hash)只留一个，具有不同文件夹属性；这个好理解；
问题是这是存在NAS层的某记录文件里的；一旦 ...

这是linux 文件系统的高级特性，放到windows你连驱动都没有，根本打不开

作者: proc 时间: 2025-7-14 08:35

roubaozi1 发表于 2023-12-4 13:55
“由于重复数据删除会移除重复的数据块，可能会造成部分数据不连续，影响读写性能。”这句话已经说的很明白 ...

就是 FIDEDUPRANGE ioctl 系统调用

对于个人用户来说，还是文件级别的去重好用，成本低、效果相差无几

作者: hawie 时间: 2025-7-14 09:47
懒得整理的资料，肯定是要启用的。这算是全闪存储的福利吧。
(, 下载次数: 62)

作者: zgpnhhy 时间: 2025-7-14 09:59

高子发表于 2023-12-4 12:18
群晖也支持去重了？

什么原理啊，比如我A文件夹里有1 2 3 4 5文件，B文件夹里有2 4 6 7 8文件，存储的时候 ...

同一个文件，你放到100个文件夹，你看到的也是100个文件。实际就是占用1个的空间。

作者: 装陈醋的酱油瓶 时间: 2025-9-1 20:55

hawie 发表于 2025-7-14 09:47
懒得整理的资料，肯定是要启用的。这算是全闪存储的福利吧。

非原装盘怎么DIY? 另外想要查看SMART + 想要去重最高/最低的DSM版本分别是哪个?

作者: hawie 时间: 2025-9-3 18:24

装陈醋的酱油瓶发表于 2025-9-1 20:55
非原装盘怎么DIY? 另外想要查看SMART + 想要去重最高/最低的DSM版本分别是哪个? ...

搜syno_hdd之类，有大神GitHub开源维护。UI没有的，命令行有。自己搜吧。

作者: 装陈醋的酱油瓶 时间: 2025-9-21 16:28

hawie 发表于 2025-9-3 18:24
搜syno_hdd之类，有大神GitHub开源维护。UI没有的，命令行有。自己搜吧。

所以DSM版本最低需要哪个呢?

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)