找回密码
 加入我们
搜索
      
查看: 1006|回复: 16

[NAS] 非RAID下NAS数据安全的一些措施

[复制链接]
发表于 2025-8-18 17:39 | 显示全部楼层 |阅读模式
本帖最后由 Odahvving 于 2025-8-18 17:37 编辑

1 介绍
先介绍一下的我的nas,我是自组的四盘位nas,系统是Debian。功能比较简单,主要用于存储家庭相册、多媒体资源、个人云盘文件存储。其他的一些服务比方说数据库、中间件、旁路由、7*24的远程桌面之类的都丢到了另外捡垃圾淘的一台sff小主机中。另外配了一个山特TG-BOX 850作为备用电源。

对于raid其实我并不是否认,只是自己不太会用硬raid或者true nas,然后又有些心疼组完的可用空间损失。但是看到那么多丢数据的帖子,还是挺吓人的,我纯裸奔的机器感觉数据出问题其实就是早晚的事,所以仔细研究了一下数据安全相关的内容,做了一下总结供大家参考交流。

2 数据分级
数据安全第一步要做的其实就是数据分级。之前论坛已经有佬提过相应的思路了,我的思路和他基本一致。
数据分级要做的就是总结自己的数据中哪些损失是无法承担的,哪些是有些难受,哪些是丢了拉倒,每种分级采取不同的安全策略。
我自己的分级可以供大家参考:
一类目标:
1. 个人密码管理库
2. 家庭相册
3. 个人知识库
3. onedrive同步盘中的学习资料、代码、数据
4. 其他重要数据
二类目标:
1. 重要的影视、音乐、书籍、有声书、游戏、工具
2. xiao姐姐的豪宅
三类目标:
1. homelab虚拟机
2. 其他全部资料

3 数据安全策略
介绍完分级,接下来就是保证数据安全的策略,我目前在执行的有如下几种:

1. SMART信息检查。定期通过smartctl -t long进行硬盘健康扫描,并配置邮件将结果发送至邮箱。
2. 跨盘镜像。这个就类似raid中的mirror模式,对最重要的数据定时同步到另外一个盘位中。
3. 定期冷备。同时添加冗余纠错文件。
4. 定期云备。将冷备丢一份到云上。
5. 定期备份完整性检查。

对于最重要的数据,那么冷备、冗余、镜像都不可少。次重要的,只要定期冷备即可。当然策略上还可以细化,只是我分级之后一类目标数据量并不大,备份起来无压力。

4 具体实现
4.1 SMART信息检查
我通过脚本每个月进行一次所有盘位的SMART长自检(smartctl -t long /dev/sdX),并且发送到邮箱中,免得自己忘了看。脚本主要是AI写的,用crontab设置定时任务。发送邮件是用的msmtp。这个相信不同的NAS系统都有对应的办法监控,只是debian中得靠纯手撸

4.2 跨盘镜像
重要数据进行镜像快照,相当于一个高自由度的raid1,但是没那么可靠,万一出现静默错误还是有可能杯具。这里不同平台可以使用不同的同步工具,如freefilesync或者rsnapshot。我这边使用的是rsync配合定时任务脚本,增量备份,我设置每周将重要数据从盘A增量同步到盘B。rsync很强大很好用,--link-dest参数可以创建数据快照,如果哪个文件没有发生过修改,就只会创建一个硬链接到原始数据。这样每期同步数据量不会太大,而同时一个文件修改的所有版本都会被保存下来。

如果是修改变化比较大的文件,那慢慢的总数据量也会上去。这时候可以手动删除一些最旧的快照,释放一些空间。另外存储中的静默错误是很麻烦的,这里据说zfs可以有效防止,我就只能靠多观察和多备份了。

4.3 冷备
准备一个可靠的硬盘盒,或者留一些盘位作为冷备专用。冷备也可以分级,重要数据定期全量备份,没那么重要的可以增量备份,整理一个excel表格将内容都写清楚即可。这里考虑的比较多的是加密和冗余。

为了避免数据隐私泄漏,加密是很有必要的。linux中常用的是tar打包gz压缩gpg加密。我这里为了方便,用了7z把一整套操作一起做了。进行打包加密需要注意的是,如果不是冷备盘资源紧张,就不要压缩了,很耗时而且压缩解压增大了数据出错的风险,打包工具基本都会提供不压缩仅打包的选项。同时最好在包中隐藏文件目录,一般也会有相应的办法,7z就是-mhe=on参数。

冗余比较冷门,之前如果大家逛过3DM的话,一定知道当时下载的游戏文件除了rar包还会有一个莫名的5%修复包之类的东东。其实就是用特定算法冗余了部分文件内容,当文件损坏没超过限度的时候,用冗余就可以恢复文件。这个手段可以防备文件长期存储或者传输中的损坏,作为最后一道救援手段存在,用不用大家见仁见智。冗余rar是做的比较好的,免费的目前用par2也可以满足要求。在冷备打包完成后,用par2创建一个5%-10%的冗余包一同冷备即可。

冷备在打包加密冗余之后,直接传云盘进行云备。另外本地冷备硬盘也是有环境要求的,用一些自封口防静电袋存储同时扔一些干燥剂,放在不会有经常性振动的环境下即可。

4.4 校验冷备文件
如果对数据安全有更高要求,定期校验冷备的文件包也是很有必要的。在冷备的同时生成文件的SHA-256校验数据,保存好,定期对冷备盘中的文件包重新计算SHA-256,比对确认包是否损坏。如果用了par2,用par2 verify命令也可以完成文件检查,par2在发现错误的同时还能尝试修复。

5 使用体验
实际使用起来没那么麻烦,部署好之后基本是自动化的。最主要的三个步骤硬盘自检、冷备打包、硬盘镜像都是ai写脚本自动执行,我要做的是定期插上硬盘把冷备拖进去,重要的数据再上云。

发表于 2025-8-18 18:49 来自手机 | 显示全部楼层
btrfs zfs都自带校验 也可以snapshot send 直接省了好几步
发表于 2025-8-18 18:56 来自手机 | 显示全部楼层
实际都是花钱(多盘备份、云备份等)花精力(学习linux,学习raid硬件,学习合盘软件备份软件)对抗数据熵增。。
发表于 2025-8-18 19:46 | 显示全部楼层
看smart不如定期换盘+同步镜像/raid 1。供电+温度没问题前提下在保修期内05/c5用坏之前更大概率是暴毙/手贱,同时两块离线可以去买彩票了。另外校验如楼上看文件系统,而且带校验的副产物是用文件系统的raid可以自修复小问题。
发表于 2025-8-19 15:42 | 显示全部楼层
家用3-2-1备份就完了,搞raid纯多余
发表于 2025-8-19 15:44 来自手机 | 显示全部楼层
感觉像水贴刷分的……
发表于 2025-8-19 15:55 | 显示全部楼层
partition级别的软raid信不过,丢了全家火葬场。
硬raid成熟方案但是ssd用不了,时代脱节,想替换掉。
我现在是弄文件系统级别的存储做冗余,例如minio,数据全放对象存储里。就是用数据的时候比较麻烦,得用各种工具和组件,试那种好用。
 楼主| 发表于 2025-8-19 16:07 | 显示全部楼层
nagashinn 发表于 2025-8-19 15:55
partition级别的软raid信不过,丢了全家火葬场。
硬raid成熟方案但是ssd用不了,时代脱节,想替换掉。
我现 ...

有点触及知识盲区了,minio作为底层,然后其他应用从里面取数据吗,感觉可以研究下hh
发表于 2025-8-19 16:18 | 显示全部楼层
Odahvving 发表于 2025-8-19 16:07
有点触及知识盲区了,minio作为底层,然后其他应用从里面取数据吗,感觉可以研究下hh ...

没错。
照片之类好说,http写程序自己搞定,或者开源照片管理支持minio就行。
文件的话有现成的s3客户端直接拿。
视频播放还没开始弄,写程序电脑上播放好弄,电视、平板的app得支持s3,还没开始找工具。感觉方向不对,应该直接流媒体
发表于 2025-8-19 16:23 | 显示全部楼层
搞半天,就是故意不用raid。这是反raid党吧。
发表于 2025-8-19 16:23 来自手机 | 显示全部楼层
nagashinn 发表于 2025-8-19 08:18
没错。
照片之类好说,http写程序自己搞定,或者开源照片管理支持minio就行。
文件的话有现成的s3客户端 ...

minio/rustfs下面用啥fs
发表于 2025-8-19 16:31 | 显示全部楼层
YsHaNg 发表于 2025-8-19 16:23
minio/rustfs下面用啥fs

这个无所谓吧,nas是linux的用xfs,是win用ntfs,反正软件最终是把数据写成文件。4个硬盘,3个8t,1个16t的组,16t那个盘还可以有8t空间干别的用,比较灵活
发表于 2025-8-19 16:37 来自手机 | 显示全部楼层
nagashinn 发表于 2025-8-19 08:31
这个无所谓吧,nas是linux的用xfs,是win用ntfs,反正软件最终是把数据写成文件。4个硬盘,3个8t,1个16t ...

想听一下备份和在线冗余方案
 楼主| 发表于 2025-8-19 16:42 | 显示全部楼层
YsHaNg 发表于 2025-8-18 18:49
btrfs zfs都自带校验 也可以snapshot send 直接省了好几步

确实,而且文件系统级的更可靠。只是从来没用过TRUENAS,而且也懒得再配置一套新的出来,就现有的缝缝补补吧hh
发表于 2025-8-19 16:56 来自手机 | 显示全部楼层
不是必需24小时在线的服务器不需要RAID。
重要数据定期冷备份加云盘同步就够了。
发表于 2025-8-19 19:58 | 显示全部楼层
raid便于系统恢复,数据安全多备份几次就行了
但没有RAID玩意硬盘坏了重做一次系统比较麻烦
发表于 2025-8-19 21:18 | 显示全部楼层
家用级的NAS,就简单的单盘+多个备份就好了. 企业级硬盘暴毙的概率很低,一般都是出现坏道
正好存在这个坏道上的文件就会损坏.

操作系统及芯片组这种软RAID一旦出问题修复起来并没有那么容易. 因为无法脱离操作系统,弄不
好就无法启动或丢失, 即便是可靠性更高的独立的硬件RAID卡,R5我在过去也遇到过不少重建掉盘
继发坏道重建失败的案例.
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-8-24 06:06 , Processed in 0.067472 second(s), 5 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表