24盘位Stablebit DrivePool+SnapRAID NAS阶段性总结

ltycomputer · 发表于 2018-10-2 16:35

之前搭了台24盘位Home Lab，运行了一段时间，总结一下。

环境是Windows Server 2016.

SnapRAID负责进行数据冗余
原理：对各数据盘上的文件分块计算校验信息（做阵列），将校验信息写入校验盘
优点：
1.可以实现任意个数据盘+1-6个校验盘，形成允许1-6盘故障的目录阵列
2.RAID5坏第二块盘，只丢失故障盘上数据，正常盘上数据不损坏
3.已有数据的数据盘直接加入Snap RAID阵列，不需要重新初始化
4.Snap RAID阵列里的盘可以随时移出阵列，不需要摧毁整个阵列
5.完善的数据完整性（校验和）保护，防止静默数据损坏
6.对某个文件读写时，仅需要所在盘运行，其他盘可以休眠
7.计算校验时数据盘只读，校验盘只写
8.可用容量为各数据盘容量直接相加，空间利用率高
9.支持分割校验盘，4T+4T做校验盘可以等同于一块8T校验盘
缺点:
1.当某个数据盘故障时，上面的文件是不可访问的，直到用户重建到新盘
   (其他阵列会模拟故障盘上的数据，虽然慢但是能访问)
2.在计算校验的间锡，新数据是无保护的
   (计算校验相当于游戏的存档，最后一次存档后的数据是不被SnapRAID保护的)
3.一旦已有数据改变，新数据的保护就可能失效
   (例如三块盘的三个文件之间计算校验信息，而你在最后一次计算校验后，修改了其中一个文件，那另一个文件需要恢复的时候就会恢复失败)

Stablebit DrivePool负责将多个数据盘合并为一个大虚拟池
优点:
1.已有数据可以直接转移进池中
2.提供规则设置，能够将不同目录按规则分布到所设定的不同盘上
3.能正确识别NTFS挂载点，因此可以支持24块以上的硬盘
4.支持多副本，设定为双副本的文件夹可以容许任何一块盘的损坏，每个文件夹可以设置不同的副本数量，提供不同冗余性
5.多副本的写入是同步进行的，读取一个多副本文件可以从多块盘上读，实现加速
6.Stablebit全家桶里的Scanner可以后台扫描磁盘坏道，发现坏道后可以通知DrivePool将文件移出风险盘
7.允许移除硬盘，被移除的硬盘上文件可以放弃，也可以由DrivePool自动移动到其他盘
缺点:
1.数据平衡器可能与SnapRAID冲突
   (如果Snap RAID计算校验后，DrivePool又将部分文件移到别的地方，会导致Snap RAID恢复时找不到文件，导致恢复失败)

ltycomputer · 发表于 2018-10-2 16:36

本帖最后由 ltycomputer 于 2018-10-3 13:01 编辑

其他NAS数据组织形式备选方案：

1.硬件阵列卡——eg. LSI 9361-8i
硬阵列的性能是没啥问题，价格稍贵（也没单块硬盘贵），如果配上SSD做CacheCade读写缓存，可以在重建时节省时间。
不过Write Hole还是需要BBU，重建过程中发现坏道可能会导致重建失败（也许可以跳过），进而丢失全部数据。
2.软件阵列——mdadm+LVM
性能和硬阵列卡基本相当，不过掉电保护是个问题，也可以使用LVM将SSD作为缓存。
Write Hole可以靠Journal盘解决，重建遇上坏道同上。
3.Windows存储空间/存储池
双向/三向镜像基本和Stablebit DrivePool没啥区别，一样的空间利用率50/33%，一样的冗余1/2块故障盘，DrivePool还允许回退到没有Pool的状态，Windows存储池不行。
奇偶/双奇偶的写入性能就是一坨屎，就算是三个NVME SSD做单奇偶，写入也不过100MB/s，加Write Back Cache和Journal以后写入还是屎……
4.ZFS——Free NAS/NAS4Free/SmartOS
2018年底仍然没有碎片整理能力，无碎片整理工具可用，久而久之读写性能退化。
只能往池里加vdev或硬盘，对于RAID-Z vdev不能加盘扩容（如3盘RAID-Z到4盘RAID-Z）。
没有数据平衡功能，难以在池里的各个设备间平衡数据存放地点，单个设备空间使用超过80%性能急剧下降。
据非官方消息称以上问题可能会在今年内进行修复。
5.unRAID
这个比较看好，同样是基于目录的阵列，这货故障一块盘后，上面的数据还是可读的（这就是为啥100多$的授权费很值）
自带SSD Cache功能，加速读写
自带WIndows/NFS/Apple文件共享
自带存储池（类似Stablebit DrivePool）
自带的KVM虚拟化能方便地直通N卡，自带Docker
缺点是开机必须和远程授权管理服务器连接，否则阵列起不来。授权绑定于U盘，适合作为虚拟化平台而不是虚拟机。某些高阶虚拟化功能不如ESXi。

醉酒棕熊 · 发表于 2018-10-2 19:10

太高端了，曲高和寡

gzpony · 发表于 2018-10-2 19:22

看到 SnapRAID 就赶紧进来跟帖鼓励一下。
我之前在Windows Server 2012 R2 上安装设置用过一段的 SnapRAID。

现在改在 openmediavault 上用 SnapRAID 的插件。还有池的功能也是用的openmediavault 上的相关插件。

ghostersuper · 发表于 2018-10-2 19:30

小白看不懂，但是，看着真的好厉害啊，膜拜大佬。

Predator · 发表于 2018-10-3 00:10

如果有超过6个以上盘位，我会选择硬件raid

4盘位的机器，我觉得直通硬盘然后加上StableBit DrivePool应该就足够了，灵活性最高，空间损失也小——只是没那么傻瓜了一开始要烧下脑设置好规则

寂静狼 · 发表于 2018-10-3 01:20

目前用的就是9361-8i加了一个400g的ssd做cachecade，raid卡自带的缓存就失效了，可以不用配电池

ltycomputer · 发表于 2018-10-3 12:22

寂静狼发表于 2018-10-3 01:20
目前用的就是9361-8i加了一个400g的ssd做cachecade，raid卡自带的缓存就失效了，可以不用配电池 ...

也是很好的方案，SSD既可以代替缓存省掉BBU，也可以在重建时拦截写入加速重建

zeroivw · 发表于 2018-10-3 15:04

unraid我看linus他们在PB项目上面也用上百个硬盘都没事

ltycomputer · 发表于 2018-10-4 12:32

zeroivw 发表于 2018-10-3 15:04
unraid我看linus他们在PB项目上面也用上百个硬盘都没事

那个项目是zfs，unraid现阶段只支持24盘

cheng88shuai · 发表于 2018-10-4 15:49

Stablebit DrivePool负责将多个数据盘合并为一个大虚拟池
优点:
1.已有数据可以直接转移进池中
这个1.已有数据可以直接转移进池中，是直接合并盘就有可以的选项，还是合并完了复制进去

杰迪武士 · 发表于 2018-10-4 17:45

目前在用ZFS，碎片暂时不成为问题

gaoyi124 · 发表于 2018-10-5 00:18

曲高和寡这个词语用的很赞

i2cq · 发表于 2018-10-5 11:47

ltycomputer 发表于 2018-10-2 16:36
其他NAS数据组织形式备选方案：

1.硬件阵列卡——eg. LSI 9361-8i

zfs 对于性能需求（如磁盘碎片影响），要求存储容量占用在70%以内
同时ZIL的设计目的，就是解决碎片或者反复读写可能导致的性能问题，所以ZIL会自动解决新数据存储位置对性能的影响，可以考虑扩大容量

建议操作方式，当磁盘碎片大于50%，用zfs send /receive 转移一次，就会解决碎片问题

i2cq · 发表于 2018-10-5 11:49

杰迪武士发表于 2018-10-4 17:45
目前在用ZFS，碎片暂时不成为问题

用zfs作BT下载，我朋友遇到过IO性能问题
解决办法就是两个同容量的zpool定期转移一次，就行了

杰迪武士 · 发表于 2018-10-5 19:34

i2cq 发表于 2018-10-5 11:49
用zfs作BT下载，我朋友遇到过IO性能问题
解决办法就是两个同容量的zpool定期转移一次，就行了 ...

是的，虽然暂时没碰到碎片问题，但是对策已经想好了，就如您所说的send/receive

kerafyrm · 发表于 2018-10-6 22:52

楼主试试unraid呢，出个教程
这个系统用的人太少，不知道怎么玩

skywaymanz · 发表于 2018-10-6 23:26

竟然都看懂了，然而我太懒了，选择群晖SHR+定期冷备份……，什么都不用设置

燕山隐士 · 发表于 2018-10-7 17:07

灾备程度比一般的小型企业都强了对于我们老板连装机柜都认为是平白无故增加成本的人来说这种装备就是属于“败家”

kingqueen · 发表于 2018-10-21 12:31

老板要不要这么强大啊

caven · 发表于 2018-10-22 09:39

我还是选择RaidZ2吧，虽然空间利用率低点，但是可以同时坏两块盘。其它都不是很大问题。

ltycomputer · 发表于 2018-10-22 14:50

caven 发表于 2018-10-22 09:39
我还是选择RaidZ2吧，虽然空间利用率低点，但是可以同时坏两块盘。其它都不是很大问题。 ...

痛苦的是不能往vdev加盘扩容……

一次性买n个硬盘成本太高了……

caven · 发表于 2018-10-22 15:10

ltycomputer 发表于 2018-10-22 14:50
痛苦的是不能往vdev加盘扩容……

一次性买n个硬盘成本太高了……

所以我也只能找几个盘备份出来，然后再建一个大的。

zzzzterryk · 发表于 2018-12-19 22:25

cheng88shuai 发表于 2018-10-4 15:49
Stablebit DrivePool负责将多个数据盘合并为一个大虚拟池
优点:
1.已有数据可以直接转移进池中

方法1
1 建立池子
2.往pool里随便写点东西
3. 找到那个隐藏的文件夹。一大串字
4. ctrl x ，，ctrl v
5 remeasure 一下存储池
6 检查成果。
方案2，往池子里复制黏贴

yangjia · 发表于 2019-10-31 09:12

你好，现在不知道还有没有人回复。

目前1个Parity校验盘(8T)+4个 8T数据盘。
想增加4个10T数据盘和一个10T Parity校验盘

1.那么需不需要把原来的 8T Parity 盘也换成 10T ？如果后续要换 12 甚至 16T 的，12T(或 16T)+8T 的组合可以作为 Parity?
2.是不是 Parity 的随意一个盘大于任一数据 Data 盘就可以？如果我10T+3T这样的Parity校验盘组合可行？

thomasliu · 发表于 2019-11-5 12:49

先留个名，mark一下，再认真学习

dsboylw · 发表于 2019-11-29 01:05

一样~ 在这里等大佬们回复

freenas，现在是不是tm不更了

很多东西还没有解决啊

虚拟机也不是很好使~ 群辉在里面，磁盘性能不行，很低下

java160 · 发表于 2020-3-24 22:31

看了一圈决定上zfs

darkclown · 发表于 2020-9-30 14:46

请教一下，

缺点:
1.数据平衡器可能与SnapRAID冲突
(如果Snap RAID计算校验后，DrivePool又将部分文件移到别的地方，会导致Snap RAID恢复时找不到文件，导致恢复失败)

关于这一点不太明白，你是指DrivePool建立在SnapRAID基础上的情况吗？将SnapRAID的几个数据盘合并为大存储池？那现在有好的解决办法吗？

michaelzxp · 发表于 2022-1-25 21:26

对性能每提升，意义不大

账号		自动登录	找回密码
密码			加入我们

[NAS] 24盘位Stablebit DrivePool+SnapRAID NAS阶段性总结

评分