Chiphell - 分享与交流用户体验

标题: 请教下关于SHR-2和Raid6的选择以及阵列读写速度的问题 [打印本页]

作者: 大队长 时间: 2023-6-5 15:43
标题: 请教下关于SHR-2和Raid6的选择以及阵列读写速度的问题
最近计划入手一台DS1821，准备八盘位只做一个存储空间，再上张万兆网卡，想请教下各位
1、SHR-2与raid6，都可以最多同时坏两块硬盘不丢失数据，理论应该可以达到5-6倍左右单盘读写速度，但是搜索了下，基本没找到关于这两种阵列的差别介绍，有没有了解的大佬传授下经验，各自都有啥优缺点，该选择哪种比较合适呢。
2、机械硬盘存在一个最高速度，最低速度，应该就是盘片外圈速度和内圈速度吧，整体算下来有个平均速度。
按我自己测试来看，找了个smart和使用都还正常的小容量机械盘重新删除卷格式化后全盘写入，一开始和最后的速度都和HD Tune基准写入测试的数据吻合，不过我们平时使用时候应该不太可能出现这种情况，除非只往阵列里面存数据再读取，基本不删除。
(, 下载次数: 93)
HD Tune写入
(, 下载次数: 97)
全盘写入开始
(, 下载次数: 91)
全盘写入结束
一般来说，数据存存用用删删的，可能空闲的扇区一部分存在于高速区间，一部分存在于低速区间，像我在测试写入另外一块平时正常使用将近装满的盘时，速度还挺快，能接**均速度。
那在阵列中，读写速度是不是也和单盘的情况类似呢，按8盘位的raid6或者SHR-2来说，理论应该可以达到5-6单盘读写速度，如果平时数据是经常读取删除再写入的，那整个阵列的速度接近盘位*单盘平均速度按200来算，（5-6盘）*200差不多，这样在容量快占满后，也可以有1000-1200，那整个阵列基本能全程跑满万兆了。
或者你只是往盘内写入数据，之后很少删除修改，大部分为读取操作，那整个阵列的速度一开始最快，按单盘最高速度250来算，250*（5-6盘）能达到1250-1500，但是在容量快满了之后，按单盘最低速度100来算，100*（5-6盘）就只有500-600了。
有没有raid玩的多的大佬来指点下，这个速度的计算是正确的吗，或者有没有其他的可能性呢~~

作者: dcl2009 时间: 2023-6-5 15:54
本帖最后由 dcl2009 于 2023-6-5 15:56 编辑

你理解的没问题，就是前边的快后边的慢，确定要RAID6？达不到五六块盘的速度，软RAID非常耗费CPU

SHR和RAID的区别，这么说吧，如果有两块14T 两块16T，组raid5，那么只有14*3的空间，如果用SHR那么有14*3+2*1的空间，SHR可以利用组raid剩下的空间继续组raid

作者: 无聊的五月 时间: 2023-6-5 15:59
上RAID肯定就是上带缓存的硬RAID卡，不然死的快。软RAID 还是ZFS的RZ2 内存大点搞个写缓存

作者: 大队长 时间: 2023-6-5 16:49

dcl2009 发表于 2023-6-5 15:54
你理解的没问题，就是前边的快后边的慢，确定要RAID6？达不到五六块盘的速度，软RAID非常耗费CPU

SHR和RAI ...

之前在论坛里看过一个帖子，1821的CPU应该不至于成为瓶颈，实测跑满万兆的也有。不过要是真的前期快后期慢，那这用到空间占用高的时候速度不是慢的离谱

SHR的空间利用率更高，这个我之前也了解过，就是比较想知道，在使用都是同样容量硬盘的情况下，两种阵列会各有啥利弊吗

作者: 大队长 时间: 2023-6-5 16:52

无聊的五月发表于 2023-6-5 15:59
上RAID肯定就是上带缓存的硬RAID卡，不然死的快。软RAID 还是ZFS的RZ2 内存大点搞个写缓存 ...

之前有台两盘位的群晖，感觉系统还是挺好用的，容量不够了，想升级下，准备用白裙就只能软raid了，而且群晖也做不了ZFS吧

作者: 无聊的五月 时间: 2023-6-5 16:56
ZFS其实很好用，就是扩容麻烦，自纠错非常不错，我单位一个服务器用的存储，24小时运行，跑了9年，所有的盘拆下来时全绿，慢扫都没坏道。

作者: 大队长 时间: 2023-6-5 17:04

无聊的五月发表于 2023-6-5 16:56
ZFS其实很好用，就是扩容麻烦，自纠错非常不错，我单位一个服务器用的存储，24小时运行，跑了9年，所有的 ...

用过的设备也不多，云一下，个人感觉硬盘使用寿命，还是和使用环境关系比较大，做好通风，使用过程中没啥磕碰震动之类的，再加上个靠谱的电源，应该是个硬盘都能用上很多年吧

作者: dcl2009 时间: 2023-6-5 17:06

大队长发表于 2023-6-5 16:49
之前在论坛里看过一个帖子，1821的CPU应该不至于成为瓶颈，实测跑满万兆的也有。不过要是真的前期快后期 ...

不信可以买过来试试，软RAID真的非常耗CPU，RAID0也就百分之十几的占用，换SHR 2能彪到四五十，你说的没错，用HDD倒不至于瓶颈，只是相应速度下降很多

我实测单万兆8块4T组shr-2读能一千多满速，写只有六七百，后期略有下降，影响不大，但是双万兆就不行了，也不知道是不是Windows问题。

如果硬盘容量一样就别整SHR了，真出了问题数据恢复有点麻烦，RAID6数据恢复倒是简单很多。除了数据恢复SHR都是优点。

还有，我一直认为组raid 6不如BASIC+备份，最多上raid 5，民用nas供电那叫一个简约又简单，一波带走两三个盘的概率不小

作者: 无聊的五月 时间: 2023-6-5 17:14

大队长发表于 2023-6-5 17:04
用过的设备也不多，云一下，个人感觉硬盘使用寿命，还是和使用环境关系比较大，做好通风，使用过程中没啥 ...

企业级硬盘，24小时开机，UPS挂上，断电自动关机
硬盘只要不频繁启停，不是那么容易挂

作者: 大队长 时间: 2023-6-5 17:29

dcl2009 发表于 2023-6-5 17:06
不信可以买过来试试，软RAID真的非常耗CPU，RAID0也就百分之十几的占用，换SHR 2能彪到四五十，你说的没 ...

就是自己试错成本有点高，才来论坛里取经的嘛

准备组raid也是想着能在有冗余的情况下尽量提高整体的读写性能，raid5被诟病比较多，看到好多同时坏两块硬盘的，有点虚，那直接raid6好了，多一块盘的成本，也还可以接受。
其实我这非常重要数据量也不大，都有备份的，本地一份，异地一份，相对重要的数据量就有点多了，最多只能在本地再加个备份。
对我来说，单万兆够用了，一开始就没想过用双万兆。
另外方便透露下4T盘是啥型号不，用的什么设备组的阵列，可以参考下

作者: 大队长 时间: 2023-6-5 17:31

无聊的五月发表于 2023-6-5 17:14
企业级硬盘，24小时开机，UPS挂上，断电自动关机
硬盘只要不频繁启停，不是那么容易挂 ...

基本差不多的想法，英雄所见略同

作者: YsHaNg 时间: 2023-6-5 17:51

无聊的五月发表于 2023-6-5 08:56
ZFS其实很好用，就是扩容麻烦，自纠错非常不错，我单位一个服务器用的存储，24小时运行，跑了9年，所有的 ...

群晖支持btrfs 其实也有chksum 只不过btrfs+三盘以上raid比较坑开发者自己都说目前还不稳定群晖还有个版本问题他家内核还在4.4 机器炸了只有旧一点的发行版能读 Ubuntu18.04

作者: YsHaNg 时间: 2023-6-5 17:57
2#说的shr是raid1+raid5 shr2就是raid6 或者raidz2(只是说btrfs特性类似可以借一下zfs名字) raid1+btrfs比较稳多盘要不然就ext4 一定要设置定期数据清理巡检

作者: fudaming 时间: 2023-6-6 10:14
本帖最后由 fudaming 于 2023-6-6 10:33 编辑

YsHaNg 发表于 2023-6-5 17:51
群晖支持btrfs 其实也有chksum 只不过btrfs+三盘以上raid比较坑开发者自己都说目前还不稳定群晖还有个 ...

btrfs三盘以上raid坑的是通过mkfs.btrfs -m来建的raid，目前群晖上用的是mdadm+lvm+btrfs，而且自己的计划任务是有btrfs scrub的，不稳定一说可能所指不是一个。

https://btrfs.readthedocs.io/en/ ... ml#multiple-devices

作者: lwb0428 时间: 2023-6-6 13:08

无聊的五月发表于 2023-6-5 17:14
企业级硬盘，24小时开机，UPS挂上，断电自动关机
硬盘只要不频繁启停，不是那么容易挂 ...

按这个说法的话，是不是应该把群晖的休眠关掉

作者: 无聊的五月 时间: 2023-6-6 13:24

lwb0428 发表于 2023-6-6 13:08
按这个说法的话，是不是应该把群晖的休眠关掉

我家里的NAS 单位的存储都是24小时开机，家里的NAS可以设置低功耗低俗运行

作者: Emmerich 时间: 2023-6-6 13:52
以下见解只用于群晖btrfs，威联通zfs，其他没玩过，测试环境是黑群晖6.2以及quts hero 5.01
1 实际确实如你所说，在5-6盘位后基本就可以全程跑满万兆了，单读取，写入涉及到奇偶校验会有一定程度降低
2 也确实如你所说，在整个存储池容量快满的情况下，单盘速度确实会有一定幅度的降低，quts hero占用80%后读写写入大约有20%的性能降低，此时系统会建议存储池进行磁盘整理来加强性能，但一般也不会有太大的性能改善，此时读取依旧大概有800M/s，写入在500-700M/s来回跳跃

作者: Emmerich 时间: 2023-6-6 13:53

无聊的五月发表于 2023-6-5 16:56
ZFS其实很好用，就是扩容麻烦，自纠错非常不错，我单位一个服务器用的存储，24小时运行，跑了9年，所有的 ...

QNAP的Quts hero5.1，ZFS存储池好像已经支持单盘扩容了

作者: 雨季不再来 时间: 2023-6-6 13:55

无聊的五月发表于 2023-6-6 13:24
我家里的NAS 单位的存储都是24小时开机，家里的NAS可以设置低功耗低俗运行 ...

nas如何设置低功耗低速运行？你用的是什么系统？

作者: lwb0428 时间: 2023-6-6 16:55

无聊的五月发表于 2023-6-6 13:24
我家里的NAS 单位的存储都是24小时开机，家里的NAS可以设置低功耗低俗运行 ...

是啊，群晖有这个吗

作者: bbzcat 时间: 2023-6-7 01:41

dcl2009 发表于 2023-6-5 17:06
不信可以买过来试试，软RAID真的非常耗CPU，RAID0也就百分之十几的占用，换SHR 2能彪到四五十，你说的没 ...

我觉得知识还是要与时俱进，SDS、超融合都那么多年了...

作者: brucelee1126 时间: 2023-6-7 03:22
没毛病，我威联通8盘18t raid6，大概占用三分之一左右，实测读写在1.36g到1.38g,因为网口不够快，所以是测的机内和ssd之间的速度

作者: tyy474 时间: 2023-6-7 09:04

无聊的五月发表于 2023-6-5 16:56
ZFS其实很好用，就是扩容麻烦，自纠错非常不错，我单位一个服务器用的存储，24小时运行，跑了9年，所有的 ...

现在威联通的quts hero支持单盘扩容了，大更新呢，已经测试raid5可以无限单盘扩容，raid阵列也可以按官方宣传更改和单盘扩容，十分给力的更新

作者: 无聊的五月 时间: 2023-6-7 10:06

lwb0428 发表于 2023-6-6 16:55
是啊，群晖有这个吗

14年用的 FREENAS

作者: 大队长 时间: 2023-6-7 10:47

YsHaNg 发表于 2023-6-5 17:57
2#说的shr是raid1+raid5 shr2就是raid6 或者raidz2(只是说btrfs特性类似可以借一下zfs名字) raid1+btrfs比 ...

按你的意思是群晖在较多盘位组成阵列使用时，还是使用Ext4更加稳定，或者说在使用Btrfs时，只要定期执行文件系统碎片整理，就可以比较有效的规避掉你说的不稳定性呢？在网上一篇帖子里面找到这个，应该就是和你说的是同一个问题吧
https://zhuanlan.zhihu.com/p/571235218
(, 下载次数: 85)
另外还想请教下，在同样这篇帖子里，说到Ext4不能保证数据完整性，而Btrfs则可以通过CRC32C校验和确保数据完整性，这个是只针对无冗余阵列或者单盘来说的吗，有冗余的阵列，像是raid1、raid5、raid6之类的，记得以前有从哪里看到过，应该是可以通过阵列来纠正每块单一硬盘产生的数据错误来保证整个阵列数据的完整性，是不是采用这种有冗余的阵列之后，就不会存在这个问题了呢
(, 下载次数: 89)
---------
(, 下载次数: 75)

作者: 大队长 时间: 2023-6-7 10:49

Emmerich 发表于 2023-6-6 13:52
以下见解只用于群晖btrfs，威联通zfs，其他没玩过，测试环境是黑群晖6.2以及quts hero 5.01
1 实际确实如你 ...

感谢分享经验

作者: 大队长 时间: 2023-6-7 11:02

brucelee1126 发表于 2023-6-7 03:22
没毛病，我威联通8盘18t raid6，大概占用三分之一左右，实测读写在1.36g到1.38g,因为网口不够快，所以是测 ...

之前也是看了论坛内一些帖子，包括大佬发的8盘位raid6速度测试那篇，才验证了自己之前的想法，准备去升级换一台群晖系统，咋说呢，无意冒犯，虽然这篇帖子可能存在一定的争议性？

还是非常感谢可以分享实际经验

作者: 雨季不再来 时间: 2023-6-7 11:07

大队长发表于 2023-6-7 10:47
按你的意思是群晖在较多盘位组成阵列使用时，还是使用Ext4更加稳定，或者说在使用Btrfs时，只要定期执行 ...

变成只读？那还行啊，最起码的是，数据还在！

作者: 大队长 时间: 2023-6-7 11:15

雨季不再来发表于 2023-6-7 11:07
变成只读？那还行啊，最起码的是，数据还在！

但是最后写了一句“造成储存空间损毁”那不就完蛋了，目前还没找到详细的资料，有没有了解这个事件的大佬可以现身细说下

作者: 雨季不再来 时间: 2023-6-7 11:23

大队长发表于 2023-6-7 11:15
但是最后写了一句“造成储存空间损毁”那不就完蛋了，目前还没找到详细的资料，有没有了解这个事件的大佬 ...

问题就在这里！不过群晖系统提示的“储存空间损毁”，确实是变成只读，我的黑群晖遇到过多次了，可以通过群晖系统的磁盘修复来恢复正常的。为什么会出现这种情况我也不清楚，好像存储空间确实是btrfs文件系统（晚上回去再确认一下文件系统）。

作者: dcl2009 时间: 2023-6-7 11:46

大队长发表于 2023-6-5 17:29
就是自己试错成本有点高，才来论坛里取经的嘛
准备组raid也是想着能在有冗余的情况下尽量提高整体 ...

8颗4T用的是矿盘，HGST的清零盘，黑群晖918+，组过一段时间SHR，后来改成RAID0，专门拿来PT和串流，RAID0性能很好，控制器是板载的6*SATA+马牌9215

另一个白裙是923+，万兆，14T两颗+16T两颗，都是东芝盘，组的SHR，放文件家庭视频照片之类

交换机是兮克的4万兆那个

作者: 大队长 时间: 2023-6-7 13:18

雨季不再来发表于 2023-6-7 11:23
问题就在这里！不过群晖系统提示的“储存空间损毁”，确实是变成只读，我的黑群晖遇到过多次了，可以通过 ...

我还一直以为储存空间损毁就是变成了完全不可用的状态，这样看来应该是在可修复的状态，只是软件层面出现问题，或者是硬件原因完全不可修复的状态，群晖都是会显示为“空间损毁”了，去官方的知识中心查了下，导致存储空间损毁的原因，他们是这么说的
-------
(, 下载次数: 38)

作者: 大队长 时间: 2023-6-7 13:19

dcl2009 发表于 2023-6-7 11:46
8颗4T用的是矿盘，HGST的清零盘，黑群晖918+，组过一段时间SHR，后来改成RAID0，专门拿来PT和串流，RAID0 ...

感谢分享

作者: 雨季不再来 时间: 2023-6-7 14:37

大队长发表于 2023-6-7 13:18
我还一直以为储存空间损毁就是变成了完全不可用的状态，这样看来应该是在可修复的状态，只是软件层面出现 ...

能读，就有机会备份数据，这个才是最关键的。直接损毁不能读，那就可怕了。

作者: 大队长 时间: 2023-6-7 16:27

雨季不再来发表于 2023-6-7 14:37
能读，就有机会备份数据，这个才是最关键的。直接损毁不能读，那就可怕了。 ...

是的，起码还不至于一锅端，后面也去问了下群晖的技术支持，得到这样的回答
--------------
问：
--------------
(, 下载次数: 40)
--------------
答：
--------------
(, 下载次数: 32)

作者: YsHaNg 时间: 2023-6-7 23:28

大队长发表于 2023-6-7 02:47
按你的意思是群晖在较多盘位组成阵列使用时，还是使用Ext4更加稳定，或者说在使用Btrfs时，只要定期执行 ...

是定期数据巡检已经足够规避并不是说多盘位btrfs不能用看个人选择
数据清理功能包括btrfs和raid5/6校验旧文档说的很清楚 https://kb.synology.cn/zh-cn/DSM ... scrubbing?version=6
两者都有check sum 只不过raid是奇偶校验 btrfs旧版本说的edge case多盘位fail就是指原子操作顺序设计不当底层特性和高级文件系统功能冲突
如果选择这种组合应该尽量买新产品比如ds223还有xs+就是5.10内核(arm支持btrfs必须) 别的产品还在4.4内核虽然backport很多补丁但群晖从没有公开用内核主线版本提高下限比较好一点
还有一点是ext4在低端cpu和hdd上硬件开销小一些理论速度更快日志文件系统更适合于会长时间离线环境

作者: YsHaNg 时间: 2023-6-7 23:38

fudaming 发表于 2023-6-6 02:14
btrfs三盘以上raid坑的是通过mkfs.btrfs -m来建的raid，目前群晖上用的是mdadm+lvm+btrfs，而且自己的计 ...

群晖的mdadm+lvm+btrfs 在4.4内核机器上用了太多定制方案比较黑盒新一点的抬高内核工具就能align文档所说的当然我更期待6.x大量improvement

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)