Chiphell - 分享与交流用户体验

标题: 请求zfs容量火星救援 [打印本页]

作者: goat 时间: 2023-6-26 13:00
标题: 请求zfs容量火星救援
本帖最后由 goat 于 2023-6-27 15:50 编辑

zfs建raidz容量计算是除了parity还要加一个padding和slop？后者改参数可以无限接近忽视，前者就是固定的预留了吗？

230627更新：贪心的话可以ashift=9...贪心容量不要速度的话

作者: tedaz 时间: 2023-6-26 13:03
zfs不适合爱好者家用。这东西就是给高级技术人员用的。

作者: 雨季不再来 时间: 2023-6-26 13:05

tedaz 发表于 2023-6-26 13:03
zfs不适合爱好者家用。这东西就是给高级技术人员用的。

其实我始终没搞懂：6块2TB、4块4TB的硬盘做zfs，能建立多大的存储池以保证坏了2块硬盘也不影响数据的安全？是16TB吗？

作者: goat 时间: 2023-6-26 13:13
本帖最后由 goat 于 2023-6-26 13:18 编辑

雨季不再来发表于 2023-6-26 13:05
其实我始终没搞懂：6块2TB、4块4TB的硬盘做zfs，能建立多大的存储池以保证坏了2块硬盘也不影响数据的安全 ...

raw是20，扇区是4kn的话，可用是的留0.23校验和padding乘0.77，不改slop还要再乘31/32或者63/64

算错raw容量了

作者: goat 时间: 2023-6-26 13:14

tedaz 发表于 2023-6-26 13:03
zfs不适合爱好者家用。这东西就是给高级技术人员用的。

一次堆满空位还是口水，毕竟什么都要的hdd存储尽头就是zfs了

作者: 雨季不再来 时间: 2023-6-26 13:18

goat 发表于 2023-6-26 13:13
raw是18，扇区是4kn的话，可用是的留0.23校验和padding乘0.77，不改slop还要再乘31/32或者63/64 ...

看来，zfs唯一的好处就是可以添加不同容量的硬盘，充分利用硬盘容量了。

作者: goat 时间: 2023-6-26 13:19

雨季不再来发表于 2023-6-26 13:18
看来，zfs唯一的好处就是可以添加不同容量的硬盘，充分利用硬盘容量了。 ...

那是unraid，校验盘比数据盘大就行，传统raid取最小乘倍数

作者: 黑色会 时间: 2023-6-26 14:11

雨季不再来发表于 2023-6-26 13:18
看来，zfs唯一的好处就是可以添加不同容量的硬盘，充分利用硬盘容量了。 ...

zfs最有用的功能你忽视了？

作者: voandrew 时间: 2023-6-26 14:19
zfs去重还挺好用的

作者: 雨季不再来 时间: 2023-6-26 14:53

黑色会发表于 2023-6-26 14:11
zfs最有用的功能你忽视了？

写时复制、快照？

作者: windyboy 时间: 2023-6-26 15:00
zfs 的盘不需要完全一样大，但是一个逻辑单位里多个盘，有效的是最小容量
3个盘 4.01，4.02，4.03，有效的就变成4.01，传统的raid系统，就无法使用不一样的盘

作者: tedaz 时间: 2023-6-26 15:04

雨季不再来发表于 2023-6-26 13:05
其实我始终没搞懂：6块2TB、4块4TB的硬盘做zfs，能建立多大的存储池以保证坏了2块硬盘也不影响数据的安全 ...

不懂，zfs太复杂，而且实际出问题的时候，修复结果不一定比raid更好。

作者: 雨季不再来 时间: 2023-6-26 15:06

windyboy 发表于 2023-6-26 15:00
zfs 的盘不需要完全一样大，但是一个逻辑单位里多个盘，有效的是最小容量
3个盘 4.01，4.02，4.03，有效的 ...

传统RAID，也是可以使用大小不一样的硬盘的，只是只能按照最小的那个来用，其他的容量都被浪费了而已。

作者: 一日 时间: 2023-6-26 15:26
ZFS修复的时候优势很大，只需要恢复用到的容量，而且checksum能保证你知道哪些文件确保成功恢复了

RAID，就只能各安天命了。

作者: windyboy 时间: 2023-6-26 15:49

雨季不再来发表于 2023-6-26 15:06
传统RAID，也是可以使用大小不一样的硬盘的，只是只能按照最小的那个来用，其他的容量都被浪费了而已。 ...

我记得好像要牌子一样，字节数也一样

作者: 雨季不再来 时间: 2023-6-26 16:06

windyboy 发表于 2023-6-26 15:49
我记得好像要牌子一样，字节数也一样

做RAID，用同一牌子、型号的是大忌！理论上同一批货，同时出问题的几率很大，因此，只有采用不同品牌的硬盘，才能最大可能的避免这种情况的发生。硬盘出问题替换的时候，确实是要保证新硬盘字节数不能低于原硬盘（不同品牌的硬盘可能会出现字节数不一样的情况）。

作者: goat 时间: 2023-6-26 16:25

雨季不再来发表于 2023-6-26 16:06
做RAID，用同一牌子、型号的是大忌！理论上同一批货，同时出问题的几率很大，因此，只有采用不同品牌的硬 ...

照你这么说服务器都该退回去重来了

作者: 雨季不再来 时间: 2023-6-26 16:32

goat 发表于 2023-6-26 16:25
照你这么说服务器都该退回去重来了

企业服务器的硬盘，基本上都是3年就换的（不坏也换！不然哪来那么多的大船货二手盘？），家用可能吗？有钱当我没说。

作者: windyboy 时间: 2023-6-26 16:50

雨季不再来发表于 2023-6-26 16:06
做RAID，用同一牌子、型号的是大忌！理论上同一批货，同时出问题的几率很大，因此，只有采用不同品牌的硬 ...

越吹越过了，真的

作者: 雨季不再来 时间: 2023-6-26 18:32

windyboy 发表于 2023-6-26 16:50
越吹越过了，真的

还真不是吹，实际体验的结果。

作者: Juzi丶 时间: 2023-6-26 19:22
https://wintelguy.com/zfs-calc.pl

作者: yan1990_y 时间: 2023-6-26 19:33

windyboy 发表于 2023-6-26 15:00
zfs 的盘不需要完全一样大，但是一个逻辑单位里多个盘，有效的是最小容量
3个盘 4.01，4.02，4.03，有效的 ...

没理解，传统raid不也是最小容量*倍数么，比如raid1就是2T和4T一起，按2T算

作者: yan1990_y 时间: 2023-6-26 19:34

雨季不再来发表于 2023-6-26 18:32
还真不是吹，实际体验的结果。

数据中心的服务器硬盘都是一批货…这么多年了

作者: 雨季不再来 时间: 2023-6-26 19:38

yan1990_y 发表于 2023-6-26 19:34
数据中心的服务器硬盘都是一批货…这么多年了

人家都是2-3年一换的，你家用做到吗？做到的就无所谓了，当我没说。

作者: 雨季不再来 时间: 2023-6-26 19:39

yan1990_y 发表于 2023-6-26 19:33
没理解，传统raid不也是最小容量*倍数么，比如raid1就是2T和4T一起，按2T算

但传统raid，4t硬盘其他空间就浪费了。zfs是能利用的。

作者: Juzi丶 时间: 2023-6-26 19:43

雨季不再来发表于 2023-6-26 19:38
人家都是2-3年一换的，你家用做到吗？做到的就无所谓了，当我没说。

热知识，因为大环境关系缩减成本大厂服务器现在都延期到5年起步了，用个7年 10年很正常

作者: goat 时间: 2023-6-26 19:54

雨季不再来发表于 2023-6-26 19:39
但传统raid，4t硬盘其他空间就浪费了。zfs是能利用的。

那是unraid，而且你这配置unraid这部分也是扔了的

作者: goat 时间: 2023-6-26 19:56
本帖最后由 goat 于 2023-6-26 20:00 编辑

Juzi丶发表于 2023-6-26 19:22
https://wintelguy.com/zfs-calc.pl

thanks，就是按这个算的。主要想知道raidz的校验以外多用的部分是写死不能用了，还是有参数可以调完找回来的。

p.s.我知道塞得太满会导致性能下滑，性能无所谓

作者: Juzi丶 时间: 2023-6-26 21:15

goat 发表于 2023-6-26 19:56
thanks，就是按这个算的。主要想知道raidz的校验以外多用的部分是写死不能用了，还是有参数可以调完找回 ...

不清楚你在说什么，实际可用写很清楚了

作者: yan1990_y 时间: 2023-6-26 21:31

雨季不再来发表于 2023-6-26 19:38
人家都是2-3年一换的，你家用做到吗？做到的就无所谓了，当我没说。

都是亮黄灯再换…

作者: c2h6o 时间: 2023-6-26 21:57
希望能看到虚拟化RAID（数据块RAID），完全忽略硬盘概念，只需要硬盘块数达到你做RAID的要求。
UNRAID磁盘性能简直就是垃圾中的垃圾，完全没法用，这种校验盘的设计还不如RAID。

作者: 非人寄 时间: 2023-6-26 22:08
unraid最新的6.12开了zfs吧，我担心要重建阵列，几十t搞不了，不敢升级。

作者: goat 时间: 2023-6-26 22:18

Juzi丶发表于 2023-6-26 21:15
不清楚你在说什么，实际可用写很清楚了

比如raidz2除了传统的raid6中2/(n+2)的校验以外又在数据n里面预留了接近5上下的不可用。这个里面有slop这种占了2.x%可以调整参数来缩小，但是还会有3.x%的预留不知道是否可以变成可用。

作者: goat 时间: 2023-6-26 22:20

非人寄发表于 2023-6-26 22:08
unraid最新的6.12开了zfs吧，我担心要重建阵列，几十t搞不了，不敢升级。

单盘zfs基本没什么意义，pool里可以用zfs新建，只是这样就没有用unraid的必要了

作者: goat 时间: 2023-6-26 22:25

c2h6o 发表于 2023-6-26 21:57
希望能看到虚拟化RAID（数据块RAID），完全忽略硬盘概念，只需要硬盘块数达到你做RAID的要求。
UNRAID磁盘 ...

unraid就是换下来的大大小小的盘有一堆，然后又有归档的需求，但是又怕单盘出问题会考虑。至于写入，改到turbo write对性能会有很大改观，但也只限于从臭不可闻到没什么味儿的级别。

作者: cabala 时间: 2023-6-26 23:59

goat 发表于 2023-6-26 22:20
单盘zfs基本没什么意义，pool里可以用zfs新建，只是这样就没有用unraid的必要了 ...

unraid的docker界面很舒服

作者: Juzi丶 时间: 2023-6-27 00:14

goat 发表于 2023-6-26 22:18
比如raidz2除了传统的raid6中2/(n+2)的校验以外又在数据n里面预留了接近5上下的不可用。这个里面有slop这 ...

https://docs.google.com/spreadsh ... jHv6CGVElrPqTA0w_ZY

作者: c2h6o 时间: 2023-6-27 09:16

goat 发表于 2023-6-26 22:25
unraid就是换下来的大大小小的盘有一堆，然后又有归档的需求，但是又怕单盘出问题会考虑。至于写入，改到 ...

我觉得UNRAID至少也支持一下RAID功能，反正都是软件方案，至少给个选择吧，改善一下磁盘读写性能。而且它这种校验，读写不平衡，校验盘死的也快一点。

作者: goat 时间: 2023-6-27 10:43

c2h6o 发表于 2023-6-27 09:16
我觉得UNRAID至少也支持一下RAID功能，反正都是软件方案，至少给个选择吧，改善一下磁盘读写性能。而且它 ...

现在6.12支持zfs，pool里直接可以建raidz了。
array的话改写策略用氦气盘可以跑满千兆

作者: yaoiverson 时间: 2023-6-27 11:39

yan1990_y 发表于 2023-6-26 21:31
都是亮黄灯再换…

我们也是黄灯才换，真没见过几个固定3年换的。政府会？

作者: c2h6o 时间: 2023-6-27 12:42

yaoiverson 发表于 2023-6-27 11:39
我们也是黄灯才换，真没见过几个固定3年换的。政府会？

我们有好多政府客户，政府客户很多只要系统还能用，坏了盘都没人管，我们上门巡检才发现告诉他们有坏了，才打报告申请换。现在都给他们做R6加热备，能多坏几块盘的。
我估计能固定换的也就是大的IDC机房会这么干了。

作者: c2h6o 时间: 2023-6-27 12:43

goat 发表于 2023-6-27 10:43
现在6.12支持zfs，pool里直接可以建raidz了。
array的话改写策略用氦气盘可以跑满千兆 ...

谢谢，改天找个开心版把闲置的URAID升级试试

作者: yan1990_y 时间: 2023-6-27 15:14

yaoiverson 发表于 2023-6-27 11:39
我们也是黄灯才换，真没见过几个固定3年换的。政府会？

我就是做政府IDC的，也是亮灯才换，关键硬件厂商不亮灯不换，哪怕质保期内。我是没见过到期就换的服务

作者: 雨季不再来 时间: 2023-6-27 15:20

yaoiverson 发表于 2023-6-27 11:39
我们也是黄灯才换，真没见过几个固定3年换的。政府会？

外企啊，不然大船货是怎么来的？

作者: 雨季不再来 时间: 2023-6-27 15:21

c2h6o 发表于 2023-6-27 12:42
我们有好多政府客户，政府客户很多只要系统还能用，坏了盘都没人管，我们上门巡检才发现告诉他们有坏了， ...

大的外企（包括国内的）都是定期换的。

作者: dcl2009 时间: 2023-6-27 15:40

windyboy 发表于 2023-6-26 16:50
越吹越过了，真的

他说的是真的，硬盘阵列可以坏但是不能同时坏

一致性太好，一个硬盘挂了，另几块硬盘高负荷重建很有可能接着挂，因为大家都差不多，都上岁数了，经不起折腾了

组阵列的时候用不同牌子的盘是常规操作

作者: c2h6o 时间: 2023-6-27 15:51

dcl2009 发表于 2023-6-27 15:40
他说的是真的，硬盘阵列可以坏但是不能同时坏

一致性太好，一个硬盘挂了，另几块硬盘高负荷重建很有可能 ...

这个也要算谣言了，经手了这么多服务器，没有厂家有这样的建议，也没客户有这样的要求，反而大部分要求是一致型号。

作者: goat 时间: 2023-6-27 15:52
更新下主楼

作者: windyboy 时间: 2023-6-28 10:16
尴尬了，也许是我见过的数据中心不够档次
硬盘不但同品牌，同批号，同大小，序列号都连在一起的
真没法聊下去了

作者: Angmar 时间: 2023-9-26 14:11

goat 发表于 2023-6-26 22:18
比如raidz2除了传统的raid6中2/(n+2)的校验以外又在数据n里面预留了接近5上下的不可用。这个里面有slop这 ...

请问怎么调整这个slop的占比大小

作者: mkkkno1 时间: 2023-9-26 15:51
阵列不是要求尽量用一样的盘么。

作者: nsc117 时间: 2023-9-26 18:11

雨季不再来发表于 2023-6-26 16:06
做RAID，用同一牌子、型号的是大忌！理论上同一批货，同时出问题的几率很大，因此，只有采用不同品牌的硬 ...

开什么国际玩笑！这是你臆想的吧？
实施过无数企业级存储，大厂的产品都实操过，厂家都是建议同一型号同一容量甚至同一批次的！具体的理论可以自行百度。

作者: nsc117 时间: 2023-9-26 18:15

雨季不再来发表于 2023-6-26 19:38
人家都是2-3年一换的，你家用做到吗？做到的就无所谓了，当我没说。

大哥，你的这些观点都是“网上冲浪”得来的吧？哪个国内企业是2-3年一换的，可以说一下吗？国外大厂会有定期整体更换服务器，但主要是从成本考虑（运维成本、算力成本）而非可靠性角度出发的，并且，随着基础设施分布式的浪潮，硬件更新的方式也发生了变化，你网上冲浪的时候没发现现在大船少多了吗？

作者: nsc117 时间: 2023-9-26 18:16

yaoiverson 发表于 2023-6-27 11:39
我们也是黄灯才换，真没见过几个固定3年换的。政府会？

负责任的告诉你，ZF也不会！费用没那么好申请的。

作者: 雨季不再来 时间: 2023-9-26 19:34
本帖最后由雨季不再来于 2023-9-26 19:35 编辑

nsc117 发表于 2023-9-26 18:15
大哥，你的这些观点都是“网上冲浪”得来的吧？哪个国内企业是2-3年一换的，可以说一下吗？国外大厂会有 ...

很抱歉，我在外企待过几年，那时候办公设备都是3年一换的，公司配发的全新ThinkPad笔记本同样如此，用满3年，就能以不到500的价格买下了归自己了。我家的激光打印机也是这么买回来的。至于国企，我知道是有的，当然，是少数。

没外企这么定时更换设备，市场上那么多的洋垃圾（二手设备）是哪里来的？

至于现在大船少了，明显是受到3年特殊情况的影响而已。

作者: 雨季不再来 时间: 2023-9-26 19:36

Juzi丶发表于 2023-6-26 19:43
热知识，因为大环境关系缩减成本大厂服务器现在都延期到5年起步了，用个7年 10年很正常 ...

这个是现在，前几年可不是这样的。

作者: goat 时间: 2023-9-26 20:21

Angmar 发表于 2023-9-26 14:11
请问怎么调整这个slop的占比大小

TrueNAS的话这里。

作者: Sollovin 时间: 2023-9-26 23:03
关心容量的话也许应该考虑一下设置 compress=zstd。
下面是我们一个文件服务器上的数据，压缩比可以到1.6x。
当然具体压缩比跟你存的文件情况有关，仅供参考。

作者: jerrytsao 时间: 2023-9-26 23:20
这里有最完整和准确的计算器, 不需要自己算 https://jro.io/capacity/

作者: 今晚大老虎 时间: 2023-9-26 23:24
现在国外的IDC换硬盘是跟着硬盘的保修走的, 比如WD的金盘和希捷的银河保修期是5年, 那就是5年一换. 硬盘属于耗材是有使用年限的, 像保质期一样. 如果客户使用你的存储服务出了问题, 又发现你使用了过保的硬盘, 基本就类似你提供了过期食品给客户一样. 一告一个准, 不光全责还要赔一大笔钱. 很多时候不能仅从成本的角度来考虑, 有个法律连带责任的问题. 为了免责,这点成本根本不算什么. 反正羊毛也是出在羊身上的.

作者: BetaHT 时间: 2023-9-26 23:32
本帖最后由 BetaHT 于 2023-9-28 10:20 编辑

帮顶。
像这种不太成熟的技术，我觉得折腾是十分鼓励的，但千万别真的投入长期实用，尤其是自己的数据。

------------------
不用阴阳怪怪气，索拉里斯顶多算陈年老系统。不要觉得这些老系统多牛逼，只有用的人多，持续维护的系统才能算可靠系统。

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)