Chiphell - 分享与交流用户体验

标题: 关于存储系统的选择 [打印本页]

作者: 闲痴 时间: 2023-7-5 15:02
标题: 关于存储系统的选择
本帖最后由闲痴于 2023-7-6 22:38 编辑

之前数据一直是在自己电脑上，看各位大佬玩NAS心痒，最近就准备上一台服务器，硬件已经攒好了，但系统上有点犯难
目前考虑的是PVE作为宿主机，硬盘直通给一台虚拟机专门负责管理存储安全与共享，网盘等外围服务全部在另一台虚拟机通过挂载存储池获得数据与空间

现在在负责管理存储的系统选择上有犹豫，我不希望将数据条带化，更倾向于单盘保存，但需要数据的定期完整性校验，最好能有数据快照，对在线率没有要求，但对安全性要求比较高
不要说备份，我也知道备份很好很重要，但受限于钱包和数据量真做不到全部数据异地备份，只能把最核心的一部分数据靠网盘备份，其他的只能尽量在一台机器上实现冗余，总比连冗余校验都没有来得强。
在自己电脑上我是用的snapraid，也考虑过要不要直接debian挂载单盘然后继续用snapraid，但这样就没有快照等高级功能，而且有点浪费捡来的256G内存，考虑过trueNAS，但raidZ必须要多个大小一致的盘，而且也条带化也会增加数据风险，带来的性能优势又是我不太需求的
想象中最理想的方式可能是结合ZFS和snapraid的特点，底层使用ZFS单盘提供快照和校验，并且能利用上大内存缓存，同时通过snapraid进行冗余，即使损坏超过冗余也不会损失整个阵列，但不知道trueNAS是否支持这样使用

目前的硬件配置：
CPU：7D12
主板：krpa-u16
内存：256G 2666 ECC
网卡：X520-DA1 万兆光模块
电源：HG650
机箱：define r6
硬盘：8T x1
14T x1
16T x2

作者: mqwxp 时间: 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

作者: momo77989724 时间: 2023-7-5 15:26
不浪费现在内存不值钱使劲塞好了

作者: 阿崔 时间: 2023-7-5 15:46
想用快照+arc还要snapraid冗余的话，直接PVE里面zfs就好了。每个都是单盘的zvol挂给你跑snapraid的系统就行了。虚拟化的TrueNAS性能还是有损失的。

作者: 蓝色星芒 时间: 2023-7-5 15:52
个人widnows 2022，hyperv+3台存储用的虚拟机，三台都是debian，分别是中资源的omv+nextcloud，一台高资源跑docker（数据库什么的），一台低资源跑docker（控制器，监视器等）
然后2022上装个nc的终端，同步到另一块硬盘。nc的数据盘可以通过omv做各种共享。
还有一个vm是win10，用来跑各种软件。2022上只有必备的服务类型软件，其它一律进入虚拟机

作者: 闲痴 时间: 2023-7-5 16:21

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

想法很好，但简单来说就是穷

作者: 闲痴 时间: 2023-7-5 16:21

momo77989724 发表于 2023-7-5 15:26
不浪费现在内存不值钱使劲塞好了

不仅是内存，而且也确实馋写时拷贝之类的高级特性，再说内存都装上去了不用也是浪费

作者: 闲痴 时间: 2023-7-5 16:22

蓝色星芒发表于 2023-7-5 15:52
个人widnows 2022，hyperv+3台存储用的虚拟机，三台都是debian，分别是中资源的omv+nextcloud，一台高资源 ...

OMV好用么？之前有听说过但没怎么了解，大家也不怎么提

作者: 闲痴 时间: 2023-7-5 16:25

阿崔发表于 2023-7-5 15:46
想用快照+arc还要snapraid冗余的话，直接PVE里面zfs就好了。每个都是单盘的zvol挂给你跑snapraid的系统就行 ...

PVE原生支持ZFS么？宿主机感觉尽量少功能比较好，所有功能都放虚拟机或者容器里
trueNAS直通硬盘后主要就是CPU性能低一些吧？如果这样倒还好，反正7D12本来就有点过剩的

作者: 蓝色星芒 时间: 2023-7-5 16:25
本帖最后由蓝色星芒于 2023-7-5 16:27 编辑

闲痴发表于 2023-7-5 16:22
OMV好用么？之前有听说过但没怎么了解，大家也不怎么提

OMV现在对我的作用就是，创建nc所用的磁盘，并且做共享，同时有wireguard什么的，方便。其实可以算做是网页版的且主要做共享的debian

最开始是pve，但是有一点，pve的话，每块硬盘要加到对应的vm去，否则就只有所有硬盘作为池，也就是条带化了。而且不少软件尤其是htpc来用的话，pve不方便，所以我还是2022了，连了线到电视机，既可以jellyfin网络，也可以直接播

作者: YsHaNg 时间: 2023-7-5 17:01
不在乎性能 unraid

作者: 闲痴 时间: 2023-7-5 17:32

YsHaNg 发表于 2023-7-5 17:01
不在乎性能 unraid

unraid不带完整性校验，这个不能接受

作者: YsHaNg 时间: 2023-7-5 17:43

闲痴发表于 2023-7-5 09:32
unraid不带完整性校验，这个不能接受

我以为它是有的 btrfs+效验盘

作者: jimmyjin 时间: 2023-7-5 17:53

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

雷电的直通网络被微软和intel做得像一坨屎

作者: uuyyhhjj 时间: 2023-7-5 18:05

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

等10T SSD价格到1000以内再说，至于网卡有RDMA短时间根本看不到要淘汰的样子，再来个10年都没问题

作者: zzc02063 时间: 2023-7-5 18:25
战马

作者: 闲痴 时间: 2023-7-5 18:31

YsHaNg 发表于 2023-7-5 17:43
我以为它是有的 btrfs+效验盘

至少年初的时候研究unraid是不行的，有btrfs+的校验，有冗余盘，但这两个不能联动，只能查错不能用冗余去修复

作者: 阿崔 时间: 2023-7-5 19:44

闲痴发表于 2023-7-5 16:25
PVE原生支持ZFS么？宿主机感觉尽量少功能比较好，所有功能都放虚拟机或者容器里
trueNAS直通硬盘后主要就 ...

PVE原生支持ZFS都好多年了，可以直接用ZFS特性给虚拟机做快照什么的，和LVM、Ceph一样都是官方推荐的存储环境之一。功能放虚拟机/容器没错，但是磁盘存储可是基础设施，你只要别把SMB之类的共享放在PVE里就好了。虚拟TrueNAS的主要问题是虚拟化pcie设备和内存之间通信的延迟相比非虚拟化部署差至少一个量级，造成随机访问性能下降非常非常严重，连续访问也会有一定损失。

作者: rx_78gp02a 时间: 2023-7-5 19:59

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

雷电怎么做到多人共享，同时存取？线长也是问题

作者: Aapejiang 时间: 2023-7-5 20:04

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

长远看雷电速度不够吧，mellanox的拆机卡40G那款理论速度就跟雷电4持平了，成本几十块

作者: 闲痴 时间: 2023-7-5 21:27

阿崔发表于 2023-7-5 19:44
PVE原生支持ZFS都好多年了，可以直接用ZFS特性给虚拟机做快照什么的，和LVM、Ceph一样都是官方推荐的存储 ...

明白了，多谢，我在测试环境试一下这个方案看看

作者: Misyo 时间: 2023-7-5 21:46

闲痴发表于 2023-7-5 18:31
至少年初的时候研究unraid是不行的，有btrfs+的校验，有冗余盘，但这两个不能联动，只能查错不能用冗余去 ...

现在最新版支持ZFS

作者: YsHaNg 时间: 2023-7-5 21:54

闲痴发表于 2023-7-5 10:31
至少年初的时候研究unraid是不行的，有btrfs+的校验，有冗余盘，但这两个不能联动，只能查错不能用冗余去 ...

是要手动从备份恢复受损文件不够自动化看起来还不如群晖的自动数据巡检方案 https://blog.synology.com/how-da ... nst-data-corruption

Every time data scrubbing is conducted, the file system will recalculate the checksum and compare it with the previously stored data checksum. Meanwhile, the data checksum will cross-check its corresponding metadata checksum to make sure the data checksum itself is intact. In other words, if the recalculated checksum does not accord with the data checksum, a cross-check with its metadata checksum will be followed to see whether it is the file or data checksum that goes wrong. Once data corruption is detected, the system will try to repair the corrupt data by retrieving the redundant copy (RAID 5).

作者: tankren 时间: 2023-7-5 21:55
在CHH不搞个量子计算机做NAS说不过去

作者: ONEChoy 时间: 2023-7-5 21:56

Aapejiang 发表于 2023-7-5 20:04
长远看雷电速度不够吧，mellanox的拆机卡40G那款理论速度就跟雷电4持平了，成本几十块 ...

咋这么容易跟着节奏走呢雷电是啥狗屁啊桌头到桌尾都不够长比啥？带宽400g都是狗屁

作者: mqwxp 时间: 2023-7-6 08:48

Aapejiang 发表于 2023-7-5 20:04
长远看雷电速度不够吧，mellanox的拆机卡40G那款理论速度就跟雷电4持平了，成本几十块 ...

雷电很多主板自带，CPU原生支持，普及只是时间问题

作者: Aapejiang 时间: 2023-7-6 15:01

ONEChoy 发表于 2023-7-5 21:56
咋这么容易跟着节奏走呢雷电是啥狗屁啊桌头到桌尾都不够长比啥？带宽400g都是狗屁 ...

倒没这么不堪。。。苹果还在用AQC的10G电口，换雷电4网桥提升很大了，跑sn640这样的3.0固态刚刚好。
下半年DIY个全闪NAS放桌上，0.8米的雷电线接Mac就够了。再插个CX4121A的双口25G接PC和交换机。

作者: lucifersun 时间: 2023-7-6 15:06

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

雷电直连，那是DAS还是NAS？

作者: Aapejiang 时间: 2023-7-6 15:21

mqwxp 发表于 2023-7-6 08:48
雷电很多主板自带，CPU原生支持，普及只是时间问题

1. 40G上限太低了，100G的CX5洋垃圾可以期待一下

2. 线短+贵
3. 跟数据中心的光口方案比起来是消费级vs企业级

作者: rx_78gp02a 时间: 2023-7-6 15:45

lucifersun 发表于 2023-7-6 15:06
雷电直连，那是DAS还是NAS？

就一大号U盘

作者: 煎饼果子chh 时间: 2023-7-6 15:52
不需要备份的数据都不需要安全性

作者: heixiuheixiu 时间: 2023-7-6 16:00

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

理是这个理，但最近我暴毙了2块M2（一块随机的文件读不了，一块全部读不了），让我没那么期待全闪

作者: phliar 时间: 2023-7-6 16:23

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

这个淘汰的进展不知道会不会是十年以上。现在不上不下的，万兆太贵，2.5G又太少。更别说雷电直通了

作者: YsHaNg 时间: 2023-7-6 16:28

lucifersun 发表于 2023-7-6 07:06
雷电直连，那是DAS还是NAS？

雷电网桥20g 插上就有只是没有支持的路由交换不然可以当网络设备用

作者: Aapejiang 时间: 2023-7-6 19:33

lucifersun 发表于 2023-7-6 15:06
雷电直连，那是DAS还是NAS？

走雷电协议就是DAS，在雷电网桥上跑samba协议就是NAS

作者: Dzzz 时间: 2023-7-6 21:46
还是你们牛，NAS都被你们玩出花儿了，又是校验又是快照的，这么个虚拟机那么个docker的

作者: Mufasa 时间: 2023-7-6 22:29

Dzzz 发表于 2023-7-6 21:46
还是你们牛，NAS都被你们玩出花儿了，又是校验又是快照的，这么个虚拟机那么个docker的 ...

准确的说已经脱离NAS了，无限接近于存储服务器。

作者: alwayskid 时间: 2023-7-6 22:35

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

雷电直通下如何让其他设备使用呢？

作者: YsHaNg 时间: 2023-7-6 22:43

alwayskid 发表于 2023-7-6 14:35
雷电直通下如何让其他设备使用呢？

雷电网桥像一般开smb nfs webdav共享或者http服务一样方式工作

作者: 煎饼果子chh 时间: 2023-7-7 08:20

Mufasa 发表于 2023-7-6 22:29
准确的说已经脱离NAS了，无限接近于存储服务器。

那为啥不直接上存储服务器

作者: ANSANGLI 时间: 2023-7-7 10:02

mqwxp 发表于 2023-7-5 15:04
机械NAS，万兆网卡都是要淘汰的东西，以后是全闪存NAS+雷电直通

你说的要淘汰,我怎么感觉还能战斗二十年.
全闪不说寿命,就那个容量不配装NAS。。。至于雷电，还得找根线去接NAS？这就过不靠谱了。

作者: wangfenghun 时间: 2023-7-7 19:23
你的单盘ZFS+SNAPRAID，不就是最新版的UNRAID吗。。。UNRAID现在UNRAID自带的阵列可以选择ZFS格式。。感觉完美符合你的要求。但是不太清楚ZFS那种有没有完整性校验。。。。

作者: Mufasa 时间: 2023-7-7 19:25

煎饼果子chh 发表于 2023-7-7 08:20
那为啥不直接上存储服务器

好像楼主装的确实是存储服务器，我们没认真看贴。。。。

作者: YsHaNg 时间: 2023-7-8 18:24

wangfenghun 发表于 2023-7-7 11:23
你的单盘ZFS+SNAPRAID，不就是最新版的UNRAID吗。。。UNRAID现在UNRAID自带的阵列可以选择ZFS格式。。感觉 ...

zpool可以data效验+self healing 不过占用资源

作者: wangfenghun 时间: 2023-7-8 18:52

YsHaNg 发表于 2023-7-8 18:24
zpool可以data效验+self healing 不过占用资源

弄个好的CPU不就行了。现在大船那么多。。占用资源应该是最不用考虑的吧。。。32G RECC 2133都降到140元一条了。。。。

作者: zleepp 时间: 2023-7-8 21:11
本帖最后由 zleepp 于 2023-7-8 21:16 编辑

需求和思路和我差不多，我折腾过几乎所有的NAS系统，现在的状态是一个白裙组raid1放最核心的数据，有8TB空间，一个暴风播酷云装黑裙做下载缓存大约有8TB（目的是让大服务上寿命较长的硬盘发挥余热），一个机架服务器16盘位，咸鱼这种机箱带冗余电源拓展背板和满盘架不到600块，在esxi直通16盘给windows管理所有数据，用同步软件做备份，很灵活的说，还有一个小主机在esxi上安装windows随时待命管理整个局域网的数据沟通，nas系统的raid提供的高可用性，其实和我们的需求不是太相符，可以说所有nas系统都有较大缺陷，群晖在家用里面较稳定的，真正核心不容丢失的数据没有那么多，我的方案仅供参考

作者: 煎饼果子chh 时间: 2023-7-10 09:03

Mufasa 发表于 2023-7-7 19:25
好像楼主装的确实是存储服务器，我们没认真看贴。。。。

自己DIY的服务器还是算了，成品服务器才叫“服务器”哪怕是二手的

作者: YsHaNg 时间: 2023-7-10 17:01

zleepp 发表于 2023-7-8 13:11
需求和思路和我差不多，我折腾过几乎所有的NAS系统，现在的状态是一个白裙组raid1放最核心的数据，有8TB空 ...

lz要的自修复你这里应该没有能实现的最接近的是你群晖不过也需要btrfs+至少3盘raid5以上

作者: pooChai 时间: 2023-7-10 17:32
稳定度排序trueNAS > unraid > omv 后两种每隔一段时间内核就会挂,只能手动按reset恢复, trueNAS很稳定从未掉过链子,openwrt我都是装在trueNAS的vm里

作者: pooChai 时间: 2023-7-10 17:38
易用性上排序 unraid > omv > trueNAS unraid 胜在不用组阵列坏一块盘只损失一块盘的数据, omv里我也是用mergefs和unraid 一样没unraid稳定, trueNAS 就比较麻烦必须盘片容量一致还必须一次性创建好,后期加盘是个问题, 因为是阵列所以费电不能像前两个那样部分硬盘休眠

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)