all-in-boom 的 nvme 存储用 btrfs raid1 如何？

anonymz

看到不少人的方案是用 windows server + 存储池 来使用 nvme 存储；在想如果组 raid1 的话，btrfs 是不是也不错，因为

1. 同样有 zfs 的高级特性
2. btrfs 的 raid1 似乎也挺稳定的
3. 喜欢 pve 的可以继续 pve

想看看有没有坛友也用的这个方案

另外还有俩问题：

1. Linux 下 25G 网卡 + SMB Direct / RDMA (听说 ksmbd 支持)，会不会有坑？
2. NVMe 直通性能损耗会比较大吗？我之前看别人测 HDD，直通相比于虚拟磁盘提升都有限，换言之，即便是直通相比于 bare metal 也有比较大的性能损失；如果换了 NVMe，直通性能下降的会不会更厉害？

nagashinn

能不玩软raid就别玩。硬盘不是一下就坏的，丢文件能找，丢分区不好找，软raid是丢分区。听声就知道好坏，有先兆即使换就行。宿主机os盘和配置（其他虚拟机的os）分硬盘放，不需要raid。谁坏换谁，能配置虚拟化了迁移恢复都省事。
硬raid性能好是因为有电池和内存，但是没必要，因为宿主机的os随便重装就行，数据盘玩raid有点浪费切ssd做raid条带化减寿命严重。第一句就说了快坏能规避。
到了分区层，要稳定ext4，要性能xfs。其他什么牛鬼蛇神无非是内存加速，天花乱坠各凭本事，意外断电丢次分区就老实。

最后说下性能，需求如果是文件服务器，看并发。家用，直通不直通没啥区别。你家3个人同时看4k电影才多少带宽，都是顺序读大文件。
需求如果是数据库，要4k读小文件，跟hdd没啥关系肯定放ssd上。直通比虚拟化的性能好1/4到1/3 的样子吧。
需求如果是服务不是存储，硬盘更没需求了。服务器操作系统基本在liunx的内存里，操作系统会优化不会有瓶颈。弄个单独的网卡直通网卡给他用。

YsHaNg

我就是 没啥问题

anonymz

nagashinn 发表于 2025-1-10 19:51
能不玩软raid就别玩。硬盘不是一下就坏的，丢文件能找，丢分区不好找，软raid是丢分区。听声就知道好坏，有 ...

emm 你说的是 hdd 吧，nvme 硬 raid 感觉不太好弄，坏之前也没有声音征兆

anonymz

YsHaNg 发表于 2025-1-10 20:08
我就是 没啥问题

谢谢分享

YsHaNg

anonymz 发表于 2025-1-10 13:36
谢谢分享

多提一嘴别的 raid1算是坑最少的 5/6就会有sata trim问题 大部分民用ssd不支持DRAT/RZAT 比如mx500 这种情况在nvme协议比较少 很早就作为必选加入协议了 而且还有btrfs raid5/6的writehole问题（6.2kernel fix raid5大部分问题）

海皇牙

你主板是不是intel的，农板就算了，是的话直接主板raid1吧，反正你用win server，RST套件直接就可以用，这可是windows福利啊，不用白不用。如果是esxi pve，rst驱动很难弄，我找到了intel 虚拟raid对esxi的技术支持文档，但研究了半天还是无从下手。我的龟星主板BIOS坏了之后，对intel raid1信任度上升很多，主板换完，一个硬盘不把ahci切换raid模式也是直接可以用的，两个硬盘开raid模式直接就能重建阵列，虽然会提示切换raid模式后数据会被删除，但重启完，直接恢复成raid1模式了，数据一点也不丢。我估计主板那个提醒是针对raid0的。

但你用intel主板组raid1，有些pe是没有rst驱动的，如果有进pe维护需要，这点需要注意

anonymz

海皇牙 发表于 2025-1-10 21:51
你主板是不是intel的，农板就算了，是的话直接主板raid1吧，反正你用win server，RST套件直接就可以用，这 ...

是农。。

anonymz

YsHaNg 发表于 2025-1-10 21:43
多提一嘴别的 raid1算是坑最少的 5/6就会有sata trim问题 大部分民用ssd不支持DRAT/RZAT 比如mx500 这种 ...

话说你是直接在 PVE 上用的 btrfs 吗？

我有点想直通进 Linux VM，再在它上面用 btrfs (更新的内核，更自由的发行版选择... 好吧好像还是难以 justify 这个别扭的方案)，但是看了一些资料，即便直通 4k 性能也会受损。

海皇牙

anonymz 发表于 2025-1-10 22:02
是农。。

哪只能在系统里面折腾了

YsHaNg

anonymz 发表于 2025-1-10 14:03
话说你是直接在 PVE 上用的 btrfs 吗？

我有点想直通进 Linux VM，再在它上面用 btrfs (更新的内核，更 ...

bare linux 现在是unraid pool 用docker lxc

anonymz

YsHaNg 发表于 2025-1-10 22:41
bare linux 现在是unraid pool 用docker lxc

看了一圈确实 bare metal is best...

lyys

有没有哪个分区能做N物理盘合并成1个逻辑盘，还能随时拆散，不会一盘嗝屁全家死光那种？

YsHaNg

lyys 发表于 2025-1-10 15:16
有没有哪个分区能做N物理盘合并成1个逻辑盘，还能随时拆散，不会一盘嗝屁全家死光那种？ ...

jbod没有容错 unraid snapraid有容错

lyys

YsHaNg 发表于 2025-1-11 00:08
jbod没有容错 unraid snapraid有容错

搜了一下win下面有个 Stablebit DrivePool

YsHaNg

lyys 发表于 2025-1-10 16:51
搜了一下win下面有个 Stablebit DrivePool

对 这个有parity容错 但不是实时的 定时同步 对性能影响比unraid小