Chiphell - 分享与交流用户体验

标题: 【教程】如何打造一台时髦的NAS（NVMeof/RDMA/虚拟化集群） [打印本页]
作者: Dolfin    时间: 2024-11-27 23:17
标题: 【教程】如何打造一台时髦的NAS（NVMeof/RDMA/虚拟化集群）
本帖最后由 Dolfin 于 2024-11-28 09:43 编辑

虎头

故事从二元对立的主题展开，搞清对新技术的崇尚与真实应用的边界。高性能存储像是个极具吸引力的对象，类比黑客帝国里的矩阵系统，看似拥有无尽的可能性以满足任何负载，读一读那些顶尖存储的广告语，足以符合完美期望。

上一年，我迎来头猛兽（EPYC 9004 / NVMe RAID / 100GbE / RDMA 全闪NAS搭建与测试分享），这一年的碎片相处，从驯服到榨干的过程就围绕着：选择何种操作系统，选择何种存储方式，搭建何种存储结构，如何最大化发挥性能这些朴实又充满争议的话题。

(, 下载次数: 76)


整活儿

存储性能基本就围绕三个指标，吞吐 / IOPS / 延迟，跨平台的话还涉及到兼容及易用性，SMB是我的首选。NFSoRDMA的吞吐优秀，不过在实验中极限IOPS差强人意（SMB / NFS /NVMf 不严谨的性能比较）。关于Linux下的SMB，小文件随机读写性能不足，这一点我向KSMBD的作者Namjae Jeon了解，他的看法也是Linux SMB RDMA模式并不适合小文件IO，而同样是Samba Team的Stefan Metzmacher也回复我由于现有vfs_io_uring 未使用 IOSQE_ASYNC，所以更优的Samba IO_uring的性能也受到限制。那么，现在对SMB支持最全面最优化的Windows，就是解法。在RDMA Direct和Multichannel支持下吞吐可轻松超过200Gbps, IOPS达600,000。

在（一个NAS SMB传输的神奇发现）的探索中，我发现单台Windows SMB文件服务器IOPS存在上限，那就横向扩展，集群化，Windows 横向扩展文件服务器（SOFS）就是今天我要一步步分享的。同时，我需要SPDK NVMe-oF Target 作为SOFS的后端存储，而为了榨干硬件，我要把它们全部装进虚拟机，运行在一台裸金属上。

(, 下载次数: 79)

图示存储网格有如下特征

1.物理机3台，1台作为虚拟化存储服务器，2台作为客户端从该存储读写。存储服务器运行4台虚拟机：VM1 Ubuntu SPDK NVMf Target / VM2 Windows Server 2022 故障转移集群节点1 / VM3 Windows Server 2022 节点2 / VM4 DNS 服务器。

2.虚拟存储服务器硬件为X299 / 7960X（16C 32T）/ 128GB Ram / KIOXIA CM6 960GB*2（PCIe 3.0）模式 / ConnectX 40GbE 网卡多张；客户端1 7945HX / 64GB Ram / ConnectX 6 双口；客户端2 EPYC 9124 / 32GB Ram / ConnectX 5 双口。

3.交换机为Nvidia SX6012 12口40GbE 。

4.VM1 PCIe直通ConnectX4 * 2 / CM6 960GB *2 ；VM2及VM3 分别直通 ConnectX4（连接NVMe-oF）/ ConnectX3 Pro （连接客户端）


群集存储性能

来自客户端的IO请求，会被分摊到两个群集节点。另外，受虚拟化的影响，X299 PCIe通道数的限制以及PCIe 3.0的限制，性能会有不少损耗。

4K 随机读取 1,000,000 IOPS
(, 下载次数: 88)

1024K 顺序读取 100Gbps
(, 下载次数: 72)


为什么要使用Windows横向扩展文件服务器（SOFS）？

1. 同时活动共享和透明故障转移
SOFS 通过同时活动共享实现“横向扩展”，所有集群节点可同时访问 CA（持续可用性）共享，避免了单点托管。CSV（集群共享卷）会自动将用户请求重定向到正确的存储节点。如果节点发生故障，SMB 透明故障转移可立即将连接切换至其他节点，确保高可用性。

2. 提高带宽利用率
SOFS 利用所有节点的聚合网络吞吐量，增加节点即可提升总带宽。通过 SMB 多通道和 SMB Direct（RDMA），优化客户端与服务器的连接，减少节点上的 CPU 使用率，进一步提升性能。

3. 简化共享管理
SOFS 通过主动-主动节点架构简化了共享管理，无需平衡各节点的工作负载。所有服务器都能同时提供服务，避免传统主动-被动共享的复杂性。Windows Server 提供了统一的管理工具，使管理更加高效和直观。


为什么要使用NVMe-oF 作为SOFS的存储？

1.在 SOFS 中，磁盘所有权通过 SCSI SPC-3 的“持久预留”（PRs）管理，单节点拥有磁盘，其他节点需请求所有权才能访问，切换所有权会导致短暂停机。引入集群共享卷（CSV）后，多节点可同时访问同一存储，磁盘对所有节点表现为本地卷，CSV 简化了存储管理，减少所需磁盘数量。非拥有节点通过直接 I/O 或 SMB 协议访问磁盘，读写操作使用直接 I/O，其他操作通过 SMB 发送至拥有节点完成。

2.CSV允许多个节点同时访问共享存储，由协调节点（拥有物理磁盘资源的节点）负责同步元数据变更。非协调节点通过直接 I/O 或 SMB 与存储交互。CSV 提供三种 I/O 模式：直接模式，节点直接访问存储，性能最高；文件系统重定向模式，I/O 通过 SMB 重定向至协调节点；块重定向模式，在故障时直接通过 SMB 访问存储子系统，性能较高。

3.在 CSV 环境中，两个节点通过 NVMe-oF 直接访问共享存储时，都可处于直接模式（Direct Mode），无需依赖协调节点。NVMe-oF 提供独立的高性能存储路径，使节点直接读写底层存储，绕过传统协议栈和 SMB 重定向。协调节点仅负责元数据管理，实际 I/O 全部通过独立路径完成，提升性能并减少延迟。这种配置充分利用 NVMe-oF 的优势，实现高效并发访问，同时降低协调节点负载。

双节点都处在直接模式下连接CSV
(, 下载次数: 89)


如何搭建NVMe-oF Target作为SOFS存储？

(, 下载次数: 75)

在ubuntu下编译后SPDK后，创建NVMe-oF Target的命令如下，因为要为SOFS多节点做存储，所以要添加上主动-主动 / 多通道 / 轮询的命令

  2. sudo modprobe nvme_rdma
复制代码
加载内核模块 nvme_rdma，为 RDMA 协议下的 NVMe-oF 提供支持。RDMA（远程直接内存访问）允许高效的网络数据传输，减少 CPU 负载和延迟。

  2. echo 0000:00:1c.0 | sudo tee /sys/bus/pci/devices/0000:00:1c.0/driver/unbind
复制代码
卸载 PCI 设备 0000:00:1c.0 的驱动程序，从系统内核中释放该设备，以便后续由 SPDK 接管控制。

  2. echo 0000:00:11.0 | sudo tee /sys/bus/pci/devices/0000:00:11.0/driver/unbind
复制代码
卸载 PCI 设备 0000:00:11.0 的驱动程序，从系统内核中释放该设备，以便后续由 SPDK 接管控制。

  2. sudo scripts/setup.sh
复制代码
初始化 SPDK 环境，加载所需内核模块，配置大页内存（HugePages）并准备直接硬件访问环境。

  2. sudo build/bin/nvmf_tgt -m 0x3 &
复制代码
启动 SPDK 的 NVMe-oF 目标服务（nvmf_tgt）。-m 0x3 指定服务绑定到 CPU 核心 0 和 1（CPU 位掩码为 0x3）。

  2. sudo scripts/rpc.py nvmf_create_transport -t RDMA
复制代码
创建一个 RDMA 类型的 NVMe-oF 传输服务，用于定义客户端与目标设备之间的通信方式。

  2. sudo scripts/rpc.py bdev_nvme_attach_controller -b NVMe1 -t PCIe -a 0000:00:11.0
复制代码
通过 SPDK 添加 PCI 地址为 0000:00:11.0 的 NVMe 设备作为控制器。-b NVMe1 为设备指定名称，-t PCIe 表示使用 PCIe 协议。

  2. sudo scripts/rpc.py bdev_nvme_attach_controller -b NVMe2 -t PCIe -a 0000:00:1c.0
复制代码
通过 SPDK 添加 PCI 地址为 0000:00:1c.0 的 NVMe 设备作为控制器。-b NVMe2 为设备指定名称，-t PCIe 表示使用 PCIe 协议。

  2. sudo scripts/rpc.py bdev_nvme_set_multipath_policy -b NVMe1n1 -p active_active -s round_robin -r 10
复制代码
为 NVMe 设备 NVMe1n1 配置多路径策略。-p active_active 启用主动-主动模式，-s round_robin 设置路径选择为轮询，-r 10 指定路径切换间隔为 10 次 I/O。

  2. sudo scripts/rpc.py bdev_nvme_set_multipath_policy -b NVMe2n1 -p active_active -s round_robin -r 10
复制代码
为 NVMe 设备 NVMe2n1 配置多路径策略。-p active_active 启用主动-主动模式，-s round_robin 设置路径选择为轮询，-r 10 指定路径切换间隔为 10 次 I/O。

  2. sudo scripts/rpc.py bdev_raid_create -n MyRaid0 -z 128 -r raid0 -b “NVMe2n1 NVMe1n1”
复制代码
创建一个 RAID-0 设备，名称为 MyRaid0，条带大小为 128KB。-r raid0 指定 RAID 类型为 RAID-0，-b "NVMe2n1 NVMe1n1" 添加 NVMe1 和 NVMe2 的命名空间作为 RAID 成员。

  2. sudo scripts/rpc.py nvmf_create_subsystem nqn.2016-06.io.spdk:cnode1 -a -s SPDK00000000000001 -d SPDK_Controller -r
复制代码
创建一个 NVMe-oF 子系统，名称为 nqn.2016-06.io.spdk:cnode1。-a 启用身份验证，-s SPDK00000000000001 设置序列号，-d SPDK_Controller 设置描述，-r 启用远程访问。

  2. sudo scripts/rpc.py nvmf_subsystem_add_ns nqn.2016-06.io.spdk:cnode1 MyRaid0
复制代码
将 RAID-0 设备 MyRaid0 添加为子系统 nqn.2016-06.io.spdk:cnode1 的命名空间。

  2. sudo scripts/rpc.py nvmf_subsystem_add_listener nqn.2016-06.io.spdk:cnode1 -t RDMA -a 192.168.77.16 -s 4420
复制代码
为子系统 nqn.2016-06.io.spdk:cnode1 添加一个 RDMA 类型的监听器，监听地址为 192.168.77.16，端口为 4420。

  2. sudo scripts/rpc.py nvmf_subsystem_add_listener nqn.2016-06.io.spdk:cnode1 -t RDMA -a 192.168.78.16 -s 4420
复制代码
为子系统 nqn.2016-06.io.spdk:cnode1 添加另一个 RDMA 类型的监听器，监听地址为 192.168.78.16，端口为 4420。


如何让SOFS节点挂载NVMe-oF LUN？

1.使用Starwind NVMe-oF initiator，它有免费许可。

2.挂载命令为

  2. StarNVMeoF_Ctrl.exe insert_tcp 192.168.77.16:4420 192.168.77.3 nqn.2016-06.io.spdk:cnode1 SW_10
复制代码

StarNVMeoF_Ctrl.exe insert_tcp 命令通过 TCP 协议将客户端（192.168.77.3）连接到 NVMe-oF 目标端点（192.168.77.16:4420），注册子系统 nqn.2016-06.io.spdk:cnode1，该子系统由 SPDK 定义，用于识别目标存储设备。会话名称 SW_10 用于标识和管理此次连接。

3.一些时候节点重启后未能自动挂载，或者挂载失败的时候，可以尝试remove命令移除，再重新挂载。


如何创建SOFS？

1.在Windows Server下，不使用AD的情况下，可以使用工作组集群，它允许两个或更多节点作为工作组服务器加入，而无需域控制器或 Active Directory 林。工作组集群不加入域，而是通过工作组模式运行，但仍需要使用 DNS。传统的故障转移集群通常依赖 Active Directory 提供身份服务和管理，而工作组集群提供集中式身份和高安全性，保持应用的高可用性，同时无需使用 AD。

2.两个节点需要使用同样的帐户密码，加入同一个工作组，如果未使用内置管理员账户，需要在注册表中设置 LocalAccountTokenFilterPolicy。
  1. New-itemproperty -path HKLM:\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System –Name LocalAccountTokenFilterPolicy -Value 1​
复制代码
将每个节点添加为受信任的主机。修改 TrustedHosts 文件，添加需要连接本地机器的服务器。可以通过主机名、域名或 IP 地址添加受信任主机，星号代表信任所有主机
  1. Set-Item WSMan:\localhost\Client\TrustedHosts -Value "*" -force
复制代码


3.DNS服务器
DNS的设定在SOFS里极其重要，在DNS服务器中为每个节点添加解析，同时节点的计算机名中要添加DNS后缀。因为DNS的错误配置，我卡了两个月的时间。

4.在每个节点上添加故障转移服务器功能，并创建故障转移群集，添加存储，将存储转换为CSV，添加横向扩展服务器角色，添加IP资源，添加共享。这里我就一代而过了，因为前面步骤正确，后面就很顺利，否则，每一步都可能进行不下去。


蛇尾

写到这里，应该是搭建出了一个SMB集群雏形，看起来自带那些漂亮的技术名词，虚拟化集群 / SPDK / NVMe-oF / RDMA，还有亮眼的性能和低廉的成本，最大化了硬件的使用。使用SOFS收益最大的场景应该是Hyper-V / SQL / VDI 这类负载，或者说非元数据密集型负载。当然我放些虚拟机（虚拟机上跑PCMark这种Trace存储测试性能还是不错的，不要只盯着CDM FIO这种合成测试）顺道做个文件共享也是合适。其实我还是不知道可以拿它来做什么，就拿无数次踩坑的案例，分享给大家。

后续实验：
1.虚拟化下的RDMA稳定性优化
2.SPDK装进DPU和一系列的玩法
3.SRIOV来省几张网卡
4.SOFS的性能调优



作者: archxm    时间: 2024-11-27 23:19
一大堆什么玩意，不接地气。
就一句，低压u 装win10 开smb 共享即可。
作者: gbawrc    时间: 2024-11-27 23:35
提示: 作者被禁止或删除 内容自动屏蔽
作者: 网仙    时间: 2024-11-27 23:54
本帖最后由 网仙 于 2024-11-28 00:02 编辑

没看太明白具体逻辑，楼主能描述的直观一点么？
SPDK是提供SMB服务，调配3个winserver的资源的意思？

在我看来，家用场景及非专业小工作室场景，中小企业场景，力大飞砖就好，太复杂了不利于维护，可靠性也不好保障，下次再来整的时候，又得重新研究学习一遍。
作者: yan1990_y    时间: 2024-11-28 00:00
gbawrc 发表于 2024-11-27 23:35
啥玩意，买个双2.5G网卡的B365主板加一颗任意1151的CPU内网共享都够用

折腾这半天，最后想说一句，就这？
作者: weston    时间: 2024-11-28 00:28
牛逼，非常牛逼
作者: mkkkno1    时间: 2024-11-28 02:10
虚拟集群提高io吞吐量，但是双活的冗余性在一台物理机上就打了折扣；双物理机效能怎么样，dns看来是关键服务，是不是也搞个冗余。
作者: 叮叮炒面    时间: 2024-11-28 08:47
看不懂牛比就完了
作者: Dolfin    时间: 2024-11-28 09:20
网仙 发表于 2024-11-27 23:54
没看太明白具体逻辑，楼主能描述的直观一点么？
SPDK是提供SMB服务，调配3个winserver的资源的意思？

由两台Windows Server组成的横向扩展文件群集，都连接一个集中存储。SPDK起到了 NVME IP SAN的作用
作者: JasonGreen    时间: 2024-11-28 09:21
真要在家里搭数据中心啊
作者: 总是感冒    时间: 2024-11-28 09:25
专业人士
作者: archxm    时间: 2024-11-28 09:26
mkkkno1 发表于 2024-11-28 02:10
虚拟集群提高io吞吐量，但是双活的冗余性在一台物理机上就打了折扣；双物理机效能怎么样，dns看来是关键服 ...

再花三千请一个兼职运维
作者: pdvc    时间: 2024-11-28 09:35
这功耗得多少
作者: mkkkno1    时间: 2024-11-28 09:46
archxm 发表于 2024-11-28 09:26
再花三千请一个兼职运维

什么意思？你是看不起，觉得别人都是sb；还是觉得别人做的事情都是垃圾？回复多少带点信息，别全是情绪，特别单独回复的时候，你礼貌么？
作者: archxm    时间: 2024-11-28 10:14
mkkkno1 发表于 2024-11-28 09:46
什么意思？你是看不起，觉得别人都是sb；还是觉得别人做的事情都是垃圾？回复多少带点信息，别全是情绪， ...

没啊，有不少员工处于打杂状态，啥事都会干，这当然没问题了。
家用，还得整这些就太麻烦了。如果各种数据太多，又很有钱，可不得请个运维么
作者: tasagapro    时间: 2024-11-28 10:18
真是一大堆莫名其妙的东西
一台时髦的NAS：请购买DELL PowerScale F910
作者: Dolfin    时间: 2024-11-28 10:22
mkkkno1 发表于 2024-11-28 02:10
虚拟集群提高io吞吐量，但是双活的冗余性在一台物理机上就打了折扣；双物理机效能怎么样，dns看来是关键服 ...


这个实验就像个存储AIO，把块存储/文件存储都装进去，所以一样会有All in Boom的隐患，可以通过7*24高负载压力测试。不过在NVMe-oF这块，虚拟环境下RDMA确实容易故障，因为这是个很底层的技术。真实使用，或者用于业务环境的话，都应该做冗余。

关于效能，存储服务器这边的压力不大，来自客户端这边实际的大文件拷贝任务，4GB/s，存储这边会有30%的CPU占有率（2017年的16核）。其实就当是个网卡和硬盘多点的虚拟机平台就好了。
作者: chip_discovery    时间: 2024-11-28 10:26
鉴定完毕，这不是我能玩得起的（指技术门槛和银子）
用8代i5组的万兆NAS已经足够我用了，还好有chatG*P*T,好多刁钻的问题靠自己搜索真的是到现在估计都解决不了
作者: Dolfin    时间: 2024-11-28 10:29
本帖最后由 Dolfin 于 2024-11-28 10:57 编辑
tasagapro 发表于 2024-11-28 10:18
真是一大堆莫名其妙的东西
一台时髦的NAS：请购买DELL PowerScale F910


你知道PowerScale F910要最少需要3台才能用，且不支持SMB RDMA吗？
作者: brucelee1126    时间: 2024-11-28 10:29
lz之前发的贴，初看都看不懂，但是到了后面自己折腾，再去看就能get到知识点，lz这一贴，我目前看不懂，硬件没搭齐，不具备实操条件，理论更是空白，等将来摊子搭起来再来研习
作者: tasagapro    时间: 2024-11-28 10:32
Dolfin 发表于 2024-11-28 10:29
你知道PowerScale F910要最少需要3台才能用，且不支持SMB RDMA吗？

你知道英伟达AI集群演示用的都是powerscale吗
SMB RDMA这种场景有人用？现在哪个AI训练集群用SMB？
作者: Dolfin    时间: 2024-11-28 10:43
tasagapro 发表于 2024-11-28 10:32
你知道英伟达AI集群演示用的都是powerscale吗
SMB RDMA这种场景有人用？现在哪个AI训练集群用SMB？ ...

(, 下载次数: 73)


英伟达AI训练用Powerscale所以我就要用了？

SMB RDMA 没人用了？还有你怎么这么机灵发现我要AI训练了？
作者: Dolfin    时间: 2024-11-28 13:37
本帖最后由 Dolfin 于 2024-11-28 13:41 编辑
brucelee1126 发表于 2024-11-28 10:29
lz之前发的贴，初看都看不懂，但是到了后面自己折腾，再去看就能get到知识点，lz这一贴，我目前看不懂，硬 ...


大家都是动手动脑，看数字从3到4再推到5GB/s就兴奋的人。我这套组合你可能就缺台口多点的交换机，话说你的Nvme全闪h1290fx搞出什么新玩法了吗？
作者: qq775812376    时间: 2024-11-28 15:38
用的DS918+ 一直没出过问题
作者: xinxin1982    时间: 2024-11-28 15:45
还好暂无这个级别的需求~~楼主玩的路很宽哈~~
作者: mdeu    时间: 2024-11-28 15:52
炫酷到没太看懂。。
作者: yan1990_y    时间: 2024-11-28 16:03
brucelee1126 发表于 2024-11-28 10:29
lz之前发的贴，初看都看不懂，但是到了后面自己折腾，再去看就能get到知识点，lz这一贴，我目前看不懂，硬 ...

就是企业级的方案放在家用了，我在公司搞这些交付都搞吐了
作者: Johnsnow-s    时间: 2024-11-28 17:54
火钳刘明，学习ing
作者: lij407    时间: 2024-11-28 18:29
Dolfin 发表于 2024-11-28 13:37
大家都是动手动脑，看数字从3到4再推到5GB/s就兴奋的人。我这套组合你可能就缺台口多点的交换机，话说你 ...

可惜没有你这个技术，我对5GB/S比较感兴趣
作者: Dolfin    时间: 2024-11-28 19:09
lij407 发表于 2024-11-28 18:29
可惜没有你这个技术，我对5GB/S比较感兴趣

详见BruceLee的帖子

SMB再次提升，4GB/s达成，再次更新，突破5GB/s
作者: lij407    时间: 2024-11-28 19:12
Dolfin 发表于 2024-11-28 19:09
详见BruceLee的帖子

SMB再次提升，4GB/s达成，再次更新，突破5GB/s

感谢兄弟，去学习学习！
作者: cecini    时间: 2024-11-29 23:20
不错。正计划弄个linux 下的基于rdma 的nas。一个nas服务器 一个客户端 dac直连 后面再考虑弄个交换机。
那几个网卡哪个功耗低？
作者: bunnymickey    时间: 2024-11-29 23:32
可以参考，但是我没那么大的吞吐量，用不到。
作者: goat    时间: 2024-11-30 00:08
网仙 发表于 2024-11-27 23:54
没看太明白具体逻辑，楼主能描述的直观一点么？
SPDK是提供SMB服务，调配3个winserver的资源的意思？

性能不够换网卡，再不行转闪存，然后换协议。
LZ这是已经都折腾过了...应该吧
作者: Dolfin    时间: 2024-11-30 20:59
cecini 发表于 2024-11-29 23:20
不错。正计划弄个linux 下的基于rdma 的nas。一个nas服务器 一个客户端 dac直连 后面再考虑弄个交换机。
那 ...

https://docs.nvidia.com/networking/display/connectx6dxenocp3/specifications

英伟达docs hub是有各型号详细功耗的，包括待机和活动情况下的
作者: 网仙    时间: 2024-11-30 21:50
本帖最后由 网仙 于 2024-12-1 00:40 编辑
goat 发表于 2024-11-30 00:08
性能不够换网卡，再不行转闪存，然后换协议。
LZ这是已经都折腾过了...应该吧 ...


之前我关注过Microsoft Storage Spaces Direct (S2D)；大概跟楼主讲的是一个意思。就是这个：
https://learn.microsoft.com/en-u ... ces-direct-overview
这里有搭建步骤，
https://learn.microsoft.com/zh-c ... orage-spaces-direct
不过楼主突出的是nvme-off.

我是感觉这种玩法可靠性比较低，学习成本比较高。没有足够的系统层的可靠保障，以及故障的冗余处理，产品的可用性大大降低。

我目前的方案是windows server下，直接7盘U.2组raid5，跑满100G网卡没啥难度；这速度也差不多了，IOPS也够用。
12个20TB的hc560组raid5或者raid6，带4G缓存的硬阵列，基本跑满单线25G网卡，容量也够了。
同时为SSD阵列设置增量备份，每天凌晨备份至HDD物理硬阵列。然后物理阵列中的重要资料，会再次增量备份到另一台群晖DS1821(SHR2).

以上结合起来，速度与容量兼备，基本能满足一个中型工作室几十个人的日常使用需求。


如果还想继续折腾，可以HDD-SSD做分层存储。当然，我没有搞，因为这玩意在故障后的救援和维护可能很麻烦，学习成本高。




百花齐放才是春，
当然折腾探索的道路上，各种玩法都可以尝试一下，玩的开心就好。
作者: Bloodyevil    时间: 2024-11-30 22:24
几年前挖AR币时用几台服务器装ubuntu+iser组过分布式SSD存储，跑满56G没问题。
作者: Dolfin    时间: 2024-12-1 00:32
网仙 发表于 2024-11-30 21:50
之前我关注过Microsoft Storage Spaces Direct (S2D)；大概跟楼主讲的是一个意思。就是这个：
https://le ...

S2D是适合超融合的一种软件定义存储，本质是拉通每个节点的机内存储，对缓存和分层支持的也比较好。我的试验是集中存储，所有节点都直连集群节点，类似NVME IP SAN，还是不太一样的。

S2D是WS datacenter版的独占功能，也是专为企业故障转移集群服务的，配置得当的话，可靠性是有保障的。

我的偏好是SMB下的高IOPS，所以选了这个路线。旧设备，两块盘，一台机，推个好数字，做个试验。

如果是工作室的生产存储的实际场景，那就是根据需求选方案，和推数字肯定不一样了，谢谢分享，很好的方案，是全套的思路。
作者: 网仙    时间: 2024-12-27 09:21
Dolfin 发表于 2024-12-1 00:32
S2D是适合超融合的一种软件定义存储，本质是拉通每个节点的机内存储，对缓存和分层支持的也比较好。我的 ...

我也在探索简洁高效，容易维护的SMB共享方案，单机实现或者少量虚拟机实现，关键是相对独立，有一定的可靠性，容易后续维护。

兄弟有推荐的方案么，我是全U.2的ssd.
作者: Dolfin    时间: 2025-7-11 15:28
mkkkno1 发表于 2024-11-28 02:10
虚拟集群提高io吞吐量，但是双活的冗余性在一台物理机上就打了折扣；双物理机效能怎么样，dns看来是关键服 ...

我又回顾了一下我的实验，理顺一些思路：

1.关于结构
这是这个存算分离的实验，或者说Windows Server的角色是“文件存储服务网关”，它后端的SPDK NVME-of提供的是块存储。而这种分离的结构，同样可以适配其他的前端，块存储都在后端，前端也可以是虚拟机服务器 / RAG服务器 / iSCSI Target服务器或者 TrueNAS，FNOS这种其他的文件服务器。

2.关于双活
涉及到文件存储服务器的双活以及块存储的双活，如果是物理机，那就物理双活，是虚拟机，就虚拟机双活。当然在Windows存储集群中，DNS服务器很关键，所以它是要双活的。

3.关于双物理机效能
应该和虚拟机差异不大，因为Windows SMB服务的设计，可能并不是给高并发准备的，那么把WS直接安装在物理机上，无法充分利用全部硬件资源，这也是为什么要放在虚拟化环境的原因。



作者: tyy474    时间: 2025-7-11 15:56
反正字多就很厉害，虽然看不懂
作者: lo96    时间: 2025-7-11 16:19
archxm 发表于 2024-11-27 23:19
一大堆什么玩意，不接地气。
就一句，低压u 装win10 开smb 共享即可。

合格的二楼~~~
作者: mkkkno1    时间: 2025-7-11 17:56
Dolfin 发表于 2025-7-11 15:28
我又回顾了一下我的实验，理顺一些思路：

1.关于结构

感谢分享！
作者: mosigan    时间: 2025-7-14 10:35
Dolfin 发表于 2025-7-11 15:28
我又回顾了一下我的实验，理顺一些思路：

1.关于结构

楼主水平很高，有没有尝试分布式对象的架构，目前看来传统raid方案不可能太适合nand ssd的模式，想到ssd的写入放大就不太放心
作者: Dolfin    时间: 2025-7-14 11:37
mosigan 发表于 2025-7-14 10:35
楼主水平很高，有没有尝试分布式对象的架构，目前看来传统raid方案不可能太适合nand ssd的模式，想到ssd ...

有想过，尚未做过。

分布式对于存储性能在横向扩展潜力 / RAID写放大 / RAID控制器瓶颈 都有帮助，不过收益也是随着存储规模扩大增加的。

后面有想试试搭个ARM的IBM Storage Scale，谢谢启发



欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/) Powered by Discuz! X3.5