【教程】如何打造一台时髦的NAS（NVMeof/RDMA/虚拟化集群）

lij407

Dolfin 发表于 2024-11-28 19:09
详见BruceLee的帖子

SMB再次提升，4GB/s达成，再次更新，突破5GB/s

感谢兄弟，去学习学习！

cecini

不错。正计划弄个linux 下的基于rdma 的nas。一个nas服务器 一个客户端 dac直连 后面再考虑弄个交换机。
那几个网卡哪个功耗低？

bunnymickey

可以参考，但是我没那么大的吞吐量，用不到。

goat

网仙 发表于 2024-11-27 23:54
没看太明白具体逻辑，楼主能描述的直观一点么？
SPDK是提供SMB服务，调配3个winserver的资源的意思？

性能不够换网卡，再不行转闪存，然后换协议。
LZ这是已经都折腾过了...应该吧

Dolfin

cecini 发表于 2024-11-29 23:20
不错。正计划弄个linux 下的基于rdma 的nas。一个nas服务器 一个客户端 dac直连 后面再考虑弄个交换机。
那 ...

https://docs.nvidia.com/networking/display/connectx6dxenocp3/specifications

英伟达docs hub是有各型号详细功耗的，包括待机和活动情况下的

网仙

goat 发表于 2024-11-30 00:08
性能不够换网卡，再不行转闪存，然后换协议。
LZ这是已经都折腾过了...应该吧 ...

之前我关注过Microsoft Storage Spaces Direct (S2D)；大概跟楼主讲的是一个意思。就是这个：
https://learn.microsoft.com/en-u ... ces-direct-overview
这里有搭建步骤，
https://learn.microsoft.com/zh-c ... orage-spaces-direct
不过楼主突出的是nvme-off.

我是感觉这种玩法可靠性比较低，学习成本比较高。没有足够的系统层的可靠保障，以及故障的冗余处理，产品的可用性大大降低。

我目前的方案是windows server下，直接7盘U.2组raid5，跑满100G网卡没啥难度；这速度也差不多了，IOPS也够用。
12个20TB的hc560组raid5或者raid6，带4G缓存的硬阵列，基本跑满单线25G网卡，容量也够了。
同时为SSD阵列设置增量备份，每天凌晨备份至HDD物理硬阵列。然后物理阵列中的重要资料，会再次增量备份到另一台群晖DS1821(SHR2).

以上结合起来，速度与容量兼备，基本能满足一个中型工作室几十个人的日常使用需求。


如果还想继续折腾，可以HDD-SSD做分层存储。当然，我没有搞，因为这玩意在故障后的救援和维护可能很麻烦，学习成本高。




百花齐放才是春，
当然折腾探索的道路上，各种玩法都可以尝试一下，玩的开心就好。

Bloodyevil

几年前挖AR币时用几台服务器装ubuntu+iser组过分布式SSD存储，跑满56G没问题。

Dolfin

网仙 发表于 2024-11-30 21:50
之前我关注过Microsoft Storage Spaces Direct (S2D)；大概跟楼主讲的是一个意思。就是这个：
https://le ...

S2D是适合超融合的一种软件定义存储，本质是拉通每个节点的机内存储，对缓存和分层支持的也比较好。我的试验是集中存储，所有节点都直连集群节点，类似NVME IP SAN，还是不太一样的。

S2D是WS datacenter版的独占功能，也是专为企业故障转移集群服务的，配置得当的话，可靠性是有保障的。

我的偏好是SMB下的高IOPS，所以选了这个路线。旧设备，两块盘，一台机，推个好数字，做个试验。

如果是工作室的生产存储的实际场景，那就是根据需求选方案，和推数字肯定不一样了，谢谢分享，很好的方案，是全套的思路。

网仙

Dolfin 发表于 2024-12-1 00:32
S2D是适合超融合的一种软件定义存储，本质是拉通每个节点的机内存储，对缓存和分层支持的也比较好。我的 ...

我也在探索简洁高效，容易维护的SMB共享方案，单机实现或者少量虚拟机实现，关键是相对独立，有一定的可靠性，容易后续维护。

兄弟有推荐的方案么，我是全U.2的ssd.

Dolfin

mkkkno1 发表于 2024-11-28 02:10
虚拟集群提高io吞吐量，但是双活的冗余性在一台物理机上就打了折扣；双物理机效能怎么样，dns看来是关键服 ...

我又回顾了一下我的实验，理顺一些思路：

1.关于结构
这是这个存算分离的实验，或者说Windows Server的角色是“文件存储服务网关”，它后端的SPDK NVME-of提供的是块存储。而这种分离的结构，同样可以适配其他的前端，块存储都在后端，前端也可以是虚拟机服务器 / RAG服务器 / iSCSI Target服务器或者 TrueNAS，FNOS这种其他的文件服务器。

2.关于双活
涉及到文件存储服务器的双活以及块存储的双活，如果是物理机，那就物理双活，是虚拟机，就虚拟机双活。当然在Windows存储集群中，DNS服务器很关键，所以它是要双活的。

3.关于双物理机效能
应该和虚拟机差异不大，因为Windows SMB服务的设计，可能并不是给高并发准备的，那么把WS直接安装在物理机上，无法充分利用全部硬件资源，这也是为什么要放在虚拟化环境的原因。

tyy474

反正字多就很厉害，虽然看不懂

lo96

archxm 发表于 2024-11-27 23:19
一大堆什么玩意，不接地气。
就一句，低压u 装win10 开smb 共享即可。

合格的二楼~~~

mkkkno1

Dolfin 发表于 2025-7-11 15:28
我又回顾了一下我的实验，理顺一些思路：

1.关于结构

感谢分享！

mosigan

Dolfin 发表于 2025-7-11 15:28
我又回顾了一下我的实验，理顺一些思路：

1.关于结构

楼主水平很高，有没有尝试分布式对象的架构，目前看来传统raid方案不可能太适合nand ssd的模式，想到ssd的写入放大就不太放心

Dolfin

mosigan 发表于 2025-7-14 10:35
楼主水平很高，有没有尝试分布式对象的架构，目前看来传统raid方案不可能太适合nand ssd的模式，想到ssd ...

有想过，尚未做过。

分布式对于存储性能在横向扩展潜力 / RAID写放大 / RAID控制器瓶颈 都有帮助，不过收益也是随着存储规模扩大增加的。

后面有想试试搭个ARM的IBM Storage Scale，谢谢启发