【教程】如何打造一台时髦的NAS（NVMeof/RDMA/虚拟化集群）

lij407

Dolfin 发表于 2024-11-28 19:09
详见BruceLee的帖子

SMB再次提升，4GB/s达成，再次更新，突破5GB/s

感谢兄弟，去学习学习！

cecini

不错。正计划弄个linux 下的基于rdma 的nas。一个nas服务器 一个客户端 dac直连 后面再考虑弄个交换机。
那几个网卡哪个功耗低？

bunnymickey

可以参考，但是我没那么大的吞吐量，用不到。

goat

网仙 发表于 2024-11-27 23:54
没看太明白具体逻辑，楼主能描述的直观一点么？
SPDK是提供SMB服务，调配3个winserver的资源的意思？

性能不够换网卡，再不行转闪存，然后换协议。
LZ这是已经都折腾过了...应该吧

Dolfin

cecini 发表于 2024-11-29 23:20
不错。正计划弄个linux 下的基于rdma 的nas。一个nas服务器 一个客户端 dac直连 后面再考虑弄个交换机。
那 ...

https://docs.nvidia.com/networking/display/connectx6dxenocp3/specifications

英伟达docs hub是有各型号详细功耗的，包括待机和活动情况下的

网仙

goat 发表于 2024-11-30 00:08
性能不够换网卡，再不行转闪存，然后换协议。
LZ这是已经都折腾过了...应该吧 ...

之前我关注过Microsoft Storage Spaces Direct (S2D)；大概跟楼主讲的是一个意思。就是这个：
https://learn.microsoft.com/en-u ... ces-direct-overview
这里有搭建步骤，
https://learn.microsoft.com/zh-c ... orage-spaces-direct
不过楼主突出的是nvme-off.

我是感觉这种玩法可靠性比较低，学习成本比较高。没有足够的系统层的可靠保障，以及故障的冗余处理，产品的可用性大大降低。

我目前的方案是windows server下，直接7盘U.2组raid5，跑满100G网卡没啥难度；这速度也差不多了，IOPS也够用。
12个20TB的hc560组raid5或者raid6，带4G缓存的硬阵列，基本跑满单线25G网卡，容量也够了。
同时为SSD阵列设置增量备份，每天凌晨备份至HDD物理硬阵列。然后物理阵列中的重要资料，会再次增量备份到另一台群晖DS1821(SHR2).

以上结合起来，速度与容量兼备，基本能满足一个中型工作室几十个人的日常使用需求。


如果还想继续折腾，可以HDD-SSD做分层存储。当然，我没有搞，因为这玩意在故障后的救援和维护可能很麻烦，学习成本高。




百花齐放才是春，
当然折腾探索的道路上，各种玩法都可以尝试一下，玩的开心就好。

Bloodyevil

几年前挖AR币时用几台服务器装ubuntu+iser组过分布式SSD存储，跑满56G没问题。

Dolfin

网仙 发表于 2024-11-30 21:50
之前我关注过Microsoft Storage Spaces Direct (S2D)；大概跟楼主讲的是一个意思。就是这个：
https://le ...

S2D是适合超融合的一种软件定义存储，本质是拉通每个节点的机内存储，对缓存和分层支持的也比较好。我的试验是集中存储，所有节点都直连集群节点，类似NVME IP SAN，还是不太一样的。

S2D是WS datacenter版的独占功能，也是专为企业故障转移集群服务的，配置得当的话，可靠性是有保障的。

我的偏好是SMB下的高IOPS，所以选了这个路线。旧设备，两块盘，一台机，推个好数字，做个试验。

如果是工作室的生产存储的实际场景，那就是根据需求选方案，和推数字肯定不一样了，谢谢分享，很好的方案，是全套的思路。

网仙

Dolfin 发表于 2024-12-1 00:32
S2D是适合超融合的一种软件定义存储，本质是拉通每个节点的机内存储，对缓存和分层支持的也比较好。我的 ...

我也在探索简洁高效，容易维护的SMB共享方案，单机实现或者少量虚拟机实现，关键是相对独立，有一定的可靠性，容易后续维护。

兄弟有推荐的方案么，我是全U.2的ssd.