找回密码
 加入我们
搜索
      
查看: 15408|回复: 42

[存储] U2大船做阵列的方案讨论

[复制链接]
发表于 2023-9-8 17:05 | 显示全部楼层 |阅读模式
我想把8个或者更多U2硬盘,做成Raid5或者RaidZ1阵列,兼顾速度和性价比的方案有哪些呢?
①硬Raid。Dell等服务器,使用支持NVMe的阵列卡,但是成本有些高。
②软Raid,ZFS或者windows存储池做软Raid,这样的话读写速度上是否不高?windows存储池做奇偶校验的话速度很慢吧?ZFS如果如果采用直写模式,似乎只提高顺序读写。
发表于 2023-9-8 17:09 | 显示全部楼层
zfs nvme 性能很差。硬 raid 取决于 raid 卡性能。
发表于 2023-9-8 17:12 | 显示全部楼层
如果有资金,首选硬RAID+WINSERVER,因为目前市面上免费的文件系统对NVME的性能释放似乎并没有优化太好的。我自己用4块U2做RAIZ1,速度达不到一块的速度。说破天ZFS也是为了HDD设计的。或者你在等几个月,等ZFS最新的新特性上线时装。
发表于 2023-9-8 17:14 | 显示全部楼层
NVMe大部分都是软阵列,阵列卡的性能已经不够看了。
发表于 2023-9-8 17:22 | 显示全部楼层
For NVMe currently there’s limited availability of HW RAID options. Out of the 3 major HW RAID manufacturers, only one has come up with NVMe RAID implementation. While it has some of the familiar useful features of SAS RAID cards, it largely struggles with the performance of several NVMe drives and has a potential for being a bottleneck.
img-2.png
Problem points in HW RAID implementation for NVMe

ASIC IOPS capability. Even the newest RAID chips have a cap on the amount of IOPS they can process. With modern PCIe Gen.4 NVMe SSDs pushing above 1M IOPs per drive, even 3-4 drives can saturate a RAID adapter.
PCIe bandwidth bottleneck. With RAID adapter sitting on the PCIe bus between the drives and the CPU, the system performance is limited to the bandwidth of the single PCIe slot.
Latency. One of the key factors of the success of NVMe is low latency. This comes from the fact that the drives attach directly to the PCIe bus without any intermediate devices between the SSDs and the CPU. This helps ensure the lowest possible latency. Extra hardware between the drives and the CPU adds latency that negates one of the key advantages of NVMe.
发表于 2023-9-8 17:27 | 显示全部楼层
顺带询问一下,LSI-9400-16i,要搭配什么硬盘拓展卡才能拓展4个以上的U.2硬盘?
发表于 2023-9-8 17:30 | 显示全部楼层
诛仙 发表于 2023-9-8 17:27
顺带询问一下,LSI-9400-16i,要搭配什么硬盘拓展卡才能拓展4个以上的U.2硬盘? ...

搭配PLX背板,U.2就是PCIE,PCIE只能上PCIE交换芯片
 楼主| 发表于 2023-9-8 18:18 | 显示全部楼层
rx_78gp02a 发表于 2023-9-8 17:14
NVMe大部分都是软阵列,阵列卡的性能已经不够看了。

请问软阵列那个方案好些,看前面的回复zfs似乎不够用
 楼主| 发表于 2023-9-8 18:19 | 显示全部楼层
rx_78gp02a 发表于 2023-9-8 17:30
搭配PLX背板,U.2就是PCIE,PCIE只能上PCIE交换芯片

这种PLX背板有产品吗?似乎都是pic-e接口的HBA卡,没有硬盘笼的背板,也没有expander卡。
 楼主| 发表于 2023-9-8 18:20 | 显示全部楼层
wangfenghun 发表于 2023-9-8 17:12
如果有资金,首选硬RAID+WINSERVER,因为目前市面上免费的文件系统对NVME的性能释放似乎并没有优化太好的。 ...

新版本有预告的计划,或者啥消息吗?
发表于 2023-9-8 18:25 | 显示全部楼层
xywjlidi 发表于 2023-9-8 18:20
新版本有预告的计划,或者啥消息吗?

母鸡。。。新版本预告已经块2年了。。。但是目前来说还没有实装。
 楼主| 发表于 2023-9-8 18:27 | 显示全部楼层
wangfenghun 发表于 2023-9-8 18:25
母鸡。。。新版本预告已经块2年了。。。但是目前来说还没有实装。

哈哈哈,效率真可以。硬Raid好像只有dell的服务器了,9460-16i接8个U2的expander一直找不到。。
发表于 2023-9-8 18:35 | 显示全部楼层
xywjlidi 发表于 2023-9-8 18:19
这种PLX背板有产品吗?似乎都是pic-e接口的HBA卡,没有硬盘笼的背板,也没有expander卡。 ...

dell和联想有NVME背板,这东西是配套机箱笼子用的,你光找背板和expander卡肯定是找不到的。
 楼主| 发表于 2023-9-8 18:42 | 显示全部楼层
rx_78gp02a 发表于 2023-9-8 18:35
dell和联想有NVME背板,这东西是配套机箱笼子用的,你光找背板和expander卡肯定是找不到的。 ...

这种带plx的nvme硬盘笼有型号吗?咱能单独买笼子呢?
发表于 2023-9-8 18:49 | 显示全部楼层
xywjlidi 发表于 2023-9-8 18:42
这种带plx的nvme硬盘笼有型号吗?咱能单独买笼子呢?

感觉买了也用不了,我手上有dell和联想的HBA卡,芯片其实就是PEX9733 ,但是单独接盘是无法认盘的,感觉是要和背板通信才能正常连接(老外测试也确实如此),也就是DELL的背板需要配DELL的HBA卡才行,你用LSI9400这种通路货,大概率无法连接专属背板。另外一种说法是,DELL/联想的HBA卡会根据背板的型号不一样,选择性拆分成4个X4还是两个X8或者不拆分直接X16,这些都是专属配件,无法单一使用。
发表于 2023-9-8 19:22 | 显示全部楼层
不如直接咸鱼买u.2热插拔的R7525
发表于 2023-9-8 19:45 | 显示全部楼层
可以考虑intel的vroc,需要服务器主板和CPU以及VROC KEY
发表于 2023-9-9 12:45 | 显示全部楼层
xywjlidi 发表于 2023-9-8 18:27
哈哈哈,效率真可以。硬Raid好像只有dell的服务器了,9460-16i接8个U2的expander一直找不到。。 ...

只能接4个
发表于 2023-9-9 14:23 | 显示全部楼层
nvme raid特别吃cpu资源。对cpu要求很高。
当然如果你就跑万兆,那么不是什么问题。cpu别太惨,问题都不大。
如二楼大哥所说,zfs对nvme没有优化,不太行。但是,实测truenas比unraid和omv的表现还是好不少的。
现在比较拉跨nvme raid的问题是文件系统。
软raid测试下来效果最好的是主板作raid,vroc没试过,太贵玩不起主要是。AMD raid测试了,县城撕裂者,跑raid5,不支持raid6。速度最好。
如果想跑超过25G,就必须得有rdma,光靠cpu干上去不行了。毕竟smb默认就单线程,就吃一个核。rdma的问题不仅仅在于网卡,samba还不支持rdma。nfs over rdma倒是早就有,windows不支持。所以如果windows客户端,比较理想的就是windows挂raid,无论是主板做了raid让windows共享这个池子,还是windows下自己做个池子,都是最好的选择。因为windows有smb direct,就是smb over rdma。smb如果想用多线程就得用multichannel,就得需要多网口。单网口是无法实现multichannel的。
如果想跑满100G,除了钱堆上去,还有就是对调优要求比较高,不是设置几下就能用那么简单
发表于 2023-9-9 14:37 | 显示全部楼层
老饭 发表于 2023-9-8 17:09
zfs nvme 性能很差。硬 raid 取决于 raid 卡性能。

zfs不是自带内存加速吗,速度应当还可以吧
发表于 2023-9-9 14:38 | 显示全部楼层
pooChai 发表于 2023-9-9 14:37
zfs不是自带内存加速吗,速度应当还可以吧

非常差,三楼不是说了,四块达不到一块性能
发表于 2023-9-9 14:49 | 显示全部楼层
我用下来感觉Refs稍好一点,4盘raid-z1 sn640用25G网卡在smb下大概能跑1.6G每秒,我感觉可能两边都要瓶颈,但anyways家用足够了

所以还是看你用来干什么,如果对池本身的读写能力有要求的话,那确实只能买成品服务器,或者自己想办法调,现成的方案都不太行。

发表于 2023-9-9 15:01 来自手机 | 显示全部楼层
放心,现在NVMe RAID跟HDD RAID时候今非昔比了,也不用感觉软RAID性能就天生弱。那些最快的存储系统,文件系统(Daos Lustre Wekaio ),都是软件定义存储。就你说的具体情形,7.8块盘,顺序读写,我就说Windows下软RAID跑个20-30GB/s,不是大问题,足够用,放心玩。
发表于 2023-9-9 15:28 | 显示全部楼层
xywjlidi 发表于 2023-9-8 18:27
哈哈哈,效率真可以。硬Raid好像只有dell的服务器了,9460-16i接8个U2的expander一直找不到。。 ...

阵列卡建议9560或者9670,9460的性能苔孱弱了。。。。
发表于 2023-9-9 15:49 | 显示全部楼层
本帖最后由 glamor 于 2023-9-11 11:32 编辑

心有灵犀是吧,我正在找这方面的资料。

1、硬raid dell 755,2300元。
上下测试数据。
总结下就是:
(1)支持8个raid
(2)iops增加明显
(3)传输速率好像还是12Gb,速度的话应该还是一块ssd的速度,
(4)缺点是除了dell那个,h755无配套的可以链接8个u2的背板。
33.jpg
44.jpg
55.jpg

350万IOPS:NVMe SSD RAID卡性能测试解析 https://zhuanlan.zhihu.com/p/388015044
2、软raid,Intel® Virtual RAID on CPU (Intel® VROC),
需要cpu、主板和vroc key,估计比较麻烦

3、软raid,zfs-raidZ1、raidZ2,这个相当于raid5和raid6
实际性能与理论性能相差较远,对cpu要求较高, 好处是实现了硬raid的所有功能。

4、软raid,lvm逻辑卷
只能做镜像卷,也就是raid1,可以合并容量,不能增加iops。
 楼主| 发表于 2023-9-9 22:27 | 显示全部楼层
empire4th 发表于 2023-9-9 14:23
nvme raid特别吃cpu资源。对cpu要求很高。
当然如果你就跑万兆,那么不是什么问题。cpu别太惨,问题都不大 ...

厉害!专业!

“比较拉跨nvme raid的问题是文件系统”具体是文件系统的哪方面拖慢了进度呢?

“AMD raid测试了,县城撕裂者,跑raid5”这种CPU占用有多高呢?我想直接本机使用,也不用网卡共享出去,太占用CPU的话,日常使用就困难了。8个U2做主板Raid5的话,能实现“单个盘速度*7”的效果吗?
 楼主| 发表于 2023-9-9 22:28 | 显示全部楼层
Dolfin 发表于 2023-9-9 15:01
放心,现在NVMe RAID跟HDD RAID时候今非昔比了,也不用感觉软RAID性能就天生弱。那些最快的存储系统,文件 ...

看起来可行啊!windows下软 Raid5 有啥推荐方案吗?
发表于 2023-9-9 22:46 | 显示全部楼层
xywjlidi 发表于 2023-9-9 22:27
厉害!专业!

“比较拉跨nvme raid的问题是文件系统”具体是文件系统的哪方面拖慢了进度呢?

用搜索论坛有全闪u2做nas的, 用的威联通,我也有16盘的nvme阵列,没你那么高的需求,单盘都够用,主要是高可用性。毕竟我用的也就是40G网卡,windows也跑不满,用iscsi要好些。
发表于 2023-9-9 23:24 | 显示全部楼层
本帖最后由 empire4th 于 2023-9-9 23:30 编辑
xywjlidi 发表于 2023-9-9 22:27
厉害!专业!

“比较拉跨nvme raid的问题是文件系统”具体是文件系统的哪方面拖慢了进度呢?


没研究这么细致,反正nfs目前测下来效果最好。
县城撕裂者的AMD raid,反正我用5945WX,其他没用过,没啥太大问题。CPU还挺游刃有余的。但是Raid5本身就影响写速度。4个盘raid5是可以超越单盘速度的。印象中读10GB/s,写6GB/s。8盘raid5可以你想实现单盘x7不可能。算法本身决定。
发表于 2023-9-9 23:27 | 显示全部楼层
本帖最后由 OstCollector 于 2023-9-9 23:32 编辑

https://www.storagereview.com/re ... 6i-raid-card-review

说实话,我是没想通他们怎么在2个A15上面跑出来7MIOPS的……差不多450个cycle处理一个REQ和ACK
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-4-28 19:31 , Processed in 0.014609 second(s), 6 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表