Chiphell - 分享与交流用户体验

标题: U2大船做阵列的方案讨论 [打印本页]

作者: xywjlidi 时间: 2023-9-8 17:05
标题: U2大船做阵列的方案讨论
我想把8个或者更多U2硬盘，做成Raid5或者RaidZ1阵列，兼顾速度和性价比的方案有哪些呢？
①硬Raid。Dell等服务器，使用支持NVMe的阵列卡，但是成本有些高。
②软Raid，ZFS或者windows存储池做软Raid，这样的话读写速度上是否不高？windows存储池做奇偶校验的话速度很慢吧？ZFS如果如果采用直写模式，似乎只提高顺序读写。

作者: 老饭 时间: 2023-9-8 17:09
zfs nvme 性能很差。硬 raid 取决于 raid 卡性能。

作者: wangfenghun 时间: 2023-9-8 17:12
如果有资金，首选硬RAID+WINSERVER，因为目前市面上免费的文件系统对NVME的性能释放似乎并没有优化太好的。我自己用4块U2做RAIZ1，速度达不到一块的速度。说破天ZFS也是为了HDD设计的。或者你在等几个月，等ZFS最新的新特性上线时装。

作者: rx_78gp02a 时间: 2023-9-8 17:14
NVMe大部分都是软阵列，阵列卡的性能已经不够看了。

作者: rx_78gp02a 时间: 2023-9-8 17:22
For NVMe currently there’s limited availability of HW RAID options. Out of the 3 major HW RAID manufacturers, only one has come up with NVMe RAID implementation. While it has some of the familiar useful features of SAS RAID cards, it largely struggles with the performance of several NVMe drives and has a potential for being a bottleneck.
(, 下载次数: 37)
Problem points in HW RAID implementation for NVMe

ASIC IOPS capability. Even the newest RAID chips have a cap on the amount of IOPS they can process. With modern PCIe Gen.4 NVMe SSDs pushing above 1M IOPs per drive, even 3-4 drives can saturate a RAID adapter.
PCIe bandwidth bottleneck. With RAID adapter sitting on the PCIe bus between the drives and the CPU, the system performance is limited to the bandwidth of the single PCIe slot.
Latency. One of the key factors of the success of NVMe is low latency. This comes from the fact that the drives attach directly to the PCIe bus without any intermediate devices between the SSDs and the CPU. This helps ensure the lowest possible latency. Extra hardware between the drives and the CPU adds latency that negates one of the key advantages of NVMe.

作者: 诛仙 时间: 2023-9-8 17:27
顺带询问一下，LSI-9400-16i，要搭配什么硬盘拓展卡才能拓展4个以上的U.2硬盘？

作者: rx_78gp02a 时间: 2023-9-8 17:30

诛仙发表于 2023-9-8 17:27
顺带询问一下，LSI-9400-16i，要搭配什么硬盘拓展卡才能拓展4个以上的U.2硬盘？ ...

搭配PLX背板，U.2就是PCIE，PCIE只能上PCIE交换芯片

作者: xywjlidi 时间: 2023-9-8 18:18

rx_78gp02a 发表于 2023-9-8 17:14
NVMe大部分都是软阵列，阵列卡的性能已经不够看了。

请问软阵列那个方案好些，看前面的回复zfs似乎不够用

作者: xywjlidi 时间: 2023-9-8 18:19

rx_78gp02a 发表于 2023-9-8 17:30
搭配PLX背板，U.2就是PCIE，PCIE只能上PCIE交换芯片

这种PLX背板有产品吗？似乎都是pic-e接口的HBA卡，没有硬盘笼的背板，也没有expander卡。

作者: xywjlidi 时间: 2023-9-8 18:20

wangfenghun 发表于 2023-9-8 17:12
如果有资金，首选硬RAID+WINSERVER，因为目前市面上免费的文件系统对NVME的性能释放似乎并没有优化太好的。 ...

新版本有预告的计划，或者啥消息吗？

作者: wangfenghun 时间: 2023-9-8 18:25

xywjlidi 发表于 2023-9-8 18:20
新版本有预告的计划，或者啥消息吗？

母鸡。。。新版本预告已经块2年了。。。但是目前来说还没有实装。

作者: xywjlidi 时间: 2023-9-8 18:27

wangfenghun 发表于 2023-9-8 18:25
母鸡。。。新版本预告已经块2年了。。。但是目前来说还没有实装。

哈哈哈，效率真可以。硬Raid好像只有dell的服务器了，9460-16i接8个U2的expander一直找不到。。

作者: rx_78gp02a 时间: 2023-9-8 18:35

xywjlidi 发表于 2023-9-8 18:19
这种PLX背板有产品吗？似乎都是pic-e接口的HBA卡，没有硬盘笼的背板，也没有expander卡。 ...

dell和联想有NVME背板，这东西是配套机箱笼子用的，你光找背板和expander卡肯定是找不到的。

作者: xywjlidi 时间: 2023-9-8 18:42

rx_78gp02a 发表于 2023-9-8 18:35
dell和联想有NVME背板，这东西是配套机箱笼子用的，你光找背板和expander卡肯定是找不到的。 ...

这种带plx的nvme硬盘笼有型号吗？咱能单独买笼子呢？

作者: rx_78gp02a 时间: 2023-9-8 18:49

xywjlidi 发表于 2023-9-8 18:42
这种带plx的nvme硬盘笼有型号吗？咱能单独买笼子呢？

感觉买了也用不了，我手上有dell和联想的HBA卡，芯片其实就是PEX9733 ，但是单独接盘是无法认盘的，感觉是要和背板通信才能正常连接（老外测试也确实如此），也就是DELL的背板需要配DELL的HBA卡才行，你用LSI9400这种通路货，大概率无法连接专属背板。另外一种说法是，DELL/联想的HBA卡会根据背板的型号不一样，选择性拆分成4个X4还是两个X8或者不拆分直接X16，这些都是专属配件，无法单一使用。

作者: 老饭 时间: 2023-9-8 19:22
不如直接咸鱼买u.2热插拔的R7525

作者: ssz999 时间: 2023-9-8 19:45
可以考虑intel的vroc，需要服务器主板和CPU以及VROC KEY

作者: 丑牛宝贝 时间: 2023-9-9 12:45

xywjlidi 发表于 2023-9-8 18:27
哈哈哈，效率真可以。硬Raid好像只有dell的服务器了，9460-16i接8个U2的expander一直找不到。。 ...

只能接4个

作者: empire4th 时间: 2023-9-9 14:23
nvme raid特别吃cpu资源。对cpu要求很高。
当然如果你就跑万兆，那么不是什么问题。cpu别太惨，问题都不大。
如二楼大哥所说，zfs对nvme没有优化，不太行。但是，实测truenas比unraid和omv的表现还是好不少的。
现在比较拉跨nvme raid的问题是文件系统。
软raid测试下来效果最好的是主板作raid，vroc没试过，太贵玩不起主要是。AMD raid测试了，县城撕裂者，跑raid5，不支持raid6。速度最好。
如果想跑超过25G，就必须得有rdma，光靠cpu干上去不行了。毕竟smb默认就单线程，就吃一个核。rdma的问题不仅仅在于网卡，samba还不支持rdma。nfs over rdma倒是早就有，windows不支持。所以如果windows客户端，比较理想的就是windows挂raid，无论是主板做了raid让windows共享这个池子，还是windows下自己做个池子，都是最好的选择。因为windows有smb direct，就是smb over rdma。smb如果想用多线程就得用multichannel，就得需要多网口。单网口是无法实现multichannel的。
如果想跑满100G，除了钱堆上去，还有就是对调优要求比较高，不是设置几下就能用那么简单

作者: pooChai 时间: 2023-9-9 14:37

老饭发表于 2023-9-8 17:09
zfs nvme 性能很差。硬 raid 取决于 raid 卡性能。

zfs不是自带内存加速吗,速度应当还可以吧

作者: 老饭 时间: 2023-9-9 14:38

pooChai 发表于 2023-9-9 14:37
zfs不是自带内存加速吗,速度应当还可以吧

非常差，三楼不是说了，四块达不到一块性能

作者: nw_liqi 时间: 2023-9-9 14:49
我用下来感觉Refs稍好一点，4盘raid-z1 sn640用25G网卡在smb下大概能跑1.6G每秒，我感觉可能两边都要瓶颈，但anyways家用足够了

所以还是看你用来干什么，如果对池本身的读写能力有要求的话，那确实只能买成品服务器，或者自己想办法调，现成的方案都不太行。

作者: Dolfin 时间: 2023-9-9 15:01
放心，现在NVMe RAID跟HDD RAID时候今非昔比了，也不用感觉软RAID性能就天生弱。那些最快的存储系统，文件系统(Daos Lustre Wekaio )，都是软件定义存储。就你说的具体情形，7.8块盘，顺序读写，我就说Windows下软RAID跑个20-30GB/s，不是大问题，足够用，放心玩。

作者: wangfenghun 时间: 2023-9-9 15:28

xywjlidi 发表于 2023-9-8 18:27
哈哈哈，效率真可以。硬Raid好像只有dell的服务器了，9460-16i接8个U2的expander一直找不到。。 ...

阵列卡建议9560或者9670,9460的性能苔孱弱了。。。。

作者: glamor 时间: 2023-9-9 15:49
本帖最后由 glamor 于 2023-9-11 11:32 编辑

心有灵犀是吧，我正在找这方面的资料。

1、硬raid dell 755，2300元。
上下测试数据。
总结下就是：
（1）支持8个raid
（2）iops增加明显
（3）传输速率好像还是12Gb，速度的话应该还是一块ssd的速度，
（4）缺点是除了dell那个，h755无配套的可以链接8个u2的背板。
(, 下载次数: 54)
(, 下载次数: 47)
(, 下载次数: 49)

350万IOPS：NVMe SSD RAID卡性能测试解析 https://zhuanlan.zhihu.com/p/388015044
2、软raid，Intel® Virtual RAID on CPU (Intel® VROC)，
需要cpu、主板和vroc key，估计比较麻烦

3、软raid，zfs-raidZ1、raidZ2，这个相当于raid5和raid6
实际性能与理论性能相差较远，对cpu要求较高，好处是实现了硬raid的所有功能。

4、软raid，lvm逻辑卷
只能做镜像卷，也就是raid1，可以合并容量，不能增加iops。

作者: xywjlidi 时间: 2023-9-9 22:27

empire4th 发表于 2023-9-9 14:23
nvme raid特别吃cpu资源。对cpu要求很高。
当然如果你就跑万兆，那么不是什么问题。cpu别太惨，问题都不大 ...

厉害！专业！

“比较拉跨nvme raid的问题是文件系统”具体是文件系统的哪方面拖慢了进度呢？

“AMD raid测试了，县城撕裂者，跑raid5”这种CPU占用有多高呢？我想直接本机使用，也不用网卡共享出去，太占用CPU的话，日常使用就困难了。8个U2做主板Raid5的话，能实现“单个盘速度*7”的效果吗？

作者: xywjlidi 时间: 2023-9-9 22:28

Dolfin 发表于 2023-9-9 15:01
放心，现在NVMe RAID跟HDD RAID时候今非昔比了，也不用感觉软RAID性能就天生弱。那些最快的存储系统，文件 ...

看起来可行啊！windows下软 Raid5 有啥推荐方案吗？

作者: mkkkno1 时间: 2023-9-9 22:46

xywjlidi 发表于 2023-9-9 22:27
厉害！专业！

“比较拉跨nvme raid的问题是文件系统”具体是文件系统的哪方面拖慢了进度呢？

用搜索论坛有全闪u2做nas的，用的威联通，我也有16盘的nvme阵列，没你那么高的需求，单盘都够用，主要是高可用性。毕竟我用的也就是40G网卡，windows也跑不满，用iscsi要好些。

作者: empire4th 时间: 2023-9-9 23:24
本帖最后由 empire4th 于 2023-9-9 23:30 编辑

xywjlidi 发表于 2023-9-9 22:27
厉害！专业！

“比较拉跨nvme raid的问题是文件系统”具体是文件系统的哪方面拖慢了进度呢？

没研究这么细致，反正nfs目前测下来效果最好。
县城撕裂者的AMD raid，反正我用5945WX，其他没用过，没啥太大问题。CPU还挺游刃有余的。但是Raid5本身就影响写速度。4个盘raid5是可以超越单盘速度的。印象中读10GB/s，写6GB/s。8盘raid5可以你想实现单盘x7不可能。算法本身决定。

作者: OstCollector 时间: 2023-9-9 23:27
本帖最后由 OstCollector 于 2023-9-9 23:32 编辑

https://www.storagereview.com/re ... 6i-raid-card-review

说实话，我是没想通他们怎么在2个A15上面跑出来7MIOPS的……差不多450个cycle处理一个REQ和ACK

作者: empire4th 时间: 2023-9-9 23:28

mkkkno1 发表于 2023-9-9 22:46
用搜索论坛有全闪u2做nas的，用的威联通，我也有16盘的nvme阵列，没你那么高的需求，单盘都够用，主要是 ...

我实测iscsi效率挺低的。前提是windows通过iscsi连接Truenas，ZFS系统raid z1，4盘U2。估计拖后腿了。

实测windows server下挂4盘U2的raid5。SMB direct单线程突发最高可60G，40G看运气，主要看客户端cpu在干啥，当时测试的时候客户端cpu是13100。单核吃满。25G妥妥的跑满

作者: xywjlidi 时间: 2023-9-9 23:43

empire4th 发表于 2023-9-9 23:24
没研究这么细致，反正nfs目前测下来效果最好。
县城撕裂者的AMD raid，反正我用5945WX，其他没用过，没啥 ...

"读10GB/s，写6GB/s" 是 4个PCIE 3.0的NVMe吗？还是4.0的

作者: xywjlidi 时间: 2023-9-9 23:46

empire4th 发表于 2023-9-9 14:23
nvme raid特别吃cpu资源。对cpu要求很高。
当然如果你就跑万兆，那么不是什么问题。cpu别太惨，问题都不大 ...

如果不用主板Raid，做池子有啥好方案吗？ZFS看起来不行，奇偶校验的win存储池好像也是性能拉跨。用XFS吗？

作者: empire4th 时间: 2023-9-9 23:46

xywjlidi 发表于 2023-9-9 23:43
"读10GB/s，写6GB/s" 是 4个PCIE 3.0的NVMe吗？还是4.0的

4.0，CD6 7.68T

作者: empire4th 时间: 2023-9-9 23:48
提醒一下，CD6必须搞定散热，巨热。待机60来度，跑个速度测试奔着80就去了，临界值我记得是83度。
必须有风扇吹。CD6的好处是前后都有窟窿，穿堂风，只要有风吹，完全不是问题。不用风速很大，随便一个风扇就搞定。

作者: empire4th 时间: 2023-9-9 23:50
印象中，除了kioxia的盘，SN840也是穿堂风设计。凡是这种设计的盘，就等于明摆了告诉你：很热。
其他的盘有没有洞洞盘就不清楚了。反正PM1733的散热很迷，风口都在一面。7400pro 7450pro散热片在正面，很大，适合风吹。

作者: empire4th 时间: 2023-9-9 23:58

xywjlidi 发表于 2023-9-9 23:46
如果不用主板Raid，做池子有啥好方案吗？ZFS看起来不行，奇偶校验的win存储池好像也是性能拉跨。用XFS吗 ...

xfs没用过，无法评价。反正，windows池子还行，没那么惨。肯定不如主板作raid，然后windows共享这个成品效果好。zfs其实还凑合，反正万兆访问没问题，妥妥的。

简而言之吧，万兆及以下速率，随便折腾，都行。25G起步，就没那么容易了。且折腾呢。
我还满心欢喜得想测试200G 400G，现在一点兴趣都没有了。100G跑满都得多客户端同时访问。单客户端太难了，会导致成本飞天。而且100G跑满，就是12.5GB/s，本地得PCIE5.0的单盘，还得是M2，E1.s的5.0盘没那么快写速度。而且M2你写不了多久就缓外。反正，我觉得能达到本地PCIE3.0的M2速度就完全够用了。也就是25G网络。反正，我个人PCIE3.0和4.0的M2扔到电脑里，我用不出来啥区别，就算大文件copy，差个几秒我没啥特别感觉。

作者: michaelzxp 时间: 2023-9-10 19:26

empire4th 发表于 2023-9-9 14:23
nvme raid特别吃cpu资源。对cpu要求很高。
当然如果你就跑万兆，那么不是什么问题。cpu别太惨，问题都不大 ...

win跑rdma没任何问题，最高能跑到70GB左右，smb3已经支持多线程

作者: empire4th 时间: 2023-9-10 23:18

michaelzxp 发表于 2023-9-10 19:26
win跑rdma没任何问题，最高能跑到70GB左右，smb3已经支持多线程

我测试不multichannel就只能单线程
单网口不能multichannel

请问多线程咋在单网口搞？

作者: 今晚大老虎 时间: 2023-9-11 04:57
我记得 SMB Multichannel在最新的SMB3.0是可以在单网口实现"多播"的.
另外从Windows Server 2012 开始就支持RDMA了, 叫SMB Direct. 是目前部署RDMA最直接最简单的方案, 对读取速度的提升非常明显.

作者: utabll 时间: 2023-9-19 09:30
可以试下用英特尔的VROC组阵列

作者: nlnjnj 时间: 2023-9-19 09:36
NVME 阵列目前硬件软件方案多少都有点问题，企业级大部分是自研的软硬件方案。

比如利用EPYC的PCIE通道，盘和CPU直通，然后软件用开源或自研的

作者: 建议柠檬 时间: 2023-9-19 09:45
vroc key目前也就是1K多的价格
一般只支持Raid 0 1 5 10
所以如果是5的话
还是上3647平台比较合适
PCIE也够

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)