U2大船做阵列的方案讨论

xywjlidi · 发表于 2023-9-8 17:05

我想把8个或者更多U2硬盘，做成Raid5或者RaidZ1阵列，兼顾速度和性价比的方案有哪些呢？
①硬Raid。Dell等服务器，使用支持NVMe的阵列卡，但是成本有些高。
②软Raid，ZFS或者windows存储池做软Raid，这样的话读写速度上是否不高？windows存储池做奇偶校验的话速度很慢吧？ZFS如果如果采用直写模式，似乎只提高顺序读写。

建议柠檬 · 发表于 2023-9-19 09:45

vroc key目前也就是1K多的价格
一般只支持Raid 0 1 5 10
所以如果是5的话
还是上3647平台比较合适
PCIE也够

nlnjnj · 发表于 2023-9-19 09:36

NVME 阵列目前硬件软件方案多少都有点问题，企业级大部分是自研的软硬件方案。

比如利用EPYC的PCIE通道，盘和CPU直通，然后软件用开源或自研的

utabll · 发表于 2023-9-19 09:30

可以试下用英特尔的VROC组阵列

今晚大老虎 · 发表于 2023-9-11 04:57

我记得 SMB Multichannel在最新的SMB3.0是可以在单网口实现"多播"的.
另外从Windows Server 2012 开始就支持RDMA了, 叫SMB Direct. 是目前部署RDMA最直接最简单的方案, 对读取速度的提升非常明显.

empire4th · 发表于 2023-9-10 23:18

michaelzxp 发表于 2023-9-10 19:26
win跑rdma没任何问题，最高能跑到70GB左右，smb3已经支持多线程

我测试不multichannel就只能单线程
单网口不能multichannel

请问多线程咋在单网口搞？

michaelzxp · 发表于 2023-9-10 19:26

empire4th 发表于 2023-9-9 14:23
nvme raid特别吃cpu资源。对cpu要求很高。
当然如果你就跑万兆，那么不是什么问题。cpu别太惨，问题都不大 ...

win跑rdma没任何问题，最高能跑到70GB左右，smb3已经支持多线程

empire4th · 发表于 2023-9-9 23:58

xywjlidi 发表于 2023-9-9 23:46
如果不用主板Raid，做池子有啥好方案吗？ZFS看起来不行，奇偶校验的win存储池好像也是性能拉跨。用XFS吗 ...

xfs没用过，无法评价。反正，windows池子还行，没那么惨。肯定不如主板作raid，然后windows共享这个成品效果好。zfs其实还凑合，反正万兆访问没问题，妥妥的。

简而言之吧，万兆及以下速率，随便折腾，都行。25G起步，就没那么容易了。且折腾呢。
我还满心欢喜得想测试200G 400G，现在一点兴趣都没有了。100G跑满都得多客户端同时访问。单客户端太难了，会导致成本飞天。而且100G跑满，就是12.5GB/s，本地得PCIE5.0的单盘，还得是M2，E1.s的5.0盘没那么快写速度。而且M2你写不了多久就缓外。反正，我觉得能达到本地PCIE3.0的M2速度就完全够用了。也就是25G网络。反正，我个人PCIE3.0和4.0的M2扔到电脑里，我用不出来啥区别，就算大文件copy，差个几秒我没啥特别感觉。

empire4th · 发表于 2023-9-9 23:50

印象中，除了kioxia的盘，SN840也是穿堂风设计。凡是这种设计的盘，就等于明摆了告诉你：很热。
其他的盘有没有洞洞盘就不清楚了。反正PM1733的散热很迷，风口都在一面。7400pro 7450pro散热片在正面，很大，适合风吹。

empire4th · 发表于 2023-9-9 23:48

提醒一下，CD6必须搞定散热，巨热。待机60来度，跑个速度测试奔着80就去了，临界值我记得是83度。
必须有风扇吹。CD6的好处是前后都有窟窿，穿堂风，只要有风吹，完全不是问题。不用风速很大，随便一个风扇就搞定。

empire4th · 发表于 2023-9-9 23:46

xywjlidi 发表于 2023-9-9 23:43
"读10GB/s，写6GB/s" 是 4个PCIE 3.0的NVMe吗？还是4.0的

4.0，CD6 7.68T

xywjlidi · 发表于 2023-9-9 23:46

empire4th 发表于 2023-9-9 14:23
nvme raid特别吃cpu资源。对cpu要求很高。
当然如果你就跑万兆，那么不是什么问题。cpu别太惨，问题都不大 ...

如果不用主板Raid，做池子有啥好方案吗？ZFS看起来不行，奇偶校验的win存储池好像也是性能拉跨。用XFS吗？

xywjlidi · 发表于 2023-9-9 23:43

empire4th 发表于 2023-9-9 23:24
没研究这么细致，反正nfs目前测下来效果最好。
县城撕裂者的AMD raid，反正我用5945WX，其他没用过，没啥 ...

"读10GB/s，写6GB/s" 是 4个PCIE 3.0的NVMe吗？还是4.0的

empire4th · 发表于 2023-9-9 23:28

mkkkno1 发表于 2023-9-9 22:46
用搜索论坛有全闪u2做nas的，用的威联通，我也有16盘的nvme阵列，没你那么高的需求，单盘都够用，主要是 ...

我实测iscsi效率挺低的。前提是windows通过iscsi连接Truenas，ZFS系统raid z1，4盘U2。估计拖后腿了。

实测windows server下挂4盘U2的raid5。SMB direct单线程突发最高可60G，40G看运气，主要看客户端cpu在干啥，当时测试的时候客户端cpu是13100。单核吃满。25G妥妥的跑满

OstCollector · 发表于 2023-9-9 23:27

本帖最后由 OstCollector 于 2023-9-9 23:32 编辑

https://www.storagereview.com/re ... 6i-raid-card-review

说实话，我是没想通他们怎么在2个A15上面跑出来7MIOPS的……差不多450个cycle处理一个REQ和ACK

empire4th · 发表于 2023-9-9 23:24

本帖最后由 empire4th 于 2023-9-9 23:30 编辑

xywjlidi 发表于 2023-9-9 22:27
厉害！专业！

“比较拉跨nvme raid的问题是文件系统”具体是文件系统的哪方面拖慢了进度呢？

没研究这么细致，反正nfs目前测下来效果最好。
县城撕裂者的AMD raid，反正我用5945WX，其他没用过，没啥太大问题。CPU还挺游刃有余的。但是Raid5本身就影响写速度。4个盘raid5是可以超越单盘速度的。印象中读10GB/s，写6GB/s。8盘raid5可以你想实现单盘x7不可能。算法本身决定。

mkkkno1 · 发表于 2023-9-9 22:46

xywjlidi 发表于 2023-9-9 22:27
厉害！专业！

“比较拉跨nvme raid的问题是文件系统”具体是文件系统的哪方面拖慢了进度呢？

用搜索论坛有全闪u2做nas的，用的威联通，我也有16盘的nvme阵列，没你那么高的需求，单盘都够用，主要是高可用性。毕竟我用的也就是40G网卡，windows也跑不满，用iscsi要好些。

xywjlidi · 发表于 2023-9-9 22:28

Dolfin 发表于 2023-9-9 15:01
放心，现在NVMe RAID跟HDD RAID时候今非昔比了，也不用感觉软RAID性能就天生弱。那些最快的存储系统，文件 ...

看起来可行啊！windows下软 Raid5 有啥推荐方案吗？

xywjlidi · 发表于 2023-9-9 22:27

empire4th 发表于 2023-9-9 14:23
nvme raid特别吃cpu资源。对cpu要求很高。
当然如果你就跑万兆，那么不是什么问题。cpu别太惨，问题都不大 ...

厉害！专业！

“比较拉跨nvme raid的问题是文件系统”具体是文件系统的哪方面拖慢了进度呢？

“AMD raid测试了，县城撕裂者，跑raid5”这种CPU占用有多高呢？我想直接本机使用，也不用网卡共享出去，太占用CPU的话，日常使用就困难了。8个U2做主板Raid5的话，能实现“单个盘速度*7”的效果吗？

glamor · 发表于 2023-9-9 15:49

本帖最后由 glamor 于 2023-9-11 11:32 编辑

心有灵犀是吧，我正在找这方面的资料。

1、硬raid dell 755，2300元。
上下测试数据。
总结下就是：
（1）支持8个raid
（2）iops增加明显
（3）传输速率好像还是12Gb，速度的话应该还是一块ssd的速度，
（4）缺点是除了dell那个，h755无配套的可以链接8个u2的背板。

350万IOPS：NVMe SSD RAID卡性能测试解析 https://zhuanlan.zhihu.com/p/388015044
2、软raid，Intel® Virtual RAID on CPU (Intel® VROC)，
需要cpu、主板和vroc key，估计比较麻烦

3、软raid，zfs-raidZ1、raidZ2，这个相当于raid5和raid6
实际性能与理论性能相差较远，对cpu要求较高，好处是实现了硬raid的所有功能。

4、软raid，lvm逻辑卷
只能做镜像卷，也就是raid1，可以合并容量，不能增加iops。

wangfenghun · 发表于 2023-9-9 15:28

xywjlidi 发表于 2023-9-8 18:27
哈哈哈，效率真可以。硬Raid好像只有dell的服务器了，9460-16i接8个U2的expander一直找不到。。 ...

阵列卡建议9560或者9670,9460的性能苔孱弱了。。。。

Dolfin · 发表于 2023-9-9 15:01

放心，现在NVMe RAID跟HDD RAID时候今非昔比了，也不用感觉软RAID性能就天生弱。那些最快的存储系统，文件系统(Daos Lustre Wekaio )，都是软件定义存储。就你说的具体情形，7.8块盘，顺序读写，我就说Windows下软RAID跑个20-30GB/s，不是大问题，足够用，放心玩。

nw_liqi · 发表于 2023-9-9 14:49

我用下来感觉Refs稍好一点，4盘raid-z1 sn640用25G网卡在smb下大概能跑1.6G每秒，我感觉可能两边都要瓶颈，但anyways家用足够了

所以还是看你用来干什么，如果对池本身的读写能力有要求的话，那确实只能买成品服务器，或者自己想办法调，现成的方案都不太行。

老饭 · 发表于 2023-9-9 14:38

pooChai 发表于 2023-9-9 14:37
zfs不是自带内存加速吗,速度应当还可以吧

非常差，三楼不是说了，四块达不到一块性能

pooChai · 发表于 2023-9-9 14:37

老饭发表于 2023-9-8 17:09
zfs nvme 性能很差。硬 raid 取决于 raid 卡性能。

zfs不是自带内存加速吗,速度应当还可以吧

empire4th · 发表于 2023-9-9 14:23

nvme raid特别吃cpu资源。对cpu要求很高。
当然如果你就跑万兆，那么不是什么问题。cpu别太惨，问题都不大。
如二楼大哥所说，zfs对nvme没有优化，不太行。但是，实测truenas比unraid和omv的表现还是好不少的。
现在比较拉跨nvme raid的问题是文件系统。
软raid测试下来效果最好的是主板作raid，vroc没试过，太贵玩不起主要是。AMD raid测试了，县城撕裂者，跑raid5，不支持raid6。速度最好。
如果想跑超过25G，就必须得有rdma，光靠cpu干上去不行了。毕竟smb默认就单线程，就吃一个核。rdma的问题不仅仅在于网卡，samba还不支持rdma。nfs over rdma倒是早就有，windows不支持。所以如果windows客户端，比较理想的就是windows挂raid，无论是主板做了raid让windows共享这个池子，还是windows下自己做个池子，都是最好的选择。因为windows有smb direct，就是smb over rdma。smb如果想用多线程就得用multichannel，就得需要多网口。单网口是无法实现multichannel的。
如果想跑满100G，除了钱堆上去，还有就是对调优要求比较高，不是设置几下就能用那么简单

丑牛宝贝 · 发表于 2023-9-9 12:45

xywjlidi 发表于 2023-9-8 18:27
哈哈哈，效率真可以。硬Raid好像只有dell的服务器了，9460-16i接8个U2的expander一直找不到。。 ...

只能接4个

ssz999 · 发表于 2023-9-8 19:45

可以考虑intel的vroc，需要服务器主板和CPU以及VROC KEY

老饭 · 发表于 2023-9-8 19:22

不如直接咸鱼买u.2热插拔的R7525

rx_78gp02a · 发表于 2023-9-8 18:49

xywjlidi 发表于 2023-9-8 18:42
这种带plx的nvme硬盘笼有型号吗？咱能单独买笼子呢？

感觉买了也用不了，我手上有dell和联想的HBA卡，芯片其实就是PEX9733 ，但是单独接盘是无法认盘的，感觉是要和背板通信才能正常连接（老外测试也确实如此），也就是DELL的背板需要配DELL的HBA卡才行，你用LSI9400这种通路货，大概率无法连接专属背板。另外一种说法是，DELL/联想的HBA卡会根据背板的型号不一样，选择性拆分成4个X4还是两个X8或者不拆分直接X16，这些都是专属配件，无法单一使用。

账号		自动登录	找回密码
密码			加入我们

[存储] U2大船做阵列的方案讨论