U2大船做阵列的方案讨论

empire4th

mkkkno1 发表于 2023-9-9 22:46
用搜索论坛有全闪u2做nas的， 用的威联通，我也有16盘的nvme阵列，没你那么高的需求，单盘都够用，主要是 ...

我实测iscsi效率挺低的。前提是windows通过iscsi连接Truenas，ZFS系统raid z1，4盘U2。估计拖后腿了。

实测windows server下挂4盘U2的raid5。SMB direct单线程突发最高可60G，40G看运气，主要看客户端cpu在干啥，当时测试的时候客户端cpu是13100。单核吃满。25G妥妥的跑满

xywjlidi

empire4th 发表于 2023-9-9 23:24
没研究这么细致，反正nfs目前测下来效果最好。
县城撕裂者的AMD raid，反正我用5945WX，其他没用过，没啥 ...

"读10GB/s，写6GB/s" 是 4个PCIE 3.0的NVMe吗？还是4.0的

xywjlidi

empire4th 发表于 2023-9-9 14:23
nvme raid特别吃cpu资源。对cpu要求很高。
当然如果你就跑万兆，那么不是什么问题。cpu别太惨，问题都不大 ...

如果不用主板Raid，做池子有啥好方案吗？ZFS看起来不行，奇偶校验的win存储池好像也是性能拉跨。用XFS吗？

empire4th

xywjlidi 发表于 2023-9-9 23:43
"读10GB/s，写6GB/s" 是 4个PCIE 3.0的NVMe吗？还是4.0的

4.0，CD6 7.68T

empire4th

提醒一下，CD6必须搞定散热，巨热。待机60来度，跑个速度测试奔着80就去了，临界值我记得是83度。
必须有风扇吹。CD6的好处是前后都有窟窿，穿堂风，只要有风吹，完全不是问题。不用风速很大，随便一个风扇就搞定。

empire4th

印象中，除了kioxia的盘，SN840也是穿堂风设计。凡是这种设计的盘，就等于明摆了告诉你：很热。
其他的盘有没有洞洞盘就不清楚了。反正PM1733的散热很迷，风口都在一面。7400pro 7450pro散热片在正面，很大，适合风吹。

empire4th

xywjlidi 发表于 2023-9-9 23:46
如果不用主板Raid，做池子有啥好方案吗？ZFS看起来不行，奇偶校验的win存储池好像也是性能拉跨。用XFS吗 ...

xfs没用过，无法评价。反正，windows池子还行，没那么惨。肯定不如主板作raid，然后windows共享这个成品效果好。zfs其实还凑合，反正万兆访问没问题，妥妥的。

简而言之吧，万兆及以下速率，随便折腾，都行。25G起步，就没那么容易了。且折腾呢。
我还满心欢喜得想测试200G 400G，现在一点兴趣都没有了。100G跑满都得多客户端同时访问。单客户端太难了，会导致成本飞天。而且100G跑满，就是12.5GB/s，本地得PCIE5.0的单盘，还得是M2，E1.s的5.0盘没那么快写速度。而且M2你写不了多久就缓外。反正，我觉得能达到本地PCIE3.0的M2速度就完全够用了。也就是25G网络。反正，我个人PCIE3.0和4.0的M2扔到电脑里，我用不出来啥区别，就算大文件copy，差个几秒我没啥特别感觉。

michaelzxp

empire4th 发表于 2023-9-9 14:23
nvme raid特别吃cpu资源。对cpu要求很高。
当然如果你就跑万兆，那么不是什么问题。cpu别太惨，问题都不大 ...

win跑rdma没任何问题，最高能跑到70GB左右，smb3已经支持多线程

empire4th

michaelzxp 发表于 2023-9-10 19:26
win跑rdma没任何问题，最高能跑到70GB左右，smb3已经支持多线程

我测试不multichannel就只能单线程
单网口不能multichannel

请问多线程咋在单网口搞？

今晚大老虎

我记得 SMB Multichannel在最新的SMB3.0是可以在单网口实现"多播"的.
另外从Windows Server 2012 开始就支持RDMA了, 叫SMB Direct. 是目前部署RDMA最直接最简单的方案, 对读取速度的提升非常明显.

utabll

可以试下用英特尔的VROC组阵列

nlnjnj

NVME 阵列 目前硬件软件方案多少都有点问题，企业级大部分是自研的软硬件方案。

比如利用EPYC的PCIE通道，盘和CPU直通，然后软件用开源或自研的

建议柠檬

vroc key目前也就是1K多的价格
一般只支持Raid 0 1 5 10
所以如果是5的话
还是上3647平台比较合适
PCIE也够