5*SN640 7.68T 软Raid0的写入速度只有900MB/S不到

liangns

最近入手了6块SN640 7.68T，读写在500T以内，打算组Raid，周末试了下5盘组Raid0，Ubuntu Server，mdadm软件 Raid0，写入速度居然只有900MB/S，读取只有2.0-2.6GB/S，这写入速度毫无提升，甚至还比单盘低。


坛内兄弟是否有知道原因，是mdadm软件的性能问题，还是其他问题，求助！感谢！


环境：EPYC 7261，32GB，ubuntu server 22.04,mdadm 4.2 /1.2 metada，6盘都是通过u.2转4盘（佳翼的4盘转接），h11ssl主板。

78085

helllix 发表于 2023-6-24 14:58
更新一下最新测试：
上了 SPDK ，又入了 4 张盘，8 盘组 RAID 0，创建 vol 挂载本地后测速没有什么大变化
...

7块 CD6， 双 AMD 7302。跑在 PCIE3*4模式下，同样的情况。
用WIN SERVER 2019的存储池正常。
用ZFS + SHIFT 12能跑到 20G/S。

我没详细测试，AMD可能要背锅。

测试要用FIO。

老饭

可以试试 vmware vsan

helllix

更新一下最新测试：
上了 SPDK ，又入了 4 张盘，8 盘组 RAID 0，创建 vol 挂载本地后测速没有什么大变化
甚至不如 zfs 关闭dup 关闭atime 的速度高
实际上，还是这个盘不行，单线程读写速度都不理想，怪不得价格便宜
追求速度的不推荐买这块盘

summerq

summerq 发表于 2023-4-16 19:14
你用spdk接管5个nvme设备 之后创建raid0，性能大概有4.5倍，包括4k性能。你只需要给一个cpu核心就够了 ...

补充一下 不要用malloc开cache，不稳定

summerq

你用spdk接管5个nvme设备 之后创建raid0，性能大概有4.5倍，包括4k性能。你只需要给一个cpu核心就够了

liangns

无意中看到一个非专用服务器的全闪扩展卡，
https://c-payne.com/products/pex ... switch-card-slimsas
感觉可以使用H755或其他8i 8654口的卡，扩展多个8i 8654，可能在硬件连接上是个低成本方案。

马杰

brucelee1126 发表于 2023-4-3 13:50
我正在策划自组，看见这个就熄火了，组起来容易，性能跑不出来就头疼，同样不知道该用啥系统，大佬有没有 ...

server2022，win存储池，性能很差。同样苦恼中。

brucelee1126

马杰 发表于 2023-4-3 12:42
我另外一台机器，就用的24 盘nvme直通的那个背板，用truenas，性能真一般。朋友有推荐的系统么？ ...

我正在策划自组，看见这个就熄火了，组起来容易，性能跑不出来就头疼，同样不知道该用啥系统，大佬有没有试过用win组raid

马杰

litguy 发表于 2023-4-3 08:16
我是说 GPU 这个价格
不是说 GRAID 这个价格
它们怎么 license 费用不了解

GRAID 国内是dell代理的，上个月咨询过，1010那一款，价格好像要16000.。。。属实有点肉疼，没买

马杰

老饭 发表于 2023-4-3 01:53
7525直通cpu zfs性能不行？还要用H755

我另外一台机器，就用的24 盘nvme直通的那个背板，用truenas，性能真一般。朋友有推荐的系统么？

litguy

马杰 发表于 2023-4-1 23:38
朋友，是说的GRAID么，用A2000显卡做的raid。5000多，有京东的连接么，没搜到啊 ...

我是说 GPU 这个价格
不是说 GRAID 这个价格
它们怎么 license 费用不了解
这个公司刚刚成立就关注了
性能远高于开源的几个 GPU RAID 实现

老饭

马杰 发表于 2023-4-3 01:47
你看我53楼的。
机器R7525 ，两块755N阵列卡，24块pm1733

7525直通cpu zfs性能不行？还要用H755

马杰

liangns 发表于 2023-4-2 12:51
我这两天也是研究起了755，基本看不到效果的文章，不敢轻易下手。

你看我53楼的。
机器R7525 ，两块755N阵列卡，24块pm1733

fyc858

缓存开了没

stonecold

liangns 发表于 2023-4-2 12:51
我这两天也是研究起了755，基本看不到效果的文章，不敢轻易下手。

我的Dell H710 用HDD组Raid5 已经用了9年多了, 人年纪大了，7200转的HDD噪音+共振声有点吃不消了(HDD处于Powe save模式时实在太安静了)，所以萌生换NVME的阵列卡的想法，Broadcom的阵列卡搜了下也太贵了，也不知道是不是要接它家硬盘笼子 只能再等等

liangns

stonecold 发表于 2023-4-1 23:57
dell h750前阵子我初步看了下，阵列卡接的数据线估计是定制接dell自家的nvme的硬盘笼子的，搜了下用在普 ...

我这两天也是研究起了755，基本看不到效果的文章，不敢轻易下手。

stonecold

shadoweyre 发表于 2023-3-23 16:24
硬raid有博通的lsi9500 -16i方案,dell的oem是h755p.pcie的2000多

https://zhuanlan.zhihu.com/p/388015044 ...

dell h750前阵子我初步看了下，阵列卡接的数据线估计是定制接dell自家的nvme的硬盘笼子的，搜了下用在普通家用机箱上没玩家分享方案，没参考经验我就放弃了

马杰

litguy 发表于 2023-3-23 21:03
nvme 硬 raid 性能不错，不消耗 CPU，更好的有 GPU 作 raid。的，一个京东 5000 元的。GPU 就能跑 1700w  ...

朋友，是说的GRAID么，用A2000显卡做的raid。5000多，有京东的连接么，没搜到啊

马杰

我就只show一张图

michaelzxp

赫敏 发表于 2023-3-23 22:14
机械硬盘用的是中断返回数据，nvme不能用这一套了所以cpu占用率飙升效果还不好

企业你可以说产品成熟了 ...

现在太适合cpu直连+RDMA，成本低得很，组家庭网络，哈哈

liangns

brucelee1126 发表于 2023-3-24 17:29
硬盘，线，卡等物料都已到齐，准备给威联通qts系统扩展4个u.2，但是要关机，拆机动作太大，实在是想着就头 ...

确实很麻烦，折腾一次要好几天。我这也是，上次折腾了一半，没动力折腾了。

liangns

wxlg1117 发表于 2023-3-23 22:28
都是好卡,且很贵.我ebay拍了张美高森3258p-32i寄到朋友那,一直还没转运到手. ...

期待你的评测。

brucelee1126

硬盘，线，卡等物料都已到齐，准备给威联通qts系统扩展4个u.2，但是要关机，拆机动作太大，实在是想着就头皮发麻

colorpi

ubutu的单线程读取和写入有上线吗？Windows是有的

丑牛宝贝

wxlg1117 发表于 2023-3-23 22:28
都是好卡,且很贵.我ebay拍了张美高森3258p-32i寄到朋友那,一直还没转运到手. ...

NVME做RAID5感觉很不错

声色茶马

赫敏 发表于 2023-3-23 22:14
机械硬盘用的是中断返回数据，nvme不能用这一套了所以cpu占用率飙升效果还不好

企业你可以说产品成熟了 ...

大佬说得全对。但是且慢。我说的企业级特指AWS Nitro那类自研DPU的。好像很早看新闻就说，阿里、腾讯、百度都自己搞DPU了，估计固态集群早都跑得嗷嗷叫了。问题就是这些玩意儿都在封闭体系中，跟当年的大型机一样，感觉没谁打算往中小企业市场下放，就更不用说普及到家庭用户。

似乎也就老黄出个卡能有这号召力。但眼见着收Mellanox也不少年了，DPU还是一直不紧不慢。说起来也是，普通家庭搞U.2阵列，也就CHH有这么多“普通”家庭……

wxlg1117

丑牛宝贝 发表于 2023-3-23 21:09
都是好卡

都是好卡,且很贵.我ebay拍了张美高森3258p-32i寄到朋友那,一直还没转运到手.

赫敏

声色茶马 发表于 2023-3-23 02:59
企业级数据中心的方案十分成熟，问题就是移植到居家环境部署简直要命。而且大佬说得对，现在高性能存储IO ...

机械硬盘用的是中断返回数据，nvme不能用这一套了所以cpu占用率飙升效果还不好

企业你可以说产品成熟了，但大部分都还是cpu直连+RDMA这一套。这种的做本地存储没毛病，做存储服务器远程访问还是拉稀。你上双路epyc9654都不好使，这是协议本身的瓶颈。所以说作为方案还是不成熟，因为用的软件和协议都不适合

fungible这个DPU也很强了，192线程+8*100gbps以太网，配合nvme-of协议才能达到接近直连的性能。aws nitro可以掰掰手腕，老黄也有希望。dell hp pure浪潮之流就别来丢人了

丑牛宝贝

shadoweyre 发表于 2023-3-23 16:24
硬raid有博通的lsi9500 -16i方案,dell的oem是h755p.pcie的2000多

https://zhuanlan.zhihu.com/p/388015044 ...

都是好卡