liangns 发表于 2022-12-8 23:35

5*SN640 7.68T 软Raid0的写入速度只有900MB/S不到

本帖最后由 liangns 于 2023-2-19 18:26 编辑

最近入手了6块SN640 7.68T，读写在500T以内，打算组Raid，周末试了下5盘组Raid0，Ubuntu Server，mdadm软件 Raid0，写入速度居然只有900MB/S，读取只有2.0-2.6GB/S，这写入速度毫无提升，甚至还比单盘低。


坛内兄弟是否有知道原因，是mdadm软件的性能问题，还是其他问题，求助！感谢！


环境：EPYC 7261，32GB，ubuntu server 22.04,mdadm 4.2 /1.2 metada，6盘都是通过u.2转4盘（佳翼的4盘转接），h11ssl主板。


几人留 发表于 2022-12-8 23:54

我猜nvme的软raid性能就是稀烂，不如直接jbod。反正我在Ubuntu20.04和win server2019下都是这样。

Hesperus 发表于 2022-12-9 00:23

用这个软件和用zpool直接组zfs raid性能有区别吗

三城六号 发表于 2022-12-9 00:39

顺路打听一下全屋数据中心，这屋为啥有6*7.68T的固态数据中心的需求啊[傻笑]

三城六号 发表于 2022-12-9 00:46

要不用iostat工具试试，看看瓶颈在处理器还是在io等待

zhuifeng88 发表于 2022-12-9 00:50

本帖最后由 zhuifeng88 于 2022-12-9 00:51 编辑

高性能方案几乎都是基于spdk做的, 传统架构软raid性能早就到头了, 也就部分低io延迟的盘还能挣扎一下但也不会有数量级差异

云飞扬 发表于 2022-12-9 08:59

这个得是40G网络才能实现跑满Raid0吧，好奇笔记本电脑之类是怎么实现40G网络的

weston 发表于 2022-12-9 09:08

楼主做交易的？拿来存行情数据的？

死也要爱钱 发表于 2022-12-9 09:55

nvme raid认准VROC

T.JOHN 发表于 2022-12-9 10:09

dd是单线程 单队列，用fio加队列深度或多线程测试

jop 发表于 2022-12-9 10:23

Hesperus 发表于 2022-12-9 00:23
用这个软件和用zpool直接组zfs raid性能有区别吗

ZFS也有同样的问题

wei73 发表于 2022-12-9 10:26

zhuifeng88 发表于 2022-12-9 00:50
高性能方案几乎都是基于spdk做的, 传统架构软raid性能早就到头了, 也就部分低io延迟的盘还能挣扎一下但也不 ...

这是什么结论？

楼主的这个明显是有问题的，HDD 8盘raid z2都能跑1G+

brucelee1126 发表于 2022-12-9 10:42

云飞扬 发表于 2022-12-9 08:59
这个得是40G网络才能实现跑满Raid0吧，好奇笔记本电脑之类是怎么实现40G网络的 ...

4个10g的客户端同时访问一个40g的服务端

猪圈 发表于 2022-12-9 10:44

这是4盘SN630，7.68TB win软raid0的测试成绩，

单盘单线程写入也只有750的样子

brucelee1126 发表于 2022-12-9 10:47

wei73 发表于 2022-12-9 10:26
这是什么结论？

楼主的这个明显是有问题的，HDD 8盘raid z2都能跑1G+

nvme全闪在truenas这种需要软阵列的系统上表现就是这样，是有问题，但是也无解，只能等系统厂商优化

猪圈 发表于 2022-12-9 10:51

brucelee1126 发表于 2022-12-9 10:47
nvme全闪在truenas这种需要软阵列的系统上表现就是这样，是有问题，但是也无解，只能等系统厂商优化 ...

现在全闪存也没有便宜的硬raid方案～么法，

m4a1chbb 发表于 2022-12-9 10:59

顺便问问各位，现在服务也基本用固体跑程序了，那么是否还需要阵列卡？阵列卡会成为固态的瓶颈么？

云飞扬 发表于 2022-12-9 12:21

brucelee1126 发表于 2022-12-9 10:42
4个10g的客户端同时访问一个40g的服务端

妙[恶魔]

Hellboy2016 发表于 2022-12-9 16:48

单盘 速度以为可以了啊 4k低 组raid 也没用啊

wdk6600 发表于 2022-12-9 21:10

try v6.0 + btrfs + discard=async

liangns 发表于 2022-12-9 22:42

weston 发表于 2022-12-9 09:08
楼主做交易的？拿来存行情数据的？

搞搞这搞搞那，折腾无止尽。

liangns 发表于 2022-12-9 22:43

wei73 发表于 2022-12-9 10:26
这是什么结论？

楼主的这个明显是有问题的，HDD 8盘raid z2都能跑1G+

感觉就是不对，单盘性能都比这高，CPU也没啥占用。

liangns 发表于 2022-12-9 22:45

死也要爱钱 发表于 2022-12-9 09:55
nvme raid认准VROC

换平台有点伤筋动骨。[流泪]

liangns 发表于 2022-12-9 23:10

T.JOHN 发表于 2022-12-9 10:09
dd是单线程 单队列，用fio加队列深度或多线程测试

fio测试结果，感觉还是性能不行。

liangns 发表于 2022-12-9 23:13

猪圈 发表于 2022-12-9 10:51
现在全闪存也没有便宜的硬raid方案～么法，

比较担心硬Raid是不是也这种问题。

helllix 发表于 2023-3-19 13:04

我用的 zfs 组的 RAID 0，4块，dd直测只有单盘性能，但是读写还是分开写到盘里的，图个磨损小吧，不过虚拟机下 VirtIO 测是这个水平。

其他配置：EPYC 7543，128G RAM，4块都是 PCIe x4 直连。
另外现在也不可能有 NVMe 的 硬RAID 卡，本来 NVMe 就是 PCIe 直连 CPU 了，中间再过一道 ARM 的 RAID卡，缓存给多少才够组起来的速度呀
硬RAID卡 是 SATA 6Gb/s 和 SAS 12Gb/s 时代用来加速机械盘的产物，以后还得看 软RAID。

赫敏 发表于 2023-3-19 13:14

helllix 发表于 2023-3-19 00:04
我用的 zfs 组的 RAID 0，4块，dd直测只有单盘性能，但是读写还是分开写到盘里的，图个磨损小吧，不过虚拟 ...

这什么盘？结果也太迷了[震惊]

helllix 发表于 2023-3-19 13:17

赫敏 发表于 2023-3-19 13:14
这什么盘？结果也太迷了

跟 lz 一样，4张 SN640。。

赫敏 发表于 2023-3-19 13:27

helllix 发表于 2023-3-19 00:17
跟 lz 一样，4张 SN640。。

我两片p3 4t pcie3*4，一个连cpu一个连南桥。用的是被鄙视的win11自带储存池，觉得还行


zfs比我想象的要弱啊，感觉是为机械硬盘适配的

helllix 发表于 2023-3-19 13:35

赫敏 发表于 2023-3-19 13:27
我两片p3 4t pcie3*4，一个连cpu一个连南桥。用的是被鄙视的win11自带储存池，觉得还行




我这个可能是因为跑在虚拟机下，等有空了再测一次
不过开始理解为什么存储都是单拎服务器了，又做存储又跑业务确实不行
页: [1] 2 3
查看完整版本: 5*SN640 7.68T 软Raid0的写入速度只有900MB/S不到