5*SN640 7.68T 软Raid0的写入速度只有900MB/S不到

赫敏

helllix 发表于 2023-3-19 00:35
我这个可能是因为跑在虚拟机下，等有空了再测一次
不过开始理解为什么存储都是单拎服务器了，又做存储又 ...

linux软件栈的问题，盘多了cpu占用率太高。也不会占到100%但是就是cpu越多速度才能上去。要是12盘位pcie4能把epyc 7543吃干净了

当然服务器领域用win属于政治不正确。抛开这些非技术因素单路的弄2-4个pcie4 7.68T的pcie4存储池，我不觉得磁盘性能会成为任何业务的瓶颈，这个时候cpu占用率也很低。然而win的问题恰恰是做存储服务器的时候容易卡死，所以确实不能二用

helllix

赫敏 发表于 2023-3-19 13:54
linux软件栈的问题，盘多了cpu占用率太高。也不会占到100%但是就是cpu越多速度才能上去。要是12盘位pcie4 ...

确实吃不完，跑分肯定都是跑的理想状态，这个虚拟机里跑分应该是受限虚拟机里的处理器性能，其实家用 NAS 已经开始做分层存储了，QNAP的Qtier分的Tier1/2/3，群晖的SSD缓存回写和元数据固定，只是封装的不同，实际体验DSM内建的搜索功能比以前快了很多。
准备再上两块P5800x（其实说了这么多只是找理由下单

godspeed66

这速度是SN640的单线程、单盘的速度

好奇怪啊

明明是RAID0  为什么会出现单盘速度？

赫敏

helllix 发表于 2023-3-19 01:38
确实吃不完，跑分肯定都是跑的理想状态，这个虚拟机里跑分应该是受限虚拟机里的处理器性能，其实家用 NAS ...

群晖分层，元数据放ssd这些还是机械时代的玩法。目前全闪还没有一个低成本的存储服务器方案。24盘位nvme的服务器都会配顶级双路cpu+大量内存+RDMA，但实际速度又卡在网卡那只有本地存储的1/10左右。现在的软件栈+网络协议是最大的瓶颈

以后nvme-oF成熟了不知道会不会有改观。虽然瓶颈还在网卡那里，但可能不需要付出cpu和内存的额外成本

赫敏

真正高效率的方案是用更优化的协议+高性能专用网卡来取代通用软件栈

The FS1600 features a random read rate of 13M IOPS Raw block read performance (4KB), throughput of 75 GB/s per node, and read latencies of +10μs for performance much more efficient than direct-attached storage (DAS) systems, delivering a 96.5% Performance Efficiency Percentage (PEP)

只可惜这个公司被微软收了，所以短时间内应该看不到类似方案流入家用市场
https://www.storagereview.com/re ... -to-the-data-center

litguy

godspeed66 发表于 2023-3-19 15:25
这速度是SN640的单线程、单盘的速度

好奇怪啊

chunksize 太大了，512kb

helllix

赫敏 发表于 2023-3-19 15:48
真正高效率的方案是用更优化的协议+高性能专用网卡来取代通用软件栈

The FS1600 features a random read r ...

确实，这两天英伟达GTC上介绍的好像也是这种

jimmyjin

我自己组的黑威联通， 3x SN640 7.68T的RAID5 ， 其实还是mdadm的 底子， 虽然没有认真测过速， 但连续读写是跑满万兆网卡绝没有问题， LZ这儿1Gbytes/s的写速度都不到的确奇怪了。
不妨先搞6个单盘先测个速， 搞不好是有一个盘速度不对， RAID5 是要以block size齐头并进， 一个盘慢了会拖累整个RAID组

声色茶马

赫敏 发表于 2023-3-19 15:48
真正高效率的方案是用更优化的协议+高性能专用网卡来取代通用软件栈

The FS1600 features a random read r ...

企业级数据中心的方案十分成熟，问题就是移植到居家环境部署简直要命。而且大佬说得对，现在高性能存储IO和网络IO都吃CPU吃得厉害。随便一个低功耗U加一块阵列卡就能拉十几个HDD做RAID的时代一去不复返了。

jame

买了 没测过。

shadoweyre

硬raid有博通的lsi9500 -16i方案,dell的oem是h755p.pcie的2000多

https://zhuanlan.zhihu.com/p/388015044

https://zhuanlan.zhihu.com/p/576562821

Microchip也有pcie 4.0 x16的

litguy

声色茶马 发表于 2023-3-23 15:59
企业级数据中心的方案十分成熟，问题就是移植到居家环境部署简直要命。而且大佬说得对，现在高性能存储IO ...

nvme 硬 raid 性能不错，不消耗 CPU，更好的有 GPU 作 raid。的，一个京东 5000 元的。GPU 就能跑 1700w iops raid5，一个 2021 年成立的台湾公司基于英伟达 GPU 作这个

丑牛宝贝

shadoweyre 发表于 2023-3-23 16:24
硬raid有博通的lsi9500 -16i方案,dell的oem是h755p.pcie的2000多

https://zhuanlan.zhihu.com/p/388015044 ...

都是好卡

赫敏

声色茶马 发表于 2023-3-23 02:59
企业级数据中心的方案十分成熟，问题就是移植到居家环境部署简直要命。而且大佬说得对，现在高性能存储IO ...

机械硬盘用的是中断返回数据，nvme不能用这一套了所以cpu占用率飙升效果还不好

企业你可以说产品成熟了，但大部分都还是cpu直连+RDMA这一套。这种的做本地存储没毛病，做存储服务器远程访问还是拉稀。你上双路epyc9654都不好使，这是协议本身的瓶颈。所以说作为方案还是不成熟，因为用的软件和协议都不适合

fungible这个DPU也很强了，192线程+8*100gbps以太网，配合nvme-of协议才能达到接近直连的性能。aws nitro可以掰掰手腕，老黄也有希望。dell hp pure浪潮之流就别来丢人了

wxlg1117

丑牛宝贝 发表于 2023-3-23 21:09
都是好卡

都是好卡,且很贵.我ebay拍了张美高森3258p-32i寄到朋友那,一直还没转运到手.

声色茶马

赫敏 发表于 2023-3-23 22:14
机械硬盘用的是中断返回数据，nvme不能用这一套了所以cpu占用率飙升效果还不好

企业你可以说产品成熟了 ...

大佬说得全对。但是且慢。我说的企业级特指AWS Nitro那类自研DPU的。好像很早看新闻就说，阿里、腾讯、百度都自己搞DPU了，估计固态集群早都跑得嗷嗷叫了。问题就是这些玩意儿都在封闭体系中，跟当年的大型机一样，感觉没谁打算往中小企业市场下放，就更不用说普及到家庭用户。

似乎也就老黄出个卡能有这号召力。但眼见着收Mellanox也不少年了，DPU还是一直不紧不慢。说起来也是，普通家庭搞U.2阵列，也就CHH有这么多“普通”家庭……

丑牛宝贝

wxlg1117 发表于 2023-3-23 22:28
都是好卡,且很贵.我ebay拍了张美高森3258p-32i寄到朋友那,一直还没转运到手. ...

NVME做RAID5感觉很不错

colorpi

ubutu的单线程读取和写入有上线吗？Windows是有的

brucelee1126

硬盘，线，卡等物料都已到齐，准备给威联通qts系统扩展4个u.2，但是要关机，拆机动作太大，实在是想着就头皮发麻

liangns

wxlg1117 发表于 2023-3-23 22:28
都是好卡,且很贵.我ebay拍了张美高森3258p-32i寄到朋友那,一直还没转运到手. ...

期待你的评测。

liangns

brucelee1126 发表于 2023-3-24 17:29
硬盘，线，卡等物料都已到齐，准备给威联通qts系统扩展4个u.2，但是要关机，拆机动作太大，实在是想着就头 ...

确实很麻烦，折腾一次要好几天。我这也是，上次折腾了一半，没动力折腾了。

michaelzxp

赫敏 发表于 2023-3-23 22:14
机械硬盘用的是中断返回数据，nvme不能用这一套了所以cpu占用率飙升效果还不好

企业你可以说产品成熟了 ...

现在太适合cpu直连+RDMA，成本低得很，组家庭网络，哈哈

马杰

我就只show一张图

马杰

litguy 发表于 2023-3-23 21:03
nvme 硬 raid 性能不错，不消耗 CPU，更好的有 GPU 作 raid。的，一个京东 5000 元的。GPU 就能跑 1700w  ...

朋友，是说的GRAID么，用A2000显卡做的raid。5000多，有京东的连接么，没搜到啊

stonecold

shadoweyre 发表于 2023-3-23 16:24
硬raid有博通的lsi9500 -16i方案,dell的oem是h755p.pcie的2000多

https://zhuanlan.zhihu.com/p/388015044 ...

dell h750前阵子我初步看了下，阵列卡接的数据线估计是定制接dell自家的nvme的硬盘笼子的，搜了下用在普通家用机箱上没玩家分享方案，没参考经验我就放弃了

liangns

stonecold 发表于 2023-4-1 23:57
dell h750前阵子我初步看了下，阵列卡接的数据线估计是定制接dell自家的nvme的硬盘笼子的，搜了下用在普 ...

我这两天也是研究起了755，基本看不到效果的文章，不敢轻易下手。

stonecold

liangns 发表于 2023-4-2 12:51
我这两天也是研究起了755，基本看不到效果的文章，不敢轻易下手。

我的Dell H710 用HDD组Raid5 已经用了9年多了, 人年纪大了，7200转的HDD噪音+共振声有点吃不消了(HDD处于Powe save模式时实在太安静了)，所以萌生换NVME的阵列卡的想法，Broadcom的阵列卡搜了下也太贵了，也不知道是不是要接它家硬盘笼子 只能再等等

fyc858

缓存开了没

马杰

liangns 发表于 2023-4-2 12:51
我这两天也是研究起了755，基本看不到效果的文章，不敢轻易下手。

你看我53楼的。
机器R7525 ，两块755N阵列卡，24块pm1733

老饭

马杰 发表于 2023-4-3 01:47
你看我53楼的。
机器R7525 ，两块755N阵列卡，24块pm1733

7525直通cpu zfs性能不行？还要用H755