helllix 发表于 2023-3-19 00:35
我这个可能是因为跑在虚拟机下，等有空了再测一次
不过开始理解为什么存储都是单拎服务器了，又做存储又 ...
linux软件栈的问题，盘多了cpu占用率太高。也不会占到100%但是就是cpu越多速度才能上去。要是12盘位pcie4能把epyc 7543吃干净了
当然服务器领域用win属于政治不正确。抛开这些非技术因素单路的弄2-4个pcie4 7.68T的pcie4存储池，我不觉得磁盘性能会成为任何业务的瓶颈，这个时候cpu占用率也很低。然而win的问题恰恰是做存储服务器的时候容易卡死，所以确实不能二用
赫敏 发表于 2023-3-19 13:54
linux软件栈的问题，盘多了cpu占用率太高。也不会占到100%但是就是cpu越多速度才能上去。要是12盘位pcie4 ...
确实吃不完，跑分肯定都是跑的理想状态，这个虚拟机里跑分应该是受限虚拟机里的处理器性能，其实家用 NAS 已经开始做分层存储了，QNAP的Qtier分的Tier1/2/3，群晖的SSD缓存回写和元数据固定，只是封装的不同，实际体验DSM内建的搜索功能比以前快了很多。
准备再上两块P5800x（其实说了这么多只是找理由下单[狂笑]
这速度是SN640的单线程、单盘的速度
好奇怪啊
明明是RAID0为什么会出现单盘速度？
helllix 发表于 2023-3-19 01:38
确实吃不完，跑分肯定都是跑的理想状态，这个虚拟机里跑分应该是受限虚拟机里的处理器性能，其实家用 NAS ...
群晖分层，元数据放ssd这些还是机械时代的玩法。目前全闪还没有一个低成本的存储服务器方案。24盘位nvme的服务器都会配顶级双路cpu+大量内存+RDMA，但实际速度又卡在网卡那只有本地存储的1/10左右。现在的软件栈+网络协议是最大的瓶颈
以后nvme-oF成熟了不知道会不会有改观。虽然瓶颈还在网卡那里，但可能不需要付出cpu和内存的额外成本
真正高效率的方案是用更优化的协议+高性能专用网卡来取代通用软件栈
The FS1600 features a random read rate of 13M IOPS Raw block read performance (4KB), throughput of 75 GB/s per node, and read latencies of +10μs for performance much more efficient than direct-attached storage (DAS) systems, delivering a 96.5% Performance Efficiency Percentage (PEP)
只可惜这个公司被微软收了，所以短时间内应该看不到类似方案流入家用市场
https://www.storagereview.com/review/fungible-fs1600-pushes-hyperscale-storage-to-the-data-center
godspeed66 发表于 2023-3-19 15:25
这速度是SN640的单线程、单盘的速度
好奇怪啊
chunksize 太大了，512kb
赫敏 发表于 2023-3-19 15:48
真正高效率的方案是用更优化的协议+高性能专用网卡来取代通用软件栈
The FS1600 features a random read r ...
确实，这两天英伟达GTC上介绍的好像也是这种
我自己组的黑威联通， 3x SN640 7.68T的RAID5 ， 其实还是mdadm的 底子， 虽然没有认真测过速， 但连续读写是跑满万兆网卡绝没有问题， LZ这儿1Gbytes/s的写速度都不到的确奇怪了。
不妨先搞6个单盘先测个速， 搞不好是有一个盘速度不对， RAID5 是要以block size齐头并进， 一个盘慢了会拖累整个RAID组
本帖最后由 声色茶马 于 2023-3-23 16:00 编辑
赫敏 发表于 2023-3-19 15:48
真正高效率的方案是用更优化的协议+高性能专用网卡来取代通用软件栈
The FS1600 features a random read r ...
企业级数据中心的方案十分成熟，问题就是移植到居家环境部署简直要命。而且大佬说得对，现在高性能存储IO和网络IO都吃CPU吃得厉害。随便一个低功耗U加一块阵列卡就能拉十几个HDD做RAID的时代一去不复返了。
买了 没测过。
硬raid有博通的lsi9500 -16i方案,dell的oem是h755p.pcie的2000多
https://zhuanlan.zhihu.com/p/388015044
https://zhuanlan.zhihu.com/p/576562821
Microchip也有pcie 4.0 x16的
声色茶马 发表于 2023-3-23 15:59
企业级数据中心的方案十分成熟，问题就是移植到居家环境部署简直要命。而且大佬说得对，现在高性能存储IO ...
nvme 硬 raid 性能不错，不消耗 CPU，更好的有 GPU 作 raid。的，一个京东 5000 元的。GPU 就能跑 1700w iops raid5，一个 2021 年成立的台湾公司基于英伟达 GPU 作这个
shadoweyre 发表于 2023-3-23 16:24
硬raid有博通的lsi9500 -16i方案,dell的oem是h755p.pcie的2000多
https://zhuanlan.zhihu.com/p/388015044 ...
都是好卡
声色茶马 发表于 2023-3-23 02:59
企业级数据中心的方案十分成熟，问题就是移植到居家环境部署简直要命。而且大佬说得对，现在高性能存储IO ...
机械硬盘用的是中断返回数据，nvme不能用这一套了所以cpu占用率飙升效果还不好
企业你可以说产品成熟了，但大部分都还是cpu直连+RDMA这一套。这种的做本地存储没毛病，做存储服务器远程访问还是拉稀。你上双路epyc9654都不好使，这是协议本身的瓶颈。所以说作为方案还是不成熟，因为用的软件和协议都不适合
fungible这个DPU也很强了，192线程+8*100gbps以太网，配合nvme-of协议才能达到接近直连的性能。aws nitro可以掰掰手腕，老黄也有希望。dell hp pure浪潮之流就别来丢人了
丑牛宝贝 发表于 2023-3-23 21:09
都是好卡
[偷笑]都是好卡,且很贵.我ebay拍了张美高森3258p-32i寄到朋友那,一直还没转运到手.
本帖最后由 声色茶马 于 2023-3-23 22:46 编辑
赫敏 发表于 2023-3-23 22:14
机械硬盘用的是中断返回数据，nvme不能用这一套了所以cpu占用率飙升效果还不好
企业你可以说产品成熟了 ...
大佬说得全对。但是且慢。我说的企业级特指AWS Nitro那类自研DPU的。好像很早看新闻就说，阿里、腾讯、百度都自己搞DPU了，估计固态集群早都跑得嗷嗷叫了。问题就是这些玩意儿都在封闭体系中，跟当年的大型机一样，感觉没谁打算往中小企业市场下放，就更不用说普及到家庭用户。
似乎也就老黄出个卡能有这号召力。但眼见着收Mellanox也不少年了，DPU还是一直不紧不慢。说起来也是，普通家庭搞U.2阵列，也就CHH有这么多“普通”家庭……
wxlg1117 发表于 2023-3-23 22:28
都是好卡,且很贵.我ebay拍了张美高森3258p-32i寄到朋友那,一直还没转运到手. ...
NVME做RAID5感觉很不错
ubutu的单线程读取和写入有上线吗？Windows是有的
硬盘，线，卡等物料都已到齐，准备给威联通qts系统扩展4个u.2，但是要关机，拆机动作太大，实在是想着就头皮发麻
wxlg1117 发表于 2023-3-23 22:28
都是好卡,且很贵.我ebay拍了张美高森3258p-32i寄到朋友那,一直还没转运到手. ...
期待你的评测。
brucelee1126 发表于 2023-3-24 17:29
硬盘，线，卡等物料都已到齐，准备给威联通qts系统扩展4个u.2，但是要关机，拆机动作太大，实在是想着就头 ...
确实很麻烦，折腾一次要好几天。我这也是，上次折腾了一半，没动力折腾了。
赫敏 发表于 2023-3-23 22:14
机械硬盘用的是中断返回数据，nvme不能用这一套了所以cpu占用率飙升效果还不好
企业你可以说产品成熟了 ...
现在太适合cpu直连+RDMA，成本低得很，组家庭网络，哈哈
我就只show一张图
litguy 发表于 2023-3-23 21:03
nvme 硬 raid 性能不错，不消耗 CPU，更好的有 GPU 作 raid。的，一个京东 5000 元的。GPU 就能跑 1700w...
朋友，是说的GRAID么，用A2000显卡做的raid。5000多，有京东的连接么，没搜到啊
shadoweyre 发表于 2023-3-23 16:24
硬raid有博通的lsi9500 -16i方案,dell的oem是h755p.pcie的2000多
https://zhuanlan.zhihu.com/p/388015044 ...
dell h750前阵子我初步看了下，阵列卡接的数据线估计是定制接dell自家的nvme的硬盘笼子的，搜了下用在普通家用机箱上没玩家分享方案，没参考经验我就放弃了
stonecold 发表于 2023-4-1 23:57
dell h750前阵子我初步看了下，阵列卡接的数据线估计是定制接dell自家的nvme的硬盘笼子的，搜了下用在普 ...
我这两天也是研究起了755，基本看不到效果的文章，不敢轻易下手。
liangns 发表于 2023-4-2 12:51
我这两天也是研究起了755，基本看不到效果的文章，不敢轻易下手。
我的Dell H710 用HDD组Raid5 已经用了9年多了, 人年纪大了，7200转的HDD噪音+共振声有点吃不消了(HDD处于Powe save模式时实在太安静了)，所以萌生换NVME的阵列卡的想法，Broadcom的阵列卡搜了下也太贵了，也不知道是不是要接它家硬盘笼子[流汗] 只能再等等
缓存开了没
liangns 发表于 2023-4-2 12:51
我这两天也是研究起了755，基本看不到效果的文章，不敢轻易下手。
你看我53楼的。
机器R7525 ，两块755N阵列卡，24块pm1733
马杰 发表于 2023-4-3 01:47
你看我53楼的。
机器R7525 ，两块755N阵列卡，24块pm1733
7525直通cpu zfs性能不行？还要用H755