Chiphell - 分享与交流用户体验

标题: 求解RAID5实际写速度 [打印本页]

作者: mokuro_sama 时间: 2023-3-2 13:14
标题: 求解RAID5实际写速度
如题，本人幼儿园玩家，求CHH大神们分享下实际速度/有无阵列卡/缓存。目前计划购入视频剪辑用大约200T附近多盘（18T若干存4K视频），之前5盘无卡写入只有80M，不知道实际如何，请用过的站友分享下。聊聊实际体验。

作者: RedMomoe 时间: 2023-3-2 13:21
提示: 作者被禁止或删除内容自动屏蔽

作者: 勇少 时间: 2023-3-2 13:22
raid 5我感觉多一个盘多100mb速度…8盘反正1.2g/s左右，就是几百g复制情况下，就几个g复制速度能有2g/s…盘越多越快

作者: kevinho86 时间: 2023-3-2 13:23
还是千兆内网的话，80算正常了

作者: litguy 时间: 2023-3-2 13:44
NAS 还是机箱内的 RAID5 ？如果你打算视频编辑，用后者吧

作者: zsnw9527 时间: 2023-3-2 14:51
本帖最后由 zsnw9527 于 2023-3-2 14:55 编辑

硬盘：我举个RAID0的例子你参考参考，阵列卡是dell h730p 2G缓存
4块Intel 730 SSD（sata）组的硬RAID0，读写速度能做达到PCIE3.0的NVME协议速度但是4k就是单盘。

网络设计：商业万兆起步自己玩就随便了

作者: iooo 时间: 2023-3-2 16:11
RAID5的性能主要看卡的性能，相同的卡看缓存，也可用纯软方案，也是看CPU的性能和内存，总之越大越好

作者: imyz 时间: 2023-3-2 16:49
5 盘 RAID5 才 80MB/s ？？？即使是软 RAID 用千兆网写入肯定也不应该低于 100MB/s。

5 盘 RAID5 即使全机械盘用最简陋的主板自带软 RAID，也可以简单粗暴地算作 3 个盘写入的和，最高写入 250~300MB/s 是稳的，若是上 RAID 卡（尽量别用 HBA 直通卡），并且开启读写缓存的，保守也能上 400MB/s

我 9260 用 400GB SSD CachCade 作读写缓存，3 机械盘 RAID5 最高都能达 300MB/s 的写入

作者: mokuro_sama 时间: 2023-3-2 20:28

勇少发表于 2023-3-2 13:22
raid 5我感觉多一个盘多100mb速度…8盘反正1.2g/s左右，就是几百g复制情况下，就几个g复制速度能有2g/s…盘 ...

请问用的是什么阵列卡速度这么快。

作者: mokuro_sama 时间: 2023-3-2 20:29

RedMomoe 发表于 2023-3-2 13:21
系统环境呢？千兆网还是万兆网？

小公司百兆环境准备置换成千兆。大约20人不到。约有15~17台PC。

作者: RedMomoe 时间: 2023-3-3 09:41
提示: 作者被禁止或删除内容自动屏蔽

作者: RedMomoe 时间: 2023-3-3 09:46
提示: 作者被禁止或删除内容自动屏蔽

作者: 无聊的五月 时间: 2023-3-3 09:59

mokuro_sama 发表于 2023-3-2 20:29
小公司百兆环境准备置换成千兆。大约20人不到。约有15~17台PC。

外部存储必须万兆环境。

作者: 无聊的五月 时间: 2023-3-3 09:59
本帖最后由无聊的五月于 2023-3-3 10:20 编辑

R5 R6 效验写入软或无缓存的速度能到300？我记得不是暴跌连单盘速度都没吗

作者: against 时间: 2023-3-3 10:19
Raid5如果不用阵列卡那你还是别用了，带缓存阵列卡正常5盘全新状态应该至少在500MB/s以上

作者: hcgxxx 时间: 2023-3-3 10:21
Raid 6 12个 4T盘 9361的卡，蛮早做的阵列了。2个250G盘raid 0做缓存。
服务器走的是双万兆，客户机都是双千兆。用smb 3.0协议，自动带宽叠加。
10几个客户端一起使用，完全OK。客户机读写稳定170-180M/s。

作者: 无聊的五月 时间: 2023-3-3 10:31

hcgxxx 发表于 2023-3-3 10:21
Raid 6 12个 4T盘 9361的卡，蛮早做的阵列了。2个250G盘raid 0做缓存。
服务器走的是双万兆，客户机都是双 ...

2个250G 缓存，是同一个卡里做RAID0 怎么设置的缓存？是存储系统里设置成缓存？用的啥系统

作者: hcgxxx 时间: 2023-3-3 10:55

无聊的五月发表于 2023-3-3 10:31
2个250G 缓存，是同一个卡里做RAID0 怎么设置的缓存？是存储系统里设置成缓存？用的啥系统
...

lsi的卡，买了授权key。硬件开启ssd缓存功能。

作者: 无聊的五月 时间: 2023-3-3 11:04

hcgxxx 发表于 2023-3-3 10:55
lsi的卡，买了授权key。硬件开启ssd缓存功能。

哦原来如此，授权多少钱

作者: nsc117 时间: 2023-3-3 12:14

勇少发表于 2023-3-2 13:22
raid 5我感觉多一个盘多100mb速度…8盘反正1.2g/s左右，就是几百g复制情况下，就几个g复制速度能有2g/s…盘 ...

正解实际速度取决于单盘速度带一点写惩罚

作者: nsc117 时间: 2023-3-3 12:15

RedMomoe 发表于 2023-3-3 09:41
百兆网80M正常的，瓶颈是百兆网。换成千兆，也不过是120M左右。真正要想达到RAID5的最大读写速度，那就要 ...

百兆内网的速度应该是10M多而不是80M哦
千兆网的正常速度应该在100左右

作者: nsc117 时间: 2023-3-3 12:29

无聊的五月发表于 2023-3-3 09:59
R5 R6 效验写入软或无缓存的速度能到300？我记得不是暴跌连单盘速度都没吗 ...

没缓存的R5就是渣渣有条件上ZFS吧真香

作者: 无聊的五月 时间: 2023-3-3 12:39

nsc117 发表于 2023-3-3 12:29
没缓存的R5就是渣渣有条件上ZFS吧真香

我这单存储机器是ZFS，独立ESXI是 4盘R10+1盘热备

作者: hcgxxx 时间: 2023-3-3 13:16

无聊的五月发表于 2023-3-3 11:04
哦原来如此，授权多少钱

好像3-400的样子，不贵。效果还挺好的。

作者: mdk2000 时间: 2023-3-4 04:27
win只能上卡,软r性能烂死
软的只能跑linux,性能看cpu

dell h840 绿盘6t x12 r5
(, 下载次数: 58)

东芝mg07 14t x12 r5
(, 下载次数: 52)

作者: ghwwx 时间: 2023-3-4 08:40

imyz 发表于 2023-3-2 16:49
5 盘 RAID5 才 80MB/s ？？？即使是软 RAID 用千兆网写入肯定也不应该低于 100MB/s。

5 盘 RAID5 即使全机 ...

9260怎么才能搞成SSD做缓存呢？

作者: 1dayPianist 时间: 2023-3-4 08:43
mdadm优化好了，很快的。
当然，你可能做得和群晖有差距。

https://www.synology.com/zh-tw/p ... ance#xs_and_xs_plus
参考第一项数据。

作者: 勇少 时间: 2023-3-4 09:26

mokuro_sama 发表于 2023-3-2 20:28
请问用的是什么阵列卡速度这么快。

威联通1288x的nas里的

作者: brucelee1126 时间: 2023-3-4 09:42
实测8盘raid6，读写都在1.36G/s到1.38G/s,

另外，开幼儿园为什么会需要上百t的4k视频剪辑

作者: lishch999 时间: 2023-3-4 12:14
4盘RAID稳定600MB，刚开始有缓存1G多吧。西数H320 8T。

作者: 山不是水 时间: 2023-3-4 12:22
上PC加大容量固态本地剪辑，比如7.68T，够剪几个大视频了，如果不是nas，机械盘单盘备份就行，自动同步备份

作者: mokuro_sama 时间: 2023-3-4 15:32

无聊的五月发表于 2023-3-3 09:59
R5 R6 效验写入软或无缓存的速度能到300？我记得不是暴跌连单盘速度都没吗 ...

是没有单盘速度，之前是15年那会用X99 板载无卡机箱内挂5盘希捷4+1，写入60+ 到110+坚持了一年拆掉了，读还可以有400附近。

作者: imyz 时间: 2023-3-6 09:10

ghwwx 发表于 2023-3-4 08:40
9260怎么才能搞成SSD做缓存呢？

9260 要加一个硬件 Key 来启用 9260 的高级功能，包括 CacheCade 和 RAID6 等，就是小小的一个卡，接在 9260 板卡上靠近挡板的一个两针的口上，TB 或小黄鱼上找应该有，估计几十块吧，你问卖你卡的店家都应该知道这东西的，然后：

1. 实体机若是采用 Windows 的，安装好 Driver 后，下载 Broadcom 官方提供的 MegaRAID Storage Management（MSM）最新版的是 17.05.06，用 Windows 本机管理员帐号登录进入后，点 Logical 卡页选项，右键点 9260 并选择 Create CacheCade 创建 CacheCade，选择 SSD，建议至少 2 块 SSD 作 RAID1 来确保数据安全；

2. 然后选择机械盘所在的 VD 虚拟磁盘，右键 Enable SSD Cache，再按提示一步步确认后即可；

若实体机是 ESXi 的，也可以安装 SMIS Provider VMware 版，然后再随便找台 Windows 电脑下载一个最新版的 LSI Storage Authority（LSA）安装好后，用 ESXi 主机的 IP 地址搜索并添加后，用 ESXi 的 root 帐号登录后，就可以实现远程管理，实现和 Windows 主机上 MSM 本地管理差不多的功能。

上面提到的所有的官方驱动或工具，都可以在 Broadcom 官网上下载。

作者: ghwwx 时间: 2023-3-6 09:14

imyz 发表于 2023-3-6 09:10
9260 要加一个硬件 Key 来启用 9260 的高级功能，包括 CacheCade 和 RAID6 等，就是小小的一个卡，接在 9 ...

多谢！多谢！

如果缓存盘坏了，内容会丢失么？还是已经等机械硬盘空的时候，就已经写入到机械硬盘了？

作者: 赫敏 时间: 2023-3-6 09:15

zsnw9527 发表于 2023-3-2 01:51
硬盘：我举个RAID0的例子你参考参考，阵列卡是dell h730p 2G缓存
4块Intel 730 SSD（sata）组的硬RAID0， ...

raid0对raid5又没有参考性

作者: summerq 时间: 2023-3-6 09:19

勇少发表于 2023-3-4 09:26
威联通1288x的nas里的

1288x不是8盘位么，你怎么弄到12个14t的呀？莫非你把2.5寸的四个盘引出来了吗？我配置给你一样，8盘位速度跟你差不多

作者: imyz 时间: 2023-3-6 09:20
本帖最后由 imyz 于 2023-3-6 09:33 编辑

ghwwx 发表于 2023-3-6 09:14
多谢！多谢！

如果缓存盘坏了，内容会丢失么？还是已经等机械硬盘空的时候，就已经写入到机械硬盘了？ ...

缓存盘坏了后，已写入机械盘中的数据不会丢失，然而这时你的阵列虽然可以识别到有机械盘 VD，但无论你怎么重启都会发现你的 VD 是不能被正常访问的，若你的操作系统引导也在机械 VD 上的话，你会发现系统无法引导..... 但不要慌，原因是你得先手工用 Windows 本地管理方式进入 MSM，手工 Disable SSD Cache 后，机械 VD 就能正常访问了，但未被写入机械盘的那部分内容会丢失。

即使这样，也还是有一定的风险的，所以建议 CacheCade 上 RAID1 有个镜像保险

对了，9260 和 IBM ServerRAID M5015 的基板是一样的，但这两个卡的阵列不互通用，Key 也不通用，要注意区分

作者: ghwwx 时间: 2023-3-6 10:37

imyz 发表于 2023-3-6 09:20
缓存盘坏了后，已写入机械盘中的数据不会丢失，然而这时你的阵列虽然可以识别到有机械盘 VD，但无论你怎 ...

嗯嗯。
看来也是有风险的。
不过我只用来做PT，这样的话，用个多大的SSD比较好呢。一般的话。

作者: 勇少 时间: 2023-3-6 11:29

summerq 发表于 2023-3-6 09:19
1288x不是8盘位么，你怎么弄到12个14t的呀？莫非你把2.5寸的四个盘引出来了吗？我配置给你一样，8盘位速 ...

我是8个18t，2个2t m.2，4个4t SATA ssd…

作者: imyz 时间: 2023-3-6 12:10
本帖最后由 imyz 于 2023-3-6 12:11 编辑

ghwwx 发表于 2023-3-6 10:37
嗯嗯。
看来也是有风险的。
不过我只用来做PT，这样的话，用个多大的SSD比较好呢。一般的话。 ...

PT 的话，这个看个人吧，我感觉 SSD 的 DWPD / TBW 尽可能的高，不差钱的肯定是建议写不死的 Optane，退而求其次也得上企业级的，民用级倒不是说不能用，日常性能差不了太多，主要是怕 7x24 不定期暴毙后折腾

我目前是用两块 Intel S3700 400G 建 RAID1 CacheCade，挂了一年多了一直稳定工作，反倒是我的机械阵列中当初误上了 SMR 的贼船，不定期搞些小问题

作者: ghwwx 时间: 2023-3-6 14:11
多谢，多谢！

作者: bloodwar 时间: 2023-3-6 14:58
理论速度可以600。我NAS四盘基本在550左右。
千兆网拉满就是130不到。

作者: mokuro_sama 时间: 2023-3-6 19:22

brucelee1126 发表于 2023-3-4 09:42
实测8盘raid6，读写都在1.36G/s到1.38G/s,

另外，开幼儿园为什么会需要上百t的4k视频剪辑 ...

憨憨公司接的活比较另类，还有虚6K的，都是吃盘的活。RAID6应该比R5还繁琐，速度更加感人。读写这么快用了什么卡啊？

作者: mokuro_sama 时间: 2023-3-6 19:25

mdk2000 发表于 2023-3-4 04:27
win只能上卡,软r性能烂死
软的只能跑linux,性能看cpu

具有很大指导意义，感谢分享。

作者: brucelee1126 时间: 2023-3-6 22:00

mokuro_sama 发表于 2023-3-6 19:22
憨憨公司接的活比较另类，还有虚6K的，都是吃盘的活。RAID6应该比R5还繁琐，速度更加感人。读写这么快用 ...

8盘18t用威联通组raid，在pc上用资源管理器在威联通的raid6和威联通nvme之间拷贝2.4t单个大文件测试

作者: kingpino 时间: 2023-3-7 16:56
本帖最后由 kingpino 于 2023-3-7 16:57 编辑

turenas系统5盘10T， raid5，万兆直连，没开巨型帧的话基本稳定在600左右，打开巨型帧1.1G。我这个系统拿内存做缓存。首次无缓存情况下，我感觉应该不低于500MB

作者: sad1111 时间: 2023-3-8 17:00
战马~~~~~~

作者: Satan023 时间: 2023-10-16 10:38

imyz 发表于 2023-3-6 09:10
9260 要加一个硬件 Key 来启用 9260 的高级功能，包括 CacheCade 和 RAID6 等，就是小小的一个卡，接在 9 ...

hello，请问一下：
你知道MSM搜索不到安装了SMIS provider的esxi主机ip，是不支持还是有什么设置问题？
LSA倒是没问题的。

作者: imyz 时间: 2023-10-16 10:43

Satan023 发表于 2023-10-16 10:38
hello，请问一下：
你知道MSM搜索不到安装了SMIS provider的esxi主机ip，是不支持还是有什么设置问题？
L ...

是指用 MSM 来搜索另一台 ESXi 主机的 RAID 卡？我还真没这么试过，等我晚上回去找时间试下吧...

不过感觉 LSA 用浏览器方式不是更方便吗？我用 MSM 全是用来管理本机的卡，而且都是初始化配置时用一下，之后全是 ESXi + LSA

作者: Satan023 时间: 2023-10-16 11:29

imyz 发表于 2023-10-16 10:43
是指用 MSM 来搜索另一台 ESXi 主机的 RAID 卡？我还真没这么试过，等我晚上回去找时间试下吧...

不过感 ...

MSM功能更强大，LSA web界面略卡我觉得不是很方便233
我看博通有一篇kb说msm可以管esxi下的raid卡的，跟LSA只要装vib就行。搜不到esxi ip的话vm network改混杂，vm关闭防火墙、esxi关闭防火墙、vm设hosts我都试过就是死活搜不到
等老哥试过反馈了 thx

作者: imyz 时间: 2023-10-16 11:45

Satan023 发表于 2023-10-16 11:29
MSM功能更强大，LSA web界面略卡我觉得不是很方便233
我看博通有一篇kb说msm可以管esxi下的raid卡的，跟L ...

你上面帖子一说我就懂你的意思了。之前在用 MSM 时的确看到有选项是有局域网中的 ESXi，正好现在也有条件试，等晚上吧。

LSA 远程方式比起 MSM 本地管理肯定是有时显延时的，并且设置生效后在 UI 上并不能直观地展示出来，等完全关闭浏览器清除缓存后，再次开浏览器才能看到变更.... 在需要多次操作的场景下，的确比较烦人

作者: imyz 时间: 2023-10-17 10:35

Satan023 发表于 2023-10-16 11:29
MSM功能更强大，LSA web界面略卡我觉得不是很方便233
我看博通有一篇kb说msm可以管esxi下的raid卡的，跟L ...

很遗憾地告诉这位兄台，昨晚试了一整晚都失败了。尝试了各种方法，包括将防火墙关闭，在 etc\hosts 中添加真实 ip 解析，MSM Configuration 中选择不同的检索方式等等....

我目前手上有 9260 + 9364 两张卡分别两台主机，分别尝试从其中一台访问另一台 ESXi CIM 均失败，甚至在虚拟机中尝试访问两台也是不行，所以暂时放弃了，还是先用 LSA 吧

(, 下载次数: 47)

(, 下载次数: 39)

作者: conanhfl 时间: 2023-10-17 11:27
LSI 9560 + HC570 22TBx8 RAID6, 写入大约在1400MB/s左右
(, 下载次数: 46)

作者: Satan023 时间: 2023-10-17 11:36

imyz 发表于 2023-10-17 10:35
很遗憾地告诉这位兄台，昨晚试了一整晚都失败了。尝试了各种方法，包括将防火墙关闭，在 etc\hosts 中添 ...

感谢老哥了帮忙测试

这个MSM博通不知道是不是停止维护了所以不支持了

说到9364，请问下你用了raid卡后机箱前面板HDD LED还会亮吗？
请移步https://www.chiphell.com/forum.php?mod=viewthread&tid=2553381这个贴指点下谢谢辣

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)