更新
分别测试了
nvme为P4610
总结 zfs下 nvme也只能当高性能hdd使用[雷人]
metadata存在的情况下hddpool有提升
还是加内存最实在
就先暂时这么用了 感谢J叔
下面是测试结果
nvme 四盘 raid10 async=enable
------------------------------------------------------------------------------
CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s
* KB = 1000 bytes, KiB = 1024 bytes
SEQ 1MiB (Q=8, T= 1):1686.849 MB/s [ 1608.7 IOPS] <4968.19 us>
SEQ128KiB (Q=8, T= 8):3018.896 MB/s <2776.73 us>
RND 4KiB (Q= 32, T=16): 88.801 MB/s < 23531.17 us>
RND 4KiB (Q=1, T= 1): 41.255 MB/s < 99.16 us>
SEQ 1MiB (Q=8, T= 1):1990.050 MB/s [ 1897.9 IOPS] <4203.53 us>
SEQ128KiB (Q=8, T= 8):1922.005 MB/s <4358.53 us>
RND 4KiB (Q= 32, T=16): 186.869 MB/s < 11179.27 us>
RND 4KiB (Q=1, T= 1): 33.005 MB/s [ 8057.9 IOPS] < 123.96 us>
Profile: Default
Test: 1 GiB (x5)
Mode:
Time: Measure 5 sec / Interval 5 sec
Date: 2022/05/13 15:03:10
OS: Windows Server 2019 Datacenter (Full installation) (x64)
Comment: raid10
nvme 单盘 raid0 async=enable
------------------------------------------------------------------------------
CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s
* KB = 1000 bytes, KiB = 1024 bytes
SEQ 1MiB (Q=8, T= 1):1694.023 MB/s [ 1615.5 IOPS] <4695.85 us>
SEQ128KiB (Q=8, T= 8):3052.036 MB/s <2746.63 us>
RND 4KiB (Q= 32, T=16): 83.695 MB/s < 24969.69 us>
RND 4KiB (Q=1, T= 1): 41.492 MB/s < 98.59 us>
SEQ 1MiB (Q=8, T= 1):2166.966 MB/s [ 2066.6 IOPS] <3861.83 us>
SEQ128KiB (Q=8, T= 8):1957.021 MB/s <4280.45 us>
RND 4KiB (Q= 32, T=16): 200.099 MB/s < 10451.03 us>
RND 4KiB (Q=1, T= 1): 33.939 MB/s [ 8285.9 IOPS] < 120.55 us>
Profile: Default
Test: 1 GiB (x5)
Mode:
Time: Measure 5 sec / Interval 5 sec
Date: 2022/05/13 15:12:11
OS: Windows Server 2019 Datacenter (Full installation) (x64)
Comment: 单盘raid0
nvme 双盘 raid1 async=enable
------------------------------------------------------------------------------
CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s
* KB = 1000 bytes, KiB = 1024 bytes
SEQ 1MiB (Q=8, T= 1):1612.973 MB/s [ 1538.3 IOPS] <5194.27 us>
SEQ128KiB (Q=8, T= 8):2544.942 MB/s <3293.54 us>
RND 4KiB (Q= 32, T=16): 81.891 MB/s < 25522.74 us>
RND 4KiB (Q=1, T= 1): 40.776 MB/s [ 9955.1 IOPS] < 100.33 us>
SEQ 1MiB (Q=8, T= 1): 842.614 MB/s [ 803.6 IOPS] <9921.00 us>
SEQ128KiB (Q=8, T= 8): 494.060 MB/s [ 3769.4 IOPS] < 16923.66 us>
RND 4KiB (Q= 32, T=16): 32.846 MB/s [ 8019.0 IOPS] < 63052.89 us>
RND 4KiB (Q=1, T= 1): 16.429 MB/s [ 4011.0 IOPS] < 249.08 us>
Profile: Default
Test: 1 GiB (x5)
Mode:
Time: Measure 5 sec / Interval 5 sec
Date: 2022/05/13 15:28:05
OS: Windows Server 2019 Datacenter (Full installation) (x64)
Comment: raid0-1 async=disable
hdd raidz2*2 async=enable
------------------------------------------------------------------------------
CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s
* KB = 1000 bytes, KiB = 1024 bytes
SEQ 1MiB (Q=8, T= 1):1583.659 MB/s [ 1510.3 IOPS] <5291.27 us>
SEQ128KiB (Q=8, T= 8):2655.567 MB/s <3154.99 us>
RND 4KiB (Q= 32, T=16): 86.604 MB/s < 24109.44 us>
RND 4KiB (Q=1, T= 1): 44.226 MB/s < 92.49 us>
SEQ 1MiB (Q=8, T= 1): 759.449 MB/s [ 724.3 IOPS] < 11013.37 us>
SEQ128KiB (Q=8, T= 8): 545.840 MB/s [ 4164.4 IOPS] < 15318.42 us>
RND 4KiB (Q= 32, T=16): 30.022 MB/s [ 7329.6 IOPS] < 69128.94 us>
RND 4KiB (Q=1, T= 1): 16.713 MB/s [ 4080.3 IOPS] < 244.83 us>
Profile: Default
Test: 1 GiB (x5)
Mode:
Time: Measure 5 sec / Interval 5 sec
Date: 2022/05/13 15:33:11
OS: Windows Server 2019 Datacenter (Full installation) (x64)
Comment: hdd async=disable
nvme 单盘 raid0 async=disable
------------------------------------------------------------------------------
CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s
* KB = 1000 bytes, KiB = 1024 bytes
SEQ 1MiB (Q=8, T= 1):1612.973 MB/s [ 1538.3 IOPS] <5194.27 us>
SEQ128KiB (Q=8, T= 8):2544.942 MB/s <3293.54 us>
RND 4KiB (Q= 32, T=16): 81.891 MB/s < 25522.74 us>
RND 4KiB (Q=1, T= 1): 40.776 MB/s [ 9955.1 IOPS] < 100.33 us>
SEQ 1MiB (Q=8, T= 1): 842.614 MB/s [ 803.6 IOPS] <9921.00 us>
SEQ128KiB (Q=8, T= 8): 494.060 MB/s [ 3769.4 IOPS] < 16923.66 us>
RND 4KiB (Q= 32, T=16): 32.846 MB/s [ 8019.0 IOPS] < 63052.89 us>
RND 4KiB (Q=1, T= 1): 16.429 MB/s [ 4011.0 IOPS] < 249.08 us>
Profile: Default
Test: 1 GiB (x5)
Mode:
Time: Measure 5 sec / Interval 5 sec
Date: 2022/05/13 15:28:05
OS: Windows Server 2019 Datacenter (Full installation) (x64)
Comment: raid0-1 async=disable
nvme 四盘 raid10 async=disable
------------------------------------------------------------------------------
CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s
* KB = 1000 bytes, KiB = 1024 bytes
SEQ 1MiB (Q=8, T= 1):1657.061 MB/s [ 1580.3 IOPS] <5056.80 us>
SEQ128KiB (Q=8, T= 8):2558.193 MB/s <3276.84 us>
RND 4KiB (Q= 32, T=16): 88.048 MB/s < 23748.98 us>
RND 4KiB (Q=1, T= 1): 41.601 MB/s < 98.34 us>
SEQ 1MiB (Q=8, T= 1): 844.880 MB/s [ 805.7 IOPS] <9895.56 us>
SEQ128KiB (Q=8, T= 8): 490.464 MB/s [ 3741.9 IOPS] < 17042.09 us>
RND 4KiB (Q= 32, T=16): 30.180 MB/s [ 7368.2 IOPS] < 68891.20 us>
RND 4KiB (Q=1, T= 1): 16.441 MB/s [ 4013.9 IOPS] < 248.89 us>
Profile: Default
Test: 1 GiB (x5)
Mode:
Time: Measure 5 sec / Interval 5 sec
Date: 2022/05/13 15:40:51
OS: Windows Server 2019 Datacenter (Full installation) (x64)
Comment: raid10 async=disable
nvme 四盘 raid5 async=disable
------------------------------------------------------------------------------
CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s
* KB = 1000 bytes, KiB = 1024 bytes
SEQ 1MiB (Q=8, T= 1):1589.352 MB/s [ 1515.7 IOPS] <5272.98 us>
SEQ128KiB (Q=8, T= 8):2492.544 MB/s <3363.04 us>
RND 4KiB (Q= 32, T=16): 87.415 MB/s < 23907.39 us>
RND 4KiB (Q=1, T= 1): 41.116 MB/s < 99.49 us>
SEQ 1MiB (Q=8, T= 1): 824.193 MB/s [ 786.0 IOPS] < 10146.50 us>
SEQ128KiB (Q=8, T= 8): 456.695 MB/s [ 3484.3 IOPS] < 18280.85 us>
RND 4KiB (Q= 32, T=16): 25.271 MB/s [ 6169.7 IOPS] < 81901.40 us>
RND 4KiB (Q=1, T= 1): 16.021 MB/s [ 3911.4 IOPS] < 255.43 us>
Profile: Default
Test: 1 GiB (x5)
Mode:
Time: Measure 5 sec / Interval 5 sec
Date: 2022/05/13 15:47:43
OS: Windows Server 2019 Datacenter (Full installation) (x64)
Comment: raid5 asyan=disable
hddpool metadata：nvme *4 raidz2*2 async=disable
------------------------------------------------------------------------------
CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s
* KB = 1000 bytes, KiB = 1024 bytes
SEQ 1MiB (Q=8, T= 1):1658.722 MB/s [ 1581.9 IOPS] <5053.01 us>
SEQ128KiB (Q=8, T= 8):2994.636 MB/s <2793.26 us>
RND 4KiB (Q= 32, T=16): 72.305 MB/s < 28894.42 us>
RND 4KiB (Q=1, T= 1): 37.200 MB/s [ 9082.0 IOPS] < 109.98 us>
SEQ 1MiB (Q=8, T= 1): 769.940 MB/s [ 734.3 IOPS] < 10863.25 us>
SEQ128KiB (Q=8, T= 8): 531.076 MB/s [ 4051.8 IOPS] < 15750.09 us>
RND 4KiB (Q= 32, T=16): 28.165 MB/s [ 6876.2 IOPS] < 73729.07 us>
RND 4KiB (Q=1, T= 1): 16.830 MB/s [ 4108.9 IOPS] < 243.16 us>
Profile: Default
Test: 64 GiB (x5)
Mode:
Time: Measure 5 sec / Interval 5 sec
Date: 2022/05/13 16:46:37
OS: Windows Server 2019 Datacenter (Full installation) (x64)
Comment: hddpool async=diskable
hddpool metadata：nvme *4 raidz2*2 async=enable
------------------------------------------------------------------------------
CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s
* KB = 1000 bytes, KiB = 1024 bytes
SEQ 1MiB (Q=8, T= 1):1667.111 MB/s [ 1589.9 IOPS] <5026.17 us>
SEQ128KiB (Q=8, T= 8):2612.037 MB/s <3208.86 us>
RND 4KiB (Q= 32, T=16): 73.526 MB/s < 28417.48 us>
RND 4KiB (Q=1, T= 1): 38.491 MB/s [ 9397.2 IOPS] < 106.29 us>
SEQ 1MiB (Q=8, T= 1): 806.107 MB/s [ 768.8 IOPS] < 10375.40 us>
SEQ128KiB (Q=8, T= 8):1982.620 MB/s <4222.37 us>
RND 4KiB (Q= 32, T=16): 27.606 MB/s [ 6739.7 IOPS] < 75252.18 us>
RND 4KiB (Q=1, T= 1): 28.798 MB/s [ 7030.8 IOPS] < 142.05 us>
Profile: Default
Test: 64 GiB (x5)
Mode:
Time: Measure 5 sec / Interval 5 sec
Date: 2022/05/13 16:55:41
OS: Windows Server 2019 Datacenter (Full installation) (x64)
Comment: hddpool async=enable
最后附一张单盘nvme raid0 两个挂载 同时跑4k结果
jerrytsao 发表于 2022-4-1 10:34
我肯定没有这种需求...你这种我觉得上Ceph啊
ceph我也有一套环境 可以做到奇数节点不停机
jerrytsao 发表于 2022-3-26 23:14
晚些会定制个32盘机箱, 目前8盘放在外面的笼子, 不想用机柜...
楼主现在换新箱子了吗？32盘是机柜式还是塔式？
d7xl使用情况怎么样：现在这种室外30来度的天气，不开空调的话硬盘多少度，前面的a12x25开多少转？
sc80t 发表于 2022-6-8 23:23
楼主现在换新箱子了吗？32盘是机柜式还是塔式？
d7xl使用情况怎么样：现在这种室外30来度的天气，不开空 ...
还没有, 必须是普通塔式机箱, 否则机柜选择无限多...D7 XL很稳没毛病
jerrytsao 发表于 2022-6-9 02:52
还没有, 必须是普通塔式机箱, 否则机柜选择无限多...D7 XL很稳没毛病
好的 谢谢
zfs炒的概念吧，问题一大堆，特性没见到，哪有EXT4好。
还有这个NAS做什么应用呢。坚决反对无配套应用，单纯堆配置的。
请问rdma搞定了吗？starwind貌似有配套软件，可以支持rdma
本帖最后由 堪堪可闻 于 2022-6-24 03:24 编辑
你是怎么装下24个HDD的？我看7xl标准安装是18HDD啊
+++++++++++++++++++++++++++++++++++
看到答案了，接到外面...
这么多硬盘，线缆上是不是要标序号？不然哪个盘坏了都找不到[晕倒]
jerrytsao 发表于 2022-5-10 11:32
PCIe NVMe SSD Pool在ZFS 3.0出来之前限制较大, 有多余磁盘的话还不如给HDD Pool做Special Vdev ...
大佬能说说metadata提升有多大吗
QSG 发表于 2022-7-17 14:09
大佬能说说metadata提升有多大吗
主贴CDM测试的随机性能啊...另外就是万一盘坏了更换需要Resilvering的时候
大佬们的电表是不是都是倒转的啊[晕倒]
大佬们，请问一下，超微这款 AOC-SLG3-2E4T NVME 卡是不是自带芯片的呀。。 还是需要主板支持拆分？
超微官网：https://www.supermicro.com/zh_cn/products/accessories/addon/AOC-SLG3-2E4T.php
其实我觉得软RAID性能不够是伪命题，原先我们隧道有178路1080p的视频监控，分13个服务器储存，每个每个服务器上用mdadm把11块硬盘组成raid5，另有一块热备盘，一天24小时的覆盖写入，视频存储和调取没出现过瓶颈，到我离职的时候大概有个2年多时间没出现过阵列崩溃，有个别盘挂了热备和降级使用都能顶上去。我觉得哪怕是PT玩家高强度刷流软阵列也完全能满足需求
马甲群鬼 发表于 2022-8-26 16:07
其实我觉得软RAID性能不够是伪命题，原先我们隧道有178路1080p的视频监控，分13个服务器储存，每个每个服务 ...
我作分布式全闪存阵列的
软 RAID 性能肯定对现在的 CPU 不是问题
PT 下载超不过 2GB/S 的写入性能吧
so，不用纠结这个
软 RAID 主要是 RAID5 这种有 write hole，硬 RAID 上面有 cache 和电池，不怕这个
其实监控这种，有 write hole 都无所谓，掉电前几秒的数据丢了都不是问题
litguy 发表于 2022-8-26 16:49
我作分布式全闪存阵列的
软 RAID 性能肯定对现在的 CPU 不是问题
PT 下载超不过 2GB/S 的写入性能吧
单位的服务器有个能坚持2个小时的UPS，还联动台自启的柴油发电机，应该不会丢数据
家里面的NAS我也买个UPS，设置剩余15供电时间通知NAS关机，问题不大
马甲群鬼 发表于 2022-8-26 16:55
单位的服务器有个能坚持2个小时的UPS，还联动台自启的柴油发电机，应该不会丢数据
家里面的NAS我也买个U ...
肯定是那样的，我们的 QA 要求更高，会强制拔电源这种测试来检查重新上电后的数据完整性，一些隐藏的小 bug 都是这样发现的
我用X570D4U-2L2T(内置X550-T2)+5700X+2x32G3200ECC+2x16GOptane(一块作boot drive一块作system dataset pool[这块以后要换高容量的])+5xHC550(raidz1)+280G900pOptane(slog)组的truenas scale, SMB连接PC里的X550-T2 NIC(一根线直连)怎么都跑不满10GbE/raidz1的速度(写开始时可以后期不行, 读全程不行).
J叔(or any other 18cm)知道有什么办法吗?
(网上有说法要开multi channel support + Receive Side Scaling, 然而scale最新版本smb auxiliary parameters里把interfaces给ban了)
随野 发表于 2022-9-5 04:04
我用X570D4U-2L2T(内置X550-T2)+5700X+2x32G3200ECC+2x16GOptane(一块作boot drive一块作system dataset po ...
先在 NAS 内部读写共享目录，确认可以突破这个速度限制，然后才是看 nfs/cifs 的问题
本帖最后由 dsboylw 于 2022-10-7 03:26 编辑
lz2906190 发表于 2022-6-9 09:07
zfs炒的概念吧，问题一大堆，特性没见到，哪有EXT4好。
抄概念？
SUN从2005年把ZFS并入Solaris里，现在小20年了，到你这概念了
j叔求教：
看到您用9400-16i，想问下是有什么特殊原因吗？9400-16i相对9300-16i 9305-16i这些hba卡，在性能上有区别吗？还是9400有一些新特性是9300没有的？
感谢。
内存比我硬盘大系列
[流泪] 它弯了
转接卡插四个u2，无外置供电顶得住吗？[晕倒]
今天又把这个帖子重新读了一遍，非常期待后面nvme over rdma的过程
hanyou7 发表于 2022-5-13 17:16
更新
分别测试了
nvme为P4610
这个元数据metadata是完全不提升4K，是吗？
留名mark
请教下J叔，mcx354-fcct和mcx354-fcbt这两款网卡有什么区别呀？
这太强了，膜拜
看了这一卡多接的u2，瞬间不用看。折腾不起。