这个应该是站里最吊的NAS了吧
jerrytsao 发表于 2022-4-6 02:02
2022-04-06 Update 40GbE
因为有了sunneyboy的这个SCALE vs CORE帖子, 开始折腾之前扔在垃圾堆N年的"古董 ...
大佬可以出一个配置rdma的教程吗？我现在pc端是mcx515a-cdat truenas端是mcx516a-cdat mellanox aoc直连
本帖最后由 jerrytsao 于 2022-4-8 17:10 编辑
衡山路道长 发表于 2022-4-8 17:04
大佬可以出一个配置rdma的教程吗？我现在pc端是mcx515a-cdat truenas端是mcx516a-cdat mellanox aoc直连
...
我还没开始, SH快递停工导致CX-6 200G卡寄不出来, 周末先用CX-3 Pro 40G试试NVMe-oF
jerrytsao 发表于 2022-4-8 17:08
我还没开始, SH快递停工导致CX-6 200G卡寄不出来, 周末先用CX-3 Pro 40G试试NVMe-oF ...
搜嘎，静待大佬的好消息
等级太高了，光299T就足以君临天下了。
厉害了！！
想借楼咨询一下楼主
如果24块机械盘组个raidz2
6G expender背板机箱+一张2008hba卡会有瓶颈吗？？
搜索了一下感觉几乎没有使用expender背板的作业贴。
goat 发表于 2022-3-26 20:21
unraid直接不建议是因为收费吗
unraid用起来是挺省心，就是性能实在是拉跨，TrusNAS的门槛还是有点高，不过这性能（烧钱能力）确实强悍，这篇作文感觉必抄，家里现八盘位威联通那和18盘位成品服务器Unraid性能实在是。。。
qwer252551 发表于 2022-4-22 22:10
厉害了！！
想借楼咨询一下楼主
如果24块机械盘组个raidz2
我是6g expender背板、9440 i8（插两条线）、万兆、truenas core，目前插了了12个盘（2*6盘raidz2 ）
暂时没发现有瓶颈，smb能跑满万兆
Juzi丶 发表于 2022-3-26 21:27
scale的性能至少比core差三分一
很明显一点就是就算samba在linux用了vfs_io_uring，4k的iops还是比freebsd ...
我对你说的不同意。
在明确知道 存储文件块大小情况下，设定合适的recordsize会提高效率。
比如bt 程序，设定1M 为块单位，那么 1M的 recordsize 会提升效率，而不能单单看 IOPS吧。
读取如果也是1M为单位，那么提升吞吐会很明显。
再反向说一下，如果约小的recordsize越好，那么何必搞 512KB 1M大小参数呢？
128KB是一个通用设置，符合绝大部分场景。
-----------------
并不推荐大于128KiB的记录大小
大的记录大小带来相应的就是块读写时间增加
这会导致在机械盘上的大跨度的iops骤降
而且哪怕不是大跨度读写性能也不如128KiB
T.JOHN 发表于 2022-3-26 22:39
我并不觉得scale性能会比core差到哪里去，openzfs代码统一以后区别只是freebsd和linux两个底层操作系统较量 ...
我的freenas用的是16G ECC + 4 * 8T HDD。没做任何nvme加速。
创业4年多了，低负载当冷备，很稳定，不掉链子。
jerrytsao 发表于 2022-3-30 13:58
有没有设primarycache=metadata, NVMe SSD建议等OpenZFS 3.0上线看DirectIO实际表现, 能真正绕过ARC/RAM ...
3.0 发布，恐怕有的等了。
就是因为 ARC/RAM问题，我纯 NVME 用ZFS快被甲方怼死了。
tf0083 发表于 2022-4-24 10:05
unraid用起来是挺省心，就是性能实在是拉跨，TrusNAS的门槛还是有点高，不过这性能（烧钱能力）确实强悍 ...
一次堆满基本上可以不用考虑unraid了，但是一次8/12*18[无奈]这还不是壕无人性的纯nvme阵列
unraid对付换下来的设备用来处理现有设备的归档&基本不会修改的文件还是可以，跑主力还是算了
请问为啥不用iscsi挂载呢
xu089757 发表于 2022-4-24 10:30
我是6g expender背板、9440 i8（插两条线）、万兆、truenas core，目前插了了12个盘（2*6盘raidz2 ）
暂 ...
多谢兄弟提供参考
这下可以放心上expender了
mlnet 发表于 2022-4-25 18:32
请问为啥不用iscsi挂载呢
计划被拖了下, 等折腾RDMA和NVMe-oF Target/Initiator Offloads的时候弄iSCSI Target
goat 发表于 2022-3-26 23:43
但是现在snapraid要跑crontab，flex好像几乎处于停滞状态。开箱即食，又可以整合一堆乱乱七八糟容量且带 ...
我是proxmox下面自已搭mergerfs+snapraid@_@ 和unraid比...就是搞不定缓存...
刚买了个X520升级万兆，进来看了下帖子，突然不想搞了。。。
准备三年后能不能抄个作业
我艹，太屌了
默默的看了看快服役6年的老家伙. 廉颇老矣
https://i.ibb.co/27HPQsH/9-FBE0793-BF4-F-456-D-B4-FB-45036-ABD1-E5-D.jpg
https://i.ibb.co/R0BSstj/0244769-B-A692-4-A57-820-B-A30-BF6-C5-B025.jpg
看到有提到p2p下载文件导致的池数据碎片化的问题，自己之前也一直想加ssd作为pt中转
但前几天有大佬提到用github的pjd/filerewrite解决ZFS扩容后旧的区块仍然保持着旧的数据与奇偶性的比例的问题。
突发奇想好像这个也能解决碎片化的问题，干脆就不管暂时的碎片化问题了
Mark先，然后找时间好好学习
J叔请教个问题，请问你的HBA 9400-16i是否设置了顺序启动？,我是9400-8i在bios里没找到顺序启动相关的设置。
本帖最后由 hanyou7 于 2022-5-9 14:56 编辑
环境：
truenas scale
x11dph-NT 双路
cpu 4213w
内存 384
nvme P4610 3.2T x 5 全部接到cpu2上 组nvme池 共享nfs
sata 8x8T raidz2 （新买的8块8T还没到，需要扩展8x8T raidz2 x 2）接入cpu1
傲腾900P hdd的 slog 接入cpu1
40G网络 9000巨帧
同步方式均为sync =disable
smb挂在win10 测试环境下 nvmepool和hddpool两个性能差不多。
突然纠结了 还不如吧P4610 给到hdd的metadata
HDD pool测试
------------------------------------------------------------------------------
CrystalDiskMark 8.0.4 x64 (C) 2007-2021 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s
* KB = 1000 bytes, KiB = 1024 bytes
SEQ 1MiB (Q=1, T= 1):1325.483 MB/s [ 1264.1 IOPS] < 790.15 us>
SEQ 1MiB (Q=8, T= 1):3011.104 MB/s [ 2871.6 IOPS] <2782.30 us>
RND 4KiB (Q= 32, T=16): 355.741 MB/s <5877.88 us>
RND 4KiB (Q=1, T= 1): 32.722 MB/s [ 7988.8 IOPS] < 124.88 us>
SEQ 1MiB (Q=1, T= 1): 771.639 MB/s [ 735.9 IOPS] <1357.34 us>
SEQ 1MiB (Q=8, T= 1):2086.703 MB/s [ 1990.0 IOPS] <4009.16 us>
RND 4KiB (Q= 32, T=16): 266.717 MB/s <7841.01 us>
RND 4KiB (Q=1, T= 1): 25.591 MB/s [ 6247.8 IOPS] < 159.30 us>
Read 70%/Write 30%
SEQ 1MiB (Q=1, T= 1): 970.761 MB/s [ 925.8 IOPS] <1059.66 us>
SEQ 1MiB (Q=8, T= 1):1748.281 MB/s [ 1667.3 IOPS] <4636.91 us>
RND 4KiB (Q= 32, T=16): 250.584 MB/s <8153.00 us>
RND 4KiB (Q=1, T= 1): 27.305 MB/s [ 6666.3 IOPS] < 146.95 us>
Profile: Default
Test: 1 GiB (x5)
Mode:
Time: Measure 5 sec / Interval 5 sec
Date: 2022/05/09 14:09:14
OS: Windows 10 Enterprise (x64)
Comment: HDD POOL
NVME POOL测试
------------------------------------------------------------------------------
CrystalDiskMark 8.0.4 x64 (C) 2007-2021 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s
* KB = 1000 bytes, KiB = 1024 bytes
SEQ 1MiB (Q=1, T= 1):1317.080 MB/s [ 1256.1 IOPS] < 795.17 us>
SEQ 1MiB (Q=8, T= 1):3024.087 MB/s [ 2884.0 IOPS] <2770.88 us>
RND 4KiB (Q= 32, T=16): 357.534 MB/s <5821.91 us>
RND 4KiB (Q=1, T= 1): 31.921 MB/s [ 7793.2 IOPS] < 127.86 us>
SEQ 1MiB (Q=1, T= 1): 853.861 MB/s [ 814.3 IOPS] <1225.52 us>
SEQ 1MiB (Q=8, T= 1):2025.304 MB/s [ 1931.5 IOPS] <4117.50 us>
RND 4KiB (Q= 32, T=16): 242.170 MB/s <8621.38 us>
RND 4KiB (Q=1, T= 1): 25.493 MB/s [ 6223.9 IOPS] < 160.04 us>
Read 70%/Write 30%
SEQ 1MiB (Q=1, T= 1): 976.627 MB/s [ 931.4 IOPS] <1050.01 us>
SEQ 1MiB (Q=8, T= 1):2160.824 MB/s [ 2060.7 IOPS] <3745.44 us>
RND 4KiB (Q= 32, T=16): 272.736 MB/s <7539.79 us>
RND 4KiB (Q=1, T= 1): 28.086 MB/s [ 6856.9 IOPS] < 143.16 us>
Profile: Default
Test: 1 GiB (x5)
Mode:
Time: Measure 5 sec / Interval 5 sec
Date: 2022/05/09 14:12:50
OS: Windows 10 Enterprise (x64)
Comment: NVME POOL
hanyou7 发表于 2022-5-9 14:13
环境：
truenas scale
x11dph-NT 双路
补充一个32G大文件的测试
------------------------------------------------------------------------------
CrystalDiskMark 8.0.4 x64 (C) 2007-2021 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s
* KB = 1000 bytes, KiB = 1024 bytes
SEQ 1MiB (Q=1, T= 1): 970.348 MB/s [ 925.4 IOPS] <1078.48 us>
SEQ 1MiB (Q=8, T= 1):1675.075 MB/s [ 1597.5 IOPS] <4987.04 us>
RND 4KiB (Q= 32, T=16): 76.442 MB/s < 27096.91 us>
RND 4KiB (Q=1, T= 1): 23.091 MB/s [ 5637.5 IOPS] < 177.05 us>
SEQ 1MiB (Q=1, T= 1): 641.626 MB/s [ 611.9 IOPS] <1632.66 us>
SEQ 1MiB (Q=8, T= 1): 685.428 MB/s [ 653.7 IOPS] < 10461.80 us>
RND 4KiB (Q= 32, T=16): 23.151 MB/s [ 5652.1 IOPS] < 84220.55 us>
RND 4KiB (Q=1, T= 1): 17.680 MB/s [ 4316.4 IOPS] < 231.24 us>
Read 70%/Write 30%
SEQ 1MiB (Q=1, T= 1): 851.714 MB/s [ 812.3 IOPS] <1207.60 us>
SEQ 1MiB (Q=8, T= 1):1487.908 MB/s [ 1419.0 IOPS] <5497.58 us>
RND 4KiB (Q= 32, T=16): 54.206 MB/s < 37750.19 us>
RND 4KiB (Q=1, T= 1): 22.835 MB/s [ 5575.0 IOPS] < 175.85 us>
Profile: Default
Test: 32 GiB (x5)
Mode:
Time: Measure 5 sec / Interval 5 sec
Date: 2022/05/09 14:22:17
OS: Windows 10 Enterprise (x64)
Comment: HDD POOL
------------------------------------------------------------------------------
CrystalDiskMark 8.0.4 x64 (C) 2007-2021 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s
* KB = 1000 bytes, KiB = 1024 bytes
SEQ 1MiB (Q=1, T= 1): 955.716 MB/s [ 911.4 IOPS] <1095.77 us>
SEQ 1MiB (Q=8, T= 1):1703.520 MB/s [ 1624.6 IOPS] <4915.97 us>
RND 4KiB (Q= 32, T=16): 76.219 MB/s < 27380.07 us>
RND 4KiB (Q=1, T= 1): 23.366 MB/s [ 5704.6 IOPS] < 174.98 us>
SEQ 1MiB (Q=1, T= 1): 771.733 MB/s [ 736.0 IOPS] <1356.01 us>
SEQ 1MiB (Q=8, T= 1):1959.284 MB/s [ 1868.5 IOPS] <4268.24 us>
RND 4KiB (Q= 32, T=16): 83.485 MB/s < 24993.06 us>
RND 4KiB (Q=1, T= 1): 20.434 MB/s [ 4988.8 IOPS] < 200.06 us>
Read 70%/Write 30%
SEQ 1MiB (Q=1, T= 1): 833.032 MB/s [ 794.4 IOPS] <1234.49 us>
SEQ 1MiB (Q=8, T= 1):1482.179 MB/s [ 1413.5 IOPS] <5504.27 us>
RND 4KiB (Q= 32, T=16): 86.702 MB/s < 23427.75 us>
RND 4KiB (Q=1, T= 1): 22.319 MB/s [ 5449.0 IOPS] < 179.87 us>
Profile: Default
Test: 32 GiB (x5)
Mode:
Time: Measure 5 sec / Interval 5 sec
Date: 2022/05/09 14:30:55
OS: Windows 10 Enterprise (x64)
Comment: NVME POOL
大文件拷贝 本地硬盘为SN750 1T
hdd情况下速度不稳定
nvme情况下比较稳定
hapshon 发表于 2022-5-7 20:32
J叔请教个问题，请问你的HBA 9400-16i是否设置了顺序启动？,我是9400-8i在bios里没找到顺序启动相关的设置 ...
我没去动过, 修改要用storcli, 方法User Guide有 https://docs.broadcom.com/doc/MR-TM-SW-UG
hanyou7 发表于 2022-5-9 14:35
补充一个32G大文件的测试
不错的双路测试[音乐]
jerrytsao 发表于 2022-5-9 16:44
不错的双路测试
nvme的池 性能在大文件才有点点提升 正常使用和hdd池没什么区别
纠结要不要把nvme给hdd做元数据
看了看我两块 16G 傲腾启动盘，心疼自己
hanyou7 发表于 2022-5-9 17:20
nvme的池 性能在大文件才有点点提升 正常使用和hdd池没什么区别
纠结要不要把nvme给hdd做元数据 ...
PCIe NVMe SSD Pool在ZFS 3.0出来之前限制较大, 有多余磁盘的话还不如给HDD Pool做Special Vdev