TrueNAS SCALE v22.12.0 Bluefin更新非RDMA网络性能测试(提升显著)
本帖最后由 jerrytsao 于 2022-12-31 02:34 编辑接今年三月告别单盘组建TrueNAS SCALE终极家用OpenZFS File Server, 先看完第一篇再继续, 否则你应该不知道在说什么
硬件上新购入一块PM9A3 3.84TB 2.5" U.2, 将Special/Metadata Vdev从原本的3-Way Mirror变成了2*2-Way Mirror然后Stripe
Slog Vdev只保留了一块900P 280GB, 除此之外, HDD Pool无任何硬件变动
NAME SIZEALLOC FREECKPOINTEXPANDSZ FRAG CAPDEDUP HEALTHALTROOT
JR_Pool_HDD 400T 103G 400T - - 0% 0%1.00x ONLINE/mnt
raidz2-0 196T51.5G 196T - - 0%0.02% - ONLINE
be22c411-7655-45ed-808e-dc31d1fb2bb016.4T - - - - - - - ONLINE
ed108b93-f31e-43a8-9ec2-74df675e75c016.4T - - - - - - - ONLINE
7d0cbe83-9af9-4d1a-ade2-8f25d50abe8416.4T - - - - - - - ONLINE
91b60ac2-869f-44f9-8e53-057136182f3b16.4T - - - - - - - ONLINE
f991e2bc-6d7e-48f1-9922-703a4b4c141f16.4T - - - - - - - ONLINE
cb54bf91-a3a3-49c2-915d-7325c55d7c3c16.4T - - - - - - - ONLINE
cc3a4248-8bc1-4849-9ec3-1343ad86639116.4T - - - - - - - ONLINE
a0e4698f-ede8-4d29-b6b1-6a265604c80c16.4T - - - - - - - ONLINE
a601f918-3b32-4565-8ef6-8e57002fc91d16.4T - - - - - - - ONLINE
5477de35-4a7e-4b3e-8163-380bf38529dc16.4T - - - - - - - ONLINE
8e94c736-75c0-4109-8815-72f7561a45d916.4T - - - - - - - ONLINE
e6e0e13b-757d-41c4-920d-8f2f8cb36dad16.4T - - - - - - - ONLINE
raidz2-1 196T51.2G 196T - - 0%0.02% - ONLINE
ce5016b4-a365-41b0-bffb-c6d719026f9116.4T - - - - - - - ONLINE
affda95f-838f-4c2d-8cfc-d807dcf5fed016.4T - - - - - - - ONLINE
ac243373-7cbc-41c5-a0e9-5753efb9547516.4T - - - - - - - ONLINE
27d6e553-5fd0-4524-aee5-54708cc45ae716.4T - - - - - - - ONLINE
b746f301-8984-481c-8a42-e58a748424f316.4T - - - - - - - ONLINE
b2811f3a-b823-4944-b768-f4a0205a091116.4T - - - - - - - ONLINE
700d7175-bc64-4de1-aa02-9971406b7a4a16.4T - - - - - - - ONLINE
81ccc931-6f2d-45bd-9a34-1e7b6f70084416.4T - - - - - - - ONLINE
6f249356-1945-44e0-b84f-9331b41746b016.4T - - - - - - - ONLINE
35f4b25e-5c9c-4dcc-9b8d-df1560f54b7d16.4T - - - - - - - ONLINE
e7e278fd-6956-45d7-9e05-38f762a9744b16.4T - - - - - - - ONLINE
bef1c381-7f40-4674-82bb-2a617abd2fc616.4T - - - - - - - ONLINE
special - - - - - - - --
mirror-3 3.48T26.5M3.48T - - 0%0.00% - ONLINE
bd60e66c-01a0-43d7-a626-6eebbc117bb53.49T - - - - - - - ONLINE
0f4179a5-4c9b-402e-b450-913c5778cc8a3.49T - - - - - - - ONLINE
mirror-4 3.48T28.3M3.48T - - 0%0.00% - ONLINE
a04ef990-3f0b-470d-b17e-82ca313604a53.49T - - - - - - - ONLINE
bc814f5d-0907-4dbf-bc26-47b832c89eb13.49T - - - - - - - ONLINE
logs - - - - - - - --
c0d70368-203f-480d-90f0-1499b63e2137 261G 36K 260G - - 0%0.00% - ONLINE
重新跑CDM测试
https://s2.loli.net/2022/12/29/lbUHjGMPZRqN56T.png
相比4月份时的跑分, 可以看到持续写入提升巨大, 持续读取极限也被拉高到3.5GB/s, 而随机方面则可以很明显看到Mirrored Stripe带来的写入IOPS翻倍
https://s2.loli.net/2022/04/06/ZP3HA1XIU6W2bQV.png
TrueNAS SCALE HDD 2*Z2 -> PC拷贝数个大视频文件, 竟能3.2~3.3GB/s一条直线, 比原本的2.4GB/s快出接近1GB/s!
注意这里PC客户端主磁盘已经从P5800X 1.6TB变成了小海豚D6920 7.68TB, 单任务不排除会有一丢丢瓶颈, 问题应该不大
https://s2.loli.net/2022/12/29/vwaNhojIMPXWY87.png
PC -> TrueNAS SCALE HDD 2*Z2拷贝数个大视频文件, 1MiB Record Size+LZ4实时压缩速度稍慢但也达到了2.6GB/s, 之前只有1.4GB/s[吃惊]
https://s2.loli.net/2022/12/29/cIthiERPdDW2peb.png
非RDMA网络性能大幅提升的几个主要因素
1) 前不久SCALE的第二个主要版本v22.12.0 Bluefin发布, 进一步优化各方面性能
2) Client客户端从原来的5950X变成13900K
3) Special/Metadata Vdev从3-Way Mirror变成了2*2-Way Mirror(主要体现在CDM的4KiB写入和混合) 我又来围观J叔叔的“家用”配置了[偷笑] 强，无敌[偷笑] [偷笑]家用家用 之前感觉我10块16TB的truenas够用了，但是天外有天[傻笑] 开smb加密的性能方便测一下吗，smb主设置里面加辅助参数smb encrypt = desired
客户端管理员运行Set-SmbServerConfiguration –EncryptData $true
用Get-SmbConnection | Select-Object -Property *看路径的加密开了就行 看进度，明年2月份 应该可以换SCALE ，激动 已升级，一切正常 [可爱]很棒的家用配置，楼主你能帮帮我吗（搬出去让我入住）[狂笑] 本帖最后由 525165 于 2023-1-10 11:15 编辑
不同协议：
iscsi:
SMB:
kpchan 发表于 2022-12-29 23:13
我又来围观J叔叔的“家用”配置了
看见这种“家用”配置，秒失去折腾的勇气。于是就省了很多玛尼和时间和精力，真是一石三鸟，受益匪浅啊。[偷笑] 这个版本的truenas需要单独购买授权？ 上了一台 E5-2680V2 *2， 128G SSD， 企业级 SSD 3块，和一块 56G的 RDMA卡，晚点我测试下 PVE下的 unraid性能如何。 猪圈 发表于 2023-1-10 11:48
这个版本的truenas需要单独购买授权？
不需要，都免费的 看完了，学习了，还是要组建大的池子啊 概述
平台:
Generic
版本:
TrueNAS-SCALE-22.12.2
主机名:
truenas
稳如老狗 膜拜这个“家用”配置[恶魔] 这也太豪勒 这帖又翻出来了，还是这句抢眼，“不差钱且不喜欢太折腾, 直接无脑群辉, 利用其强大的软件优势”，
选什么类型的RAID和FS，还有一个重要前提，容易操作。所以，还是群晖吧，底层btrfs和mdadm（raid5/6/shr），即使在挂掉的情况下，恢复难度小多了。
页:
[1]