围观一下，太强了。
直接接在pcie转接U.2的卡上那6块盘挨的那么近会不会散热有问题啊
这个厉害，太强了
本帖最后由 jerrytsao 于 2022-3-28 16:10 编辑
T.JOHN 发表于 2022-3-28 00:26
19我只能说充分利用CPU
scrub和smart长测我觉得不用两周一次那么频繁的，一个月一次就很充分了。白 ...
小试了下视频文件ZSTD-19是毫无意义了, 且传输变得非常不稳定, 我感觉TrueNAS似乎无法吃CPU多线程?
目测只有LZ4和ZSTD无后缀里二选一, ZSTD Level 1-5之间差异也不大, 另外好像ZSTD并不是一定比LZ4压缩比更高?
https://s2.loli.net/2022/03/28/y4xZQcEpo736CPJ.png
https://s2.loli.net/2022/03/28/UfDejOZM2vCh75V.png
jerrytsao 发表于 2022-3-28 16:02
小试了下视频文件ZSTD-19是毫无意义了, 且传输变得非常不稳定, 我感觉TrueNAS似乎无法吃CPU多线程?
目测 ...
如果实测LZ4比ZSTD还好的话，那肯定用LZ4了，虽然这个结果和我测得不一样。
是否支持多线程取决于Truenas带的软件二进制包，现在lz4和zstd都支持多线程的。比如我现在用的centos 8 stream版本自带的是v1.8.3，当启用压缩时候，zfs会调用它，但至于用不用多线程，zfs的代码说了算，要么给用户一个设置选项，实际上貌似没有。
https://github.com/lz4/lz4/issues/807#issuecomment-549481307
https://img.kolbb.com/images/2022/03/28/lz4-info.jpg
TrueNAS论坛上最近的测试比较20年做的：
https://www.truenas.com/community/threads/lz4-vs-zstd.89400/
https://img.kolbb.com/images/2022/03/28/write-comparison.jpg
我回帖之前做了下测试
storage是我zpool目录，我没用压缩，空间够。分别用 1.切尔诺贝利视频和 2.centOS IOS安装镜像做的测试
测试命令，0和5分别是压缩起始和结束级别zstd/lz4 -b0 -e5 /文件
这样你就不用在zpool里面改来改去了，很直观看到你机器压缩性能的速度。这里只用单线程的，因为zstd-cli支持多线程调用，lz4-cli不支持，单线程也方便控制变量看速度。
https://img.kolbb.com/images/2022/03/28/lz4-vs-zstd-iso.jpg
可以看到ISO文件压缩以后节省6%-9.5%空间，而且zstd更好，解压速度不如lz4，但3.5+GB速度不影响传输，除非网卡是40GB的。考虑到压缩速度，zstd选择1-2就很好，lz4也是1-2最好
https://img.kolbb.com/images/2022/03/28/lz4-vs-zstd.jpg
压视频就坑爹了，lz4压缩完以后体积比之前更大，显然不能用了。zstd起码比原来小一丢丢，但压缩率连0.1%都没，所以视频文件没啥可压缩的。
你这样测一下会比在windows里面看体积更准也更直观
本帖最后由 kingkiss 于 2022-3-28 19:29 编辑
T.JOHN 发表于 2022-3-27 21:36
你写的时候clat percentiles(us)是HDD水平，lat(msec) 10=89.7%，意思延时总体是10ms，我看了下我之前机 ...
我把fio命令里面的/zpool/GAMES替换成/mnt/GAMES写入速度就正常了，很神奇。
看来应该是truenas 共享的问题了，我ISCSI和SMB用crystaldisk mark测试读取有1.7G/S到2.5G/S，但是实际读取只有1G/S，写入甚至只有400M/S左右
goat 发表于 2022-3-26 23:43
但是现在snapraid要跑crontab，flex好像几乎处于停滞状态。开箱即食，又可以整合一堆乱乱七八糟容量且带 ...
试试OMV（openmediavault）啥，虽然我用的是ubuntu+snapraid+mergerFS，因为我装OMV不是这里有点问题就是那里有点问题。
本帖最后由 jerrytsao 于 2022-3-28 19:42 编辑
T.JOHN 发表于 2022-3-28 17:21
如果实测LZ4比ZSTD还好的话，那肯定用LZ4了，虽然这个结果和我测得不一样。
是否支持多线程取决于Truena ...
感谢测试, 你这个应该是128KiB Record Size下的吧, 我刚才还是在Win下SMB简单测试了下128KiB, LZ4倒没有压缩变大的情况
https://s2.loli.net/2022/03/28/CRdQhXNpKIBA1ZM.png
首先7T83线程占用没啥大问题, 是昨晚观察错误
其次确认1MiB对CPU的压力相比128KiB大很多, 毕竟128K下视频文件几乎没有压缩, 128K下开ZSTD-19传输就比较稳定, 只有稍多一丢丢波动
我这数据肯定选1MiB, Google一搜有太多测试证明1MiB大多数情况下没有副作用, 除非全是数据库小文件, 我还是选ZSTD无后缀好了
https://s2.loli.net/2022/03/28/dlxTOE6ctUv8K1i.png
kingkiss 发表于 2022-3-28 18:54
我把fio命令里面的/zpool/GAMES替换成/mnt/GAMES写入速度就正常了，很神奇。
看来应该是truenas 共享的问 ...
fio命令肯定要用真实路径/挂载点，不能用GUI里面显示路径。我写的那个zpool是举例用的，如果你输入了相当于在linux根目录下测试，你可以ls /zpool看到你之前留下的测试文件，根目录等于是在系统盘里面读写。
共享的话理论你iscsi或smb的crystal读写测试应该是和实际传输一样的，如果速度不达标参考上文smb优化或者你换个操作系统，用linux做客户端测下也许能提速
jerrytsao 发表于 2022-3-28 19:36
感谢测试, 你这个应该是128KiB Record Size下的吧, 我刚才还是在Win下SMB简单测试了下128KiB, LZ4倒没有 ...
是的，我是用默认128KiB做的测试，看来应该是recordsize差异造成的测试结果不同。
看来1MiB确实非常适合存视频，size on disk省了好多（如果是真省的话）。副作用就是之前说的降低IOPS，不适合数据库16k小文件，不过不是你的使用场景，无需考虑。
mkkkno1 发表于 2022-3-28 19:07
试试OMV（openmediavault）啥，虽然我用的是ubuntu+snapraid+mergerFS，因为我装OMV不是这里有点问题就是 ...
omv看功能里没提可以合并不同vol。我主要需求就是一堆旧硬盘塞归档，要求带校验。目前符合需求有人维护的也就unraid[流泪]。其实snapraid+mergerFS是最经济+合理，但是因为万一手贱更新/bug导致cron没跑，又有硬盘下线就[无奈]
goat 发表于 2022-3-28 21:41
omv看功能里没提可以合并不同vol。我主要需求就是一堆旧硬盘塞归档，要求带校验。目前符合需求有人维护的 ...
你搜索下omv+mergerFS 呀。 肯定可以，不过要装omv-extras，而且名字变成了unionfilesystem
这个门槛确实太高了。。。。
TrueNAS的权限系统折腾得头大，后来删除不要了，装Windows完事。
mkkkno1 发表于 2022-3-28 21:46
你搜索下omv+mergerFS 呀。 肯定可以，不过要装omv-extras，而且名字变成了unionfilesystem ...
thx，等有时间再折腾了
太强了...7T83的NAS。[流泪]
之前尝试过TrueNas scale和core做全机械纯存储的NAS，尝试搭配CX3 pro 40G eth + 8盘RAIDZ提速，在没有SSD的情况下性能也太惨了...单纯拿去刷刷PT lz4也作用不大，关键偶尔还会卡I/O导致PT掉速，转了一圈又回到了单盘JBOD，配合WIN Server支持RDMA的SMB局域网速度也还不错。
本帖最后由 jerrytsao 于 2022-3-29 13:48 编辑
T.JOHN 发表于 2022-3-28 20:10
是的，我是用默认128KiB做的测试，看来应该是recordsize差异造成的测试结果不同。
看来1MiB确实非常适合 ...
连上12900K默认+Z690 Formula的AQC113, 未作任何巨帧等优化Windows 11初步跑10GbE SMB, 我觉得还是用回LZ4吧...
https://s2.loli.net/2022/03/29/kspYJL6m3e1DG5M.png
https://s2.loli.net/2022/03/29/IOvKLzFpYshrP1V.png
https://s2.loli.net/2022/03/29/1K5paVykqIoJMvX.png
https://s2.loli.net/2022/03/29/PTtLbXoVmZKk6gG.png
J叔大作，收藏了慢慢消化
本帖最后由 jerrytsao 于 2022-3-29 14:16 编辑
leeosx 发表于 2022-3-26 23:53
大佬。我全默认设置 18个18t...为啥samba共享下面读写速度基本上就是600/200的样子raidz2...文件是单个60 ...
我PC上换到10GbE试了, 没有任何网络性能上的大问题, 就是1MiB+压缩会影响一点持续写入
mark 感谢分享
呵呵，这个牛哦，那么多硬盘，全部18t
我也不知道该回复点啥但是啥都不说也不好，只能我艹，牛逼
感觉我的性能限制是不是因为用的是带背板扩展造成的。。
kingkiss 发表于 2022-3-27 08:23
期待关于网络配置和测试的文章，我也组了个TRUENAS SCALE，全NVME固态池25G网卡SMB读取只能跑1.2G/S还很不 ...
有没有设primarycache=metadata, NVMe SSD建议等OpenZFS 3.0上线看DirectIO实际表现, 能真正绕过ARC/RAM
本帖最后由 jerrytsao 于 2022-3-30 14:18 编辑
MatthewLXJ 发表于 2022-3-29 09:10
太强了...7T83的NAS。
之前尝试过TrueNas scale和core做全机械纯存储的NAS，尝试搭配CX3 pro 40G eth ...
目前很多测试看下来, TrueNAS/Windows 11极限都在25GbE左右, 所以40G/100G往上没有两头都支持的RDMA是干不到的, 可以尝试下KSMBD
HDD回到单盘JBOD, 那还需要SMB Direct的网络? 你如果设置了SSD Special Vdev肯定不会慢的, 我这HDD Pool随机性能直接变SATA SSD
https://s2.loli.net/2022/03/29/IOvKLzFpYshrP1V.png
J大佬，我的nas10块6T HDD，8块sata ssd 1.46T，池建议怎么创建能保证性能。谢谢
膜拜大佬，看的我热血沸腾，无奈钱包不给力
本帖最后由 jerrytsao 于 2022-3-31 10:18 编辑
sunneyboy 发表于 2022-3-31 05:26
J大佬，我的nas10块6T HDD，8块sata ssd 1.46T，池建议怎么创建能保证性能。谢谢
建议弄2-3个960GB或1.92T DWPD=1的数据中心NVMe SSD镜像组那个Special Vdev, SATA SSD的话怎么说呢, 还是单独组个池吧
jerrytsao 发表于 2022-3-31 10:16
建议弄2-3个960GB或1.92T DWPD=1的数据中心NVMe SSD镜像组那个Special Vdev, SATA SSD的话怎么说呢, 还是 ...
组Special Vdev性能会提升吗？ 同平台TrueNAS SCALE比CORE慢了很多
J大，问下，GEN8能装这个TrueNAS SCALE 么？能不能装在U盘上？还是必须装在SSD上呢？
本帖最后由 明石的果汁 于 2022-3-31 15:31 编辑
我也装了一个True nas用了 12T*36480G*2 系统 双万兆做的BOND 标准浪潮服务器来弄的。用于商用备份
SMB/NFS/ISCSI 我都在使用，都还行，ISCSI 不兼容esxi 的 VMFS 6 ,挂不上，我看国外也有好多报错，最后只能降级到5。主页报错过一次，进不去，SSH 提前开了，一个命令就能修复，其他稳定性都还行。
本帖最后由 leavelost 于 2022-3-31 21:03 编辑
jerrytsao 发表于 2022-3-31 10:16
建议弄2-3个960GB或1.92T DWPD=1的数据中心NVMe SSD镜像组那个Special Vdev, SATA SSD的话怎么说呢, 还是 ...
向LZ求助，新买的9405W-16i，刷了最近的P22 mix固件，接了P4510的4T盘(也是最近固件0184），跑分不正常，不知有啥解决思路吗？
帖子地址：https://www.chiphell.com/forum.php?mod=viewthread&tid=2374282&page=1&extra=#pid49588494