sunneyboy 发表于 2022-3-31 12:48
组Special Vdev性能会提升吗？ 同平台TrueNAS SCALE比CORE慢了很多
我原贴里已经详细解释了啊...还有那最后那个CDM随机读写
dominicchen 发表于 2022-3-31 13:18
J大，问下，GEN8能装这个TrueNAS SCALE 么？能不能装在U盘上？还是必须装在SSD上呢？ ...
和是不是Gen 8没关系, 最好单独SSD做Boot
明石的果汁 发表于 2022-3-31 15:29
我也装了一个True nas用了 12T*36480G*2 系统 双万兆做的BOND 标准浪潮服务器来弄的。用于商用备份
S ...
3个12盘Pool? 还有个Pool做啥用, 2*10GbE速度如何?
本帖最后由 jerrytsao 于 2022-4-1 02:36 编辑
leavelost 发表于 2022-3-31 20:19
向LZ求助，新买的9405W-16i，刷了最近的P22 mix固件，接了P4510的4T盘(也是最近固件0184），跑分不正常， ...
https://www.chiphell.com/thread-2316899-1-1.html
https://www.chiphell.com/thread-1819639-1-1.html
关于这个问题我之前有说过好多次, Broadcom(LSI)这类HBA卡依然需要走SOC芯片, 并不适合PCIe NVMe SSD, 跑不满很正常
你需要的是超微Retimer拆分卡, 如Gen 4的AOC-SLG4-4E4T/AOC-SLG4-2E4T, 或Gen 3的AOC-SLG3-4E4T和AOC-SLG3-2E4T, 服务器上都用这种
HomeLab日常可以用我首页那种SZ产转接卡拆分PCIe Gen 4 x4/x4或者x4/x4/x4/x4, 这也是最直通最无损耗的方式
https://s2.loli.net/2022/04/01/yCtdNDHb8XRzv7h.jpg
https://s2.loli.net/2022/04/01/xlAiVkJtFoP9OyZ.jpg
太强了J叔，先收藏了
jerrytsao 发表于 2022-4-1 02:22
3个12盘Pool? 还有个Pool做啥用, 2*10GbE速度如何?
对，12盘一个组，最后一个组还未使用，速度没做测试，很快就拉完了，跟商用的华为集中存储也差不了太多，当然取决于组内盘的数量。 比较遗憾的就是不支持VMFS6，VMFS5单盘最大上线64T，这个问题一直没解决，不知道你那边有测试过没。 还有就是稳定性，家用肯定够，但是跟商用的比还是差点意思，商用的集中存储都是双控，多路径，挂任何一个，包括升级，都是无停机，无切换的，Truenas我没找到双机的方案，不停应用，写入状态，如果挂了会很麻烦。
膜。。。膜拜j叔
我觉得还是买个dell服务器走传统硬raid简单一些。。。。
明石的果汁 发表于 2022-4-1 09:15
对，12盘一个组，最后一个组还未使用，速度没做测试，很快就拉完了，跟商用的华为集中存储也差不了太多， ...
我肯定没有这种需求...你这种我觉得上Ceph啊
我去。。。8条64G内存！！！！！！！！我服了
明石的果汁 发表于 2022-4-1 09:15
对，12盘一个组，最后一个组还未使用，速度没做测试，很快就拉完了，跟商用的华为集中存储也差不了太多， ...
你这和操作系统没关系，需要硬件级别的支持，参考PEX芯片的备份双控方案，起码在CHH我还没见过这种硬件
https://img.kolbb.com/images/2022/04/01/5fe7ffb71b757fd923690e2fedbb81d0.jpg
请教下,三星DDR4 3200 ECC内存去哪里买比较靠谱呢
太可怕了，LZ的拉满和我想象中的拉满完全不同
[可爱]NB收藏了，以后要搭建前先认认真真看一遍
我用的windows系统装的snapraid，没觉得单盘速度不够用
bt下载和看视频完全够了
zfs再牛 运气不好也是能团灭的 速度的提升你也感觉不出 跑分除外
sunhaine 发表于 2022-4-1 11:46
请教下,三星DDR4 3200 ECC内存去哪里买比较靠谱呢
TB/海鲜市场找呗
帮顶下顺便也交个作业，很多参考了您的选择[偷笑]
https://www.chiphell.com/forum.php?mod=viewthread&tid=2404734
进来围观大户人家
nlnjnj 发表于 2022-4-2 11:17
帮顶下顺便也交个作业，很多参考了您的选择
https://www.chiphell.com/forum.php?mod=viewthread&ti ...
666666
膜拜楼主，真的牛逼
T.JOHN 发表于 2022-3-28 17:21
如果实测LZ4比ZSTD还好的话，那肯定用LZ4了，虽然这个结果和我测得不一样。
是否支持多线程取决于Truena ...
如果储存大量虚拟机的qcow2和快照，lz4 + RecordSize 8K + dedup 更合适吧 ？
Security 发表于 2022-4-5 13:09
如果储存大量虚拟机的qcow2和快照，lz4 + RecordSize 8K + dedup 更合适吧 ？
理论上是这样，不过dedup开起来内存(GB):存储(TB)可能需要3:1
本帖最后由 jerrytsao 于 2022-4-7 04:08 编辑
2022-04-06 Update 40GbE
因为有了sunneyboy的这个SCALE vs CORE帖子, 开始折腾之前扔在垃圾堆N年的"古董级"网卡
https://s2.loli.net/2022/04/06/Yq3RGiZcyzdxC4l.jpg
由于之前两块ConnectX-4 VPI MCX456A-ECAT 2*100GbE Lenovo OEM(4年前的测试见此)不知为何闲置着就挂了[晕倒]
反倒是更早eBay买的ConnectX-3 Pro VPI MCX354A-FCCT 2*40GbE还活着, 只能先将就用着
https://s2.loli.net/2022/04/06/Amsblq2n9BJ6xYZ.jpg
一上机发现网卡显示不出来, 但是Shell里输lspci能看到设备, Google后发现大概率是端口类型默认是IB的原因
突然想起来上次用mlxconfig改过端口是坏掉的100G, 这两块40G之前只在Windows下改过端口类型, 但并没有用mlxconfig修改并写入EEPROM
果断拔下插到Windows, 下载安装MFT(Mellanox Firmware Tools)工具包, 输入mlxconfig命令修改默认VPI(InfiniBand)为ETH(Ethernet)
mlxconfig -d mt4103_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2
https://s2.loli.net/2022/04/06/hTBY3LzySCp1Rt6.png
https://s2.loli.net/2022/04/06/YRylTMzXWhi4mdr.png
https://s2.loli.net/2022/04/06/hcJvq1pFreR6xuN.png
另外其实默认不改端口也可以显示出来, 就是需要在系统设置->高级里的Sysctl添加Variable, 和FreeBSD TrueNAS CORE下Tunables是一个道理
不过还是建议上面直接EEPROM里写入以太网的方法兼容性更好
sys.device.mlx4_core0.mlx4_port0 = eth
sys.device.mlx4_core0.mlx4_port1 = eth
https://s2.loli.net/2022/04/06/MHKeSbriGTVl9UJ.png
https://s2.loli.net/2022/04/06/Epe27WlHsD3ci6B.png
mlxconfig改完后重新插上就可以在TrueNAS SCALE自动显示40G ETH网卡了
https://s2.loli.net/2022/04/06/vUgxPtaoON4MhKp.png
手上DAC铜缆只有两条HPE OEM 845406-B21, 对应Mellanox MCP1600-C003 3米, 意外发现QSFP28 100G线材也能用在QSFP+ 40G端口上
由于QSFP+ 40G, QSFP28 100G, QSFP56 200G, QSFP-DD 400G以及QSFP-DD800 800G都采用了相同大小规格的收发器, 线缆向后兼容也并不意外
https://s2.loli.net/2022/04/06/JPdu1Og5tIcqmw9.jpg
在Windows的MCX354A网卡上设置单独的网关10.0.0.X和IP 10.0.0.X, 并在TrueNAS端MCX354A改IP地址为10.0.0.X, 即可握手40GbE
https://s2.loli.net/2022/04/06/QcO4szJg3rPSK1V.png
如此就可以做到PC和TrueNAS之间走40GbE, 同时不影响PC和TrueNAS已有的10GbE和局域网内其它设备以及WAN外网的互联
这个时候在这台PC上可以通过两个IP地址进入TrueNAS Dashboard, 默认10GbE通过交换机的192.168.X.X, 以及网卡之间互插的10.0.0.X
https://s2.loli.net/2022/04/06/G9n3A7pFksDdI5m.png
我这边TrueNAS SCALE HDD 2*Z2 40GbE SMB测出来的极限为27GbE, 毕竟不能和多年FreeBSD优化相比, 加上Win本身的限制, 不过会慢慢会优化的
https://s2.loli.net/2022/04/06/BkCSxzciDAUtG5I.png
CDM v8.0.4跑1GiB(SMT On), Special Vdev提升整个HDD Pool部分随机性能>SATA SSD, 在没有RDMA的情况下算是不错了
https://s2.loli.net/2022/04/06/ZP3HA1XIU6W2bQV.png
SEQ 1MiB (Q=1, T= 1):2242.112 MB/s [ 2138.2 IOPS] < 467.34 us>
SEQ 1MiB (Q=8, T= 1):3196.626 MB/s [ 3048.5 IOPS] <2615.14 us>
RND 4KiB (Q=1, T= 1): 80.535 MB/s < 50.75 us>
RND 4KiB (Q= 32, T=16): 435.586 MB/s [ 106344.2 IOPS] <4803.52 us>
SEQ 1MiB (Q=1, T= 1):1176.851 MB/s [ 1122.3 IOPS] < 890.14 us>
SEQ 1MiB (Q=8, T= 1):1669.667 MB/s [ 1592.3 IOPS] <4985.51 us>
RND 4KiB (Q=1, T= 1): 46.335 MB/s < 88.27 us>
RND 4KiB (Q= 32, T=16): 143.955 MB/s < 13889.98 us>
Read 70%/Write 30%
SEQ 1MiB (Q=1, T= 1):1746.924 MB/s [ 1666.0 IOPS] < 599.57 us>
SEQ 1MiB (Q=8, T= 1):2363.504 MB/s [ 2254.0 IOPS] <3541.11 us>
RND 4KiB (Q=1, T= 1): 49.138 MB/s < 83.01 us>
RND 4KiB (Q= 32, T=16): 177.827 MB/s < 11661.94 us>
TrueNAS SCALE HDD 2*Z2 -> PC拷贝88GB的数个大视频文件, 平均在2.4GB/s上下, 为消除任何Q1T1读写瓶颈PC端采用的磁盘是P5800X 1.6TB
https://s2.loli.net/2022/04/06/krcPtAyRqxoOz3e.png
PC -> TrueNAS SCALE HDD 2*Z2拷贝88GB的数个大视频文件, 1MiB Record Size + LZ4实时压缩导致速度稍慢, 平均在1.4GB/s上下
https://s2.loli.net/2022/04/06/VbDEa69XtFZBTU4.png
这一波测试之后机器应该不会移到弱电箱而是在书房待着了, 接下来准备换上200GbE互联折腾RDMA和NVMe-oF Target/Initiator Offloads
聽說 阿凡達 的 CG動畫渲染 存儲空間超過1PB
樓主大約可裝進半部
看過伺服器裝2.5吋的SSD有裝到24顆
但3.5吋還是第一次看到有這麼多 每顆容量還是18TB
Smartcraft 发表于 2022-3-26 22:34
能启用RDMA需要点挺多的。
- 如果是RoCEv1， Ethernet Switch需要支持FPC。
- 如果是RoCEv2， Switch/Rou ...
大佬，群辉6.2.3支持rdma吗
哇哦 哇哦 太赞了 解释了很多疑问
nas大神
magicq 发表于 2022-4-6 10:07
大佬，群辉6.2.3支持rdma吗
不清楚！
如果是SMB共享文件协议：
Windows Server 2019及以上都支持RDMA。
如果是linux，好像samba还在开发中。《https://samba.plus/fileadmin/proposals/SMB-Direct.pdf》
但是无所谓了。如果想获得更高吞吐磁盘系统，请搜索NVMe over RDMA。
@jerrytsao，200GbE需要在NVMe target上叠SSD RAID的了吧。Intel平台有VROC RAID0可以使用。但是我测试的时候仅能使用Intel自己的SSD（intel已经把自己SSD厂卖了）。而且一般的主板没有 intel VROC key插槽。所以无法使用其他RAID模式。
本帖最后由 jerrytsao 于 2022-4-7 14:46 编辑
Smartcraft 发表于 2022-4-6 22:38
@jerrytsao，200GbE需要在NVMe target上叠SSD RAID的了吧。Intel平台有VROC RAID0可以使用。但是我测试的时 ...
没用过VROC那垃圾...两块P5800X 1.6TB在TrueNAS内建一个单独的SSD Pool, 然后可以试试primary cache=metadata
两块Stripe Barebone极限持续读写混合带宽在15GB/s左右, 100GbE稍微不够点, 200GbE理论余量就很多了
https://s2.loli.net/2022/03/19/E1ULqbvxKQzRCf8.png
接下来准备做的测试是Zvol做Linux NVMe-oF Target, 效率还不错的StarWind Windows NVMe-oF做Initiator
不过在OpenZFS 3.0的DirectIO到来之前, NVMe SSD在ZFS上的表现不用期望太多