Chiphell - 分享与交流用户体验

标题: [转]544+ flr 解锁56G直连 [打印本页]

作者: happysun110 时间: 2023-5-25 16:12
标题: [转]544+ flr 解锁56G直连
本帖最后由 happysun110 于 2023-5-25 16:19 编辑

说明：朋友托我转一个文章到chh来，因为他没有chh的账号无法发帖。

原文地址： 544+ flr 解锁56G直连 (github.com)

由于chh不支持 markdown 格式，所以内容转过来时格式乱套了。

请访问上面的地址直接看原文。我试了好多种方法，最后只能放弃。

-----------

请直接访问原帖：

https://gist.github.com/lzghzr/d37327c218a09cce3e601cea3ebdbd42

作者: happysun110 时间: 2023-5-25 16:13
本帖最后由 happysun110 于 2023-5-25 16:43 编辑

修改好的固件请在此下载：

链接: https://pan.baidu.com/s/1uiebg1P-tTL1WIuxMgLblQ?pwd=tfgi

提取码:tfgi

简单说明：

- powerlevel：支持单模光模块（已验证，可用，但我只测试了40g的光模块）
- 56kr4: 支持56g 以太网（已验证，可用，但我只测试原厂dac线）
- drom：去除 flexboot，这样开机不用在屏幕上显示网卡的字样，可以提供开机速度（应该bios里面也不会增加boot的内容，待验证）

有尝试这几个固件的同学请留言说明验证情况，谢谢！

作者: playclan 时间: 2023-5-25 18:43
刷了，但应该没成

作者: happysun110 时间: 2023-5-26 10:11

playclan 发表于 2023-5-25 18:43
刷了，但应该没成

dac线必须是M家原厂56g线，我验证成功的。

光模块我就不知道要哪个了

作者: weindy 时间: 2023-6-7 01:00
刷完后特意回来报道！
使用的是海鲜市场的全新wave2wave的DAC线，70元1.5米，win11和server2022下网卡直连，eth和ib模式都显示56g速率。
但是ib模式实际带宽刚破万兆，eth模式要快得多，峰值差不多4万兆，可能openSM运行在nas上比较吃资源，导致交换效率下降。

作者: happysun110 时间: 2023-6-7 15:03

weindy 发表于 2023-6-7 01:00
刷完后特意回来报道！
使用的是海鲜市场的全新wave2wave的DAC线，70元1.5米，win11和server2022下网卡直连 ...

windows下跑的比较慢，基本只能跑出来一半多点的带宽

linux下要快的多，eth模式，40g模式我能测试出37g，56g模式我能测试出48g。用iperf跑，不要用iperf3.

作者: kouqin 时间: 2023-6-7 15:18

weindy 发表于 2023-6-7 01:00
刷完后特意回来报道！
使用的是海鲜市场的全新wave2wave的DAC线，70元1.5米，win11和server2022下网卡直连 ...

请问你的WIN直连，用Win资源管理器SMB共享拷贝资料最高显示速率是多少？

作者: kartanus 时间: 2023-6-7 15:29
想问下有人试过544+ FLR在不使用Mellanox家交换机的情况下，可以1分4拆出4个10G吗？

想整个MikroTik的CRS309-1G-8S+IN，服务器的40G卡拆分接交换机上

作者: 网仙 时间: 2023-6-7 15:52
让我想起了从33.6K到56kpbs的电话猫的时代

作者: aixunxian 时间: 2023-6-7 16:26

kartanus 发表于 2023-6-7 15:29
想问下有人试过544+ FLR在不使用Mellanox家交换机的情况下，可以1分4拆出4个10G吗？

想整个MikroTik的CRS3 ...

网卡不支持的别想了，这种线一般都是交换机用的。不过544+可以用40G转一个10Gsfp光口买一个转接器就可以了

作者: happysun110 时间: 2023-6-7 18:09

kartanus 发表于 2023-6-7 15:29
想问下有人试过544+ FLR在不使用Mellanox家交换机的情况下，可以1分4拆出4个10G吗？

想整个MikroTik的CRS3 ...

应该是不能。

作者: happysun110 时间: 2023-6-7 18:10

网仙发表于 2023-6-7 15:52
让我想起了从33.6K到56kpbs的电话猫的时代

哈，我当年也是用过56k猫拨号上网的。

时间过的真快

作者: happysun110 时间: 2023-6-7 18:12

kouqin 发表于 2023-6-7 15:18
请问你的WIN直连，用Win资源管理器SMB共享拷贝资料最高显示速率是多少？

这个要看windows版本的，如果是windows server 之间，默认就能开启rdma，快很多。

我基本主要是在 linux 下用，win下只有主力机一个机器有40g网卡，但日常用到40g都是切换到linux系统。

作者: weindy 时间: 2023-6-9 00:17

kouqin 发表于 2023-6-7 15:18
请问你的WIN直连，用Win资源管理器SMB共享拷贝资料最高显示速率是多少？

抱歉手机丢了，新机器没验证回复晚了。。。
资源管理器复制的速度最高2.83g，跟fastcopy下一致。
服务端是x8的转接卡，可能因为我客户端使用的是pcie x4的转接卡带宽受限制的缘故？x8的卡已经在路上了，等到了再试试

作者: weindy 时间: 2023-6-9 00:20

happysun110 发表于 2023-6-7 18:12
这个要看windows版本的，如果是windows server 之间，默认就能开启rdma，快很多。

我基本主要是在 linux ...

确实。。我nas系统是server 2022，客户端是win11专业工作站版，确认过RMDA和smb直连都是开启的，不过带宽速度确实就卡在22g了。等x8的转接卡到了再试试速度，抽空拿linux系统也试试。

作者: kouqin 时间: 2023-6-9 08:30

weindy 发表于 2023-6-9 00:17
抱歉手机丢了，新机器没验证回复晚了。。。
资源管理器复制的速度最高2.83g，跟fastcopy下一致。
服务端 ...

好的，谢谢。

作者: happysun110 时间: 2023-6-9 08:45

weindy 发表于 2023-6-9 00:20
确实。。我nas系统是server 2022，客户端是win11专业工作站版，确认过RMDA和smb直连都是开启的，不过带宽 ...

22g 那就正常了，windows下最高也就这个速度。

如果两端是 linux， rdma 生效，最大速度应该在 37g 左右（指40g链接，如果是56g eth模式则大概是48g）。

作者: tonightmare 时间: 2023-6-9 10:16

happysun110 发表于 2023-6-7 18:12
这个要看windows版本的，如果是windows server 之间，默认就能开启rdma，快很多。

我基本主要是在 linux ...

我用ubunutu，544+ 驱动都不认，请问用的是哪个linux系统啊

作者: happysun110 时间: 2023-6-9 11:33

tonightmare 发表于 2023-6-9 10:16
我用ubunutu，544+ 驱动都不认，请问用的是哪个linux系统啊

ubuntu 20.04肯定没问题，我天天用，而且自带的 5.4内核还可以安装最新的驱动 4.9.0-6.0.0 ，这是 hp544+ 这个网卡的终极形态了。

ubuntu22.04下也可以用，因为内核是 5.15了，所以最新的驱动 4.9.0-6.0.0 无法编译安装。但自带的 4.0.0 驱动是可以用的。这个我也日常在用，只是我的 linux mint，ubuntu的变体，但按说也是 ubuntu，应该是通用的。

作者: ppcook 时间: 2023-6-10 08:13
markmark flexboot那个好烦

作者: sonicz 时间: 2023-6-10 22:47

happysun110 发表于 2023-6-9 08:45
22g 那就正常了，windows下最高也就这个速度。

如果两端是 linux， rdma 生效，最大速度应该在 37g 左右 ...

Linux 56G模式下，2路iperf 同时运行可以达到52G的总带宽。但是，iperf单进程测试带宽要低不少。发送端CPU占用率并不高，接收端单核占用率非常高，可能是接受端TCP/IP协议栈的性能差。

作者: weindy 时间: 2023-9-11 14:28
(, 下载次数: 58)
刷56G以后用x8转接卡，内存盘对拷的速度，达不到x4转接时候的双倍，但是也可以了

作者: zxy2001 时间: 2023-9-11 23:10

weindy 发表于 2023-9-11 14:28
刷56G以后用x8转接卡，内存盘对拷的速度，达不到x4转接时候的双倍，但是也可以了 ...

请问您刷了哪个固件？文件的命名模式看着有点懵。。。

作者: weindy 时间: 2023-9-12 01:20

zxy2001 发表于 2023-9-11 23:10
请问您刷了哪个固件？文件的命名模式看着有点懵。。。

刷的是
HP_1380110017_drom_powerlevel_56kr4.bin
684k大小的这个固件，开机快了那么一点（屏幕还是会跳字，比刷之前少了几行

作者: weindy 时间: 2023-9-12 01:24

kouqin 发表于 2023-6-9 08:30
好的，谢谢。

不客气，翻出来之前直连速度的截图了

作者: kouqin 时间: 2023-9-12 08:49

weindy 发表于 2023-9-12 01:24
不客气，翻出来之前直连速度的截图了

谢谢，4.98GB/s，这是我在网络上看到的这卡终极速度，不知道为什么就是达不到5GB/s以上？

作者: weindy 时间: 2023-9-12 12:54

kouqin 发表于 2023-9-12 08:49
谢谢，4.98GB/s，这是我在网络上看到的这卡终极速度，不知道为什么就是达不到5GB/s以上？ ...

换win7或者Linux环境可能会达到？家里闲置电脑多有空了我再试试。。
不过按照我家里的使用习惯，nas用win server系统，家里人不需要学习成本，个人电脑再用primo cache加速硬盘，傲腾做二缓，局域网大文件读写4g左右，碎文件百十兆左右，是最有性价比的方案了。

作者: 猪圈 时间: 2023-9-12 13:03
我映像中，这卡直接就可以56G啊，只是不能自动协商，卡线交换机都能支持56的情况下在交换机端指定端口速率就可以跑56了

作者: wxsk 时间: 2023-9-12 13:19
刷完了HP_1380110017_drom_powerlevel_56kr4.bin，还是40G，线是1.5米的DAC，不确定是不是原厂的

作者: weindy 时间: 2023-9-12 13:40

猪圈发表于 2023-9-12 13:03
我映像中，这卡直接就可以56G啊，只是不能自动协商，卡线交换机都能支持56的情况下在交换机端指定端口速率 ...

刷固件意义就在于不使用ib的交换机，直接双卡直连使用qsfp+的线也能到56G

作者: 猪圈 时间: 2023-9-12 13:44

weindy 发表于 2023-9-12 13:40
刷固件意义就在于不使用ib的交换机，直接双卡直连使用qsfp+的线也能到56G

好吧，我现在是吧544+当10G网卡在用，家里6012根本没开机～

作者: weindy 时间: 2023-9-12 13:51

wxsk 发表于 2023-9-12 13:19
刷完了HP_1380110017_drom_powerlevel_56kr4.bin，还是40G，线是1.5米的DAC，不确定是不是原厂的 ...

更正下我回去翻记录发现买的线是AOC线，我还说DAC线那么便宜我当时怎么买贵了

(, 下载次数: 52)

作者: weindy 时间: 2023-9-12 13:52

猪圈发表于 2023-9-12 13:44
好吧，我现在是吧544+当10G网卡在用，家里6012根本没开机～

哇大佬。。6012出二手的时候求收，海淘原价便宜但是运费贵死

作者: wxsk 时间: 2023-9-12 13:57

weindy 发表于 2023-9-12 13:51
更正下我回去翻记录发现买的线是AOC线，我还说DAC线那么便宜我当时怎么买贵了
...

刷了固件直连却依然40G，在没有交换机的情况下如何确定是线的问题？

作者: weindy 时间: 2023-9-12 14:20

wxsk 发表于 2023-9-12 13:57
刷了固件直连却依然40G，在没有交换机的情况下如何确定是线的问题？

这个还真不知道，如果有aoc和dac的线对比的话就能发现问题了。。。我买的时候朋友告诉我万兆买dac线就行，卖家当时告诉我wave2wave和finisar是原厂线，说保证能跑56g我才买的，都没注意是不是dac

作者: 猪圈 时间: 2023-9-12 15:03

wxsk 发表于 2023-9-12 13:57
刷了固件直连却依然40G，在没有交换机的情况下如何确定是线的问题？

56G官方线缆去查P N号，第三方的ftl414qb2n-e5是支持56G的，

作者: 猪圈 时间: 2023-9-12 15:04

weindy 发表于 2023-9-12 13:51
更正下我回去翻记录发现买的线是AOC线，我还说DAC线那么便宜我当时怎么买贵了
...

你这就是40Gaoc，家用，DA C吧，省电，几乎不发热毕竟是被动线缆

作者: 猪圈 时间: 2023-9-12 15:08

weindy 发表于 2023-9-12 13:52
哇大佬。。6012出二手的时候求收，海淘原价便宜但是运费贵死

前段时间送了一台SX6036给朋友，手里还有2台6012，一台破解，一台没破解～

作者: wxsk 时间: 2023-9-12 15:08

猪圈发表于 2023-9-12 15:03
56G官方线缆去查P N号，第三方的ftl414qb2n-e5是支持56G的，

线上的PN号吗？我晚上回去找找，找到了之后去哪个网站查询是否支持56G？

作者: 猪圈 时间: 2023-9-12 15:17

weindy 发表于 2023-9-12 13:51
更正下我回去翻记录发现买的线是AOC线，我还说DAC线那么便宜我当时怎么买贵了
...

这个56G模块确认可以在sx6036，sx6012上握手56G，网卡是544+，两个网卡直连没试过～

(, 下载次数: 42)

作者: 猪圈 时间: 2023-9-12 15:18

wxsk 发表于 2023-9-12 15:08
线上的PN号吗？我晚上回去找找，找到了之后去哪个网站查询是否支持56G？ ...

bing一下，如果是m家的线缆，就查询官方文档

作者: weindy 时间: 2023-9-12 16:33

猪圈发表于 2023-9-12 15:04
你这就是40Gaoc，家用，DA C吧，省电，几乎不发热毕竟是被动线缆

好的感谢大佬，过几天还是咸鱼搞dac然后对比下功耗看看

作者: happysun110 时间: 2023-9-13 09:55

猪圈发表于 2023-9-12 13:03
我映像中，这卡直接就可以56G啊，只是不能自动协商，卡线交换机都能支持56的情况下在交换机端指定端口速率 ...

官方固件就支持56g，但是是被动接受，也就是要另一方在协商时主动要求56g，这样它就能按照56g的协商速度工作。

双卡用dac或者aoc线互联时，由于双方都不主动提出要56g互联，所以只能协商出来40g，因此必须至少有一个卡刷这个固件，才能协商出56g来。

作者: happysun110 时间: 2023-9-13 09:57

wxsk 发表于 2023-9-12 13:19
刷完了HP_1380110017_drom_powerlevel_56kr4.bin，还是40G，线是1.5米的DAC，不确定是不是原厂的 ...

原厂标记了56g的dac线肯定能用，非原厂的也不是都不能用，我就有一根非原厂的，明确标记56g，结果还真的能跑56g。

作者: 猪圈 时间: 2023-9-14 13:23

happysun110 发表于 2023-9-13 09:55
官方固件就支持56g，但是是被动接受，也就是要另一方在协商时主动要求56g，这样它就能按照56g的协商速度 ...

明白了，因为我一直是有交换机，所以没有遇到这个问题～

作者: 寒风凛冽 时间: 2023-9-20 18:54
刷完固件，Truenas scale系统竟然不能正常使用了，能识别按网卡，但直连另一台win11没反应，网口的灯是亮的。

作者: 寒风凛冽 时间: 2023-9-21 15:45

寒风凛冽发表于 2023-9-20 18:54
刷完固件，Truenas scale系统竟然不能正常使用了，能识别按网卡，但直连另一台win11没反应，网口的灯是亮的 ...

已解决，刷完重置网卡变成vpi模式了，改回Eth模式后正常使用。

作者: testcb00 时间: 2025-1-3 22:28

猪圈发表于 2023-9-12 15:03
56G官方线缆去查P N号，第三方的ftl414qb2n-e5是支持56G的，

推一下
544+FLR用此固件 ftl414qb2n-e5 互連 Dell MCX314 Windows下可以協商56Gb

作者: icyboy 时间: 2025-2-15 11:29

testcb00 发表于 2025-1-3 22:28
推一下
544+FLR用此固件 ftl414qb2n-e5 互連 Dell MCX314 Windows下可以協商56Gb

那有意思直接网卡互联

作者: icyboy 时间: 2025-2-15 11:30

猪圈发表于 2023-9-12 15:08
前段时间送了一台SX6036给朋友，手里还有2台6012，一台破解，一台没破解～

传说中的朋友来了

作者: zjlulutong 时间: 2025-2-15 19:55

happysun110 发表于 2023-6-7 18:10
哈，我当年也是用过56k猫拨号上网的。

时间过的真快

一线通，改个设置变双线通，速度翻倍，宽带费也翻倍，日~

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)