登录
社区 > 电脑讨论
发帖|
看4833|回25|收藏
jerry122 看全部
2020-4-30 01:16
本帖最后由 jerry122 于 2020-5-8 13:01 编辑

内容比较乱各位看的晕就直接看图和加粗大字吧

去年捡的两块cx311 (ConnectX-3 单口 sfp+ 10G pcie x4)便宜的x4之前好像确实不常见
虽然说x8的单口卡插x4好像也正常满速,但还是得有侧面开口的x4或者延长
就这个卡
IMG_34771.jpg
IMG_34781.jpg

到手发现plexboot里的内容不能修改,修改任何内容,保存退出时都提示permission denied,plexboot里有sr-iov,iscsi还有启动时的vlan设定,都动不了

搜了下好像mellanox论坛里有不少说这个问题的,有个帖子里给了个看起来挺复杂的解决方案我也没仔细看....进os后测了测速,看了下rdma正常工作,改不了的那些暂时也用不到,就插nas上没管它了

前阵子ocp的cx341转接pcie流行了一下,一时兴起想折腾一下这两张卡,去仔细看了下mellanox论坛,确实是这个症状,在系统中用mellanox的配置修改工具mlxconfig也读不了当前配置
TIM截图20200430001618.png
帖子下面说的重置固件重刷固件都试了,没任何变化
官方回复说是因为本身闪存容量小,所以阻止了用户修改部分配置,这型号已经EOL所以不会有更多的修复支持
之前那个解决方案的帖子里写是一个通过预先修改配置文件,将配置文件集成到一个固件里,然后去刷这个固件,以此实现启用sriov或者其他功能的
#使用mlxburn指定输入一个.mlx文件的固件,.ini配置文件,来输出一个bin固件#或者#mlxburn指定一个.mlx固件,.ini配置文件,目标设备,直接刷入固件和配置到设备#
然而...mellanox官网现在所有固件都是bin了根本没有.mlx的文件,oem固件下载里也都是bin文档

直接把bin替换到mlx的位置会提示不能识别固件对应设备类型,手动指定后也会报错...果然是不行的.. TIM截图20200430003943.png
看了下文档发现除了-fw来指定.mlx文件外还有个-image指定固件镜像,把-fw换成-image会提示生成镜像需要一个xml/mlx固件文件 TIM截图20200430003751.png

把输出镜像的-wrimage换成直接写入到设备,-fw换成-image输入官网下载的bin,然后输入修改的配置文件(顺便加了一个烧录时修改guid的参数,之前用flint直接修改guid是可以正常写入到闪存上的,用flint改完再备份出固件对比原固件可以找到guid差异的位置) TIM截图20200430005552.png 能正常烧入固件,但是写完啥变化没有,备份出来镜像对比烧录前的一摸一样...1bit没差

有没有办法将配置文件集成到bin固件里呀,或者将bin转换回mlx,亦或者哪里还有mlx格式的固件下载呢,还是说现在就没办法去自定义固件了

贴上mellanox官方论坛里反馈这个问题的几个链接
Issue with Connectx-3 - Failed to query device current configuration
Multiple issues with ConnectX-3 CX311A-XCAT firmware.
ConnectX-3 EN Failed to query device current configuration
以及集成配置到固件的帖子
SR-IOV for Mellanox ConnectX-2
More custom Mellanox firmware tips

更新:
读了下十楼的帖子,看了下我这卡上,flash是1Mbit的,于是我rb出来1024576字节,对比了一下直接ri出来的image...这1Mbit完整flash的前几百KB就是ri出来的image,后面全是FF,有300KB根本没用上根本不是官方说的没空间,我试着擦除掉整个闪存重写看看(如果mlxburn之类的更新固件并不是完全将bin覆盖进flash的话也许会有效?)还是不行的话可能是那个eeprom里面有限制?

花式刷了几遍,还是不行也没找到办法保留配置更新到2.42

放弃更新了,老实用2.40.5030了开了sriov,降了点开机plexboot等待时间,打开了wakeonlan但是好像不管用,关机后接口就down了根本收不到唤醒包,也没啥别的想改的了

分享一下2.40.5030的自定义固件包:
链接:https://pan.baidu.com/s/1WrFJmi4Hv0Kb6eAP_-afuw
提取码:q9nj

包里有一个fw-ConnectX3-defaults.ref可以查看固件可调整的参数,但不是很全(wol就不在里面,但是自带的一些固件配置文件里有的就有写wol启用的)
实际上.mlx文件里就是各种参数的定义,地址映射,一些二进制数据啥的,算是可读的,可以在里面找到更多可用的参数
贴上我改的几处吧
[HCA]
;配置文件节点

num_pfs = 1
total_vfs = 8
sriov_en = true
;sriov相关

slow_clock_enable = 0
power_save_enable = 1
port1_wol_en = 1
port1_wol_magic = 1
;wol相关

[ROMINI]
;配置文件节点

flexboot_menu_to = 2
;开机flexboot等待时间(秒)


Juzi丶 看全部
2020-4-30 01:21
mellanox现在不再公开自定义固件下载
Juzi丶 看全部
2020-4-30 01:25
我看看楼主的意识是想改配置吧,可以直接用mlxconfig改的
jerry122 看全部
2020-4-30 01:26

引用:

Juzi丶 发表于 2020-4-30 01:25
我看看楼主的意识是想改配置吧,可以直接用mlxconfig改的

这卡就改不了,mlxconfig不能query也不能set....plexboot里也改不了...
Juzi丶 看全部
2020-4-30 01:31

引用:

jerry122 发表于 2020-4-30 01:26
这卡就改不了,mlxconfig不能query也不能set....plexboot里也改不了... ...

才看到mlxconfig也读不出配置...EOL产品是这样的了,而且connectx-4之前的卡都没有uefi enabled只能plexboot
dsboylw 看全部
2020-4-30 01:32
我单口一块,双口一块

反正,我也没改成功

哎。。不过也无所谓
jerry122 看全部
2020-4-30 06:03
找到了2.40.5030的mlx文档,修改ini刷入后flexboot里看sriov启用了,我备份出了同版本下启用和不启用两种二进制固件,对比了一下发现除去前面有零散的五六字节差距外,从C0C50一直到末尾全都不一样,本来还想能不能对比一下是哪些位控制这功能开关啥的那么,有办法更新固件而保留之前固件的配置嘛
ljy1414 看全部
2020-4-30 06:20

引用:

jerry122 发表于 2020-4-30 06:03
找到了2.40.5030的mlx文档,修改ini刷入后flexboot里看sriov启用了,我备份出了同版本下启用和不启用 ...

http://content.mellanox.com/firmware/ConnectX3-rel-2_40_5030.tgz

这是你要的东西吗?

Snipaste_2020-04-30_06-20-09.PNG
jerry122 看全部
2020-4-30 06:53

引用:

ljy1414 发表于 2020-4-30 06:20
http://content.mellanox.com/firmware/ConnectX3-rel-2_40_5030.tgz

这是你要的东西吗?

谢谢啦,我也找到这个了,在研究能不能保留低版本固件里的配置更新到新版固件
yaoyuanzy 看全部
2020-4-30 11:24
查看我的帖子,参考CX341的教程,固件正确的话mlxconfig能开启SRIOV的
未名 看全部
2020-4-30 12:03
我的OCP转接卡前几天刚到
改双口还没开始焊
jerry122 看全部
2020-4-30 21:35

引用:

yaoyuanzy 发表于 2020-4-30 11:24
查看我的帖子,参考CX341的教程,固件正确的话mlxconfig能开启SRIOV的

那个xcc.bin就是官方的bin固件嘛
jerry122 看全部
2020-4-30 21:35

引用:

未名 发表于 2020-4-30 12:03
我的OCP转接卡前几天刚到
改双口还没开始焊

朋友也打了几张ocp转接卡,还没买网卡和原件
wxlg1117 看全部
2020-4-30 22:06
mark一下,也有兴趣开搞这个
yaoyuanzy 看全部
2020-4-30 22:29

引用:

jerry122 发表于 2020-4-30 21:35
那个xcc.bin就是官方的bin固件嘛

311是cx3-pro的芯片  上官网下载最新固件,备份原始固件后强刷就行。
jerry122 看全部
2020-4-30 23:58

引用:

yaoyuanzy 发表于 2020-4-30 22:29
311是cx3-pro的芯片  上官网下载最新固件,备份原始固件后强刷就行。

xcat是x3不带pro,刚才写了个1M 0xff的bin进去然后重写固件,还是permission denied,完全没有变化
tedaz 看全部
2020-5-1 08:35
我有两块这个卡,应该是目前市面上唯一一款PCIe x1长度的卡,其他都是x4长度的。

这个卡有两种版本:完整功能完整闪存的真正零售版,支持一切功能,现在根本买不到,当年的价格非常昂贵;现在能买到的都是洋垃圾服务器拆机的OEM卡,缺少闪存,应该没法修改设置。本来设置就是按照当年的服务器定制的,没必要修改。

价格有多贵呢,可以参考Mellanox目前在售的10Gb x1零售版价格,突破天际的价格。注意x4的便宜,x1的非常贵。
jerry122 看全部
2020-5-1 18:57

引用:

tedaz 发表于 2020-5-1 08:35
我有两块这个卡,应该是目前市面上唯一一款PCIe x1长度的卡,其他都是x4长度的。

这个卡有两种版本:完整 ...

x1,这不够10G吧
tedaz 看全部
2020-5-1 20:05

引用:

jerry122 发表于 2020-5-1 18:57
x1,这不够10G吧

抱歉,应该是x4,最短的万兆卡是x4的;大多数便宜的万兆是x8的。
bdzyq 看全部
2020-5-1 20:34

引用:

jerry122 发表于 2020-5-1 18:57
x1,这不够10G吧

3.0的x1 也可以,不过没见过
jerry122 看全部
2020-5-2 04:07
放弃更新了,老实用2.40.5030了开了sriov,降了点开机plexboot等待时间,打开了wakeonlan但是好像不管用,关机后接口就down了根本收不到唤醒包,也没啥别的想改的了

分享一下2.40.5030的自定义固件包:
链接:https://pan.baidu.com/s/1WrFJmi4Hv0Kb6eAP_-afuw
提取码:q9nj

包里有一个fw-ConnectX3-defaults.ref可以查看固件可调整的参数,但不是很全(wol就不在里面,但是自带的一些固件配置文件里有的就有写wol启用的)
实际上.mlx文件里就是各种参数的定义,地址映射,一些二进制数据啥的,算是可读的,可以在里面找到更多可用的参数
贴上我改的几处吧
[HCA]
;配置文件节点

num_pfs = 1
total_vfs = 8
sriov_en = true
;sriov相关

slow_clock_enable = 0
power_save_enable = 1
port1_wol_en = 1
port1_wol_magic = 1
;wol相关

[ROMINI]
;配置文件节点

flexboot_menu_to = 2
;开机flexboot等待时间(秒)
lsmry 看全部
2020-10-27 09:14
关机不能唤醒,楼主试没试,睡眠能否唤醒?
jerry122 看全部
2020-10-30 04:47

引用:

lsmry 发表于 2020-10-27 09:14
关机不能唤醒,楼主试没试,睡眠能否唤醒?

wakeonlan?试了不管用
ptsa 看全部
2021-9-17 23:12

引用:

jerry122 发表于 2020-5-2 04:07
放弃更新了,老实用2.40.5030了开了sriov,降了点开机plexboot等待时间,打开了wakeonlan但是 ...

2.4.2 就是不能sriov 么, 怎么查看开没开sriov?
ptsa 看全部
2021-9-18 16:31
我的,cx341
能 mlxconfig -d /dev/mst/mt4099_pciconf0 query
也可以 mlxconfig -d /dev/mst/mt4099_pciconf0 set SRIOV_EN=1 NUM_OF_VFS=8
都是成功的, 重启以后 查看也是对的
flint -dev 01:00.0 dc
看hca
num_pfs = 1
total_vfs = 8
sriov_en = true
;sriov相关
这些没有的
ptsa 看全部
2021-9-20 11:10
已经成功开启sr-iov 但是 pve 中的虚拟win 上 无法启动

Chiphell

Powered by Discuz! X3.4

首页|简易版|触屏版|电脑版