请问HP 544 + flr如何刷56G以太网？
本帖最后由 a39765 于 2023-6-21 19:55 编辑1288x才买不久就想着搞个全闪的nas，这不和voandrew对接上了直接上超微+罗马。
后来又看了帖子直接搞到40G/56G神卡。麻烦问问各位，这卡如何通过刷固件升级到以太网56G啊？
================================================
总结下 esxi搞Sr-iov就是浪费生命
=====================
NUc9 插上这玩意儿就不能关机了 还有就是如果不打算买交换机 （太吵），可以在这台服务器上多买几块这个卡，通过esxi 桥接起来当交换机用吗？ a39765 发表于 2023-5-4 16:05
还有就是如果不打算买交换机 （太吵），可以在这台服务器上多买几块这个卡，通过esxi 桥接起来当交换机用吗 ...
可以，我也是这么用的 wxsk 发表于 2023-5-4 16:09
可以，我也是这么用的
请问这样可以使用RDMA等特性吗 你是544还是544+，56g只有544+支持。 happysun110 发表于 2023-5-19 16:40
你是544还是544+，56g只有544+支持。
544+ 多插几根不用交换机 交换机太贵 这样可以使用544+的特性？ 56G ETH模式只支持Mellanox自家的交换机（Nvidia的文档里写了“Interoperable with 10/40GbE switches ；Interoperable with 56GbE Mellanox switches”），并且光模块或者AOC/DAC线缆都需要是Mellanox自家的（因为模块上有加密芯片） 死也要爱钱 发表于 2023-5-19 16:58
56G ETH模式只支持Mellanox自家的交换机（Nvidia的文档里写了“Interoperable with 10/40GbE switches ；In ...
那MCX555A-ECAT VPI的100G呢？所有Mellanox卡都是?
现在是直连, 还打算买个CRS510[震惊] conanhfl 发表于 2023-5-19 17:05
那MCX555A-ECAT VPI的100G呢？所有Mellanox卡都是?
现在是直连, 还打算买个CRS510 ...
MCX555/556A的文档里没有对交换机的限制（Interoperable with 1/10/25/40/50/100 Gb/s Ethernet switches） 出口带宽多少？感觉现在2.5G的差不多，你这是要玩8K视频？要这么大的带宽？感觉万兆已经是现在非商业用途天花板了。10年不落伍。 wxsk 发表于 2023-5-4 16:09
可以，我也是这么用的
esxi 8.0u1好像不支持，麻烦问问驱动哪里找 或者是安装特殊版本的 8.0? a39765 发表于 2023-5-20 09:14
esxi 8.0u1好像不支持，麻烦问问驱动哪里找 或者是安装特殊版本的 8.0?
为什么要执着于8.0……flr544+里的connectx-3 pro芯片已经不再被官方和社区支持，上官网几秒就知道了
老老实实用6.7u3吧，别想有的没的
死也要爱钱 发表于 2023-5-19 17:20
MCX555/556A的文档里没有对交换机的限制（Interoperable with 1/10/25/40/50/100 Gb/s Ethernet switches ...
幸好[可爱]
谢谢告知 死也要爱钱 发表于 2023-5-20 10:50
为什么要执着于8.0……flr544+里的connectx-3 pro芯片已经不再被官方和社区支持，上官网几秒就知道了
老 ...
7.0U3好像也可以？
a39765 发表于 2023-5-20 15:21
7.0U3好像也可以？
当然可以，我提6.7u3是因为这个版本用户最广泛，很多教程也是基于这个版本 sx6012价格和噪音都还行吧，不过为了上8.0和mac，确实的买cx4或者以上的了，价格太贵，多个544+做软交换对cpu性能要求高吧，没想到rdma对线缆也有要求，我到手的还没测试[流汗] 有一台闲置的sx6036…. 本帖最后由 a39765 于 2023-5-21 22:57 编辑
完犊子 这卡用在ESXI 7.0U3 官方支持驱动情况下 设置 SR-IOV 一直提示需要重新启动。启动后也没用。 a39765 发表于 2023-5-21 22:52
完犊子 这卡用在ESXI 7.0U3 官方支持驱动情况下 设置 SR-IOV 一直提示需要重新启动。启动后也没用。 ...
不支持，6.7开始的
具体请自查vmklinux drivers和native drivers的区别 死也要爱钱 发表于 2023-5-20 16:41
当然可以，我提6.7u3是因为这个版本用户最广泛，很多教程也是基于这个版本 ...
你的能开启SR-IOV没有？
Juzi丶 发表于 2023-5-21 23:11
不支持，6.7开始的
具体请自查vmklinux drivers和native drivers的区别
是这样吗？ a39765 发表于 2023-5-22 08:00
是这样吗？
你装vmklinux drivers就能开了 Juzi丶 发表于 2023-5-22 09:56
你装vmklinux drivers就能开了
在哪里下载啊？怎么装？ 能弱弱问一下吗？最近搞这个机器就差这个了。先谢谢大大 我用的是MCX416A，也没用SR-IOV。
我查了一下，官网上544+在7.0U3里有两个驱动，你用的应该是3.19.70.1，另一个3.19.70.1001看功能那栏里是提到SR-IOV的。
你需要先看一下你的设备ID（VID/DID/SVID/SSID）是不是和官网匹配，匹配的话下载这个1001驱动，上传到ESXi里面，然后打开SSH，用putty之类的工具SSH到ESXi的后台用esxcli命令安装这个驱动，重启应该就行了。 本帖最后由 aaronlong 于 2023-5-22 20:44 编辑
死也要爱钱 发表于 2023-5-22 13:53
我用的是MCX416A，也没用SR-IOV。
我查了一下，官网上544+在7.0U3里有两个驱动，你用的应该是3.19.70.1，另 ...
高手，您有账号么，帮忙下载上传过来嘛，我这没账号不给下。。。先行谢过！
https://customerconnect.vmware.com/en/downloads/details?downloadGroup=DT-ESXI170-MELLANOX-NMLX4_EN-319701001&productld=974
用这地址又跳回去了。。。 我彻底放弃了这卡在esxi里面不管是 8.0还是7.0还是6.7的 SR-IOV。官方驱动，三方驱动和vmx驱动都试了。pcie位置也换了。都不行。直接升级到8.0 直通给虚拟机用了。各位避坑吧。 happysun110 发表于 2023-5-19 16:40
你是544还是544+，56g只有544+支持。
544 544+都支持56gbe，但是需要脉络思交换机 本帖最后由 happysun110 于 2023-5-24 11:22 编辑
biogon38 发表于 2023-5-23 16:03
544 544+都支持56gbe，但是需要脉络思交换机
我昨天刚测试过了，刷新开启了56geth的固件后，用原厂的56g dac线 （我买的1.5米长 60元）就可以实现56g eth连接，不用特殊设置。只要刷新固件，然后 reset 配置就可以。
我没有用交换机，网卡用线直接连接，用一台ubuntu server 开启 br 做交换机。
56g eth 我用 iperf 测试出来实际大概能跑出 48g 出头的带宽。（对比40g eth能跑出37g).
也可以设置为 ib 模式，同样可以连接到 56g。不过我不熟悉 ib 模式，很勉强的临时找资料才配置好。
本帖最后由 happysun110 于 2023-5-24 11:26 编辑
michaelzxp 发表于 2023-5-20 16:49
sx6012价格和噪音都还行吧，不过为了上8.0和mac，确实的买cx4或者以上的了，价格太贵，多个544+做软交换对c ...
用544+做软交换，ubuntu server 20.04下是可以利用到 RDMA 的特性，跑满带宽时 cpu 基本为零，不用担心。40g eth iperf 测速大概37g，56g eth 测速大概48g。
但是如果没有开启 rdma，比如在 openwrt 下就不行了，cpu占用很高，速度也要降低到 20g 左右，几乎减半。
测试条件：ubuntu 20.04， 5.4 内核（默认带4.0.0驱动），安装驱动版本为 4.9.0 版本。注意4.9.0版本驱动最高支持到 5.4 内核，再高的内核就只能用系统自带的4.0.0驱动。 happysun110 发表于 2023-5-24 11:20
我昨天刚测试过了，刷新开启了56geth的固件后，用原厂的56g dac线 （我买的1.5米长 60元）就可以实现56g...
麻烦问问这个56g eth固件哪里有下载的？
页:
[1]
2