Juzi丶 发表于 2021-10-3 02:48
ce68xx的话只有极少数型号用的海思，剩下的都是博通方案的，要单比asic的话肯定spectrum要强 ...
好吧，对应环境不一样了！
最近发现用交换机起dhcp，静态路由上网慢的问题！
没丢包无法找到原因
哈哈
太厉害了~
hfyeqp 发表于 2021-10-3 02:54
好吧，对应环境不一样了！
最近发现用交换机起dhcp，静态路由上网慢的问题！
没丢包无法找到原因
不建议用交换的dhcp服务器，特别是国产这些，基本就只能保证能够完成“分配ip”就什么都不能做了，随便搭个dnsmasq都好使很多
牛货！！QNAP出的25G，40G和100G网卡也是推这款交换机，个人觉得是家用的理想机型，10G，25G，40G和100G通吃。
牛逼牛逼
wjm47196 发表于 2021-10-2 14:09
牛x啊 我要是重新装修我也来一套
当然用不到这么高级的就是了
我公司就有全套，产品现成的，价格问题
hfyeqp 发表于 2021-10-3 02:54
好吧，对应环境不一样了！
最近发现用交换机起dhcp，静态路由上网慢的问题！
没丢包无法找到原因
不丢包只是一方面，延迟什么的很好查的，你先确定是不是交换机问题
switch-b82fc8 # show power consumers
-------------------------------------------------------------------------
ModuleDevice SensorPower VoltageCurrentStatus
-------------------------------------------------------------------------
MGMT CURR_MONITOR 12V 49.55 11.76 4.21 OK
Total power used : 49.55 Watts
switch-b82fc8 # show system capabilities
IB: Supported, L2, Adaptive Routing
Ethernet: Supported, L2, L3
GW: Supported
Max SM nodes: 648
IB Max licensed speed: FDR
Ethernet Max licensed speed: 56Gb
比我的6036+L3协议的powerpc省电多了，我这个才到40/56G[生病]
yan1990_y 发表于 2021-10-3 11:36
不丢包只是一方面，延迟什么的很好查的，你先确定是不是交换机问题
有线正常，有点怀疑是不是ubnt ac-pro的ap问题了，但也不可能二个ap都出问题啊
Juzi丶 发表于 2021-10-3 09:14
不建议用交换的dhcp服务器，特别是国产这些，基本就只能保证能够完成“分配ip”就什么都不能做了，随便搭 ...
华为的s6720应该不至于那么垃圾啊
主要是vlan太多，只能用交换做三层吧，不然不能互通啊
hfyeqp 发表于 2021-10-3 13:24
有线正常，有点怀疑是不是ubnt ac-pro的ap问题了，但也不可能二个ap都出问题啊 ...
一层层ping过去，看延迟不就知道哪一个网关出问题了，还有带宽一起测
劳驾问下 噪音如何 ？
tonrain 发表于 2021-10-3 17:02
劳驾问下 噪音如何 ？
噪音肯定不行，一般都是要放机柜的！我放在了洗衣机旁边
tonrain 发表于 2021-10-3 17:02
劳驾问下 噪音如何 ？
和sx6012一样，差不多电风扇最大档
啊这.....这玩意小黄鱼真的有货吗。。。。。。
楼主，性能怎么样，有测试吗
本帖最后由 声色茶马 于 2021-10-7 20:58 编辑
test 发表于 2021-10-2 21:04
你们说的惊喜是指得10000？
这是CHH，理解一下亲。
毕竟100G，两套模块都贵过这交换机了。
请问，setpci -s 00:00.0 8.w这个是通用的吗？还是后面的 00:00.0 8.w需要根据不同的CPU来做修改？
6892731 发表于 2021-10-4 22:00
请问，setpci -s 00:00.0 8.w这个是通用的吗？还是后面的 00:00.0 8.w需要根据不同的CPU来做修改？ ...
C2000系列通用
不错，家里新部署光路，来一个这个很爽啊。
本帖最后由 jerrytsao 于 2021-10-7 17:30 编辑
CHH终于有人开了10/40/56GbE和25/50/100GbE全能型Switch, 就是这个噪音哈哈, Dell EMC Z9100-ON放在eBay一直没下单主要就是这个原因
jerrytsao 发表于 2021-10-7 17:26
CHH终于有人开了10/40/56GbE和25/50/100GbE全能型Switch, 就是这个噪音哈哈, Dell EMC Z9100-ON放在eBay一 ...
Z9100和DX010一样是Tomahawk 1代，又热又吵还是电老虎 [吐槽]
我也入坑了，风扇有点吵，有什么办法解决
sunneyboy 发表于 2021-10-7 20:17
我也入坑了，风扇有点吵，有什么办法解决
不插模块，风扇转速会从17000降到7000左右，
而只要插入一个模块，立马从7000升到14000，并且不再下降，一直维持，它的风扇策略估计就是这样？
sunneyboy 发表于 2021-10-7 20:17
我也入坑了，风扇有点吵，有什么办法解决
是否能通过改固件来修改成静音模式，好象SX6012有修改成静音模式的，不知这个能不能修改？
另外一种是拆开机器，给风扇加降噪线或是换风扇？
此机功耗还不错，整机不插模块是36W的实测功耗，插了模块，10G的每个加4W.
本帖最后由 Juzi丶 于 2021-10-8 22:43 编辑
加楼说一下机器的初始和常用设置吧
必须两个电源都接上电
准备好PuTTY，或者你习惯的工具
前面板有两个RJ45接口
上面的是ETH管理口
下面的是Console口
首先先把上面的ETH管理口接上路由器，之后会获取DHCP分配的IP
第一次开机需要接下面的Console口
然后按下图设置，USB转Console线建议买FTDI芯片的
等屏幕上信息滚完之后按一下回车会出现控制台
输入默认账号和密码admin登陆控制台
NVIDIA Onyx Switch Management
switch-xxxxxx login: admin
Password:
Number of total successful connections since last 1 days: 0
Your password has been changed
NVIDIA Switch
第一句是问你是否进行初始设置
Do you want to use the wizard for initial configuration?
您想使用向导进行初始配置吗？
输入yes
然后跟着向导输入一些基本信息
Step 1: Hostname?
Step 2: Use DHCP on mgmt0 interface?
Step 3: Enable IPv6?
Step 4: Update time?
Step 5: Enable password hardening?
Step 6: Admin password (Must be typed)?
Step 6: Confirm admin password?
Step 7: Monitor password (Must be typed)?
Step 7: Confirm monitor password?
第 1 步：主机名？
第 2 步：在 mgmt0 接口上使用 DHCP？
第 3 步：启用 IPv6？
第 4 步：更新时间？
第 5 步：启用密码强度？
第 6 步：管理员密码（必须输入）？
第 6 步：确认管理员密码？
第 7 步：监控密码（必须输入）？
第 7 步：确认监控密码？
密码强度就是禁用简单密码，yes之后后面两个密码都需要大小写数字和符号
下面是我的示例
NVIDIA Onyx Switch Management
switch-xxxxxx login: admin
Password:
Number of total successful connections since last 1 days: 0
Your password has been changed
NVIDIA Switch
Configuration wizard
Do you want to use the wizard for initial configuration?
Step 1: Hostname?
Step 2: Use DHCP on mgmt0 interface?
Step 3: Enable IPv6? no
Step 4: Update time?
Step 5: Enable password hardening? no
Step 6: Admin password (Must be typed)?
Step 6: Confirm admin password?
Step 7: Monitor password (Must be typed)?
Step 7: Confirm monitor password?
You have entered the following information:
1. Hostname: switch-xxxxxx
2. Use DHCP on mgmt0 interface: yes
3. Enable IPv6: no
4. Update time: 2021/10/08 03:57:59
5. Enable password hardening: no
6. Admin password (Must be typed): (CHANGED)
7. Monitor password (Must be typed): (CHANGED)
To change an answer, enter the step number to return to.
Otherwise hit <enter> to save changes and exit.
Choice:
Zero-touch is disabled
Configuration changes saved.
To return to the wizard from the CLI, enter the "configuration jump-start"
command from configure mode.Launching CLI...
switch-xxxxxx >
然后进入配置模式，在CLI下修改任何配置都要先输入enable然后configure terminal
switch-xxxxxx >
switch-xxxxxx > enable
switch-xxxxxx # configure terminal
switch-xxxxxx (config) #
然后先解锁模块
switch-xxxxxx (config) # fae cable-stamping-unlock 100g_lr4
switch-xxxxxx (config) # fae cable-stamping-unlock 40g_lr4
switch-xxxxxx (config) # fae cable-stamping-unlock eth_100g
switch-xxxxxx (config) # fae cable-stamping-unlock eth_sfp_25g
任何更改都不会自动保存，CLI要输入命令保存，在WEB网页上的话就是右上角的SAVE或者存档标准
switch-xxxxxx (config) # configuration write
switch-xxxxxx (config) #
风扇转速会在25分钟左右降速到20%（6000~7000RPM）
开机后转速是60%，每5分钟左右降10%
上面初始配置设置了管理口DHCP获取IP，所以我们可以使用下面的命令获取管理口状态
switch-xxxxxx (config) # show interfaces mgmt0 brief
Interface mgmt0 status:
Comment :
VRF : mgmt
Admin up : yes
Link up : yes
DHCP running : yes
IP address : 10.0.0.181
Netmask : 255.0.0.0
IPv6 enabled : no
Speed : 1000Mb/s (auto)
Duplex : full (auto)
Interface type: ethernet
Interface source: bridge
Bonding master: vrf_mgmt
MTU : 1500
HW address : xx:xx:xx:xx:xx:xx
可以看到获取的IP是10.0.0.181
这时候就可以用IP登陆SSH控制台而不用Console了
同理，输入账号密码登陆，然后输入enable和configure terminal进入配置模式
使用25G/100G链路必须设置FEC
下面是示例
#关闭端口自动协商，设置端口速率为25G
switch-xxxxxx (config) # interface ethernet 1/7 speed 25G no-autoneg force
#设置FEC模式，可以看到有RS FC NO三个可以选，这里选择RS
switch-xxxxxx (config) # interface ethernet 1/7 fec-override
fc-fecno-fecrs-fec
switch-xxxxxx (config) # interface ethernet 1/7 fec-override rs-fec force
switch-xxxxxx (config) #
在电脑上Mellanox网卡的话，可以安装官网的驱动程序和MFT后使用mlxlink验证链路模式
MFT下的工具必须在管理员模式运行
mlxlink.bat -d mt4117_pciconf0的网卡的第一个接口
mlxlink.bat -d mt4117_pciconf0.1的网卡的第二个接口
下面是示例（Windows平台）
Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。
尝试新的跨平台 PowerShell https://aka.ms/pscore6
PS C:\Windows\system32> cmd
Microsoft Windows [版本 10.0.19044.1237]
(c) Microsoft Corporation。保留所有权利。
C:\Windows\system32>cd C:\Program Files\Mellanox\WinMFT
C:\Program Files\Mellanox\WinMFT>
C:\Program Files\Mellanox\WinMFT>mlxfwmanager.exe
Querying Mellanox devices firmware ...
Device #1:
----------
Device Type: ConnectX4LX
Part Number: MCX4121A-ACU_Ax
Description: ConnectX-4 Lx EN network interface card; 25GbE dual-port SFP28; PCIe3.0 x8; UEFI Enabled; tall bracket
PSID: MT_0000000266
PCI Device Name:mt4117_pciconf0
Base MAC:
Versions: Current Available
FW 14.31.1014 N/A
PXE 3.6.0403 N/A
UEFI 14.24.0013 N/A
Status: No matching image found
C:\Program Files\Mellanox\WinMFT>mlxlink.bat -d mt4117_pciconf0.1
Operational Info
----------------
State : Active
Physical state : LinkUp
Speed : 25GbE
Width : 1x
FEC : Standard RS-FEC - RS(528,514)
Loopback Mode : No Loopback
Auto Negotiation : ON
Supported Info
--------------
Enabled Link Speed : 0x38007013 (25G,10G,1G)
Supported Cable Speed : 0x38007013 (25G,10G,1G)
Troubleshooting Info
--------------------
Status Opcode : 0
Group Opcode : N/A
Recommendation : No issue was observed.
C:\Program Files\Mellanox\WinMFT>
可以看到端口的FEC已经运行在RS模式（根据交换机上的数据自动协商）
用mlxcables查看模块型号，收发光等信息
mlxcables.bat -d mt4117_pciconf0_cable_0的网卡的第一个接口
mlxcables.bat -d mt4117_pciconf0_cable_1的网卡的第二个接口
C:\Program Files\Mellanox\WinMFT>mlxcables.bat -d mt4117_pciconf0_cable_1 -q
Querying Cables ....
Cable #1:
---------
Cable name : mt4117_pciconf0_cable_1
>> No FW data to show
-------- Cable EEPROM --------
Identifier : SFP/SFP+/SFP28 (03h)
Technology : Transceiver
Compliance : Unspecified
OUI : 0xac4afe
Vendor : Hisense
Serial number : UBU9C083728
Part number : LTF1325-BH1
Revision : A
Temperature : N/A
Length : 0 m
C:\Program Files\Mellanox\WinMFT>mlxcables.bat -d mt4117_pciconf0_cable_1 -DDM
Cable DDM:
----------
Temperature : 52C
Voltage : 3.2639V
RX Power : -1.1351dBm
TX Power : -2.1120dBm
TX Bias: 53.8300mA
----- Flags -----
Temperature:
[32m Alarmhigh: 0
[32m Warning high : 0
[32m Warning low: 0
[32m Alarmlow : 0
[0mVoltage:
[32m Alarmhigh: 0
[32m Warning high : 0
[32m Warning low: 0
[32m Alarmlow : 0
[0mRX/TX Power and TX Bias:
[32m RX Power alarmhigh : 0
[32m RX Power warning high: 0
[32m RX Power warning low : 0
[32m RX Power alarmlow: 0
[32m TX Power alarmhigh : 0
[32m TX Power warning high: 0
[32m TX Power warning low : 0
[32m TX Power alarmlow: 0
[32m TX Bias alarmhigh: 0
[32m TX Bias warning high : 0
[32m TX Bias warning low: 0
[32m TX Bias alarmlow : 0
[0m----- Thresholds -----
Temperature high alarm threshold : 95C
Temperature high warning threshold : 85C
Temperature lowwarning threshold : -40C
Temperature lowalarm threshold : -50C
Voltage high alarm threshold : 3.6300V
Voltage high warning threshold: 3.4650V
Voltage lowwarning threshold: 3.1350V
Voltage lowalarm threshold: 2.9700V
RX Power high alarm threshold : 5.0000dBm
RX Power high warn threshold: 2.0000dBm
RX Power lowwarn threshold: -10.5012dBm
RX Power lowalarm threshold : -13.4969dBm
TX Power high alarm threshold : 5.0000dBm
TX Power high warn threshold: 2.0000dBm
TX Power lowwarn threshold: -7.0006dBm
TX Power lowalarm threshold : -10.0000dBm
TX Bias high alarm threshold: 110.0000mA
TX Bias high warn threshold : 100.0000mA
TX Bias lowwarn threshold : 1.0000mA
TX Bias lowalarm threshold: 1.0000mA
有关交换机接口的其他设置可以看官方文档
https://docs.mellanox.com/display/Onyxv393202/Ethernet+Interfaces
https://docs.mellanox.com/display/Onyxv393202/Ethernet+Interface+Commands
RoCE文档
https://docs.mellanox.com/pages/viewpage.action?pageId=56986516
机箱管理
https://docs.mellanox.com/display/Onyxv393202/Chassis+Management
如果发现任何异常的地方可以抓取日志查看详情
如果日志出现下面错误
Oct7 04:28:57 switch-xxxxxx temp_control: : Read all qsfp temperatures properly:, changing dynamic ambient mode
Oct7 04:28:57 switch-xxxxxx temp_control: : Dynamic ambient usage: Enabled. NOT all qsfps were read properly
Oct7 04:28:57 switch-xxxxxx temp_control: : minimum chassis fan speed - previous current after reading ambient temperature of
Oct7 04:28:57 switch-xxxxxx temp_control: : Fan:, interval: ,in affected area, max temperatures: ASIC: X86: QSFP_CABLE: , Updating fan speed from: to:
注意这两句
Read all qsfp temperatures properly:, changing dynamic ambient mode
Dynamic ambient usage: Enabled. NOT all qsfps were read properly
意思就是temp_control没有正确读到模块的温度数据
哪怕执行
show interfaces ethernet x/x transceiver diagnostics
后能读取到模块温度
机箱管理还是照样会把风扇转速提高到最低40%（11000~12000PRM）
如果遇到这种情况请更换模块，或者用官方模块
（或者等nvidia良心发现修复一下，又或者换cumulus linux或者sonic，再或者你的使用环境可以无视风扇提速）
Juzi丶 发表于 2021-10-8 09:19
测了一下发现某些模块的温度读取有问题，热控制读取不到模块温度，就会把风扇提速到40% ...
那配哪个品牌的模块，可以正确读取温度，让风扇速度降下来
请问RESTRICTED_CMDS的license是从哪里获取的呢，我的sn2700没这个lic
kongtaibai 发表于 2021-10-8 09:57
请问RESTRICTED_CMDS的license是从哪里获取的呢，我的sn2700没这个lic
https://forums.servethehome.com/index.php?threads/beware-of-emc-switches-sold-as-mellanox-sx6xxx-on-ebay.10786/post-309240