用水星SE106P折腾万兆网络顺带解决内网传输速度差异大问题

hallo2014

      最近浏览B站各种低成本构建万兆网络视频，临近春节起了折腾之心，虽然没什么万兆的需求。于是，咸鱼购买了2张X540T2网卡（单价62元）、2个万兆光专电模块（博通,杂牌号称可以跑100M,单价168元）、狗东SE106P（138元），一共花费598元。
      使用环境：两台PC，其中一台开共享做NAS看电影，一台PC在1楼柴房做下载和播放用，布线到3楼房门弱电箱约60多米，NAS放房间，布线约20米，线都是CAT5E.两台PC都是WIN1022H2，ESET做杀毒和防火墙，PC是西数1TSSD，NAS是西数1TM2。弱电箱是路由TP5010EN-AC，SE106P，SE106用2.5G接路由，2台电脑接2个电口，网卡都是装最新的驱动。
      刚开始很顺利，用iper测已经达到万兆，用FAST从PC拷贝100G的文件夹（都是5G左右的小电影）到NAS也基本达到了SSD的读取上限500MB/S，本来以为搞定了，突然心血来潮试下从NAS拷贝到PC，结果才200MB/S，再测掉到了10几MB/S，最后居然网卡掉线了，换回PC原先主板带的网卡2.5G互传都是200MB/S，立马觉得碰到奸商了，和奸商怼了1个小时，说不是商品问题不给退货。折腾了半天，本想认栽，最后想起掉线的过程，感觉是不是网卡自适应协调问题，然后给两张网卡都手动设固定IP，速度和双工改为10G双工。重新用FAST拷贝文件，PC到NAS变为了500MB/S，总共测试了几百G，都一样。本以为就此搞定，结果从NAS到PC，死活还是200MB/S，甚至100MB/S。然后看论坛依葫芦画瓢，把IP6，节能，SMB直通、SMB1.0关闭，开巨型帧9014，关闭SMB直通开SMB1.0，关闭SMB直通、SMB1.0，系统反复设置，重启，测试，连速度都由500MB/S搞成了100MB/S，结果还回不去，折腾到大半夜，脑子一片浆糊，只好关机睡觉。
      结果第二天起床不死心开机再试，确发现莫名其妙的正常了，用iper测达到万兆，用FAST从PC到NAS是520MB/S，NAS到PC460MB/S，两台电脑设置是系统开SMB直通，关SMB1.0，网卡中断裁决启用（原始设置没动），IP6，节能关闭，开巨型帧9014，跑了好几次，关机断电再开都一样结果。
      折腾2天多下来，虽然内网传输基本达到了SSD的速度，解决了以往的内网速度差异大问题，但是感觉WIN的SMB真是太玄乎了，再次感谢系统混乱后断电大法 。
      对了，最后想起来，按照https://learn.microsoft.com/zh-c ... w-smb-file-transfer中，“在 SMB 客户端上，运行以下 PowerShell cmdlet，确保未禁用最大传输单元（MTU），并且未在 SMB 中启用带宽限制”的命令，不知道是不是这个起了效果，姑且供大家参考一下。
      
      

manysu

我也是se106P，4个2.5G口已经插满了，不过就近几台电脑互联，准备试试买一张10G光口网卡插电脑上，还有拆机的已经做好两端sfp+头子的光纤线，一头直插交换机的spf+口应该就可以用了吧？

hallo2014

manysu 发表于 2025-1-11 12:29
我也是se106P，4个2.5G口已经插满了，不过就近几台电脑互联，准备试试买一张10G光口网卡插电脑上，还有拆机 ...

那种DAC线吗?没用过不是很清楚行不行。最好买自适应速率全的光口网卡，方便以后接不同速率的设备。

hallo2014

昨天MIKROTIK CRS304万兆电口交换机到货了，由于不会弄系统，请卖家远程设了MIKROTIK ROS的参数，结果师傅搞了1个多小时搞不定，老是不通，后来我提醒他改交换机的MTU为9014才正常使用，但测速结果不是很理想，比水星SE106P的稍差，估计是不是Marvell芯片兼容性问题，因为弄不懂ROS系统也不知道怎么调试。要不是考虑可以放弱电箱用POS供电，1400的价格感觉性价比不高哎。

sincethen

磊科 GS10  250.27
x540 t2 带 x4 转接卡 电口   58
sp310 光口 半高卡   55
sfp+转电口模块  97.27
dac 二手线  20
这样其他设备 2.5g   PC 和 NAS 之间是万兆。就是电口的卡很热，机箱下方装了个风扇直吹好多了，感觉 SPF+的模块在 nas 上用   dac 线连接的不是很热

hallo2014

我两个网卡都自己加了小风扇扇热，交换机现在摸着不热，用了一段时间感觉还是可以的，等夏天看情况再加那种路由器散热器。

tankren

我也用的这一款 走隐形光纤从储物室的走到房间的电脑桌 很完美

hallo2014

今天看了下万兆光转电模块是BCM84891LB，自适应10G/5G/2.5G，2.5G和10G都能正常使用，在10G的连接速度下连续拷贝5T的数据到NAS，很稳。因手头没有5G网卡没办法测试兼容性如何。

hallo2014

       这两天，抽空给两台机子更换了NVME 1T硬盘，但效果最多也是双向630MB/S，经过反复折腾，主要参考https://www.jackiewu.top/article/unraid-10g-network-precautions上的设置检查，在卸载了NAS上的360，ESET设置排除对FASTCOPY软件的检测，在NAS机BIOS中关闭ASPM和开4G后，终于让双向速度达到了950MB/S，感觉非直连状况下实在折腾不上1GB/S了。

hawie

SE106 Pro光口支持DAC、AOC两种形态的直通线。惟一不足是不支持LACP，其他都不错。还好改用SMB3，4个2.5可以当作1个10Gbps使用，没有LACP的单路瓶颈。

atnet

mark一下，局域网smb以前也遇到过速度跑不满，感觉是玄学

hallo2014

今天又发现诡异的问题，同样是用fastcopy从PC拷贝400g的文件到NAS,系统环境和软件都一样，关闭开启防火墙都一个结果:在PC上运行只有660MB/S,在NAS上运行却有950MB/S,反复开机关机试了几次都一样，网上搜索也没有发现这样的问题，整个人整不会了

hallo2014

      折腾了大半夜，发现了一个问题，我的两块闪迪至尊高速3D1TNVME硬盘，NAS上的是2022年618买的，缓外是860MB/S左右，PC上的是2023年双11买的，缓外是660MB/S左右，刚开始都能达到1GB/S的速度，然后就逐步掉速到缓外速度，怎么调都没用，而4盘HC5508T组的R0确稳定950MB/S左右，可见要想稳定跑万兆，固态一定要看缓外的速度，这个是查看了不少视频和文章里很少提及的坑，感觉网上卖的不少SSD是达不到这个要求的，这也是我反复拷贝了将近2T的文件才发现这个问题，许多玩家只简单测试了容量不大的文件不一定能发现。
      FASTCOPY的问题依然无解，包括将I/O单元调到4也没用：在PC上操作往NAS拷贝的过程中，NAS的R0硬盘使用率在传输速度700MB/S左右的时候就变成了90%左右，然后传输速度上下波动大，就一直压在这里上不去了；在NAS进行同样的操作的时候，NAS的R0硬盘使用率在传输速度900MB/S左右的时候才60%左右，传输速度波动小，稳定在900MB/S左右。但在NAS上操作操作SSD対拷，NAS的稳定在860MB/S左右，PC的稳定在660MB/S左右，传输速度波动都小，硬盘使用率在80%左右。初步觉的是软件在SSD与R0硬盘（阵列卡）之间的拷贝上存在兼容问题。
      这万兆的坑可真多啊，从网卡、硬盘、阵列卡、交换机、模块、网线、CPU、散热兼顾静音等硬件到BIOS、驱动设置、系统设置等软件，一堆坑等着普通玩家，从ST2005的风扇噪音到CRS304的难设置，还是2.5G省心省力，接上就能用没那么多烦恼，真的不建议没万兆需求的玩家去弄这个东西，最后感谢某宝、某多7天可退换实在是帮俺省了不少钱。