求助一些关于SMB3.0多通道叠加带宽问题

认真丶对待

最近需要变更NAS端配置，想起当初遇到的问题，需要大家帮忙答疑解惑。

当初winnas刚刚弄好的时候，因家中没有任何千兆以上设备，所以就只给nas和主力机都插了两根网线弄SMB3多通道网速叠加。
然后当时就遇到了问题，主力机无法做到网速叠加，只有二奶机可以正常叠加网速，当时也是每天在网上搜来搜去，关于SMB3多通道的信息少之又少。
经过好几天晚上的搜索，最后算是不完美解决了吧，需要把主力机的两个网卡的“接收方调整”（默认开启）全部关闭后就可以正常叠加网速。
当时网上大部分的关于这个多通道叠加都说的是只要有两个速率相同的网卡，win10版本在20H2以上就可以直接叠加网速。
之前也了解到各个网卡RSS队列数量不同，但是资料太少，还是不太明白。


问题1：想了解windows下SMB3网速叠加的各种条件？（包括软件和硬件）
问题2：为什么在不同网卡下，不关这个接收方调整就不能叠加网速？
问题3：不同网卡，默认设置下不能叠加带宽这个问题，是只会出现在客户端还是说NAS端也会出现这类问题？

最近需要变更下NAS的配置，主板就需要换了。手头的主板因为没有带两个相同网卡的，所以感觉这个问题会再次困扰我。

网络拓扑图如下：

yoyofuture

jtshs256 发表于 2024-3-13 12:07
可能是客服业务不熟练？我现在的交换机就是5速万兆电支持LACP，PC端只插一根10G确定是无效的 ...

不知道，客服说电脑端一根万兆可以跟nas 两根网线实现samba 多通道模式，他们是绿联的，我不知道是不是绿联的samba多通道可以实现这种功能？还是说所有的samba多通道都无法这样实现多通道两倍速度？？

jtshs256

yoyofuture 发表于 2024-3-12 23:37
我问了绿联nas的客服，他们说电脑端可以只是一根万兆线，但是有一个问题，就是路由器的口必须支持万兆， ...

可能是客服业务不熟练？我现在的交换机就是5速万兆电支持LACP，PC端只插一根10G确定是无效的

yoyofuture

jtshs256 发表于 2024-3-12 08:12
必须两根，但是第二“根”也可以是Wi-Fi…甚至2LAN1WLAN会发现流量分摊在三张卡上… ...

我问了绿联nas的客服，他们说电脑端可以只是一根万兆线，但是有一个问题，就是路由器的口必须支持万兆，也可以叠加nas的两条线两倍带宽。问题是现在的路由器万兆口的都是高端的，所以基本上要实现这个还得多花钱。。。准备放弃了就2.5G用nas得了

认真丶对待

yoyofuture 发表于 2024-3-12 05:04
最近也在研究nas，想问下楼主nas接两根2.5G网线，电脑端如果只是一个万兆网卡一根网线，是否可以开启samba ...

楼下两位已经回复的比较到位了

brucelee1126

yoyofuture 发表于 2024-3-12 05:04
最近也在研究nas，想问下楼主nas接两根2.5G网线，电脑端如果只是一个万兆网卡一根网线，是否可以开启samba ...

smb本质是ip叠加，所以必须得多ip对多ip,一对多没效果

jtshs256

yoyofuture 发表于 2024-3-12 05:04
最近也在研究nas，想问下楼主nas接两根2.5G网线，电脑端如果只是一个万兆网卡一根网线，是否可以开启samba ...

必须两根，但是第二“根”也可以是Wi-Fi…甚至2LAN1WLAN会发现流量分摊在三张卡上…

yoyofuture

最近也在研究nas，想问下楼主nas接两根2.5G网线，电脑端如果只是一个万兆网卡一根网线，是否可以开启samba叠加？用5G速度读写nas？我看资料好像说电脑端必须也是两根网线啊？

supermalone

又来了又来了，2.5G的两根网线接到黑裙的PCIE网卡上，挂到虚拟windows server上，另两根2.5G通过USB网卡接到笔记本win10上，下载速度顺利达到542M/s，等于是实现了2.5G*2的叠加。
然后虚拟机下了一条网线又重新接上，就永远只有280M了，回不去叠加状态了，这玩意儿，看windows软件层面心情的……

认真丶对待

albert513 发表于 2023-10-16 21:33
最近也碰到了和楼主你类似的问题。
我这边主要是上网机和nas之前的smb3.0传输。黑裙和白裙各一台。
硬件 ...

还是遵循能单不双把，尽量升级下局域网带宽。比如升级个2.5G内网。

这玩意我感觉和当年显卡SLI一样，就是接口有富裕的话就插上，没有就最好升级内网带宽。
用阿三研究的这玩意提速感觉确实不怎么稳。

SMB这个叠加，不能做到雪中送炭，只能锦上添花

albert513

认真丶对待 发表于 2023-10-16 20:42
这个肯定玄学问题，理论上肯定不需要什么设置的，我前段时间已经把内网升级成万兆了，SMB多通道叠加当时 ...

最近也碰到了和楼主你类似的问题。
我这边主要是上网机和nas之前的smb3.0传输。黑裙和白裙各一台。
硬件条件都满足了，相同的网卡，设置也都没问题。但应该没有关闭那啥。
问题在于，传输几十个G的文件，一开始还能220M/S传输的，过了一两分钟，自动将为90M/S左右。
如果关闭smb3.0，同样的文件传输，永远是一条113M/S的横线。

认真丶对待

supermalone 发表于 2023-10-16 11:39
反馈一下这几天进展，没有做什么操作，发现都没有问题，都可以网速叠加了。我之前设置也是多余的，无论wi ...

这个肯定玄学问题，理论上肯定不需要什么设置的，我前段时间已经把内网升级成万兆了，SMB多通道叠加当时给我整够呛

前年的时候傲腾900P 280G那个特别便宜的时候我买了一块，但是我只要把傲腾挂在主力机上（不管是系统盘还是从盘），只要我装上华硕的奥创，就会不定时蓝屏，有时候电脑开着，啥也没开，在床上躺着玩手机都能蓝。挂在其他电脑和朋友电脑上都没事。最后研究半年多无果也搜不到相关问题，我就把傲腾卖了。
这个也属于玄学问题

supermalone

认真丶对待 发表于 2023-10-13 23:01
这个吧，有几个我当时尝试出来的点可以分享下。
1、你说的“但是NAS换成windows server 2022，做NIC，就 ...

反馈一下这几天进展，没有做什么操作，发现都没有问题，都可以网速叠加了。我之前设置也是多余的，无论win还是DSM，不需要做设置，顶多开启SMB3就好了。
你说的网卡，我的机器也是板载两块intel不同型号的网卡，也可以误操作叠加网速，也很迷。所以，出问题，真的就只能概括成兼容性的神学问题了

认真丶对待

supermalone 发表于 2023-10-13 11:59
终于找到情况相近的，类似的问题
我的拓扑和楼主接近，没有二奶机，交换机换成2.5G的，主力机通过单条2.5G ...

这个吧，有几个我当时尝试出来的点可以分享下。
1、你说的“但是NAS换成windows server 2022，做NIC，就没有超过110了”这句话，我感觉不需要做NIC，直接默认就行，理论上SMB3多通道叠加真的不需要设置什么，直接用就行。既不需要链路聚合，又不需要设置NIC。因为我当时也是winserver2022做NAS，我没有配置这个NIC组合。
2、我后面尝试的时候发现只有在双英特尔千兆网卡且两个网卡不同时，这个叠加网速的效果出不来，需要按我帖子说的，关闭两个网卡的RSS，才能正常叠加。一个英特尔网卡+一个realtek或两个相同的英特尔网卡时都是没问题的。
3、我前几天好像看到个帖子里说，他是一个1G+一个2.5G网卡（不确定有没有手动把2.5G网卡设置成千兆），默认设置下SMB多通道叠加也成功了。

综上所述，再结合我手头的硬件来看的话，我觉得叠加失效只存在于一台机器上用两个不同型号的英特尔网卡的情况，其他任何组合都应该是没问题的。
所以我个人怀疑英特尔网卡的驱动或硬件有BUG或和这个SMB3多通道叠加兼容性差。

supermalone

终于找到情况相近的，类似的问题
我的拓扑和楼主接近，没有二奶机，交换机换成2.5G的，主力机通过单条2.5G的网线连交换机，NAS也是双千兆连交换机。
按理说NAS双千兆网口用smb3可以传到主力机，突破1000兆单网口速率。
NAS用黑裙时，偶尔突破，主力机从NAS下载达到过150M，但是NAS换成windows server 2022，做NIC，就没有超过110了
请问有解吗？

mkkkno1

SMB3.0的多路径么，文章挺多的呀。

xin892188

不知道楼主解决没有，我的一台2012双网卡，就设置两个IP，客户端win10也是双网卡，一个板载一个pcie不同型号，没做任何设置直接就叠加了，傻瓜交换机

layue

学习一下，我的也是弄不好

认真丶对待

jimmyjin 发表于 2023-2-9 18:00
别折腾千兆了， 可以负担就全万兆， 省钱就2.5G， 交换机搞起来

主要还是想学习学习知识，以后2.5G没准也弄SMB带宽叠加，到时候没准用得上

jimmyjin

认真丶对待 发表于 2023-2-9 17:21
试过啦，都是我在24楼说的情况。
看来只能是i211+218v同时用时，网卡和SMB兼容不好了呗了呗 ...

别折腾千兆了， 可以负担就全万兆， 省钱就2.5G， 交换机搞起来

认真丶对待

jimmyjin 发表于 2023-2-9 17:19
哦， 对了， 因为两个网口两个IP 好像有时候通过一个IP不行， 另一个行， 你试试换对面server的另一个IP  ...

试过啦，都是我在24楼说的情况。
看来只能是i211+218v同时用时，网卡和SMB兼容不好了呗了呗

jimmyjin

认真丶对待 发表于 2023-2-9 17:09
那你要是能不同网卡叠加成功的话，我更感觉是i211网卡问题
因为系统21H2也这样 ...

哦， 对了， 因为两个网口两个IP 好像有时候通过一个IP不行， 另一个行， 你试试换对面server的另一个IP 来传SMB？

认真丶对待

jimmyjin 发表于 2023-2-9 17:04
这个可能是你的win10 22H2 版本特有吧？ 因为我古早时候（2018？）自己试过板载2网卡加PCIe槽上双网口总共4 ...

那你要是能不同网卡叠加成功的话，我更感觉是i211网卡问题
因为系统21H2也这样

jimmyjin

这个可能是你的win10 22H2 版本特有吧？ 因为我古早时候（2018？）自己试过板载2网卡加PCIe槽上双网口总共4千兆的SMB3 带宽叠加是可以成功的。 219V+ realtek81111

认真丶对待

fell9999 发表于 2023-2-8 22:43
你是如何测试SMB的速度的？对拷吗？
另外你方便把你的IP写上来吗。方便诊断
不要去弄队列。默认就行了。再 ...

就是大文件对拷测试的
ip：nas这边固定ip（10.0.0.200 10.0.0.201）第二个ip也用过dhcp
主力机（10.0.0.218；10.0.0.219）和二奶机（10.0.0.134；10.0.0.135）两个都是dhcp，然后主力机和二奶机也都保存了nas两个ip的凭据。也就是两个ip都连一次。
然后不管是读还是写，主力机和nas间，看网卡占用，nas那边两个500不到，是平衡的，主力机这边一个0一个900多。然后只要把主力机两个网卡的接收方调整都关闭，就能两个网卡都900+了。
然后二奶机和nas那边网卡设置都是默认的，也就是接收方调整那个选项默认都是开启的，读写都能成功叠加，任务管理器双方两个网卡都是900+速度。
另外nas这边用过winserver2022和黑裙6.1.7都试过和二奶机之间都是正常能叠加，唯独主力机这边一直有问题。

目前是因为nas机器的主板坏了，要换配置，所以来问问这个问题的原因，因为如果有解决方案的话，nas那边的主板也会换成双板载网卡不同的（手头有主板可以利旧），如果这几天实在没有解决方案的话，就准备给nas换主板另外买张i350用了

fell9999

你是如何测试SMB的速度的？对拷吗？
另外你方便把你的IP写上来吗。方便诊断
不要去弄队列。默认就行了。再垃圾的板载网卡也能跑满千兆。另外愿意折腾的话。不妨把你二奶机的硬盘板到主力机再测一下。
如果有闲置的SSD。做个新系统。立马测试。控制变量

认真丶对待

phantom0308 发表于 2023-2-8 22:06
我感觉这个是intel网卡的问题，我用mellanox cx3 pro从来没有改过这项

我个人感觉是不是RSS队列深度不同，我图上三台机器，另外两台网卡相同的都没问题，唯独211+218的需要手动关闭才可以叠加网速

还是期待有各路大神解惑

phantom0308

认真丶对待 发表于 2023-2-8 19:33
这个NAS端也是试过黑裙的，也是需要主力机关闭RSS，所以来问问有没有了解RSS这个功能的大神 ...

我感觉这个是intel网卡的问题，我用mellanox cx3 pro从来没有改过这项

认真丶对待

zhgna 发表于 2023-2-8 14:03
两台老掉牙gen8，一台win2012，一台win2016，插满双网口后，smb传输双千兆自动叠加，期间啥也没动，rss也是 ...

请问gen8的网卡也是俩一样的吧？

认真丶对待

phantom0308 发表于 2023-2-7 23:53
我用链路聚合尝试点对点叠加一次都没成功过，两端全是windows的smb3叠加成功过1种情况，winserver to winse ...

这个NAS端也是试过黑裙的，也是需要主力机关闭RSS，所以来问问有没有了解RSS这个功能的大神