[网络] 讨论帖，万兆软路由方案探讨

summerq

本人目前网络环境如下：
- 家里两条光纤入户，一条1G，一条10G，均为上下对等网络。其中1G光纤是非固定公网ip，但半年多从不变化。另一条10G XGSPON网络是静态公网ip。获得ip的方式均为IPoE，无需拨号。
- 1G光猫是华为的，带四个1g电口。10G光猫是诺基亚的，带万兆电口。

目前的需求：
- 下载，做种24h
- 上网分流。因为我在坡县，因此在香港的家里装了一台软路由作为跳板回国。协议是wireguard，从新加坡到香港这段跑满千兆，没有udp qos。ping值大约40ms左右，回国速度很快。系统方面，两边都是pfsense，用maxmind地理数据库做了分流，国内ip走香港，其他直接连接。
- 家里无线网络需要连接5个wifi路由器，每层楼一个。目前是用华硕ax88u作为ap模式，其他四个wifi路由器作为mesh node，通过千兆有线回程。使用一年来很稳定。主wifi刷了午餐肉，节点用华硕自带的。
- 由于上面需要接入5个wifi，因此我用了一台XGS1250-12作为核心路由器。千兆接wifi，两个万兆分别接软路由和书房机柜里的万兆交换机。

目前纠结的地方：
- 坡县的软路由有两个硬件
1. p340 tiny + x710t2，其中千兆的i219作为千兆wan输入，两个x710的万兆口作为10g wan和 10g lan。存储方面，pve跑在p1600x上，p31 1T给windows，2T sata作为下载的cache。这个方案优点是体积小，功耗低一些。由于我用了千兆口做wan，因此需要在1g的线路上做一个静态ip路由来做AMT管理。
2. 自组软路由，asrock e3c256d4i，带两个x550万兆口。同时我加了一块mellanox connectx-6的 25G双光口网卡。cpu是xeon e 2388g。存储方面，pve跑在p1600x上，其他所有应用给了一块7.68t的u2 ssd。此方案运算性能比p340强很多，但是功耗80w起步。
3. 软件方面，目前我是1g光纤用pfsense，做广告过滤与分流。10g光纤用vpp跑nat + wireguard。

我的问题是：
1. 根据我的需求，流量主要是10g网络上的下载，那么是否可以把这部分直接用硬路由做掉，而软路由是用来接1g光纤上网。

2. 坡县电费贵。从节能的角度考虑，是否可以用硬件方案二，其中光卡插两个猫棒。这样可以省掉两个光猫。

3. 又或者干脆用硬路由做nat，软路由用方案一，从而节能。

4. 又或者就用硬路由了，不要软路由。一切随缘。需要上国内网站了，手机电脑终端单独开wireguard。我的硬路由是tplink的axe300，带两个万兆口（其中一个光电复用），四个千兆口和一个2.5g电口。这样可以关掉XGS1250-12 ，省一些电。

欢迎来讨论，谢谢

mypchas6fans

都几层楼了就别在乎电费了~

qq1994070

2块1度的电都不配用你这10g对等的网络，这电费简直就是毛毛雨

寒风凛冽

我要是有你这10G对等网络，家里的杂物间将会被改造成隔音机房。

starlight

看了下我的  电信300M  再看了你的文章  我都觉得自己**想吃天鹅肉的同时  撒了泡尿

nn1122

这是朝着10G ALL in one的方向发展？那肯定功耗低不了，只能是网络部分由arm路由负责，存储x86硬件来负责

tedaz

万兆对等，用硬件设备。
一定要折腾软路由，上机架式服务器，配合双E3v3/v4之类的cpu。但无论如何软路由上的fq科学也达不到万兆。不用科学上网的话，硬路由便宜省电性能强悍，看不出为什么用软路由。

cigiti

看起来可以考虑TNSR，这种VPP/DPDK方案才对得起这基础设施

kartanus

取自爱快论坛，10Gbps的话，推荐E5 16C32T以上

最低你就整个E5v4 16C32T的，一步到位的上EPYC 7002 16C32T的能耗比更出色
电费有些凡尔赛了，都几层楼了，外墙体整个光伏一天发电量也够这些网络设备造的了

我就南面墙弄了光伏板日发电已经9kWh左右了，机柜用小米插头测每天5.95kWh；
明年有机会扩展下储能，然后把8T、10T硬盘换成18T的，双路E5v4换成单路银牌或者单路EPYC 7002，估计整体待机功耗能再降个10%吧，但是开销是好几年的电钱。

summerq

tedaz 发表于 2023-8-24 08:45
万兆对等，用硬件设备。
一定要折腾软路由，上机架式服务器，配合双E3v3/v4之类的cpu。但无论如何软路由上 ...

你一句就中，说到我的痛点了。目前就这个问题。软路由真的意义不大了。不光是科学上网，包括视频转码这种需求，在大带宽的情况下，也不存在了

summerq

kartanus 发表于 2023-8-24 09:22
取自爱快论坛，10Gbps的话，推荐E5 16C32T以上

最低你就整个E5v4 16C32T的，一步到位的上EPYC 7002 16C32 ...

我还真没有凡尔赛，考虑功耗是因为光纤到户的位置，只有一个非常浅的配电柜，所以我的机柜已经搬到书房吃灰了。如果跑大包的话，其实给4核也就够了。cpu是10700…

summerq

cigiti 发表于 2023-8-24 09:02
看起来可以考虑TNSR，这种VPP/DPDK方案才对得起这基础设施

tnsr我用了大约有两年。它本质上就是一个基于dpdk+vpp的路由系统。我只用它来做nat和静态路由。性能方面，10700两个物理核心就跑满双向28.8mpps。但是它没有分流和去广告这些东西。我是在论坛里学的这些东西，用了觉得很棒。但是目前来看，其实用个硬件arm高端wifi路由器，也把nat做了，所以我就觉得软路由价值降低了很多

cigiti

最终选择肯定看自己思维，优先级怎么排。就我个人，即使有很多精致的顶级品牌工控机可以跑软路由系统，还是用M家RB5009，插个U盘跑几个简单容器。一直开着的设备还是考虑电费，性能够用就不玩高功耗性能过剩的设备。

rx_78gp02a

分流和去广告这些在硬路由里面是没法加速的，是否用软取决于你的策略，如果只是拨号其它啥事不干，硬路由是首先，如果需要分流负载均衡去广告流控这些，软路由是首选。

蓝色星芒

对等网络且没有科学的需求，那就直接硬件路由，然后加个小盒子，专门做dns和广告过滤就好了，在省点就是硬路由+每个终端装adguard，浏览器装adblock，。

那么还剩下千兆对等，既然定义了千兆是回国的，那就是wg的需求和dns以及adblock的需求。这个需求的话，直接1个ax88刷个机，直接跑wg或者opv。

就个人而言：
万兆硬路由，千兆光猫拨号，ap直接换成unifi的；整网加1个10系的x86建议用linux的docker，用来做选路，同时支撑wg、unifinetwork control、adguard、dns。dhcp服务的dns和网关都指向x86，x86上默认到万兆，同时做个gfwlist选路到千兆光猫


另外，看了下，你有24小时下载的，那肯定有1台电脑，如果是pve，那就做个linux，跑docker；如果是windows，那就hyperv跑linux。ap可以不换 。

cigiti

summerq 发表于 2023-8-24 09:32
tnsr我用了大约有两年。它本质上就是一个基于dpdk+vpp的路由系统。我只用它来做nat和静态路由。性能方面 ...

如果并不需要用到TNSR的这种效率，完全可以考虑M记硬路由（高配CCR2116/2216级别，低配RB5009）或者Bare Metal Vyos，都自带Wireguard，M记甚至在新版本里直接加了个BTH （Back to Home，对移动设备来说就是个傻瓜版WG）；都支持容器，可以跑小猫咪 adguard home pihole 之类的。

建议柠檬

可以试试XEON-D了
但是1581就免了。。。

tankren

用maxmind地理数据库做了分流，国内ip走香港，其他直接连接。

这个有可以抄的教程么？谢谢

pdvc

万兆接入这种，可以考虑用主(硬)路由+旁(软)路由组合。

jop

我用的就是方案2
https://www.chiphell.com/thread-2397771-1-1.html

weston

10G对等，是不是可以开机场了啊

summerq

jop 发表于 2023-8-24 13:05
我用的就是方案2
https://www.chiphell.com/thread-2397771-1-1.html

我用了一段时间 发现这个主板配还是有些小问题的。
1. 手动指定ipmi的ip地址之后，远程控制不能打开。ipmi如果通过dhcp获得就可以。
2. 板载x550只有下面一个端口可以开sriov，另一个不行。
3. 插满四条32g ecc内存，则速度降低到2133…..
4. 板载千兆口除了做管理接口之外，pve系统无法使用

pdvc

summerq 发表于 2023-8-24 09:26
你一句就中，说到我的痛点了。目前就这个问题。软路由真的意义不大了。不光是科学上网，包括视频转码这种 ...

主力路由用硬路由，省电效能高。

个别需求可以搭配一个旁路由(软)，跑在虚拟机上或者N100那种机器上。比如华擎那个N100 ITX主板，有PCIE槽可以插万兆卡，也很省电。

如果要追求极限效能和精简化，可以考虑用QWRT那种硬+软结合的路由，效能更高，比如qhora-301w，刷成QWRT，一个设备就搞定了。

jop

summerq 发表于 2023-8-24 13:14
我用了一段时间 发现这个主板配还是有些小问题的。
1. 手动指定ipmi的ip地址之后，远程控制不能打开。ipm ...

1没有试过固定IP，一直用DHCP正常。
2我用ESXI7.0U3，2个X550都可以开sriov
3我这边插了2条32G，速度为2933，如果插4条应该会和你一样降到2133，所以我没选择插满。
4这个IPMI口确实是独享的，只能作为管理

summerq

tankren 发表于 2023-8-24 12:58
用maxmind地理数据库做了分流，国内ip走香港，其他直接连接。

这个有可以抄的教程么？谢谢 ...

我是用pfsense，大概一下几步
1. 配置好wireguard，pfblocknerg
2. 在pfblocknerg里面配置好maxmind geoip，之后在geoip里面选择中国ip创建一个match
3. lan firewall里面建立一个规则 source选择内网的某个ip地址，设置为走hk wireguard网关，同时dist设置为刚才创建的china ip集合即可

这样配置下来，中国ip走hk wireguard网关，而其他ip则直接走默认路由

summerq

jop 发表于 2023-8-24 13:39
1没有试过固定IP，一直用DHCP正常。
2我用ESXI7.0U3，2个X550都可以开sriov
3我这边插了2条32G，速度为29 ...

关于3，我试过在bios里面直接改内存频率，然后直接不能启动了。只能拆机，拔掉内存只剩一一根开机，设置回auto之后再插上去…
关于ipmi，其实下面那个x550也可以通的

summerq

starlight 发表于 2023-8-24 08:27
看了下我的  电信300M  再看了你的文章  我都觉得自己**想吃天鹅肉的同时  撒了泡尿 ...

没有垄断才能有进步。坡县这边xgspon价格折合人民币一个月大约300

moveable

12100+itx dc主板+万兆网卡+itx单槽机箱这方案可以吗？

imyz

HKG SGP 5层楼.... 信息量好大

Marsword

超纲了。。。来学习学习