Chiphell - 分享与交流用户体验

 找回密码
 加入我们
搜索
      
查看: 35330|回复: 177

[升级改造] 万兆网络 整体升级&配件开箱

  [复制链接]
发表于 2020-7-9 11:06 | 显示全部楼层 |阅读模式
随着时间推移,家里的存储服务器数量越来越多。
相互拷贝TB级别的文件,使用千兆网络耗时太久。
今年春节后,开始建设万兆网络系统,折腾了差不多半年时间,终于弄好了。

main a.jpg

万兆网络有电口方案和光口方案两种,因为我是重新布线,光口方案成本优势明显。
新购置了 广达 LB6M 24口全万兆SFP+ 交换机。

采购了若干块 SFP+ 接口 万兆网卡,和光模块。
m 6.jpg

超微 82599 单口万兆网卡
n 1.jpg

n 2.jpg

Intel 82598 单口万兆网卡
n 3.jpg

技嘉 82599 单口万兆网卡
n 4.jpg

n 5.jpg

配套的光模块(万兆SFP+)
m 1.jpg

华为单模
m 2.jpg

华为 单模单纤 BiDi模块
m 3.jpg

Intel 多模 (这个不建议用,连接不稳定)
m 4.jpg

Intel 单模
m 5.jpg

后来因为Intel多模模块出了一些问题,又补买了一些 海信 和 Avago 的模块,没有照片。

旧服务器安装万兆网卡,简单放几张图片
c 5.jpg

s 1.jpg

s 2.jpg

s 3.jpg

s 4.jpg

PT下载机,安装万兆网卡
s 5.jpg

升级了两台PT下载机,主板自带万兆网卡
e 1.jpg

e 2.jpg

升级了一台服务器,主板自带双口万兆网卡
e 3.jpg

e 4.jpg

新装了一台服务器
new 1.jpg

new 2.jpg

new 3.jpg

new 4.jpg

然后是花费接近两个月,进行布线工程。。。。
fiber 2.jpg

fiber 1.jpg

fiber 3.jpg

全部插接完毕
c 1.jpg

c 2.jpg

c 3.jpg

辅助网络也进行了一些改造
c 4.jpg

完工,总结一下:

1. 光口万兆网络成本低,但是安装难度明显高于电口,多余的光纤不可随意缠绕,要盘成圈固定。

2. SFP+ 接口,短距离内建议使用DAC直连电缆或AOD主动光缆跳线;光模块+光跳线连接,问题反而更多。

3. 单模光缆的价格和多模差不多,单模光模块贵一些,但是问题较少。

4. 多模光模块建议避开Intel原厂,翻新和假货太多,难以辨别;用Avago就很好

5. LB6M兼容的模块,我这里安装的有 Intel Avago 华为 海信,工作正常。

6. 除去少数Intel 82599只能用Intel原厂模块,大部分第三方的82599可以兼容华为和海信的模块,这样可以降低很多成本。

7. 单模光模块配单模光纤,多模光模块配多模光纤,不可混用(虽然尾插都是LC)。

8. Intel 82598自带850nm多模光模块,只要在交换机那边安装一个850nm光模块就可以连通,品牌没有限制。

9. LB6M 的噪音真的很大很大,所以我保留了铜缆千兆网络,作为日常使用,拷文件时再开万兆网络。

性能测试,后面再说吧。。。。

评分

9

查看全部评分

发表于 2020-7-9 11:19 | 显示全部楼层
真 大佬  
发表于 2020-7-9 11:34 | 显示全部楼层
楼主肯定有一个超大的复式洋房或者别墅,这些设备的噪音和热量都是不可小看的另外我试过短距离(3米)单模多模线材混用,甚至用法兰相接,两端同为多模或者单模都是可以通信的,也可以跑万兆!
 楼主| 发表于 2020-7-9 11:42 | 显示全部楼层
nn1122 发表于 2020-7-9 11:34
楼主肯定有一个超大的复式洋房或者别墅,这些设备的噪音和热量都是不可小看的另外我试过短距离(3米 ...

服务器在仓库里

现在夏天开两三台,仓库已经热得不行,还好平时不开。

一开始确实想拆除千兆网络,只用万兆。
但后来发现噪音和功耗太高,就修改了设计。

现在万兆网络和服务器可以全部关闭,就一台低功耗上网机。
发表于 2020-7-9 12:00 | 显示全部楼层
好强大啊。。。。。。
发表于 2020-7-9 12:04 | 显示全部楼层
楼主你在家里干嘛,哪需要这样进行布置。。。。。
发表于 2020-7-9 12:37 | 显示全部楼层
m大
咨询一下,新房布线,
留光纤线单模还是多模好啊。
看你的线,五颜六色,啥牌子
发表于 2020-7-9 13:51 | 显示全部楼层
在家里开什么业务吗。。。好大的规模
发表于 2020-7-9 15:15 | 显示全部楼层
列个硬件清单,瞻仰一下
另外,为啥不上机柜,把所有服务器集中起来?
发表于 2020-7-9 15:22 | 显示全部楼层
膜拜一下
想知道LZ是搞什么业务的,需要在家里搭这么厉害的方案
发表于 2020-7-9 15:23 来自手机 | 显示全部楼层
啥时候主板自带万兆网卡我就升级,不然要占用pcie接口
发表于 2020-7-9 16:27 | 显示全部楼层
我觉得现在千兆网卡已经不错了,没想到楼主现在已经万兆起步~
 楼主| 发表于 2020-7-9 16:55 | 显示全部楼层
Wilson163abc 发表于 2020-7-9 15:15
列个硬件清单,瞻仰一下
另外,为啥不上机柜,把所有服务器集中起来?

老旧小区,机柜从楼道搬上楼困难,只好买置物架代替。
发表于 2020-7-9 16:59 | 显示全部楼层
刚拍了intel的多模模块,看了你这个帖子立马去取消,加几块钱换安华高
 楼主| 发表于 2020-7-9 17:04 | 显示全部楼层
tankren 发表于 2020-7-9 13:51
在家里开什么业务吗。。。好大的规模

看着多,其实互相备份,很耗费存储空间。

升级万兆网络的主要理由,就是千兆网络,服务器互相备份耗时太久,要一两天。
万兆网络几个小时就可以完成。。。。
发表于 2020-7-9 17:06 | 显示全部楼层
Mufasa 发表于 2020-7-9 17:04
看着多,其实互相备份,很耗费存储空间。

升级万兆网络的主要理由,就是千兆网络,服务器互相备份耗时太 ...

数据体量好大的亚子、、、
 楼主| 发表于 2020-7-9 19:24 | 显示全部楼层
试了下,在主机上,直接把服务器1的文件往服务器2拖,速度300MB/s
应该是其中一方的磁盘阵列跑满了。

spes.jpg
 楼主| 发表于 2020-7-9 20:39 | 显示全部楼层
测试表明,存电影的盘最好是关闭 Cache Cade

关闭以后,从服务器1拷到服务器2,速度可以到650MB/s
speed ccoff.jpg

开启 Cache Cade 只有300MB/s

源:6块4TB RAID 5,目标:8块2TB RAID 6
试着玩的。。。。实际上目标是文件服务器,不存电影
发表于 2020-7-9 21:20 | 显示全部楼层
感觉一般的公司都没你这厉害。你这在家是办公吗???
发表于 2020-7-9 21:40 | 显示全部楼层
太强大了。。膜拜学习
发表于 2020-7-9 22:34 | 显示全部楼层
目的只是存储嘛,装盘少的机箱换装的多的,更新大容量硬盘替换掉小盘,钱花在非核心存储的硬件上不经济。
发表于 2020-7-9 23:35 | 显示全部楼层
不知道大佬管子多粗,下载机都需要这么强的配置呀。。。
发表于 2020-7-10 08:42 | 显示全部楼层
大佬这设备够强
发表于 2020-7-10 09:18 | 显示全部楼层
sanna 发表于 2020-7-9 12:37
m大
咨询一下,新房布线,
留光纤线单模还是多模好啊。

同问,如果是新房布线,单纯替换千兆线,该怎么弄?没服务器,就几台电脑
发表于 2020-7-10 09:22 | 显示全部楼层
非常好奇做什么行业需要用到这么高端的设备
发表于 2020-7-10 09:31 | 显示全部楼层
其实万兆网络到处都是瓶颈,我感觉真正的万兆网络真的跑也跑不满万兆
我这公司PC万兆直连NAS,12T氦气x8,速度也就这样,突破千兆轻轻松松
但是也因为终端硬件限制跑不满万兆,基本是稳定600MB/左右,瞬间速度能上万兆,很快就掉了,估计是Cache用完了
不过确实比千兆快很多了。我觉得其实2.5G已经满足一般人家里用了
发表于 2020-7-10 09:32 | 显示全部楼层
大佬家里的存储都已经甩我们公司机房那堆垃圾几条街了
发表于 2020-7-10 09:38 | 显示全部楼层
膜拜大佬
发表于 2020-7-10 09:42 | 显示全部楼层
暗黑MAX 发表于 2020-7-10 09:18
同问,如果是新房布线,单纯替换千兆线,该怎么弄?没服务器,就几台电脑 ...

家用没有特殊需求的推荐还是网线,6类就可以跑满千兆,上光纤不只是线的问题,所有的设备都要接光口,成本高不说,现阶段也不实用,短期(5-10年)不觉得光纤会普及,真有需求的时候再研究,没准儿那会儿的技术又升级了
 楼主| 发表于 2020-7-10 09:45 | 显示全部楼层
qubit 发表于 2020-7-9 22:34
目的只是存储嘛,装盘少的机箱换装的多的,更新大容量硬盘替换掉小盘,钱花在非核心存储的硬件上不经济。 ...

存储,每年升级一次。

最近的一次是今年春节前,下一次应该是明年了。
https://www.chiphell.com/thread-2178383-1-1.html

升级存储非常费时,备份数据两天,换新盘重新建阵列,初始化两天,数据拷回去两天。

有了万兆网络,备份数据和数据拷回去这些时间可以大大减少。
但RAID初始化。。。。没办法,还是一两天的时间。。。。
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

小黑屋|手机版|Archiver|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2020-8-11 06:03 , Processed in 0.013974 second(s), 25 queries , Gzip On, Redis On.

Powered by Discuz! X3.2

© 2007-2019 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表