Chiphell - 分享与交流用户体验

标题: 便宜就对了--垃圾佬组建八盘万兆高性能NAS [打印本页]
作者: yaoyuanzy    时间: 2020-1-6 17:31
标题: 便宜就对了--垃圾佬组建八盘万兆高性能NAS
本帖最后由 yaoyuanzy 于 2020-1-8 11:33 编辑

一直有个梦想，整一个高性能的IPSAN给虚拟化的测试环境提供iscsi的存储服务，终于某一天邪恶念头战胜了理智。

机器配置单:                                      组建共计投入RMB 1700左右
主板：双为X79主板 matx 19*24      自有，330入手一年多了，B75南桥
内存：Recc 16G*4通道                    自有，反正很便宜
CPU：E5 2650V2                            自有，现在也很便宜
CPU散热器：金钱豹1366 2U魔改    TB，30左右吧，孔径一样2011背板在主板上M3换成M4的螺丝即可，机箱支持52mm高度散热器
硬盘散热器：垃圾三洋4025*3          自有，12V供电接在SATA上，嫌吵中间可以接一个温控开关或者换成5V供电
机箱散热器：12CM*2                      机箱自带
电源：益衡7140B 400W模组           机箱自带
机箱：万由810A                              闲鱼，1180背板是SATA 1.1版本的氦气盘需要屏蔽3.3V
硬盘：4TB SAS*8  希捷PMR的盘     自有，好像也不贵
背板：HP ML110 G7硬盘笼拆         TB,70一个关键字提供了自行搜索，需要魔改
阵列卡：HP H220                           TB,100左右 LSI2308的HBA卡，PCIE3.0基础带宽高比较方便
网卡：HP NC523SFP 双10G           TB,120左右早期采购
转接线：PCIE4转16+16转16           TB,乞丐版非ADT，30左右搞定
UPS：BK650-CH                             闲鱼，USB通信线自己买RJ48 10P水晶头制作，电池53买的不知真假汤浅NPW45-12。99+10+54

配套和测试设备：
国产垃圾万兆BCM交换机 12万兆+8千兆
SN720 500G
S3510  800G热熔胶枪



如下正文：

目标：新的8盘存储提供smaba和iscsi的高性能存储，供虚拟化调用，1G短程性能
软件：freenas 11.2U7官网最新版本、bonnie++、iperf3



部分一、硬件准备
1.硬盘背板改造
          万由的背板简直坑的飞起，旧版本因为3.3V电路导致不支持部分氦气盘，支持氦气背板的需要100,换SAS+转接线需要268。不能忍，垃圾佬的宗旨就是花最少的钱实现改造！
G7系列的服务器属于洋垃圾的范畴但是背板可以确定至少是SAS2（SATA3）的技术规格。看着孔径差不多准备，搏一搏单车变摩托

TB很久前就发现这个硬盘笼有潜力，SAS背板带数据线另外供电是大D的，其实主要还是便宜
(, 下载次数: 148)    
这是魔改完成的背板。使用热熔胶固定，间隔3cm，精度要求不高看自己手工。注意：最好拆下后面板方便改造，留意下高度和水平方向，G7的背板需要稍微垫高一点正好涂点热熔胶先做下位置固定测量没问题再加固。
拆下来的背板+数据线怎么也能卖个160，嘻嘻
 (, 下载次数: 162)


2.硬盘位风扇
          硬盘长时间运行温度最好在40度以内，实际上纯属主板留下的空间难看正好折腾一番利用下手头废物。
关于风扇控制最好买1分3的转接在主板风扇接口上，但是手头材料不够因此从SATA供电。装机模拟对比一下发现正好下压的风透过开口能吹到硬盘。
用电钻给主板托架打孔，常规风扇螺丝能穿过去就行，工具好的形变少点看着舒心，托架改造后的惨样不献丑了。
装上风扇，放进托架组装起来发现主板有点放不进去怎么办？有点慌，结果发现风扇另一侧稍微抬一下搭载主板上即可
(, 下载次数: 150)


3.机箱风扇改造          万由的机箱后补开孔有点大，收到的这个箱子很多灰像是从伊拉克挖矿归来，正好捡一个散热网加在风扇和机箱中间。网卡直接固定在挡板上，HBA卡用螺丝正好固定在机箱原SSD位置。机箱内的风扇拆掉后在另一面可以固定一个SSD，没技术含量略略略.....
(, 下载次数: 155)


4.扩展杂谈
          万由这个机箱吧实际上问题挺多的，但是总体来说能接受吧，毕竟没有更好的替代品了。银欣等其他箱子不是太贵就是太丑，好了不吐槽了，来点有用的。
PCIE部分实际上可以用服务器上的PCIE riser卡，比如广达双子星的这个，高度是可以的但是你可能会遇到下层PCIE和边上的IO插接座冲突（USB 开机 音频）
最后没有买这个，用那种很垃圾的PCIE延长线，软排线那种，注意到手了先检查焊接没问题可以用热熔枪将两边坐下加固。
(, 下载次数: 141)



部分二、软件准备
1.HBA卡固件更新
          网卡之前很久就买了，固件自行更新到当前最新的。HP的卡便宜能用，高级性能就不要强求了。在这个主板上测试发现我之前买的NC550SFP和NC552SFP上级就会卡死系统无法启动，很尴尬只能用发热很大的NC523SFP了。
          言归正传H220的固件刷新教程可以参考这个https://tifan.net/blog/2019/01/28/hp-h220-lsi-2308-9207-8i-stock-firmware-on-dell-r720/
支持dos和efi下刷新固件，但是有的板子可能dos下报错（ERROR:  Failed to initialize PAL.  Exiting program），建议efi下升级固件。
  1. https://github.com/tianocore/edk2/tree/UDK2018/EdkShellBinPkg/FullShell
  2. 下载V1版本其他不能用，shell.efi放到FAT32磁盘根目录，复制一份重命名Shellx64.efi。开机进bios，launch efi from file。。。
  3. 进来后U盘一般是FS0
  4. fs0:切换到根目录，linux的cd a
  5. ls
  6. 使用P14的SASflash.efi
  7. sas2flash.efi -o -e 7
  8. 清除所有信息
  9. sas2flash.efi -f 2308T207.ROM
  10. sas2flash.efi -b mptsas2.rom
  11. sas2flash.efi -b x64sas2.rom
  12. 刷入新的rom，详细参考上述刷新链接和-h的帮助说明。比如刷入原卡的SN啊反正没多大硬盘但是也不差这一步骤
  13. sas2flash.efi -o -sasaddhi
复制代码
(, 下载次数: 149) 上述是原厂卡信息，如下是刷完后的卡信息，可以看到变成公版LSI的卡了
(, 下载次数: 171)


2.系统安装和初始化
          没啥注意的，rufus写入U盘，然后安装重启后先不接NC523SFP网卡，需要做下改动不然会出现错误提示。
(, 下载次数: 145)
登录在system》tunable下设置内容如下。重启配置LACP就正常了，网卡和HBA卡常规温度都在80度以上，没死机就接着用!
(, 下载次数: 152)
调整freenas安装测试软件，iperf3是内置的，但是bonnie++需要手动安装
https://freebsd.pkgs.org/11/freebsd-ports-latest-amd64/bonnie++-1.98.txz.html 二进制软件包下载地址
手动修改如下配置文件，-i 不可用
sed 's/enabled: yes/enabled: no/' /usr/local/etc/pkg/repos/local.conf
sed 's/enabled: no/enabled: yes/' /usr/local/etc/pkg/repos/FreeBSD.conf
下载txz文件，pkg install bonnie++





部分三、性能测试和优化
0.综合测试
          温度和压力测试PE或者WIN下跑鲁大师或者aida即可，测试满载CPU在80多度还能接受吧。之前有参考别人的改造帖子发现上水冷太贵，垃圾佬放弃了！
          噪音这块吗，8块企业SAS硬盘不吵是不可能的，反正我放在阳台无所谓！
          功耗这块，平时大概在160W左右，峰值在270W左右，家里电费均摊不care
          磁盘组和SSD统一使用测试命令为：bonnie++ -u root -r 8192 -s 65536 -d /mnt/storage/ -r -b -n 1，测试结果
           性能测试也可以参考这个国外大佬的测试结果https://calomel.org/zfs_raid_speed_capacity.html
1.硬盘测试
SAS企业盘的测试信息如下
  1. root@freenas[~]# diskinfo -ctv /dev/da7
  2. /dev/da7
  3.         512                 # sectorsize
  4.         4000787030016        # mediasize in bytes (3.6T)
  5.         7814037168          # mediasize in sectors
  6.         0                   # stripesize
  7.         0                   # stripeoffset
  8.         486401              # Cylinders according to firmware.
  9.         255                 # Heads according to firmware.
  10.         63                  # Sectors according to firmware.
  11.         SEAGATE ST4000NM0005        # Disk descr.
  12.         Z4C03FF4            # Disk ident.
  13.         No                  # TRIM/UNMAP support
  14.         7200                # Rotation rate in RPM
  15.         Not_Zoned           # Zone Mode

  17. I/O command overhead:
  18.         time to read 10MB block      0.063812 sec        =    0.003 msec/sector
  19.         time to read 20480 sectors   0.667764 sec        =    0.033 msec/sector
  20.         calculated command overhead                        =    0.029 msec/sector

  22. Seek times:
  23.         Full stroke:          250 iter in   4.495382 sec =   17.982 msec
  24.         Half stroke:          250 iter in   3.188744 sec =   12.755 msec
  25.         Quarter stroke:          500 iter in   5.394432 sec =   10.789 msec
  26.         Short forward:          400 iter in   2.157570 sec =    5.394 msec
  27.         Short backward:          400 iter in   1.762151 sec =    4.405 msec
  28.         Seq outer:         2048 iter in   0.101161 sec =    0.049 msec
  29.         Seq inner:         2048 iter in   0.231765 sec =    0.113 msec

  31. Transfer rates:
  32.         outside:       102400 kbytes in   0.545881 sec =   187587 kbytes/sec
  33.         middle:        102400 kbytes in   0.610960 sec =   167605 kbytes/sec
  34.         inside:        102400 kbytes in   1.026819 sec =    99725 kbytes/sec
复制代码
S3510 单盘性能测试结果 w=794MB/s , rw=558MB/s , r=1.3GB/s
(, 下载次数: 165)
SN720 单盘性能测试结果 w=812MB/s , rw=569MB/s , r=1.3GB/s
(, 下载次数: 172)
测试结果有点诡异，NVME竟然和SATA的测试结果差不多。1.3G的块读取速度应该是CPU lz4算法的瓶颈，够用了。


2.磁盘组测试
          磁盘组部分的测试包括8盘 raidz、8盘 raidz2、2*4 raidz。搭配SSD做ZIL缓存等场景下的性能测试。楼主不苦哈哈的上图了，直接上不同组合下测试结果吧
就我个人观点啊，这软件也是个逗比，感觉跟鲁大师一样，没啥鸟用。所以产生了后续的iscsi和smaba测试项目。
(, 下载次数: 147)


3.网卡性能测试
          这个没啥好说的iperf3 -s开服务端，另外一边做客户端跑上下行的测试即可。iperf3 -c 10.110.0.90 -P 4 -i 1 -t 30，加上-R是反向流量
测试发现不同的系统和网卡型号测出来的性能不一致。这不是废话吗，好吧反正我的测试freenas上行能至少3G，下行能跑满10G。烂网卡1500 MTU下只能这样了，改9000能跑满但是有兼容性问题，算了！

4.iscsi和samba测试
2*4 raidz+SN720 ZIL Samba测试
(, 下载次数: 163)
2*4 raidz Samba测试
(, 下载次数: 160)
是不是很诡异，but测试结果就是这样的。所以最后我撤掉了SATA和NVME的SSD，现在放入了11T的数据，重新测试性能samba写入速度
(, 下载次数: 153) samba读取速度
(, 下载次数: 145)
iscsi磁盘读取速度，pool atime 关闭，sync设置disable，lz4继承默认打开
(, 下载次数: 156)
iscsi磁盘写入速度，最后在100M左右成水平状态了
(, 下载次数: 163)
iscsi磁盘写入很慢但此时samba写入正常的
(, 下载次数: 148)
(, 下载次数: 160)
此时读取iscsi的数据
(, 下载次数: 148)

综述：磁盘池空的时候iscsi性能很不错，但是存储一半的数据性能接近SATA SSD的性能，NC523SFP这网卡是个坑有时间换掉再做测试。
补充：性能优化后ISCSI的性能上来了，调整的系统参数请见20楼，转载一些未来性能优化的资料吧。 (, 下载次数: 148)
网卡可以升级MCX312B MCX311 ConnectX-3系列的RDMA的卡（等高手开卖OCP转PCIE会很便宜的）或者freenas官方用的Chelsio网卡 T420-CR便宜，T520贵。DAC电缆最好选择质量好的
  1. Look, the recipe for VM speed is really simple.

  3. 1) Use mirrors
  4. 2) if you want typical VM storage IOPS density of 25-50 IOPS/sec per VM, you need one mirror vdev per every 4-8 VM's. Use lots of vdevs.
  5. 3) Use massive drives, like 12TB'ers. A 12TB 5400RPM drive is a lot more helpful than a 6TB 7200RPM drive.
  6. 4) Keep the pool occupancy low. The sweet spot is 10%-40%. You really want to stay under 50%. This will keep writes fast.
  7. 5) Have lots of ARC. 64GB bare minimum.
  8. 6) Have lots of L2ARC. Enough to hold the working set is ideal (plus you need to bump up ARC to hold the indirect pointers). This is what makes reads fast, because once you have fragmentation on the HDD pool, there's no other fix.
  9. 7) VM storage is an exercise in parallelism. Do not obsess on sequential speed benchmarks.
复制代码




部分四、保护措施
1.ups配置参考这个链接 https://www.cyberciti.biz/faq/how-to-install-apc-ups-on-freenas-server/ 设备识别监控没问题，后续完善关机操作
  1. root@freenas[/mnt/zfs]# upsc ups@localhost
  2. battery.charge: 100
  3. battery.charge.low: 10
  4. battery.charge.warning: 50
  5. battery.date: not set
  6. battery.mfr.date: 2016/10/10
  7. battery.runtime: 3097
  8. battery.runtime.low: 120
  9. battery.type: PbAc
  10. battery.voltage: 13.5
  11. battery.voltage.nominal: 12.0
  12. device.mfr: APC
  13. device.model: Back-UPS 650
  14. device.serial: 3B1641X01754  
  15. device.type: ups
  16. driver.name: usbhid-ups
  17. driver.parameter.pollfreq: 30
  18. driver.parameter.pollinterval: 2
  19. driver.parameter.port: /dev/ugen0.3
  20. driver.parameter.synchronous: no
  21. driver.version: 2.7.4
  22. driver.version.data: APC HID 0.96
  23. driver.version.internal: 0.41
  24. input.sensitivity: low
  25. input.transfer.high: 266
  26. input.transfer.low: 165
  27. input.transfer.reason: input voltage out of range
  28. input.voltage: 226.0
  29. input.voltage.nominal: 220
  30. ups.beeper.status: enabled
  31. ups.delay.shutdown: 20
  32. ups.firmware: 822.A3.I
  33. ups.firmware.aux: A3
  34. ups.load: 18
  35. ups.mfr: APC
  36. ups.mfr.date: 2016/10/10
  37. ups.model: Back-UPS 650
  38. ups.productid: 0002
  39. ups.serial: 3B1641X01754  
  40. ups.status: OL
  41. ups.timer.reboot: 0
  42. ups.timer.shutdown: -1
  43. ups.vendorid: 051d
复制代码
功耗部分，freenas待机160W左右峰值270W;ms gen8待机70W 峰值100W；万兆交换机16W；SRX210 防护墙20W左右，全部位于UPS保护之上。准备通过NUT实现设备自动关机。DSM先关掉然后MS gen8停机，SRX停机，最后freenas停机。万兆交换不支持命令行关机只能等UPS耗尽电量自己停了
开机方面freenas来电自动启动，ms gen8延时启动，等实现了继续上传相关资料。








作者: GHOST47YD    时间: 2020-1-6 17:42
可以可以，噪音和功耗怎么样？？不运行时会睡眠吗？
作者: summerq    时间: 2020-1-6 18:19
请不要叫自己垃圾佬。在我看来，物尽其用又做你感兴趣的事，是值得称赞的
作者: jiang15    时间: 2020-1-6 18:31
真好耶，才1700，好东西！
作者: mdeu    时间: 2020-1-6 18:45
闲置利用，挺好的
作者: 天一凡    时间: 2020-1-6 20:31
NAS来说配置很高！
作者: fushia    时间: 2020-1-6 20:39
功耗大么
作者: 村里一秀才    时间: 2020-1-6 21:02
真正的物尽其用啊
作者: miaojingwei    时间: 2020-1-6 22:24
这是【机器】没有机箱贵系列？8盘万由机箱不便宜。。
作者: k9982874    时间: 2020-1-7 08:48
背板热熔胶固定？
作者: rooney12    时间: 2020-1-7 09:36
啥都有。。。可不就便宜了
作者: 粿粒橙    时间: 2020-1-7 10:28
手上有块闲置的9460-16i 留着以后用了
作者: 错庞末班车    时间: 2020-1-7 17:13
感谢分享，顺便请教一下，iscsi写入是不是就这性能？
作者: ETan    时间: 2020-1-7 21:02
本帖最后由 ETan 于 2020-1-7 21:09 编辑

1700便宜量又足，香

这大部分自有，，，，，只能参考了，无法复制  
作者: yaoyuanzy    时间: 2020-1-7 21:55
错庞末班车 发表于 2020-1-7 17:13
感谢分享，顺便请教一下，iscsi写入是不是就这性能？

跟很多因素有关系，zfs优化、网络优化、dac电缆、pcie延长线、网卡驱动兼容性等等吧。查了很多资料，还在尝试优化。我的测试都是大文件的读取写入所以数据不好看，新目标能赶上SATA SSD的水平就可以了。
作者: 落寞Lomo    时间: 2020-1-7 22:14
求“国产垃圾万兆BCM交换机 12万兆+8千兆”的型号，，，
作者: ipq17    时间: 2020-1-7 23:12
功耗太大，不适合家用长期开机的
作者: 4730669    时间: 2020-1-8 09:59
下次起个标题“0元组建八盘10T NAS” 反正里面硬件不是别人送就是自有的。
作者: xustrive    时间: 2020-1-8 10:22
提示: 作者被禁止或删除 内容自动屏蔽
作者: yaoyuanzy    时间: 2020-1-8 11:16
xustrive 发表于 2020-1-8 10:22
ISCSI 用文件的方式存储速度就正常。 一年前我就遇到了。。。。至今无解

做了些优化，重新加上SN720，2个230G分区分别做ZIL和SLOG，现在ISCSI的性能达到我的目标了
(, 下载次数: 144)
系统优化参数如下，自行搜索参数意义修改。iscsi的zol sync disable，注意配合UPS不然可能导致数据丢失。
(, 下载次数: 143)
(, 下载次数: 161)
作者: xustrive    时间: 2020-1-8 12:45
提示: 作者被禁止或删除 内容自动屏蔽
作者: Predator    时间: 2020-1-8 14:04
不错，比那些小两万的QNAP+酷狼pro强多了
作者: wysard    时间: 2020-2-28 01:28
最近也在研究FreeNAS，根据查到的资料有几个建议：
1、写入缓存SLOG对于持续IO作用不大，对于4K随机IO作用较大；
2、SLOG对延迟敏感，最好用NVMe做SLOG，但注意写入寿命；
3、SLOG的容量方面，对于每个1G链路需要0.625G，对于每个10G链路需要6.25G，一般取到16G就够了；
4、为ESXi提供iSCSI的DATASET的最优Record Size没有定论，可能要多尝试一下。

SLOG的原理大概是这样的：FreeNAS每5秒把系统吞吐的数据刷写到ZFS里，因此SLOG太大了没有意义、延迟敏感、要非常耐写入。

L2ARC要更复杂一些，它的大小要跟系统内存匹配，否则会有反作用。

还有个小技巧，可以给SSD分区，一部分作为SLOG，一部分做L2ARC，但是写入寿命怎么算我还没搞清楚。
作者: yaoyuanzy    时间: 2020-2-28 09:48
wysard 发表于 2020-2-28 01:28
最近也在研究FreeNAS，根据查到的资料有几个建议：
1、写入缓存SLOG对于持续IO作用不大，对于4K随机IO作用 ...

是的，最开始是这样做的，SN720分2个区 3：1的比例分区 留了50G做OP。经过大规模数据的迁移10T多吧，最后发现还是读缓存最有用，SN720全部改成读缓存了。SLOG设备900P还是更好
作者: zwb0619    时间: 2020-2-28 11:52
求“国产垃圾万兆BCM交换机 12万兆+8千兆”的型号，还有价格
作者: senopad    时间: 2020-2-28 16:12
我也对国产交换机感兴趣，不过搜遍淘宝应该就是赛天，优肯之类，有个型号是8口千兆电加12口万兆光，挺好的交换机，不知道性能跟稳定性如何
作者: yaoyuanzy    时间: 2020-2-28 18:13
senopad 发表于 2020-2-28 16:12
我也对国产交换机感兴趣，不过搜遍淘宝应该就是赛天，优肯之类，有个型号是8口千兆电加12口万兆光，挺好的 ...

我用的就是国产的，拔掉风扇稳得一笔，所以放心下单吧。 750 8电加12光
作者: yaoyuanzy    时间: 2020-2-28 18:16
zwb0619 发表于 2020-2-28 11:52
求“国产垃圾万兆BCM交换机 12万兆+8千兆”的型号，还有价格

型号VP-8812 viewpaker 优威派克的，垃圾玩意我搜遍了全网没多少资料。价格在27楼，没找到enable密码但是不影响使用，很稳定而且便宜！
作者: soonco    时间: 2020-3-8 13:38
首付爸爸家已经有人单独出售ocp转接卡了，一个北京的卖家~据说ocp定义还不是都一样~可以看好定义图上车
作者: alai    时间: 2020-3-8 14:13
垃圾佬虽然有点自嘲，但这个称号太难听了
作者: Magicalyu    时间: 2020-5-22 06:54
(, 下载次数: 116)
楼主你好，最近也在捣鼓这个万兆网卡，有几个问题想请教下：
1.单线程只有3G，多线程不知为何最多只有5G出头，可能是怎么回事？
2.楼主这张卡的散热怎么解决的？发现会过热然后自动禁用
3.楼主的win 驱动用的是啥？我目前用hp的 2012 sever的驱动，听说会蓝屏
不甚感激！！

作者: yaoyuanzy    时间: 2020-5-22 13:50
Magicalyu 发表于 2020-5-22 06:54
楼主你好，最近也在捣鼓这个万兆网卡，有几个问题想请教下：
1.单线程只有3G，多线程不知为何最多只有5G出 ...

扔掉吧，我就是因为这卡太烂才搞了点其他事情。目前在用MCX342 就是魔改的CX341A网卡
作者: Astral    时间: 2020-5-22 16:53
前段时间我发了个万兆软路由+Freenas的帖子. 我当时退了810A..然后其实还是有点想再弄个810A的 手头有个老的X79的电脑 主板有很多小毛病..想把U拆了用起来. 不过硬盘最近买不动..太贵了..
810A要是能支持普通的电源就好了...X79的机器上CPU应该是好的. 内存也是好的. 电源也没问题. 当时显卡卖给同学的弟弟了还插了一张1030
作者: aiyaya2004    时间: 2020-5-23 10:42
这功耗，放家里有点奢侈啊。。。
还是放公司机房比较靠谱。。
作者: jewforice    时间: 2020-8-31 18:21
读小文件的缓存也得上nvme嘛……
作者: jewforice    时间: 2020-8-31 18:22
另外对已经存在的zfs pool加缓存的话有没有什么讲究？会不会导致pool挂掉的……



欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/) Powered by Discuz! X3.5