24盘位家庭虚拟化机架式服务器——路由AP下载NAS多合一

ltycomputer · 发表于 2018-8-28 10:47

本帖最后由 ltycomputer 于 2018-8-28 12:20 编辑

syjbmwpower 发表于 2018-8-28 10:16
厉害，学习中。。。

不过根据自己的需求和对NAS的定位。感觉硬盘位还是独立一台机器比较好。

合并主要是为了白嫖一套虚拟万兆交换机

为了实现网络无瓶颈访问，买实体交换机太贵了……

买来的Cisco AP都是双千兆链路聚合的，Cisco旗舰AP都支持5Gbps网口了

单独买台机再搞多千兆速率以实现无瓶颈略微昂贵

zivers · 发表于 2018-8-28 10:50

ltycomputer 发表于 2018-8-28 10:24
真不常用的可能磁带库比较适合

原本以为2U的服务器家用已经是高射炮打蚊子了，结果上了个机架。。。。直到你这带库都出来了，是不是干脆考虑一下两地三中心。。。

Ho1oPsychon · 发表于 2018-8-28 10:51

学习了！最近也打算组一个这样的，想咨询个事，如果盘位满了想利用盘柜扩容的话如何操作（我是小白）

syjbmwpower · 发表于 2018-8-28 10:52

ltycomputer 发表于 2018-8-28 10:47
合并主要是为了白嫖一套虚拟万兆交换机

为了实现网络无瓶颈访问，买实体交换机太贵了…… ...

原来如此。

不过针对自己的需求，看个电影，哪怕是4K原盘的，千兆也够了。其他倒是可以用万兆的。毕竟不需要那么多硬盘一直运行。

ltycomputer · 发表于 2018-8-28 10:54

Ho1oPsychon 发表于 2018-8-28 10:51
学习了！最近也打算组一个这样的，想咨询个事，如果盘位满了想利用盘柜扩容的话如何操作（我是小白） ...

9300-8i有两个miniSAS-HD

可以两根线连背板，背板连出一根线到第二个盘柜

也可以两根线连背板和第二个盘柜

9300-8i通过SAS Expander可以连接1024颗SAS/SATA硬盘

ltycomputer · 发表于 2018-8-28 10:57

本帖最后由 ltycomputer 于 2018-8-28 10:58 编辑

syjbmwpower 发表于 2018-8-28 10:52
原来如此。

不过针对自己的需求，看个电影，哪怕是4K原盘的，千兆也够了。其他倒是可以用万兆的。毕竟不 ...

万兆主要是为了那300MB/s的无线并发速率

在家拿笔记本无线访问NAS达到150MB/s还是千兆没法做到的

真那么搞得话就变成华硕AC5300了，无线速率5300Mbps，结果有线全是1000Mbps口

的确连五个千兆能跑满，不过一个NAS一个千兆还是瓶颈

syjbmwpower · 发表于 2018-8-28 11:03

ltycomputer 发表于 2018-8-28 10:57
万兆主要是为了那300MB/s的无线并发速率

在家拿笔记本无线访问NAS达到150MB/s还是千兆没法做到的

好吧，看来这个需求对于自己确实并不需要

在家能用到大的传输速率的基本只有在看电影的时候，而看电影的机器全部都是有线的。因为位置固定，有线一拖就好，稳定实用。

个人对于笔记本的用途是轻量级的，重负载的基本都是台式机，比如下载机就在Gen8上，远程下就好。

当然，如果以后外网带宽超过1G了，到时再考虑吧。至少目前看来，那个时间点的到来至少还要好几年。

alai · 发表于 2018-8-28 11:05

很利害的样子，看不懂

ltycomputer · 发表于 2018-8-28 11:09

本帖最后由 ltycomputer 于 2018-8-28 11:11 编辑

syjbmwpower 发表于 2018-8-28 11:03
好吧，看来这个需求对于自己确实并不需要

在家能用到大的传输速率的基本只有在看电影的时候，而看 ...

说的也是

4K原盘只要最多15MB/s带宽就够了，对现有无线速率来说真是小菜一碟

在我家我一般直接nPlayer在iPhone X上直接放原盘，在外是Plex 10-20Mbps串流观看

我现在笔记本也是轻量级的，LG Gram 1公斤都不到，玩Steam游戏都是串流服务器上的

bxhomd · 发表于 2018-8-28 11:28

非常牛，收藏学习了～！

电动势 · 发表于 2018-8-28 11:52

ltycomputer 发表于 2018-8-28 10:54
9300-8i有两个miniSAS-HD

可以两根线连背板，背板连出一根线到第二个盘柜

我的nas也是用的9300-8i，现在主板6个sata口+9300-8i带12块硬盘，当初也纠结过扩容的问题，查了下sas expander贵的一批，感觉还不如再买一块儿9300-8i划算

。当初参考过unRaid的方案，跟你选用的snapraid类似，也是靠校验盘做保险，但是缺点是磁盘读写没有raid性能高，所以我最后选择了zfs的软raid（zfs必须ECC内存）。

wxy8866 · 发表于 2018-8-28 12:07

噪音情况怎么样，硬盘多的话对散热是极大的考验，这时候风扇的声音就成为了家用数据中心的瓶颈了。

ltycomputer · 发表于 2018-8-28 12:15

电动势发表于 2018-8-28 11:52
我的nas也是用的9300-8i，现在主板6个sata口+9300-8i带12块硬盘，当初也纠结过扩容的问题，查了下sas exp ...

ZFS没法进行碎片整理，而且存储池接近满容量会导致性能急剧下降，且删完文件不能恢复

反正我对于持续读写没啥要求

ltycomputer · 发表于 2018-8-28 12:20

wxy8866 发表于 2018-8-28 12:07
噪音情况怎么样，硬盘多的话对散热是极大的考验，这时候风扇的声音就成为了家用数据中心的瓶颈了。 ...

噪音个人感觉不大，所有风扇不高于1200转

硬盘们温度在45℃上下

无心飞翔 · 发表于 2018-8-28 12:28

没有万兆卡能虚拟万兆交换机出来吗？

ltycomputer · 发表于 2018-8-28 12:29

无心飞翔发表于 2018-8-28 12:28
没有万兆卡能虚拟万兆交换机出来吗？

能

颜蜥 · 发表于 2018-8-28 12:45

这波66666，一直想学习一下软路由，可是无从下手。。。。

神马是猪 · 发表于 2018-8-28 12:55

图片看不下去

Marko · 发表于 2018-8-28 12:56

虽然看不懂，但是就喜欢那种把主板插满的感觉

tmdodd · 发表于 2018-8-28 13:22

本帖最后由 tmdodd 于 2018-8-28 13:23 编辑

不少有用的信息，有几个问题请教下楼主：
1）我看不少vm用了2个逻辑cpu core，个人觉得不需要吧？另外，几个vm的cpu core加起来超过实体的thread数了吧
2）win2016原生提供的nfs 编码问题其他客户端怎么解决的啊？个人主要是因为KODI。Plex没用过，是不是就没这问题了？
3）sas3、sata 3.3、有背板无背板的关系是什么？主要就是因为接3.3v电源线那个问题。用的勤诚的老箱子，一直没去升级新硬盘，也不知道支持不支持，先问一下
4）这个箱子expander如果接2个sas再级联出去一个，和只接1个，带宽有区别吗？5）94360那些无线网卡在openwrt 18里面支持的怎么样？我看楼主都选的intel的
6）HBA卡是2个sas3口吧？原文是12

siyiye · 发表于 2018-8-28 13:28

都玩homelab啊

楼主这一套硬件成本多少？

ltycomputer · 发表于 2018-8-28 13:30

tmdodd 发表于 2018-8-28 13:22
不少有用的信息，有几个问题请教下楼主：
1）我看不少vm用了2个逻辑cpu core，个人觉得不需要吧？另外，几 ...

1.没关系，每个VM配12个逻辑CPU都没事，只是ESXi会分配X个逻辑核心给VM罢了
2.那玩意貌似还是有点问题，Linux需要在mount时指定使用NFS v4.1并指定UTF-8才行
3.SAS3向下兼容SAS2 SATA3 SATA2之类的，背板上集成了Expander，没有这芯片我就得买3张9300-8i才能带动24个硬盘
4.也许有吧，2倍到背板，1倍到下一块背板和1倍到背板的区别
5.是8个 SAS3 12Gbps，我写错了

loth · 发表于 2018-8-28 13:36

这个成本可以考虑上入门级SAN存储了

ltycomputer · 发表于 2018-8-28 13:37

loth 发表于 2018-8-28 13:36
这个成本可以考虑上入门级SAN存储了

可SAN不还得买前端服务器，再说这台机也不只是拿来存储用的

loth · 发表于 2018-8-28 13:41

ltycomputer 发表于 2018-8-28 13:37
可SAN不还得买前端服务器，再说这台机也不只是拿来存储用的

SDS毕竟还是不放心啊，硬件RAID还是靠谱，毕竟这么多年了~

tmdodd · 发表于 2018-8-28 13:44

ltycomputer 发表于 2018-8-28 13:30
1.没关系，每个VM配12个逻辑CPU都没事，只是ESXi会分配X个逻辑核心给VM罢了
2.那玩意貌似还是有点问题，Li ...

1）那分配的这个比例就是按比例吗？比如同时运行的有2+12+2个逻辑core，但实际cpu提供12个，就是按照2/(2+12+2)这个比例去分12*4G（比如）来的吗？这么智能啊。。我的vm好多都只分配了1个core。
3）嗯，集成expander我知道，我可能没表达清楚，就是现在的好多sata硬盘供电线，不是说需要大4D转sata吗，原因说是因为是sata 3.3的规范3.3v的定义和以前不一样了。那sas3的背板是不是就一定能接这种硬盘啊？以前的sas2的背板能接吗？

ltycomputer · 发表于 2018-8-28 13:49

tmdodd 发表于 2018-8-28 13:44
1）那分配的这个比例就是按比例吗？比如同时运行的有2+12+2个逻辑core，但实际cpu提供12个，就是按照2/(2 ...

1.分给vm多少个，ESXi就会分多少，不是独占的，例如两三个vm都用了一个核心也是有可能的，vm之间对单个核心是共享且争夺的，当然ESXi可能会有算法在分配核心时尽量平衡负载。
2.不清楚，这个供电规范还改过么……就算改了也会保持兼容吧，例如只使用以前保留用途的引脚之类的

ltycomputer · 发表于 2018-8-28 13:52

本帖最后由 ltycomputer 于 2018-8-28 13:54 编辑

loth 发表于 2018-8-28 13:41
SDS毕竟还是不放心啊，硬件RAID还是靠谱，毕竟这么多年了~

个人的担心是故障盘超过冗余能力以后数据全丢

Snap RAID是故障盘少于冗余能力，能够完全恢复。故障盘多于冗余能力，仅丢失故障盘上的文件，正常盘上的文件不影响

可随时撤除Snap RAID阵列而不必摧毁阵列删除文件，可以很快地将所有硬盘恢复为单个磁盘的状态，不需要对上面的文件产生任何修改

机器挂掉，可以拿出随便哪块硬盘，直接拿出来到其他普通Windows电脑都可以读写，不用装任何软件

正常情况下SnapRAID对用户文件是只读的，所以不用担心会造成文件损坏，其校验和还能保证数据完整性

loth · 发表于 2018-8-28 13:58

ltycomputer 发表于 2018-8-28 13:52
个人的担心是故障盘超过冗余能力以后数据全丢

Snap RAID是故障盘少于冗余能力，能够完全恢复。故障盘多于 ...

看了描述，我的理解是类似于硬件RAID4，通过独立的校验盘保护数据；还可以灵活的配置为N+M的方式，即多盘校验；
我的疑惑是，M作为校验盘，如果数量为2，那么校验方式是类似于RAID6，即2种校验位，还是指，把同一种校验位产生的数据分别放在2个磁盘上？如果是后一种方式，当M=2，如果同时故障一块校验盘和一块数据盘，那么数据是不是也会有丢失风险~

Sephyroth · 发表于 2018-8-28 14:04

除了感叹楼主的动手能力，也佩服你怎么找到那么多影音资源～

账号		自动登录	找回密码
密码			加入我们

[NAS] 24盘位家庭虚拟化机架式服务器——路由AP下载NAS多合一