Chiphell - 分享与交流用户体验

 找回密码
 加入我们
搜索
      
查看: 61089|回复: 178

[装机/软件] 【1/3更新】可玩性很高的超小型准系统,超微SYS-E300-8D

  [复制链接]
发表于 2016-11-4 17:32 | 显示全部楼层 |阅读模式
本帖最后由 larryexchange 于 2017-1-22 21:43 编辑

差不多两年前开始玩HP MicroServer Gen8时,就想着利用这些小机器来打造一个分布式的存储。
[NAS] 用三台GEN8打造一个分布式分层存储-硬件篇
[NAS] 用三台GEN8打造一个分布式分层存储-软件篇

如今时过境迁,三台GEN8出了两台,还剩一台也挂在咸鱼上了。

至于为什么最终放弃了,有个人的原因,也有本身千兆网卡限制了整体性能的发挥。更重要的是如@tedaz 在他的帖子[NAS] Gen8升级之选,四盘位 8核16线程 128GB DDR4内存NAS开箱 中提到的,Gen8的内存太少。即便用三台组成一个群集,可以供给虚拟机用的内存也就三十多个GB。

[email protected][email protected][email protected]87的主板。不过一直没有下决心入手,一来是价格偏高,二来3.5寸的盘位对我来说有些浪费。手边多的是2.5寸的盘,如果有一个只使用2.5寸硬盘但体积更小的服务器就最理想了。

终于在美亚上发现超微的另一款紧凑型的小服务器准系统SYS-E300-8D (https://www.amazon.com/Supermicr ... d=1478246645&sr=8-1)。
SYS-E300-8D.jpg


乍一看,是不是有点像台路由器?如果扩展成下面这样,你是不是甚至会误以为它是台桌面交换机?
tinkertry-sys-e300-8d_back-700x176.png


不过它实实在在是台功能完整的小服务器,包括了:
  • CPU: INTEL至强D-1518, 4核/8线程,2.2GHz(如果你有条件将其放入冰库中使用,甚至可以替换为集成D-1587的主板,16核/32线程,而且还有了SAS控制器)
  • 内存:支持128GB DDR4服务器内存(同5028D一样)
  • 硬盘接口:1个M.2(最大支持尺寸22110),1个mSATA(半高或全高),4个SATA3(其中两个黄色的可以用于SuperDOM的盘)
  • 网口:1个IPMI管理口,6个千兆网口(有国外科技博主说是4个千兆网口,两个万兆电口,有待验证),两个万兆光口(你没看错一共9个网口)
  • 扩展槽:2个PCIe 3.0 x8的扩展槽


这个机器最吸引我的除了便宜(两台的价格也就比一台5028D多一点),主要是尺寸小,借tinkertry.com的一张图来对比一下。
TinkerTry-front-view-comparison-Supermicro-SuperServer-SYS-5028D-TN4T-and-SYS-E3.jpg
上面左边是5028D,右边上面的是E200-8D,下面就是E300-8D。

再来一张E300和Surface Pro放在一起的比较
E300-and-Surface.jpg


偷懒这里借https://forums.servethehome.com/ ... -sys-e300-8d.10723/ 帖子中的几张开箱图,重复的就不发了。

外包装
1 (Medium).jpg


正面
2 (Medium).jpg


侧面
7 (Medium).jpg


背面
3 (Medium).jpg


打开上盖,注意到打开上盖后还有个板,这个板上开了固定两个2.5寸硬盘的螺孔。但是由于1U机箱的高度限制和CPU及散热器的高度,右侧的那个是没有空间再加一块硬盘的,7mm的也不行。
4 (Medium).jpg

好在左侧那个可以。下图中是一块15mm的4TB硬盘。事实上亲测叠加三个7mm的2.5寸硬盘都没有问题。三个硬盘可以用绝缘耐热胶带绑在一起。
IMG_0106 (Custom).JPG

原配的线缆只支持一块2.5寸的硬盘。
IMG_0108 (Custom).JPG


如果要接三块的话,需要自己准备线缆。下图是装入了三块SSD的样子。
IMG_0206 (Custom).JPG

揭开上面那块用于固定硬盘的盖板后,可以看到机器内部的样子。
5 (Custom).jpg


这是插入了M.2 NVMe SSD的样子。那个M.2的槽位既可以支持NVMe的SSD,也可以支持M.2形式的SATA的SSD。最大长度支持22110尺寸的M.2盘。不过由于SYS-E300-8D的主板的最新的BIOS只是1.0a,实测发现不支持NVMe启动。5028D也是更新到1.0b以后才支持的。相信再过阵子或许会发出新的BIOS来支持NVMe启动。
6 (Medium).jpg

没有NVMe启动问题也不大,主板上两个黄色的SATA口是带供电的,可以插超微自己的Super DOM盘,DOM盘是最适合作为操作系统盘的。Super DOM盘和普通DOM的区别就在于插在黄色的口上不需要再连接侧面的那根供电线。64GB的容量运行操作系统绰绰有余,性能也足够用了。对于服务器来说,无论是小型机箱还是2U甚至更大的服务器,使用DOM都可以节省一个宝贵的硬盘槽位。
DOM.jpg
as-ssd-bench SATA SSD 11.30.2016 6-51-52 PM.png



这是用于固定PCIe Riser卡的附件。
8 (Medium).jpg


注意包装中没有包括那块PCIe Riser卡,需要单独购买,我也是从美亚下的单。型号是RSC-RR1U-E8(https://www.amazon.com/gp/produc ... 0_s00?ie=UTF8&psc=1)。
1331567396.jpeg


下面是装上Riser卡后的样子
IMG_0121 (Custom).JPG



为什么一定要买这个PCIe Riser卡?因为有了它,你才能将PCIe槽真正用起来,而这是这台小机器可以变化出不同玩法的地方。
比如:

通过下面的mSATA转PCIe的卡可以扩展出4块mSATA的SSD,这样就有了,5块mSATA,2块SuperDOM,1块M.2,共8块SSD,这还没考虑空闲的两个SATA口,至少加两个DOM盘是没有问题的。
e2015061874313.jpg

我开始采用的也是方案二。(不要问我为什么只装了3块mSATA,我暂时只需要三块,问多了怕触发我的强迫症)
IMG_0125 (Custom).JPG

将上面的PCIe卡插入Riser卡
IMG_0127 (Custom).JPG


再装入机箱,并增加了一个13K rpm的风扇可以给PCIe卡和上面的mSATA盘散热。
IMG_0128 (Custom).JPG

合上硬盘盖板和外盖。
IMG_0129 (Custom).JPG

来张两台放在一起的合影
IMG_0123 (Custom).JPG

从背后看接线也很简洁,两根黄线是链接外部网络的,两根DAC把两台机器的4个光口直连起来,甚至都不用作任何配置(不需要设置IP地址,链路聚合),Windows Server 2016会自动将节点间的流量通过这些万兆的口,而且通过SMB Multichannel可以均衡地获得20Gb的节点间吞吐。
IMG_0124 (Custom).JPG

这是从系统中看单节点的磁盘配置
Get-PhysicalDisk.png

之所以选择E300-8D而不是更小的E200-8D,就是觉得这个机器多了个半高的PCIe槽位,可玩性要高得多。

~~~~~~~2016年12月26日更新~~~~~~~~~~

通过本站网友推荐的购买链接https://www.chiphell.com/thread-1681019-1-1.html 入手了一块Intel 910,用于替代上面的三块mSATA及转接卡。新的SSD实际上是四块独立的HGST SSD400M 200GB SSD,正好符合我需要的三块以上独立数据磁盘的要求。
Intel_910_ang1.jpg


~~~~~~~2017年1月3日更新~~~~~~~~~~
SYS-E300-8D原配的主板是X10SDV-TP8F,集成的CPU是4核8线程的至强D-1518

E300-8D在压力测试下,CPU温度稳定在55度。(更换了CPU主动散热器和加装了第三个风扇)
Stress Test0.png

此时风扇速度在6000转左右(平时在5000转以下),噪音有些大。
Fan Speed0.png

另一台是用的是高配的X10SDV-7TP8F主板。这块主板搭载了16核32线程的D-1587。另外还多4个SAS2接口。

要说D-1587,那是相当强悍。它给了这个小怪兽一颗强大的心脏。根据STH上发布的评测 https://www.servethehome.com/int ... ore-xeon-d-is-here/ ,这颗CPU相当于两颗Xeon E5-2670 V1或者两颗Xeon E5-2620 V3。

至于温度,更换CPU主动散热器的情况下,经过烤机几个小时,稳定在78度。
Stress Test.png

风扇虽未全速(平时三个前置风扇转速在5000转左右,CPU风扇转速在2800转。在对PM953压力测试时,前置风扇出现过14000转的极速),那噪音在室内已很难忍受。


此时功耗在129W左右(注意此时的功耗仅仅是CPU和内存,还没有装上Intel 910,也没有对于安装的mSATA和NVMe盘加压)。如果禁用SAS控制器和I350四口网卡,压力测试时功耗大约118W。
IMG_0208 (Custom).JPG

所以最终换了DELL的216W电源(12V, 18A)才算勉强撑得住。上一张图,你们感受一下这个电源砖头的大小。
IMG_0174 (Custom).JPG


下面是换上主板,插满内存,插上SM841 512GB的mSATA作为启动盘和系统盘,插上PM953 960GB M.2后的样子。
IMG_0205 (Custom) (2).JPG


细心的网友可能发现机箱也换了新的,这是我单为这块主板购买的机箱,相对于E300-8D原本的机箱,这个机箱有几点变化:
  • 第三个风扇的位置更加合理,可以对着PCIe卡吹。
  • 两个侧面的开孔更多
  • RESET按钮较深,需要用笔尖才能捅到

评分

参与人数 3邪恶指数 +100 收起 理由
witson + 50 很给力!
itss + 40
tedaz + 10 很给力!

查看全部评分

发表于 2016-11-4 18:22 | 显示全部楼层
真是好东西。
期待楼主大作。
看得心理长草啊。
英特尔的skull,已长,准备黑五割草。
看了楼主这个,更加长草了。
发表于 2016-11-4 18:26 | 显示全部楼层
感谢分享已收藏。
发表于 2016-11-4 18:27 | 显示全部楼层
楼主应该给一个价格让小白了解一下,呵呵
发表于 2016-11-4 18:28 来自手机 | 显示全部楼层
ScaleIO VSAN S2D xsky fusionstorage都测测
发表于 2016-11-4 18:35 来自手机 | 显示全部楼层
最后那个orico的转接架的关键词是什么
 楼主| 发表于 2016-11-4 18:44 | 显示全部楼层
foreversean 发表于 2016-11-4 18:35
最后那个orico的转接架的关键词是什么

Orico PCI25-2S
发表于 2016-11-4 18:45 | 显示全部楼层
这家伙让我眼前一亮啊,E200-8D我觉得可以来两个了。坐等LZ的开箱贴吧
 楼主| 发表于 2016-11-4 18:46 | 显示全部楼层
allenxml 发表于 2016-11-4 18:28
ScaleIO VSAN S2D xsky fusionstorage都测测

等到了,一起研究。
 楼主| 发表于 2016-11-4 18:46 | 显示全部楼层
ynblackbat 发表于 2016-11-4 18:27
楼主应该给一个价格让小白了解一下,呵呵

价格可以从我给的美亚链接中看到啊
发表于 2016-11-4 18:51 来自手机 | 显示全部楼层
larryexchange 发表于 2016-11-4 18:46
等到了,一起研究。

下周一起去intel不?专门针对SDS的交流
发表于 2016-11-4 18:55 | 显示全部楼层
完了,感觉草要从我嘴巴鼻孔耳朵眼睛甚至头顶直接嗖嗖地冲出来了
发表于 2016-11-4 18:56 | 显示全部楼层
larryexchange 发表于 2016-11-4 18:46
等到了,一起研究。

不做VMWare,VSAN就没用了
ScaleIO是类似于SAN的架构,没法做共享
不知道LZ的分布式存储做要做什么用途?如果是共享,可以考虑搭建Isilon Edge试试
发表于 2016-11-4 18:57 来自手机 | 显示全部楼层
larryexchange 发表于 2016-11-4 18:44
Orico PCI25-2S

好的,多谢啦
发表于 2016-11-4 19:02 来自手机 | 显示全部楼层
AubreyHan 发表于 2016-11-4 18:56
不做VMWare,VSAN就没用了
ScaleIO是类似于SAN的架构,没法做共享
不知道LZ的分布式存储做要做什么用途? ...

vsan可以对外吐iscsi了,scaleio不是san
发表于 2016-11-4 19:50 | 显示全部楼层
好东西,支持折腾。
发表于 2016-11-4 20:00 | 显示全部楼层
求指教5018D和这款对比优缺点是什么
 楼主| 发表于 2016-11-4 20:18 | 显示全部楼层
allenxml 发表于 2016-11-4 18:51
下周一起去intel不?专门针对SDS的交流

好啊,想去,不过没接到邀请。
发表于 2016-11-4 20:29 | 显示全部楼层
40Gb/S = 5GB / s 很厉害的带宽。

关键是省了昂贵的 万兆交换机。
发表于 2016-11-4 20:40 | 显示全部楼层
allenxml 发表于 2016-11-4 19:02
vsan可以对外吐iscsi了,scaleio不是san

VSAN吐iscsi要到6.5吧,GA了但是我看了一下好像还不能下载啊(我只看了hp oem的esxi还是6u2,零售版可以下载6u5了?)
ScaleIO虽然是采用Server-Client的方式,但是分配出的LUN还是独占的,相当于本地硬盘,要共享除非主机间做cluster
发表于 2016-11-4 20:50 | 显示全部楼层
主板可是能上dua cpu的啊
 楼主| 发表于 2016-11-4 21:13 | 显示全部楼层
qiaosiboanother 发表于 2016-11-4 20:50
主板可是能上dua cpu的啊

不能。空的的那个位置在配有D-1587的高配主板上是个SAS控制器。
 楼主| 发表于 2016-11-4 21:28 | 显示全部楼层
cigiti 发表于 2016-11-4 20:00
求指教5018D和这款对比优缺点是什么

你是说5028D吧?

5028D强在:
  • 默认的CPU是8核16线程的D-1540或D-1541(在售的基本都更新到D-1541了)
  • 可以升级主板支持12核或16核的CPU
  • 有6个SATA口,4个3.5寸的,2个2.5寸的。可以提供更大存储容量(3.5寸的硬盘已经有10TB的了,2.5寸的也有4TB的)。另外还有一个M.2,不过据说是和SATA口共享的。
  • 有一个PCIe 3.0x16的扩展槽
  • 相对于E300-8D,5028D很安静

E300-8D优势在于:
  • 价格便宜
  • 体积小
  • 网络接口多且丰富
  • 同时支持,DOM, 2.5寸SATA, mSATA, M.2等不同形式的硬盘
  • 有两个PCIe 3.0 x8的扩展槽(关于第二个PCIe槽怎么用,可能得拿到实机才可能有想法)

虽然是句套话,但的确是没有最好的,只有最合适的。以我的角度看,5028D偏实用,而E300-8D更像个玩具。
 楼主| 发表于 2016-11-4 21:42 | 显示全部楼层
GKLuke 发表于 2016-11-4 18:45
这家伙让我眼前一亮啊,E200-8D我觉得可以来两个了。坐等LZ的开箱贴吧

我也是在E200-8D和E300-8D之间纠结了很久,各有优势。个人觉得E300-8D可玩性更高,重点是价格还更便宜。
发表于 2016-11-4 21:52 | 显示全部楼层
larryexchange 发表于 2016-11-4 21:13
不能。空的的那个位置在配有D-1587的高配主板上是个SAS控制器。

搜噶 我刚去搜了下 貌似还有更小的
发表于 2016-11-4 21:57 | 显示全部楼层
larryexchange 发表于 2016-11-4 21:28
你是说5028D吧?

5028D强在:

有5018D,是1U的,我本来以为和5028D是机架和塔式差别,后来看了下5018D是 D1518。

当然可能确实是对应型号只是5028D升级了而5018D还没升级。

反正超微让人心里痒得不行,具体哪款倒可以慢慢研究。先弄的先享福啊,俺们就先痒着吧
发表于 2016-11-4 22:02 | 显示全部楼层
AubreyHan 发表于 2016-11-4 20:40
VSAN吐iscsi要到6.5吧,GA了但是我看了一下好像还不能下载啊(我只看了hp oem的esxi还是6u2,零售版可以 ...

对,6.5目前在布道,还没有开放下载,支持iSCSI应该是感受到了严重的威胁,而放弃了固有的以vmdk为对象的分布式对象存储为唯一形式的思路,更开放。
我认为ScaleIO也是一种Server SAN架构,计算层与存储层融合、计算层与存储层分离都可以,取决于SDC和SDS的部署位置。
楼主测的是windows server 2016的storage space direct,性能非常强悍。
 楼主| 发表于 2016-11-4 22:11 | 显示全部楼层
Pale_Cheung 发表于 2016-11-4 20:29
40Gb/S = 5GB / s 很厉害的带宽。

关键是省了昂贵的 万兆交换机。

再次翻看了官方的规格说明,说的是6个千兆电口,和2个万兆光口。但国外有个科技博主说是4个千兆电口,两个万兆电口和两个万兆光口。姑且采信官方的说法,等拿到实机后再来汇报。
发表于 2016-11-4 22:40 | 显示全部楼层
allenxml 发表于 2016-11-4 22:02
对,6.5目前在布道,还没有开放下载,支持iSCSI应该是感受到了严重的威胁,而放弃了固有的以vmdk为对象的 ...

ScaleIO的定位就是Server SAN,这只是其部署形式,从实用角度来说,和FC SAN、Iscsi、DAS等类似都是独占的使用方式
发表于 2016-11-4 22:41 | 显示全部楼层
Pale_Cheung 发表于 2016-11-4 20:29
40Gb/S = 5GB / s 很厉害的带宽。

关键是省了昂贵的 万兆交换机。

40Gb的交换机不会比万兆交换机便宜吧
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

小黑屋|手机版|Archiver|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2021-3-9 19:07 , Processed in 0.015346 second(s), 21 queries , Gzip On, Redis On.

Powered by Discuz! X3.2

© 2007-2021 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表