【1/3更新】可玩性很高的超小型准系统，超微SYS-E300-8D

larryexchange

差不多两年前开始玩HP MicroServer Gen8时，就想着利用这些小机器来打造一个分布式的存储。
[NAS] 用三台GEN8打造一个分布式分层存储-硬件篇
[NAS] 用三台GEN8打造一个分布式分层存储-软件篇

如今时过境迁，三台GEN8出了两台，还剩一台也挂在咸鱼上了。

至于为什么最终放弃了，有个人的原因，也有本身千兆网卡限制了整体性能的发挥。更重要的是如@tedaz 在他的帖子[NAS] Gen8升级之选，四盘位 8核16线程 128GB DDR4内存NAS开箱 中提到的，Gen8的内存太少。即便用三台组成一个群集，可以供给虚拟机用的内存也就三十多个GB。

[email protected]，[email protected]��[email protected]87的主板。不过一直没有下决心入手，一来是价格偏高，二来3.5寸的盘位对我来说有些浪费。手边多的是2.5寸的盘，如果有一个只使用2.5寸硬盘但体积更小的服务器就最理想了。

终于在美亚上发现超微的另一款紧凑型的小服务器准系统SYS-E300-8D (https://www.amazon.com/Supermicr ... d=1478246645&sr=8-1)。



乍一看，是不是有点像台路由器？如果扩展成下面这样，你是不是甚至会误以为它是台桌面交换机？



不过它实实在在是台功能完整的小服务器，包括了：

• CPU: INTEL至强D-1518, 4核/8线程，2.2GHz（如果你有条件将其放入冰库中使用，甚至可以替换为集成D-1587的主板，16核/32线程，而且还有了SAS控制器）
• 内存：支持128GB DDR4服务器内存（同5028D一样）
• 硬盘接口：1个M.2（最大支持尺寸22110），1个mSATA（半高或全高），4个SATA3（其中两个黄色的可以用于SuperDOM的盘）
• 网口：1个IPMI管理口，6个千兆网口（有国外科技博主说是4个千兆网口，两个万兆电口，有待验证），两个万兆光口（你没看错一共9个网口）
• 扩展槽：2个PCIe 3.0 x8的扩展槽
  

这个机器最吸引我的除了便宜（两台的价格也就比一台5028D多一点），主要是尺寸小，借tinkertry.com的一张图来对比一下。

上面左边是5028D，右边上面的是E200-8D，下面就是E300-8D。

再来一张E300和Surface Pro放在一起的比较



偷懒这里借https://forums.servethehome.com/ ... -sys-e300-8d.10723/ 帖子中的几张开箱图，重复的就不发了。

外包装



正面



侧面



背面



打开上盖，注意到打开上盖后还有个板，这个板上开了固定两个2.5寸硬盘的螺孔。但是由于1U机箱的高度限制和CPU及散热器的高度，右侧的那个是没有空间再加一块硬盘的，7mm的也不行。


好在左侧那个可以。下图中是一块15mm的4TB硬盘。事实上亲测叠加三个7mm的2.5寸硬盘都没有问题。三个硬盘可以用绝缘耐热胶带绑在一起。


原配的线缆只支持一块2.5寸的硬盘。



如果要接三块的话，需要自己准备线缆。下图是装入了三块SSD的样子。


揭开上面那块用于固定硬盘的盖板后，可以看到机器内部的样子。



这是插入了M.2 NVMe SSD的样子。那个M.2的槽位既可以支持NVMe的SSD，也可以支持M.2形式的SATA的SSD。最大长度支持22110尺寸的M.2盘。不过由于SYS-E300-8D的主板的最新的BIOS只是1.0a，实测发现不支持NVMe启动。5028D也是更新到1.0b以后才支持的。相信再过阵子或许会发出新的BIOS来支持NVMe启动。


没有NVMe启动问题也不大，主板上两个黄色的SATA口是带供电的，可以插超微自己的Super DOM盘，DOM盘是最适合作为操作系统盘的。Super DOM盘和普通DOM的区别就在于插在黄色的口上不需要再连接侧面的那根供电线。64GB的容量运行操作系统绰绰有余，性能也足够用了。对于服务器来说，无论是小型机箱还是2U甚至更大的服务器，使用DOM都可以节省一个宝贵的硬盘槽位。





这是用于固定PCIe Riser卡的附件。



注意包装中没有包括那块PCIe Riser卡，需要单独购买，我也是从美亚下的单。型号是RSC-RR1U-E8（https://www.amazon.com/gp/produc ... 0_s00?ie=UTF8&psc=1）。



下面是装上Riser卡后的样子




为什么一定要买这个PCIe Riser卡？因为有了它，你才能将PCIe槽真正用起来，而这是这台小机器可以变化出不同玩法的地方。
比如：

通过下面的mSATA转PCIe的卡可以扩展出4块mSATA的SSD，这样就有了，5块mSATA，2块SuperDOM，1块M.2，共8块SSD，这还没考虑空闲的两个SATA口，至少加两个DOM盘是没有问题的。


我开始采用的也是方案二。（不要问我为什么只装了3块mSATA，我暂时只需要三块，问多了怕触发我的强迫症）


将上面的PCIe卡插入Riser卡



再装入机箱，并增加了一个13K rpm的风扇可以给PCIe卡和上面的mSATA盘散热。


合上硬盘盖板和外盖。


来张两台放在一起的合影


从背后看接线也很简洁，两根黄线是链接外部网络的，两根DAC把两台机器的4个光口直连起来，甚至都不用作任何配置（不需要设置IP地址，链路聚合），Windows Server 2016会自动将节点间的流量通过这些万兆的口，而且通过SMB Multichannel可以均衡地获得20Gb的节点间吞吐。


这是从系统中看单节点的磁盘配置


之所以选择E300-8D而不是更小的E200-8D，就是觉得这个机器多了个半高的PCIe槽位，可玩性要高得多。

~~~~~~~2016年12月26日更新~~~~~~~~~~

通过本站网友推荐的购买链接https://www.chiphell.com/thread-1681019-1-1.html 入手了一块Intel 910，用于替代上面的三块mSATA及转接卡。新的SSD实际上是四块独立的HGST SSD400M 200GB SSD，正好符合我需要的三块以上独立数据磁盘的要求。



~~~~~~~2017年1月3日更新~~~~~~~~~~
SYS-E300-8D原配的主板是X10SDV-TP8F，集成的CPU是4核8线程的至强D-1518

E300-8D在压力测试下，CPU温度稳定在55度。（更换了CPU主动散热器和加装了第三个风扇）


此时风扇速度在6000转左右（平时在5000转以下），噪音有些大。


另一台是用的是高配的X10SDV-7TP8F主板。这块主板搭载了16核32线程的D-1587。另外还多4个SAS2接口。

要说D-1587，那是相当强悍。它给了这个小怪兽一颗强大的心脏。根据STH上发布的评测 https://www.servethehome.com/int ... ore-xeon-d-is-here/ ，这颗CPU相当于两颗Xeon E5-2670 V1或者两颗Xeon E5-2620 V3。

至于温度，更换CPU主动散热器的情况下，经过烤机几个小时，稳定在78度。


风扇虽未全速（平时三个前置风扇转速在5000转左右，CPU风扇转速在2800转。在对PM953压力测试时，前置风扇出现过14000转的极速），那噪音在室内已很难忍受。


此时功耗在129W左右（注意此时的功耗仅仅是CPU和内存，还没有装上Intel 910，也没有对于安装的mSATA和NVMe盘加压）。如果禁用SAS控制器和I350四口网卡，压力测试时功耗大约118W。


所以最终换了DELL的216W电源（12V, 18A）才算勉强撑得住。上一张图，你们感受一下这个电源砖头的大小。



下面是换上主板，插满内存，插上SM841 512GB的mSATA作为启动盘和系统盘，插上PM953 960GB M.2后的样子。



细心的网友可能发现机箱也换了新的，这是我单为这块主板购买的机箱，相对于E300-8D原本的机箱，这个机箱有几点变化：

• 第三个风扇的位置更加合理，可以对着PCIe卡吹。
• 两个侧面的开孔更多
• RESET按钮较深，需要用笔尖才能捅到
  

fanxinwuyou

真是好东西。
期待楼主大作。
看得心理长草啊。
英特尔的skull，已长，准备黑五割草。
看了楼主这个，更加长草了。

derby

感谢分享已收藏。

ynblackbat

楼主应该给一个价格让小白了解一下，呵呵

allenxml

ScaleIO VSAN S2D xsky fusionstorage都测测

foreversean

最后那个orico的转接架的关键词是什么

larryexchange

foreversean 发表于 2016-11-4 18:35
最后那个orico的转接架的关键词是什么

Orico PCI25-2S

GKLuke

这家伙让我眼前一亮啊，E200-8D我觉得可以来两个了。坐等LZ的开箱贴吧

larryexchange

allenxml 发表于 2016-11-4 18:28
ScaleIO VSAN S2D xsky fusionstorage都测测

等到了，一起研究。

larryexchange

ynblackbat 发表于 2016-11-4 18:27
楼主应该给一个价格让小白了解一下，呵呵

价格可以从我给的美亚链接中看到啊

allenxml

larryexchange 发表于 2016-11-4 18:46
等到了，一起研究。

下周一起去intel不？专门针对SDS的交流

cigiti

完了，感觉草要从我嘴巴鼻孔耳朵眼睛甚至头顶直接嗖嗖地冲出来了

AubreyHan

larryexchange 发表于 2016-11-4 18:46
等到了，一起研究。

不做VMWare，VSAN就没用了
ScaleIO是类似于SAN的架构，没法做共享
不知道LZ的分布式存储做要做什么用途？如果是共享，可以考虑搭建Isilon Edge试试

foreversean

larryexchange 发表于 2016-11-4 18:44
Orico PCI25-2S

好的，多谢啦

allenxml

AubreyHan 发表于 2016-11-4 18:56
不做VMWare，VSAN就没用了
ScaleIO是类似于SAN的架构，没法做共享
不知道LZ的分布式存储做要做什么用途？ ...

vsan可以对外吐iscsi了，scaleio不是san

tedaz

好东西，支持折腾。

cigiti

求指教5018D和这款对比优缺点是什么

larryexchange

allenxml 发表于 2016-11-4 18:51
下周一起去intel不？专门针对SDS的交流

好啊，想去，不过没接到邀请。

Pale_Cheung

40Gb/S = 5GB / s 很厉害的带宽。

关键是省了昂贵的 万兆交换机。

AubreyHan

allenxml 发表于 2016-11-4 19:02
vsan可以对外吐iscsi了，scaleio不是san

VSAN吐iscsi要到6.5吧，GA了但是我看了一下好像还不能下载啊（我只看了hp oem的esxi还是6u2，零售版可以下载6u5了？）
ScaleIO虽然是采用Server-Client的方式，但是分配出的LUN还是独占的，相当于本地硬盘，要共享除非主机间做cluster

qiaosiboanother

主板可是能上dua cpu的啊

larryexchange

qiaosiboanother 发表于 2016-11-4 20:50
主板可是能上dua cpu的啊

不能。空的的那个位置在配有D-1587的高配主板上是个SAS控制器。

larryexchange

cigiti 发表于 2016-11-4 20:00
求指教5018D和这款对比优缺点是什么

你是说5028D吧？

5028D强在：

• 默认的CPU是8核16线程的D-1540或D-1541（在售的基本都更新到D-1541了）
• 可以升级主板支持12核或16核的CPU
• 有6个SATA口，4个3.5寸的，2个2.5寸的。可以提供更大存储容量（3.5寸的硬盘已经有10TB的了，2.5寸的也有4TB的）。另外还有一个M.2，不过据说是和SATA口共享的。
• 有一个PCIe 3.0x16的扩展槽
• 相对于E300-8D，5028D很安静
  

E300-8D优势在于：

• 价格便宜
• 体积小
• 网络接口多且丰富
• 同时支持，DOM, 2.5寸SATA, mSATA, M.2等不同形式的硬盘
• 有两个PCIe 3.0 x8的扩展槽（关于第二个PCIe槽怎么用，可能得拿到实机才可能有想法）
  

虽然是句套话，但的确是没有最好的，只有最合适的。以我的角度看，5028D偏实用，而E300-8D更像个玩具。

larryexchange

GKLuke 发表于 2016-11-4 18:45
这家伙让我眼前一亮啊，E200-8D我觉得可以来两个了。坐等LZ的开箱贴吧

我也是在E200-8D和E300-8D之间纠结了很久，各有优势。个人觉得E300-8D可玩性更高，重点是价格还更便宜。

qiaosiboanother

larryexchange 发表于 2016-11-4 21:13
不能。空的的那个位置在配有D-1587的高配主板上是个SAS控制器。

搜噶 我刚去搜了下 貌似还有更小的

cigiti

larryexchange 发表于 2016-11-4 21:28
你是说5028D吧？

5028D强在：

有5018D，是1U的，我本来以为和5028D是机架和塔式差别，后来看了下5018D是 D1518。

当然可能确实是对应型号只是5028D升级了而5018D还没升级。

反正超微让人心里痒得不行，具体哪款倒可以慢慢研究。先弄的先享福啊，俺们就先痒着吧

allenxml

AubreyHan 发表于 2016-11-4 20:40
VSAN吐iscsi要到6.5吧，GA了但是我看了一下好像还不能下载啊（我只看了hp oem的esxi还是6u2，零售版可以 ...

对，6.5目前在布道，还没有开放下载，支持iSCSI应该是感受到了严重的威胁，而放弃了固有的以vmdk为对象的分布式对象存储为唯一形式的思路，更开放。
我认为ScaleIO也是一种Server SAN架构，计算层与存储层融合、计算层与存储层分离都可以，取决于SDC和SDS的部署位置。
楼主测的是windows server 2016的storage space direct，性能非常强悍。

larryexchange

Pale_Cheung 发表于 2016-11-4 20:29
40Gb/S = 5GB / s 很厉害的带宽。

关键是省了昂贵的 万兆交换机。

再次翻看了官方的规格说明，说的是6个千兆电口，和2个万兆光口。但国外有个科技博主说是4个千兆电口，两个万兆电口和两个万兆光口。姑且采信官方的说法，等拿到实机后再来汇报。

AubreyHan

allenxml 发表于 2016-11-4 22:02
对，6.5目前在布道，还没有开放下载，支持iSCSI应该是感受到了严重的威胁，而放弃了固有的以vmdk为对象的 ...

ScaleIO的定位就是Server SAN，这只是其部署形式，从实用角度来说，和FC SAN、Iscsi、DAS等类似都是独占的使用方式

AubreyHan

Pale_Cheung 发表于 2016-11-4 20:29
40Gb/S = 5GB / s 很厉害的带宽。

关键是省了昂贵的 万兆交换机。

40Gb的交换机不会比万兆交换机便宜吧