|
|
本帖最后由 jerrytsao 于 2021-4-16 00:50 编辑
关联
U.2 SSD科学连接方式之Intel A2U8X25S3PHS + Super Micro AOC-SLG3-4E4T
Samsung半导体官网的一些新Enterprise SSD型号
企业级SSD大船早已回不去2019盛世年的0.5元/GB, 只剩一些PCIe 4.0型号尚存吸引力, 如P5800X/P5600/P5510, PM1735/PM1733等
当中AIC/HHHL或M.2这两种只要平台支持Gen 4, 插入PCIe插槽/M.2口即可, 加上M.2 Gen 4目前只有消费级
唯独2.5" U.2 SFF-8639这个数据中心使用最多的Form Factor最最麻烦, 原因在于
1) Gen 4无交换芯片的纯HBA卡市面上基本不存在, 超微前不久在官网更新了AOC-SLG4-4E4T和AOC-SLG4-2E4T, 是接下来的首选
如下图AOC-SLG4-4E4T x16 HBA有两个SlimSAS SFF-8654 PCIe 4.0 x8接口, 可各自接2块PCIe 4.0 x4 SSD
2) 服务器用Gen 4 Drive Bay市面上也基本不存在, 所以像Intel A2U8X25S3PHS这类笼子后面的背板电气性能是否能满足Gen 4?
3) 另一种比较简单的SFF-8639 -> PCIe x4插槽转接卡也都是Gen 3产品, 兼容性有没有问题?
4) 还有一个比较传统的方法就是SSD通过SFF-8643线接到主板U.2口或含交换芯片HBA/RAID卡的SFF-8643口, 同时通过大4Pin或SATA供电
5) 最后一种比较Low但也是不少人采用的连接方式, 也就是U.2 SFF-8639 -> M.2转接线, 同时通过大SATA供电
这次主要验证2和3, 前者是数据中心主流连接方式, 后者简单快速无需线材插入即可使用
第4种已经有网友验证可行, 最后一种转接M.2一般有性能损失并不推荐
今天先放上转接卡的情况, 回头更新HBA和Drive Bay, 最后可能还会试试TB上那个奇葩的4*SFF-8639 -> PCIe x16插槽转接卡
主角为读取密集型PM1733 7.68TB, 五代96层 3bit V-NAND(TLC)颗粒, 最大持续读取7,000 MB/s, 最大持续写入3,800 MB/s
全盘4KiB随机读取峰值1.45M IOPS=5,800 MB/s, 全盘4KiB随机写入峰值135K IOPS=540 MB/s
峰值随机读写延迟100/25μs, 峰值持续读写延迟220/80μs, 待机功耗8.5W, 典型功耗20W
接口PCIe 4.0 x4或者Dual Port双端口冗余(2块HBA各负责PCIe 4.0 x2), 耐久度方面1DWPD也就是7.68TB*365*5=14.02PB/5年
PM1733 7.68TB拆机, PN号MZWLJ7T6HALA-00007C, 由于三星Enterprise SSD大多OEM, 所以末尾通常会多一个或多个英文字母
出厂时间2019年11月中旬(46周)较为早期但非E/S版, 单价~0.85元/GB在PCIe 4.0 SSD中可以算个不小的船
转接卡是2017年1月在美亚上买的国产外销货Funtin PCIe NVMe SSD Adapter http://www.funtintech.com/en/pd.jsp?id=1
另外特地拉进来WD(SanDisk) SN850 2TB凑热闹, 简单和消费级旗舰PCIe 4.0的快餐/家用作一下对比
软件信息读取, HWiNFO64验证PCIe已经是4.0 x4 也就是说在电气性能要求不高的单盘环境下Gen 3转接卡可以继续用
驱动方面PM983被自家NVMe驱动自动识别, 而PM1733默认只能用微软NVMe驱动
这是三星将旗下Datacenter SSD和Enterprise SSD不同定位导致的结果, 之前PM1725也是同样情况
出厂固件版本EPK94B5Q, 原企业客户更新后的固件号EPK99J5Q, Google搜索不到任何信息
VMWare Compatibility Guide数据库里显示有EPK98B5Q, 很明显EPK99J5Q比那个还要新...
三星企业SSD一大槽点是用在非OEM机器上没有固件更新的渠道, 所以入手时的固件越新越好
CDI进一步验证PCIe 4.0 x4握手成功, 测试前刚拿到盘的时候505T读取/420T写入/已使用百分比0%/1,152通电小时数和仅仅10次通电次数
待机温度40°C出头, 比PM983 U.2热但比其它2.5" U.2盘要凉快一些, 像Memblaze PBlaze5 D700 4TB待机会爬到50°C上下
以上为室温24°C下开放式平台Streacom ST-BC1无风扇吹的情况, 机箱和闷罐环境不能作为参考
CDM v8.0.1 1GiB对比970 Pro 1TB OS脏盘(14%占用) vs PM983 3.84TB软件等热数据脏盘(56%占用) vs PM1733 7.68TB vs SN850 2TB
CPU 5950X 16C/32T SMT未关闭, 主板打人C8DH, 再次强调快餐等不严谨测试在不同平台上没有可比性
PM1733和之前测试过的PM1725b都遇到了Q1T1持续读取偏低的情况, 反观PM983则非常正常, 不知是否和驱动直接相关
Q8T1跑出了7.3GB/s的持续读取和4.1GB/s的持续写入, 都比官参高出接近300MB/s
4KiB随机读取Q1T1和PM983同水准, Q32T16的5.7GB/s基本符合官参, 至于快餐跑出来的随机写入都不是全盘和官参无法直接对比
Windows Explorer传输PM983 3.84TB PCIe 3.0 x4复制视频大文件写入到PM1733 7.68TB PCIe 4.0 x4
前者是芯片组PCIe, 后者是CPU PCIe, 不过X570总线是Gen 4 x4不会跑到瓶颈, Gen 3基本在2-2.2GB/s左右
PM983的CDM Q1T1持续读取峰值2.37GB/s, 基本能榨干源盘性能
同理从970 Pro写到PM1733能达到2.3-2.5GB/s
Windows Explorer传输SN850 2TB PCIe 4.0 x4复制视频大文件写入到PM1733 7.68TB PCIe 4.0 x4
这里双方都是CPU PCIe, Gen 4差不多2.8-3GB/s之间
SN850的CDM Q1T1持续读取峰值4.45GB/s, 当中还有1.5GB/s的差距, Gen 4的优势并没有完全释放出来
2021-04-14更新
测试继续, 这次是TB上入的2*SFF-8639 -> PCIe x8和4*SFF-8639 -> PCIe x16转接卡, 加上x4刚好凑齐一系列
有意思的是, 这卡还有名字和型号, 分别为Deepblue U22PE8X和24PE16X
U.2典型最大功耗一般在20W出头, x8全部PCIe取电75W, x16后方多一个SATA接口(75+54=129W)
插满SSD的效果
上机后的情况, 四颗LED灯显示每个SSD被转接卡识别状态, 绿色代表正常, 注意主板PCIe设置里要选择拆分模式
识别x8下两块SSD毫无难度, 但由于X570通道数捉急, PCIe_1和PCIe_2同时插入时只能分别x8, 此时x16转接卡就无论如何都无法识别了
于是将显卡插到最后一个芯片组PCIe_3, 拔掉PCIe_2的设备, 最后PCIe_1完美识别3块SSD
CDI看到Gen 4成功握手, 由于手上没有多块PCIe 4.0 SSD, 所以无法验证同时插入时都能成功
CDM简单跑一下可以看到Gen 4的持续峰值带宽基本正常, 可能极限会稍有下降, 还有待进一步证实
最后我们看一下数据中心最常见的方法, 为此特地去海鲜市场上弄了AOC-SLG4-2E4T x8方便C8DH做测试
超微AOC-SLG3-2E4T x8和AOC-SLG3-4E4T x16, 块头相差巨大
将HBA卡通过OCuLink SFF-8611 (x4) To OCuLink SFF-8611 (x4)线连到Intel A2U8X25S3PHS笼子
PCIe/SAS/SATA三合一笼子背板细节
果不其然, 这块背板复杂的布线和电路对电气性能要求很高, 最后无论怎么调整Gen 4 SSD都只能运行在PCIe 1.0 x4(你没眼花, 不是PCIe 4.0 x1)
总结: 在Gen 4 HBA卡和Gen 4笼子出来之前, 目前Gen 4 2.5" U.2最佳连接方法为1/2/4*SFF-8639 - PCIe x4/x8/x16转接卡
只需主板支持PCIe拆分, 省线省空间最简单还能提前享受企业级PCIe 4.0 SSD |
评分
-
查看全部评分
|
310112100042806
发表于 2021-4-12 00:08
