社区 › 电脑讨论(新) › Samsung三星PM1733 7.68TB 2.5" U.2 PCIe 4.0可行性验证+家用环境小测

jerrytsao 发表于 2021-4-12 00:08

Samsung三星PM1733 7.68TB 2.5" U.2 PCIe 4.0可行性验证+家用环境小测

本帖最后由 jerrytsao 于 2021-4-16 00:50 编辑

关联
U.2 SSD科学连接方式之Intel A2U8X25S3PHS + Super Micro AOC-SLG3-4E4T
Samsung半导体官网的一些新Enterprise SSD型号

企业级SSD大船早已回不去2019盛世年的0.5元/GB, 只剩一些PCIe 4.0型号尚存吸引力, 如P5800X/P5600/P5510, PM1735/PM1733等

当中AIC/HHHL或M.2这两种只要平台支持Gen 4, 插入PCIe插槽/M.2口即可, 加上M.2 Gen 4目前只有消费级

唯独2.5" U.2 SFF-8639这个数据中心使用最多的Form Factor最最麻烦, 原因在于

1) Gen 4无交换芯片的纯HBA卡市面上基本不存在, 超微前不久在官网更新了AOC-SLG4-4E4T和AOC-SLG4-2E4T, 是接下来的首选

https://i.loli.net/2021/04/12/PhT3y8Zq7edEItR.png

如下图AOC-SLG4-4E4T x16 HBA有两个SlimSAS SFF-8654 PCIe 4.0 x8接口, 可各自接2块PCIe 4.0 x4 SSD

https://i.loli.net/2021/04/12/UtY9cm2ryRzNI5K.png

2) 服务器用Gen 4 Drive Bay市面上也基本不存在, 所以像Intel A2U8X25S3PHS这类笼子后面的背板电气性能是否能满足Gen 4?

3) 另一种比较简单的SFF-8639 -> PCIe x4插槽转接卡也都是Gen 3产品, 兼容性有没有问题?

4) 还有一个比较传统的方法就是SSD通过SFF-8643线接到主板U.2口或含交换芯片HBA/RAID卡的SFF-8643口, 同时通过大4Pin或SATA供电

5) 最后一种比较Low但也是不少人采用的连接方式, 也就是U.2 SFF-8639 -> M.2转接线, 同时通过大SATA供电

这次主要验证2和3, 前者是数据中心主流连接方式, 后者简单快速无需线材插入即可使用

第4种已经有网友验证可行, 最后一种转接M.2一般有性能损失并不推荐
今天先放上转接卡的情况, 回头更新HBA和Drive Bay, 最后可能还会试试TB上那个奇葩的4*SFF-8639 -> PCIe x16插槽转接卡[吃惊]




主角为读取密集型PM1733 7.68TB, 五代96层 3bit V-NAND(TLC)颗粒, 最大持续读取7,000 MB/s, 最大持续写入3,800 MB/s

全盘4KiB随机读取峰值1.45M IOPS=5,800 MB/s, 全盘4KiB随机写入峰值135K IOPS=540 MB/s

峰值随机读写延迟100/25μs, 峰值持续读写延迟220/80μs, 待机功耗8.5W, 典型功耗20W

接口PCIe 4.0 x4或者Dual Port双端口冗余(2块HBA各负责PCIe 4.0 x2), 耐久度方面1DWPD也就是7.68TB*365*5=14.02PB/5年

https://i.loli.net/2021/04/11/rBjTa9kbQdOfiVu.png
https://i.loli.net/2021/04/12/JtxmQ2FCELwdKIo.png

PM1733 7.68TB拆机, PN号MZWLJ7T6HALA-00007C, 由于三星Enterprise SSD大多OEM, 所以末尾通常会多一个或多个英文字母

出厂时间2019年11月中旬(46周)较为早期但非E/S版, 单价~0.85元/GB在PCIe 4.0 SSD中可以算个不小的船

转接卡是2017年1月在美亚上买的国产外销货Funtin PCIe NVMe SSD Adapter http://www.funtintech.com/en/pd.jsp?id=1

另外特地拉进来WD(SanDisk) SN850 2TB凑热闹, 简单和消费级旗舰PCIe 4.0的快餐/家用作一下对比

https://i.loli.net/2021/04/14/pw8uyUr7FEZOx6k.jpg
软件信息读取, HWiNFO64验证PCIe已经是4.0 x4[音乐] 也就是说在电气性能要求不高的单盘环境下Gen 3转接卡可以继续用

驱动方面PM983被自家NVMe驱动自动识别, 而PM1733默认只能用微软NVMe驱动

这是三星将旗下Datacenter SSD和Enterprise SSD不同定位导致的结果, 之前PM1725也是同样情况

https://i.loli.net/2021/04/11/8bKofWCEJZs567y.png
出厂固件版本EPK94B5Q, 原企业客户更新后的固件号EPK99J5Q, Google搜索不到任何信息[无奈]

VMWare Compatibility Guide数据库里显示有EPK98B5Q, 很明显EPK99J5Q比那个还要新...

三星企业SSD一大槽点是用在非OEM机器上没有固件更新的渠道, 所以入手时的固件越新越好

CDI进一步验证PCIe 4.0 x4握手成功, 测试前刚拿到盘的时候505T读取/420T写入/已使用百分比0%/1,152通电小时数和仅仅10次通电次数

待机温度40°C出头, 比PM983 U.2热但比其它2.5" U.2盘要凉快一些, 像Memblaze PBlaze5 D700 4TB待机会爬到50°C上下

以上为室温24°C下开放式平台Streacom ST-BC1无风扇吹的情况, 机箱和闷罐环境不能作为参考

https://i.loli.net/2021/04/11/Q2oTGsPzdSnbXm9.png

CDM v8.0.1 1GiB对比970 Pro 1TB OS脏盘(14%占用) vs PM983 3.84TB软件等热数据脏盘(56%占用) vs PM1733 7.68TB vs SN850 2TB

CPU 5950X 16C/32T SMT未关闭, 主板打人C8DH, 再次强调快餐等不严谨测试在不同平台上没有可比性

PM1733和之前测试过的PM1725b都遇到了Q1T1持续读取偏低的情况, 反观PM983则非常正常, 不知是否和驱动直接相关

Q8T1跑出了7.3GB/s的持续读取和4.1GB/s的持续写入, 都比官参高出接近300MB/s

4KiB随机读取Q1T1和PM983同水准, Q32T16的5.7GB/s基本符合官参, 至于快餐跑出来的随机写入都不是全盘和官参无法直接对比

https://i.loli.net/2021/04/11/PFBGvWexTOk3QDS.png

Windows Explorer传输PM983 3.84TB PCIe 3.0 x4复制视频大文件写入到PM1733 7.68TB PCIe 4.0 x4

前者是芯片组PCIe, 后者是CPU PCIe, 不过X570总线是Gen 4 x4不会跑到瓶颈, Gen 3基本在2-2.2GB/s左右

PM983的CDM Q1T1持续读取峰值2.37GB/s, 基本能榨干源盘性能

https://i.loli.net/2021/04/11/ubf9jQXIBvpLUiF.png

同理从970 Pro写到PM1733能达到2.3-2.5GB/s

https://i.loli.net/2021/04/12/hekTC4LSnIyDPZG.png

Windows Explorer传输SN850 2TB PCIe 4.0 x4复制视频大文件写入到PM1733 7.68TB PCIe 4.0 x4

这里双方都是CPU PCIe, Gen 4差不多2.8-3GB/s之间

SN850的CDM Q1T1持续读取峰值4.45GB/s, 当中还有1.5GB/s的差距, Gen 4的优势并没有完全释放出来

https://i.loli.net/2021/04/11/Mqj6mvBtpW5Xcik.png

2021-04-14更新

测试继续, 这次是TB上入的2*SFF-8639 -> PCIe x8和4*SFF-8639 -> PCIe x16转接卡, 加上x4刚好凑齐一系列

有意思的是, 这卡还有名字和型号, 分别为Deepblue U22PE8X和24PE16X

https://i.loli.net/2021/04/14/glti3p9quO6NzWL.jpg

U.2典型最大功耗一般在20W出头, x8全部PCIe取电75W, x16后方多一个SATA接口(75+54=129W)

https://i.loli.net/2021/04/14/Z16AvlobTncMs5P.jpg

插满SSD的效果

https://i.loli.net/2021/04/14/IbYh8f34wsoUnW5.jpg

上机后的情况, 四颗LED灯显示每个SSD被转接卡识别状态, 绿色代表正常, 注意主板PCIe设置里要选择拆分模式

https://i.loli.net/2021/04/14/2i68eZaXlRQnVcL.jpg
https://i.loli.net/2021/04/14/8hwWqINxdlgA26u.jpg

识别x8下两块SSD毫无难度, 但由于X570通道数捉急, PCIe_1和PCIe_2同时插入时只能分别x8, 此时x16转接卡就无论如何都无法识别了

于是将显卡插到最后一个芯片组PCIe_3, 拔掉PCIe_2的设备, 最后PCIe_1完美识别3块SSD

https://i.loli.net/2021/04/14/Gh61r5Ug2aiQeJx.jpg

CDI看到Gen 4成功握手, 由于手上没有多块PCIe 4.0 SSD, 所以无法验证同时插入时都能成功

https://i.loli.net/2021/04/14/YsEuFKWXxVIj4mG.png

CDM简单跑一下可以看到Gen 4的持续峰值带宽基本正常, 可能极限会稍有下降, 还有待进一步证实

https://i.loli.net/2021/04/14/UHFeVI3tjfAxvbZ.png

最后我们看一下数据中心最常见的方法, 为此特地去海鲜市场上弄了AOC-SLG4-2E4T x8方便C8DH做测试

超微AOC-SLG3-2E4T x8和AOC-SLG3-4E4T x16, 块头相差巨大

https://i.loli.net/2021/04/14/YIhvtUBKXFdMmWg.jpg

将HBA卡通过OCuLink SFF-8611 (x4) To OCuLink SFF-8611 (x4)线连到Intel A2U8X25S3PHS笼子

https://i.loli.net/2021/04/14/tqAhBMCoxskWXnQ.jpg

PCIe/SAS/SATA三合一笼子背板细节

https://i.loli.net/2021/04/14/TkMlhCJXoVDBHIx.jpg
https://i.loli.net/2021/04/14/OH2FCPMbL79eDIx.jpg

果不其然, 这块背板复杂的布线和电路对电气性能要求很高, 最后无论怎么调整Gen 4 SSD都只能运行在PCIe 1.0 x4(你没眼花, 不是PCIe 4.0 x1)

https://i.loli.net/2021/04/14/IaSMJZdwblLWT84.png

总结: 在Gen 4 HBA卡和Gen 4笼子出来之前, 目前Gen 4 2.5" U.2最佳连接方法为1/2/4*SFF-8639 - PCIe x4/x8/x16转接卡

只需主板支持PCIe拆分, 省线省空间最简单还能提前享受企业级PCIe 4.0 SSD

kpchan 发表于 2021-4-12 00:14

本帖最后由 kpchan 于 2021-4-12 00:56 编辑

我从PC到NAS也体验了几秒的2.2GB/s。。。。

但就是那么几秒。还是J叔持久啊[偷笑].

beckcppes 发表于 2021-4-12 00:18

钱塘盘王牛逼[偷笑]

LunaSea 发表于 2021-4-12 00:23

j叔真是太强了 仰视ing

Zyn0114 发表于 2021-4-12 00:25

每次J叔发帖我的钱包都会害怕地颤抖

dsboylw 发表于 2021-4-12 02:24

真的牛

说实话，论盘，谁敢说什么

测试，说买了测，就买来测

DevilKoro 发表于 2021-4-12 02:53

太牛逼了[恶魔]
果然消费级的硬盘在J叔这里不值一提，只有顶级企业级/数据中心级别才可以[流泪]

Bloody_Palace 发表于 2021-4-12 03:32

别测了别测了，钱包已经见底了[偷笑]

Flanker 发表于 2021-4-12 03:33

博通的p411w-32p倒是出现在官网有一年了吧，不知道有没有渠道能买到

jerrytsao 发表于 2021-4-12 03:36

Flanker 发表于 2021-4-12 03:33
博通的p411w-32p倒是出现在官网有一年了吧，不知道有没有渠道能买到
交换芯片的那早有了, 纯HBA卡还没出现, 超微那两个Retimer新品可以发邮件去问什么时候开卖, 用的是SlimSAS接口

Flanker 发表于 2021-4-12 03:39

jerrytsao 发表于 2021-4-12 03:36
交换芯片的那早有了, 纯HBA卡还没出现, 超微那两个Retimer新品可以发邮件去问什么时候开卖, 用的是SlimSAS ...

嗯，看漏了要不带交换芯片的

ya1977 发表于 2021-4-12 03:53

文件名亮点[偷笑]

westbobo 发表于 2021-4-12 04:25

5950x的4kQ1T1好强。。。

beckcppes 发表于 2021-4-12 04:33

ya1977 发表于 2021-4-12 03:53
文件名亮点

下载这个车号看看盘王的癖好

sky也许 发表于 2021-4-12 07:02

顶顶   

阿诺德施瓦辛格 发表于 2021-4-12 08:39

好人一生平安

gtx9 发表于 2021-4-12 09:09

坐等j叔测试HBA和Drive bay能不能跑Gen4[可爱]

Keyco 发表于 2021-4-12 10:06

jerrytsao 发表于 2021-4-12 10:12

Keyco 发表于 2021-4-12 10:06
PCIe 4.0 的 HBA retimer卡在淘宝有一款技嘉的，但是不知道是否挑主板：
https://item.taobao.com/item.htm ...

厉害了, 马上去看

楚门的世界 发表于 2021-4-12 10:50

阿诺德施瓦辛格 发表于 2021-4-12 08:39
好人一生平安

+10086

J叔霸道！！！

gtx9 发表于 2021-4-12 10:52

jerrytsao 发表于 2021-4-12 10:12
厉害了, 马上去看

真能用在普通主板就牛逼了[震惊]

aibo 发表于 2021-4-12 11:28

不知道那些U2转M2的线还有没有机会[无奈]

kongtaibai 发表于 2021-4-12 11:32

部分红卡能跑4.0

521ztz 发表于 2021-4-12 11:34

SSD速度是次要
價錢和耐用性才是我關心的

kpchan 发表于 2021-4-12 12:35

521ztz 发表于 2021-4-12 11:34
SSD速度是次要
價錢和耐用性才是我關心的

企业级别的东西，家用不需要考虑耐用性了吧?

如果是商用的，Specsheet都有写寿命的。按需部署就是了。这都是常规操作呢。

Juzi丶 发表于 2021-4-12 13:07

还是retimer好了，pcie switch性能掉太多

xyz星人 发表于 2021-4-12 13:32

jerrytsao 发表于 2021-4-12 13:56

Juzi丶 发表于 2021-4-12 13:07
还是retimer好了，pcie switch性能掉太多

必须的, 交换真的不适合PCIe NVMe

jerrytsao 发表于 2021-4-12 14:04

本帖最后由 jerrytsao 于 2021-4-12 14:14 编辑

Keyco 发表于 2021-4-12 10:06
PCIe 4.0 的 HBA retimer卡在淘宝有一款技嘉的，但是不知道是否挑主板：
https://item.taobao.com/item.htm ...
我下单没多久然后又退了... Giga这个坑货的24*NVMe Front Bay系统还是Gen 3, CNV3024 HBA也肯定一样

https://www.storagereview.com/review/gigabyte-r282-z92-server-review
Further building off of the new AMD EPYC processors, the GIGABYTE R282-Z92 Server supports over 4TB of DDR4 memory with speeds up to 3200MHz. It can hit this through 16 DIMMs per CPU with module support up to 128GB apiece. While the server supports NVMe storage via 24 hot-swappable bays across the front (not to mention two more bays in the back for SATA/SAS storage), it doesn't support PCIe 4.0 in the front bays.
https://www.gigabyte.com/FileUpload/Global/Microsite/523/images/R272-Z32_BlockDiagram.png

LArmstrong 发表于 2021-4-12 14:15

顺序Q1T1只有1700嘛~~ 总感觉不太对劲啊

查看完整版本: Samsung三星PM1733 7.68TB 2.5" U.2 PCIe 4.0可行性验证+家用环境小测