Chiphell - 分享与交流用户体验

 找回密码
 加入我们
搜索
      
楼主: jerrytsao

[NAS] 关于Broadcom(LSI) 9400 Series NVMe线材的可选方案(更新可用线材)

[复制链接]
发表于 2018-4-16 10:11 | 显示全部楼层
本帖最后由 e3h4v 于 2018-4-16 10:14 编辑
jerrytsao 发表于 2018-4-16 09:44
这个就是一边SFF-8643接HBA, 另外一边两头SFF-8639 U.2接口, 按理说可以直接用

说明手册上的Enabler Cabl ...

你看这条线的卡那端明显是双8643,LSI给出的转8639的也是双8643端口。。。。

但是看你主楼贴的哪个线材又是单端口的,有此担心
 楼主| 发表于 2018-4-16 10:12 | 显示全部楼层
kurakenshin 发表于 2018-4-16 10:09
懂了,那连接4块ssd的话只需要2根线就够了

对的和服务器进一步靠拢了, OCuLink一般就是一根线x8连接两块x4 SSD, 蛋神这方面很有经验
 楼主| 发表于 2018-4-16 10:14 | 显示全部楼层
本帖最后由 jerrytsao 于 2018-4-16 10:18 编辑
e3h4v 发表于 2018-4-16 10:11
你看这条线的卡那端明显是双8643,LSI给出的转8639的也是双8643端口。。。。

但是看你主楼贴的哪个线材 ...

你说的这根线Broadcom官网介绍在哪里, 我并没有找到相关信息和图片, 我贴的是服务器上专用的SFF-8643 - 2*OCuLink

Span.com链接上写的很清楚, 这是根SFF-8643 - 2*SFF-8639
发表于 2018-4-16 10:17 | 显示全部楼层
本帖最后由 e3h4v 于 2018-4-16 10:19 编辑
jerrytsao 发表于 2018-4-16 10:14
你说的这根线Broadcom官网介绍在哪里, 我并没有找到相关信息和图片, 我贴的是SFF-8643 - 2*OCuLink线

Spa ...

阿里旺旺图片20180416101629.jpg 你看span上写的是2X8639,而且sff-8643后面是(8x)??这是不是就是说双端口?
 楼主| 发表于 2018-4-16 10:19 | 显示全部楼层
本帖最后由 jerrytsao 于 2018-4-16 10:26 编辑
e3h4v 发表于 2018-4-16 10:17
你看span上写的是2X8639

你再看清楚一点这个2x是乘的哪里, 页面下面的Spec写得更清楚
000.png

发表于 2018-4-16 10:21 | 显示全部楼层
jerrytsao 发表于 2018-4-16 10:19
你再看清楚一点这个2x是乘的哪里

是8639X2,问题是8643(8x)这个8x是什么意思??
 楼主| 发表于 2018-4-16 10:22 | 显示全部楼层
本帖最后由 jerrytsao 于 2018-4-16 10:26 编辑
e3h4v 发表于 2018-4-16 10:21
是8639X2,问题是8643(8x)这个8x是什么意思??

标题明明写的是x8不是8x, 你看下面的Spec, x8就是说SFF-8643这一头是x8的带宽
发表于 2018-4-16 10:30 来自手机 | 显示全部楼层
jerrytsao 发表于 2018-4-16 10:22
标题明明写的是x8不是8x, 你看下面的Spec, x8就是说SFF-8643这一头是x8的带宽 ...

但是sff-8643单端口带宽是x4啊?
 楼主| 发表于 2018-4-16 10:41 | 显示全部楼层
本帖最后由 jerrytsao 于 2018-4-16 10:48 编辑
e3h4v 发表于 2018-4-16 10:30
但是sff-8643单端口带宽是x4啊?

并不是说一个SFF-8643口只有x4的带宽, PCIe设备是按图下PCIe Device Bridge(PDB)模式操作的

比如9400-16i上的0和1口共享PDB1, 2和3口共享PDB0
000.png

每个PDB可以连接2个x4 PCIe或4个x2 PCIe, 不同PDB之间无法进行数据交换
001.png

发表于 2018-4-16 11:41 | 显示全部楼层
jerrytsao 发表于 2018-4-16 10:41
并不是说一个SFF-8643口只有x4的带宽, PCIe设备是按图下PCIe Device Bridge(PDB)模式操作的

比如9400-16i ...

不同PDB之间无法交换数据,那是不是就是说这4个ssd不能合一块儿组raid 0,只能2个2个分别一组?
 楼主| 发表于 2018-4-16 11:48 | 显示全部楼层
kurakenshin 发表于 2018-4-16 11:41
不同PDB之间无法交换数据,那是不是就是说这4个ssd不能合一块儿组raid 0,只能2个2个分别一组? ...

不确定但有这个可能
发表于 2018-4-16 13:14 | 显示全部楼层
本帖最后由 e3h4v 于 2018-4-16 13:20 编辑
jerrytsao 发表于 2018-4-16 10:41
并不是说一个SFF-8643口只有x4的带宽, PCIe设备是按图下PCIe Device Bridge(PDB)模式操作的

比如9400-16i ...

每个PDB对应两个connector,这两个connector对应的是什么?是8643端口吗?
发表于 2018-4-16 13:37 | 显示全部楼层
jerrytsao 发表于 2018-4-16 10:41
并不是说一个SFF-8643口只有x4的带宽, PCIe设备是按图下PCIe Device Bridge(PDB)模式操作的

比如9400-16i ...

我又重新看了下说明书,这个卡最多支持4个8639和每个端口一个8639是对应的。
Chapter 3: Tri-Mode Storage Interface
The Tri-Mode storage adapters can direct attach to SAS, SATA, or (PCIe) NVMe drives using SFF-8680 or SFF-8639 (U.2)
bays. The Tri-Mode storage adapters support the following direct-attach options:
 SFF-8680 bay: One phy
— x1 SAS
— x1 SATA
 SFF-8680 bay: Two phys
— x2 SAS (multi-link)
— Two x1 SAS (dual port using MPIO)
 SFF-8639 (U.2) bay: One, two, or four phys
— x4 NVMe
— x2 NVMe
发表于 2018-4-16 14:01 | 显示全部楼层
jerrytsao 发表于 2018-4-16 10:41
并不是说一个SFF-8643口只有x4的带宽, PCIe设备是按图下PCIe Device Bridge(PDB)模式操作的

比如9400-16i ...

我重新看了下说明书,结合说明书中的C0、C1、C2、C3标示以及你引用的示意图,接NVME X4的盘,两个端口必须一起使用。X2的盘应该可以直接用
 楼主| 发表于 2018-4-16 18:18 | 显示全部楼层
本帖最后由 jerrytsao 于 2018-4-16 18:48 编辑
e3h4v 发表于 2018-4-16 14:01
我重新看了下说明书,结合说明书中的C0、C1、C2、C3标示以及你引用的示意图,接NVME X4的盘,两个端口必 ...

哥我求你看说明的时候能不要每一次都理解错意思吗, 上面我贴的图已经标的很清楚了

C0就是Connector 0接口0, C1就是Connector 1接口1, L0就是Lane 0通道0 x1, L1就是Lane 1通道1 x1

无论x2还是x4都需要同时连接两个接口, 区别只在于每个接口分出1个x1还是2个x1通道, 比如第一个x2需要C1+C0两个接口和L0+L1两个x1通道


发表于 2018-4-16 18:46 | 显示全部楼层
jerrytsao 发表于 2018-4-16 18:18
哥我求你看说明的时候能不要每一次都理解错意思吗, 上面我贴的图已经标的很清楚了

C0就是Connector ...

对的,那其实没分歧了,lsi 9400这个卡如果接pcie x4的u.2必须用双端口的线(C0、C1或者C2、C3同时接)转出来2个8639。

单端口只能接sas、sata。
 楼主| 发表于 2018-4-16 19:41 | 显示全部楼层
本帖最后由 jerrytsao 于 2018-4-16 20:22 编辑
e3h4v 发表于 2018-4-16 18:46
对的,那其实没分歧了,lsi 9400这个卡如果接pcie x4的u.2必须用双端口的线(C0、C1或者C2、C3同时接)转 ...

恩我也重新反省了下, SFF-8643那边根本也是两个头, 不过参数上面都没写2x因为这个两个头连在一起算1个
比如Intel这根SFF-8643 - 2*OCuLink SFF-8611 AXXCBL700HDCV严格意义上应该叫2*SFF-8643 - 2*OCulink, 确实太令人混淆了
https://ark.intel.com/products/124424/Oculink-Cable-Kit-AXXCBL700HDCV
上面那根线的实际样子, 左边的两个SFF-8643是并在一起的, 那同理Span.com的那根实际也是两个SFF-8643头, 总算搞清楚了


 楼主| 发表于 2018-4-16 19:44 | 显示全部楼层
本帖最后由 jerrytsao 于 2018-4-16 19:46 编辑
kurakenshin 发表于 2018-4-16 10:09
懂了,那连接4块ssd的话只需要2根线就够了

要纠正一下, 4块x4确实只需要两根线, 不过每个线的两边都是需要插两个接口, 并不是之前说的一个接口连两块x4
发表于 2018-4-16 19:50 | 显示全部楼层
jerrytsao 发表于 2018-4-16 19:44
要纠正一下, 4块x4确实只需要两根线, 不过每个线的两边都是需要插两个接口, 并不是之前说的一个接口连两块 ...

嗯,这线想想都够复杂的,8643那边两个头做一起了,另一头2个宽宽的8639,还有2个供电的口。天哪,这一条线就有5个接口
 楼主| 发表于 2018-4-16 20:02 | 显示全部楼层
本帖最后由 jerrytsao 于 2018-4-16 20:18 编辑

2018-04-16更新: e3h4v找到了SFF-8639接口的直连线, 目前靠谱电商里只找到UK存储专卖Span.com, 而且需要等货30天以上

寄到欧洲之外可以省掉VAT, 但这家到UK之外直邮运费比较贵, 可以和含VAT价+UK本土运费+转运总价作比较

50CM PN号05-50065-00, 不含VAT价£58($82), 含VAT价£69($99)
https://www.span.com/product/Avago-LSI-Internal-U-2-Enabler-Cable-05-50065-00-SFF8643-x8-to-2x-SFF8639-x4-U-2-50cm

1M PN号05-50064-00, 不含VAT价£64($92), 含VAT价£77($110)
https://www.span.com/product/Avago-LSI-Internal-U-2-Enabler-Cable-05-50064-00-SFF8643-x8-to-2x-SFF8639-x4-U-2-1m

左边是两个并在一起的SFF-8643(如下图Intel AXXCBL700HDCV左边接口), 右边是两个SFF-8639 U.2(下图中右边是两个OCuLink SFF-8611)


 楼主| 发表于 2018-4-16 20:26 | 显示全部楼层
本帖最后由 jerrytsao 于 2018-4-16 20:30 编辑
kurakenshin 发表于 2018-4-16 19:50
嗯,这线想想都够复杂的,8643那边两个头做一起了,另一头2个宽宽的8639,还有2个供电的口。天哪,这一条 ...

是的, 还这么贵 服务器的OCuLink SFF-8611头就要小巧简单多了, 而且通过背板插SFF-8639也省掉了外部繁琐的电源线

这种价格短期内是不会考虑的了, 而且自从用了ASUS Hyper M.2 x16之后我的9400-16i已被晾在一边, 以后估计只会用来接替9300-8i连SAS/SATA
发表于 2018-4-16 20:28 来自手机 | 显示全部楼层
jerrytsao 发表于 2018-4-16 20:02
2018-04-16更新: e3h4v找到了SFF-8639接口的直连线, 目前靠谱电商里只找到UK存储专卖Span.com, 而且需要等 ...

j大,另外看这个定义ms两个8643端口接在一起的线到底是哪条线接在一起了?感觉像是两个端口的时钟信号线接在一起确保接两个U.2盘的时候时钟一致性?
 楼主| 发表于 2018-4-16 20:32 | 显示全部楼层
本帖最后由 jerrytsao 于 2018-4-16 20:34 编辑
e3h4v 发表于 2018-4-16 20:28
j大,另外看这个定义ms两个8643端口接在一起的线到底是哪条线接在一起了?感觉像是两个端口的时钟信号线 ...

PCIe REFCLK?

https://www.microsemi.com/document-portal/doc_view/135498-white-paper-pci-express-refclk-jitter-compliance

发表于 2018-4-16 20:34 | 显示全部楼层
jerrytsao 发表于 2018-4-16 20:26
是的, 还这么贵 服务器的OCuLink SFF-8611头就要小巧简单多了, 而且通过背板插SFF-8639也省掉了外部 ...

刚在span上订了2条,它给我来个预计到货日期6/6-7/5
 楼主| 发表于 2018-4-16 20:36 | 显示全部楼层
kurakenshin 发表于 2018-4-16 20:34
刚在span上订了2条,它给我来个预计到货日期6/6-7/5

1000块一条的线, 为了P4800X拼了?
发表于 2018-4-16 20:36 来自手机 | 显示全部楼层
kurakenshin 发表于 2018-4-16 20:34
刚在span上订了2条,它给我来个预计到货日期6/6-7/5

我靠,真豪。等你测试啊。
发表于 2018-4-16 20:46 | 显示全部楼层
jerrytsao 发表于 2018-4-16 20:36
1000块一条的线, 为了P4800X拼了?

哪有1000块一条,订的50cm的
没有那么多4800x,只有4块2.5的900P,只是好奇用HBA和Hyper M.2性能上有什么差异
发表于 2018-4-16 20:47 | 显示全部楼层
e3h4v 发表于 2018-4-16 20:36
我靠,真豪。等你测试啊。

哪有大神你豪
发表于 2018-4-16 22:47 | 显示全部楼层

你买P4800x我觉得还能接受,买这种1000的线材确实接受不了,两根线都快赶上卡了
发表于 2018-5-28 21:42 | 显示全部楼层
精神失常中
2根线到了,本来对这种HBA也没抱太大幻想,何况还是pciex8的接口,今天着实给我巨大的"惊喜“

装上开机进去倒挺好,原来的带区卷还在,这也印证了这就是个类似Hyper M.2x16的东西,根本没有什么I/O处理能力,就是个ByPass的直通设计。
随手2个快餐先跑了下,着实惊喜连连,即使之前的Hyper M.2x16没有J神的4x900P优化的好,但至少还能跑出9000+的数据,这次么。。。。[狂笑][狂笑]

趁精神病院还没把我接去治疗还理智的时候做下总结:这玩意生生就是Hyper M.2的一半性能,但卡+线差不多能买10块HyperM.2x16.
测试中还能发现更好玩的地方,这个卡还能在bios里像Hyper M.2x16那样切分成4个信道,因为本来是pciex8的带宽,1/4后实际上900P就是x2状态了,于是测试成绩变成了这样[狂笑][狂笑][狂笑][狂笑][狂笑]

J叔,蛋哥,琼妹们,趁TB还有货,快去抢购Hyper M.2x16吧,这是我这个彻底的250 13点用自己的钱和智商给你们做出的试验,9400-16i是绝对的神器,因为它能帮你节约宝贵的8根pcie通道[狂笑][狂笑][狂笑]
再见了,该去疯人院了[狂笑][狂笑][狂笑][狂笑][狂笑]
1.jpg
2.png
3.png
4.png
5.png
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

小黑屋|手机版|Archiver|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806

GMT+8, 2019-11-20 23:03 , Processed in 0.018034 second(s), 16 queries , Gzip On, Redis On.

Powered by Discuz! X3.1

© 2007-2019 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表