Chiphell - 分享与交流用户体验

标题: P4800X vs PM1733 [打印本页]
作者: myway    时间: 2023-5-5 17:03
标题: P4800X vs PM1733
本帖最后由 myway 于 2023-5-5 17:09 编辑

最近拿到P4800X 750G 和 PM1733 7.68T，昨晚简单跑了些测试。 P5800X不太好搞来，下回再说。
实物都见过，就不贴图了。

噢，还有一张P4800X AIC 750G ，已经装在ESXi放VM了，所以不好测试。。。

CPU： AMD EYPC 7282
内存：128GB  ECC 3200 RAM
磁盘笼； intel 2U Hot-swap 8x2.5inch SAS/NVMe Combo Drive Bay Kit A2U8X25S3PHS
控制卡: 超微 AOC-SLG4-4E4T PCIe Gen4 x16
测试程序： fio-3.25

测试脚本：

随机写
  1. ; fio-rand-write.job for fiotest

  3. [global]
  4. name=fio-rand-write
  5. filename=/dev/nvme4n1
  6. rw=randwrite
  7. bs=4K
  8. direct=1
  9. numjobs=4
  10. time_based
  11. runtime=300

  13. [file1]
  14. size=20G
  15. ioengine=libaio
  16. iodepth=128
复制代码



(, 下载次数: 33) (, 下载次数: 20)





随机80读20写
  1. ; fio-rand-RW.job for fiotest

  3. [global]
  4. name=fio-rand-RW
  5. filename=/dev/nvme0n1
  6. rw=randrw
  7. rwmixread=80
  8. rwmixwrite=20
  9. bs=4K
  10. direct=1
  11. numjobs=4
  12. time_based
  13. runtime=900

  15. [file1]
  16. size=100G
  17. ioengine=libaio
  18. iodepth=128
复制代码



(, 下载次数: 33) (, 下载次数: 36)




得空再试下 顺序写 看看
作者: phyman    时间: 2023-5-5 17:34
PM1733不是号称这代4.0的企业盘里面最拉跨的的一位吗，   你这是欺负三星……
作者: 诛仙    时间: 2023-5-5 17:41
其实这类的评测，看B站的然天一就行。
作者: 190    时间: 2023-5-5 17:46
果然这笼子是支持pcie4.0的
作者: myway    时间: 2023-5-5 18:11
诛仙 发表于 2023-5-5 17:41
其实这类的评测，看B站的然天一就行。

鞋子是否合适，自己脚知道。 二手信息借鉴一下而已。
作者: myway    时间: 2023-5-5 18:12
190 发表于 2023-5-5 17:46
果然这笼子是支持pcie4.0的

你应该反过来说， 笼子不分Gen4 or Gen3.

我在上边没有说的事情是，这个Intel笼子一半接在SLG3 （Gen3），另外一半2接在SLG4 （Gen4）
作者: 958813826    时间: 2023-5-5 18:22
太专业 看的一头雾水
作者: 190    时间: 2023-5-5 19:31
myway 发表于 2023-5-5 18:12
你应该反过来说， 笼子不分Gen4 or Gen3.

我在上边没有说的事情是，这个Intel笼子一半接在SLG3 （Gen3） ...

整一块p411w-32p，正好可以转8个口，你测试好了我跟着入
作者: myway    时间: 2023-5-5 21:06
本帖最后由 myway 于 2023-5-5 21:31 编辑
190 发表于 2023-5-5 19:31
整一块p411w-32p，正好可以转8个口，你测试好了我跟着入


妈呀，，，毒药。。。然后，，，贵死了

P411W-32P 板上超大的散热片，注定是个火炉。
果不其然。。。：
it runs quite hot, its typical power draw is rated at 21 W, about twice as high as Broadcom’s current PCIe x8 Tri-Mode HBAs; it has its own Noctua NF-F12 and the reported PCIe Switch Chipset temperature during operation was around 50°C (with my first unit).


另外，我是用True NAS的，所以个硬RAID，，有点不确定是否合适



Edit：仅仅是HBA，不带RAID
作者: 190    时间: 2023-5-5 21:12
myway 发表于 2023-5-5 21:06
妈呀，，，毒药。。。然后，，，贵死了

P411W-32P 板上超大的散热片，注定是个火炉。

闲鱼3k5内应该能砍下来，b站那个前进的四火有测试，emmm，我问了下，弄个小风扇吹吹应该没问题。额，主要我没那么多槽了，还在slg4和p411w之间纠结。
作者: myway    时间: 2023-5-5 21:14
190 发表于 2023-5-5 21:12
闲鱼3k5内应该能砍下来，b站那个前进的四火有测试，emmm，我问了下，弄个小风扇吹吹应该没问题。额，主要 ...

b站那个前进的四火有测试

麻烦发个链接看看？
作者: yubeii    时间: 2023-5-5 21:14
热量呢，谁温度更低一点
作者: 190    时间: 2023-5-5 21:18
myway 发表于 2023-5-5 21:14
b站那个前进的四火有测试

麻烦发个链接看看？

【【血亏的Yi天】这么贵的转接卡居然会造成性能损失？——洋垃圾 博通 P411W-32P-哔哩哔哩】 https://b23.tv/q6uYGMu
作者: wxlg1117    时间: 2023-5-5 21:22
楼主fio测试后的数据怎么生成这几张图的?
作者: myway    时间: 2023-5-5 21:29
wxlg1117 发表于 2023-5-5 21:22
楼主fio测试后的数据怎么生成这几张图的?

fio fio-rand-write.fio --bandwidth-log --output P4800X_rand_Write_nvme4n1.log

加粗参数，输出数据，然后在excel加工。

你要玩的更花哨，可以看看这个：https://github.com/louwrentius/fio-plot


https://fio.readthedocs.io/en/la ... ml#log-file-formats
time (msec), value, data direction, block size (bytes), offset (bytes), command priority
作者: myway    时间: 2023-5-5 21:37
yubeii 发表于 2023-5-5 21:14
热量呢，谁温度更低一点

呃，，，凑合看看吧，这是测试期间的温度数据



PM1733

(, 下载次数: 30)

P4800X

(, 下载次数: 30)
作者: yubeii    时间: 2023-5-5 21:39
PM1733：待机 44，最高 57，温升 13 度
P4800X：待机 41，最高 59，温升 18 度
作者: T.JOHN    时间: 2023-5-5 21:58
Gen4刚出的时候就对信号是有更高要求的，包括Gen5也是。PCI-SIG特意出篇个文章表示外围设备需要retimer芯片增强信号

Redriver/retimer/无芯片的差异

CPU到终端设备的信号的距离损失要求<28db


Gen5的PCIe插槽物理结构相比Gen4/Gen3是有变化的，这个toppc谈到过，一个插座不便宜，直接增加了板厂的成本。intel这个笼子也许Gen4能过，但很大概率不能过Gen5。按照PCIe的设计思路，背板上连接硬盘的母座得像PCIe插座一样处理，搞个金属套才行，支持GEN 4/5对于笼子本身也会有讲究的。

超微的AOC-SLG4-4E4T和AOC-SLG3-4E4T除了把8611-4i x4改成8654-8i x2，最大区别是SLG4用了两颗Retimer芯片带4个盘，而SLG3只用了一颗Retimer芯片带4个盘。所以这两个HBA卡提供的Retimer信号强度还是有差距的。同样道理SLG4肯定是为Gen4设计的，但Gen5我估计是跑不到的。
作者: myway    时间: 2023-5-5 22:17
T.JOHN 发表于 2023-5-5 21:58
Gen4刚出的时候就对信号是有更高要求的，包括Gen5也是。PCI-SIG特意出篇个文章表示外围设备需要retimer芯片 ...

Gen5 的盘、卡、线 三五年内是不用想走进普通玩家的。。

作者: myway    时间: 2023-5-6 22:43
本帖最后由 myway 于 2023-5-6 23:09 编辑
190 发表于 2023-5-5 21:18
【【血亏的Yi天】这么贵的转接卡居然会造成性能损失？——洋垃圾 博通 P411W-32P-哔哩哔哩】 https://b23 ...




这个视频里边提及的问题，不要用最新的“P411W-32P_4_1_3_1_HBA_signed_P14.3.fw”主要原因是大概率会识别不到好些常见的NVME SSD，例如Samsung PM1733 7.68 TB、WD SN550 ，所以不少都降到前一个版本 v4.1.2.1。  


https://forum.level1techs.com/t/ ... the-ugly/171428/193

@190


EDIT：
博通真TMD的有意思。。。
最新固件不能识别直接接在卡上的NVMe SSD的原因竟然是这样///// 限制在只能用 UMB backplane，即背板





EDIT2 UMB backplane 在 P411W-32P user guide的解释

作者: 190    时间: 2023-5-7 07:47
myway 发表于 2023-5-6 22:43
这个视频里边提及的问题，不要用最新的“P411W-32P_4_1_3_1_HBA_signed_P14.3.fw”主要原因是大概率会 ...

你这挖得也是够深的，我是比较关心通道数分配模式问题，跑去问了下。这个卡和intel卡的共享模式还有点不一样，是通道数x2然后除以接入盘数，固定均分的模式，当然总通道数是不变的。所以要发挥独立盘x4的前提是要么通道数够大（x16），要么盘位要少点（实际通道数/2）。另外问下slg4-4e4t这张卡热吗？通道数分配模式是共享不？
作者: myway    时间: 2023-5-7 08:53
190 发表于 2023-5-7 07:47
你这挖得也是够深的，我是比较关心通道数分配模式问题，跑去问了下。这个卡和intel卡的共享模式还有点不 ...

因为边上还有一张 P4800X AIC ，TrueNAS也不会报告SLG4的温度，，，除非晚些时候，我贴个热敏电阻传感器监测一下温度，我就暂时没有别的办法了///


另外，关于intel的卡，你说的是8口哪张吧？ 哪张卡用的是 Redrivers，而SLG系列用Retimers，这是不一样的。
我也用过哪张intel卡，如果你关注的是同时访问接在这个卡上的NVMe的并行速度，那么最好考虑SLG，因为会掉速。

至于Retimers vs. Redrivers的具体区别，我还没看完这篇：
https://www.asteralabs.com/smart ... popping-difference/
作者: 190    时间: 2023-5-7 10:12
本帖最后由 190 于 2023-5-7 10:26 编辑
myway 发表于 2023-5-7 08:53
因为边上还有一张 P4800X AIC ，TrueNAS也不会报告SLG4的温度，，，除非晚些时候，我贴个热敏电阻传感器 ...


好复杂，机翻了都看不懂。。。

intel那张卡放nas挺好用，因为目前便宜的盘都是gen3的，然后能最大化盘位，同时又能保证每块盘单独运行时能满速，家里nas很少时候会多盘同时满载。

接下来就是考虑给主力机也弄上笼子，这要考虑gen4了，但是在最大化盘位还是最优先保障满速之间选择，最大化盘位看起来好像是p411w-32p，但是兼容性和速度有点未知；slg4看你在用，正好问问兼容性和速度方面有没有什么问题，顺便问问是否需要额外增加风扇散热？

另外再解释下我问过来的关于p411w-32p的通道数分配区别（暂时忽略转接性能衰减），以实际通道数x8的x16pcie槽，同时接入8块盘举例，①intel卡的共享模式，可以让8块盘的其中任意2块盘同时跑x4，而8盘同时跑时只能x1；②P411W-32P的拆分均分模式，先给x8通道拆分成x16，然后均分，即接入8盘后，每盘只能均分到X2，即便只有其中1块盘单独跑，其他盘休息，也只能跑到X2，同时跑只能x1；如果想要单盘跑x4，在总通道数x8的情况下只能接入4块盘，或者总通道数要保证x16，才能保证8个盘的接入。

所以我想求证的是slg4用的是哪种分配模式?
作者: myway    时间: 2023-5-7 10:47
190 发表于 2023-5-7 10:12
好复杂，机翻了都看不懂。。。

intel那张卡放nas挺好用，因为目前便宜的盘都是gen3的，然后能最大化盘位 ...

我觉得，若你思考的是这个问题，且PCIe Gen4 x16 槽能空出两条，我建议你上两个 SLG4-4E4T，价格肯定比P411W-32P要少花钱。

回答你的问题前，恐怕我得先去看完那篇东西，晚点吧
作者: 190    时间: 2023-5-7 11:01
myway 发表于 2023-5-7 10:47
我觉得，若你思考的是这个问题，且PCIe Gen4 x16 槽能空出两条，我建议你上两个 SLG4-4E4T，价格肯定比P4 ...

是的，并且slg4还能有保，就是能有这么多通道数的平台只有服务器或者工作站平台了。想上桌面级的话，只能退而求其次，就是以共享的方式接入多盘位，其实我也更倾向于这个方案，碍于水平不够，只能等着白嫖你的研究成果了
作者: myway    时间: 2023-5-8 00:24
190 发表于 2023-5-7 10:12
好复杂，机翻了都看不懂。。。

intel那张卡放nas挺好用，因为目前便宜的盘都是gen3的，然后能最大化盘位 ...

手机回答就简短一点

首先SLG4 本来就是x16 且只能分四条线，每条x4，目前PCIe Gen3/Gen4的盘都是x4的，所以不存在每个盘不够带宽。
且SLG3/4都是带Retimer的卡，因此相比Redriver卡而言，能够重组/矫正PCIe信号（芯片级的处理，而非Redriver只是简单的信号放大），确保在四个盘并发访问时候，有正确的PCIe信号即达到每个盘的理论上限。

而任何超过x4进行处理的，就例如P411W-32P，或者连瑞（LIANRUI）同类产品，就得查具体的交换芯片的规格了，我没有了解细节，但任何超过x16 lans的都是三个锅盖五个锅，必定损失信号进而掉速，最坏的情况（我猜的）就是数据01010需要软件、ecc等校正了。
作者: 190    时间: 2023-5-8 08:35
myway 发表于 2023-5-8 00:24
手机回答就简短一点

首先SLG4 本来就是x16 且只能分四条线，每条x4，目前PCIe Gen3/Gen4的盘都是x4的， ...

那就安心等明年14 15代通道数多点，x16插个拆分卡再拿4条m2转接下，齐活
作者: huihuige    时间: 2023-5-8 13:56
好详细
马克下
以后搞U2的笼子借鉴下



欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/) Powered by Discuz! X3.5