P4800X vs PM1733
本帖最后由 myway 于 2023-5-5 17:09 编辑最近拿到P4800X 750G 和 PM1733 7.68T，昨晚简单跑了些测试。 P5800X不太好搞来，下回再说。
实物都见过，就不贴图了。
噢，还有一张P4800X AIC 750G ，已经装在ESXi放VM了，所以不好测试。。。
CPU： AMD EYPC 7282
内存：128GBECC 3200 RAM
磁盘笼； intel 2U Hot-swap 8x2.5inch SAS/NVMe Combo Drive Bay Kit A2U8X25S3PHS
控制卡: 超微 AOC-SLG4-4E4T PCIe Gen4 x16
测试程序： fio-3.25
测试脚本：
随机写
; fio-rand-write.job for fiotest
name=fio-rand-write
filename=/dev/nvme4n1
rw=randwrite
bs=4K
direct=1
numjobs=4
time_based
runtime=300
size=20G
ioengine=libaio
iodepth=128
随机80读20写
; fio-rand-RW.job for fiotest
name=fio-rand-RW
filename=/dev/nvme0n1
rw=randrw
rwmixread=80
rwmixwrite=20
bs=4K
direct=1
numjobs=4
time_based
runtime=900
size=100G
ioengine=libaio
iodepth=128
得空再试下 顺序写 看看 PM1733不是号称这代4.0的企业盘里面最拉跨的的一位吗， 你这是欺负三星…… 其实这类的评测，看B站的然天一就行。 果然这笼子是支持pcie4.0的 诛仙 发表于 2023-5-5 17:41
其实这类的评测，看B站的然天一就行。
鞋子是否合适，自己脚知道。 二手信息借鉴一下而已。 190 发表于 2023-5-5 17:46
果然这笼子是支持pcie4.0的
你应该反过来说， 笼子不分Gen4 or Gen3.
我在上边没有说的事情是，这个Intel笼子一半接在SLG3 （Gen3），另外一半2接在SLG4 （Gen4） 太专业 看的一头雾水 myway 发表于 2023-5-5 18:12
你应该反过来说， 笼子不分Gen4 or Gen3.
我在上边没有说的事情是，这个Intel笼子一半接在SLG3 （Gen3） ...
整一块p411w-32p，正好可以转8个口，你测试好了我跟着入[偷笑] 本帖最后由 myway 于 2023-5-5 21:31 编辑
190 发表于 2023-5-5 19:31
整一块p411w-32p，正好可以转8个口，你测试好了我跟着入
妈呀，，，毒药。。。然后，，，贵死了
P411W-32P 板上超大的散热片，注定是个火炉。
果不其然。。。：
it runs quite hot, its typical power draw is rated at 21 W, about twice as high as Broadcom’s current PCIe x8 Tri-Mode HBAs; it has its own Noctua NF-F12 and the reported PCIe Switch Chipset temperature during operation was around 50°C (with my first unit).
另外，我是用True NAS的，所以个硬RAID，，有点不确定是否合适
Edit：仅仅是HBA，不带RAID myway 发表于 2023-5-5 21:06
妈呀，，，毒药。。。然后，，，贵死了
P411W-32P 板上超大的散热片，注定是个火炉。
闲鱼3k5内应该能砍下来，b站那个前进的四火有测试，emmm，我问了下，弄个小风扇吹吹应该没问题。额，主要我没那么多槽了，还在slg4和p411w之间纠结。 190 发表于 2023-5-5 21:12
闲鱼3k5内应该能砍下来，b站那个前进的四火有测试，emmm，我问了下，弄个小风扇吹吹应该没问题。额，主要 ...
b站那个前进的四火有测试
麻烦发个链接看看？ 热量呢，谁温度更低一点 myway 发表于 2023-5-5 21:14
b站那个前进的四火有测试
麻烦发个链接看看？
【【血亏的Yi天】这么贵的转接卡居然会造成性能损失？——洋垃圾 博通 P411W-32P-哔哩哔哩】 https://b23.tv/q6uYGMu [偷笑]楼主fio测试后的数据怎么生成这几张图的? wxlg1117 发表于 2023-5-5 21:22
楼主fio测试后的数据怎么生成这几张图的?
fio fio-rand-write.fio --bandwidth-log --output P4800X_rand_Write_nvme4n1.log
加粗参数，输出数据，然后在excel加工。
你要玩的更花哨，可以看看这个：https://github.com/louwrentius/fio-plot
https://fio.readthedocs.io/en/latest/fio_doc.html#log-file-formats
time (msec), value, data direction, block size (bytes), offset (bytes), command priority yubeii 发表于 2023-5-5 21:14
热量呢，谁温度更低一点
呃，，，凑合看看吧，这是测试期间的温度数据
PM1733
P4800X
PM1733：待机 44，最高 57，温升 13 度
P4800X：待机 41，最高 59，温升 18 度 Gen4刚出的时候就对信号是有更高要求的，包括Gen5也是。PCI-SIG特意出篇个文章表示外围设备需要retimer芯片增强信号
Redriver/retimer/无芯片的差异
https://pcisig.com/sites/default/files/files/900x185xFigure,P203,P20-,P20Example,P20of,P20an,P20eye,P20attenuated,P20by,P20a,P20channel,P20,P28left,P29,P2C,P20the,P20eye,P20after,P20a,P20redriver,P20,P28middle,P29,P20and,P20the,P20eye,P20after,P20a,P20retimer,P20,P28right,P29.png.pagespeed.ic.dYdZJIduVQ.png
CPU到终端设备的信号的距离损失要求<28db
https://pcisig.com/sites/default/files/files/Figure,P204,P20-,P20Example,P20of,P20redriver,P20,P28top,P29,P20and,P20retimer,P20,P28bottom,P29,P20in,P20a,P20two-connector,P20topology.png.pagespeed.ce.PnqoCivAfO.png
Gen5的PCIe插槽物理结构相比Gen4/Gen3是有变化的，这个toppc谈到过，一个插座不便宜，直接增加了板厂的成本。intel这个笼子也许Gen4能过，但很大概率不能过Gen5。按照PCIe的设计思路，背板上连接硬盘的母座得像PCIe插座一样处理，搞个金属套才行，支持GEN 4/5对于笼子本身也会有讲究的。
超微的AOC-SLG4-4E4T和AOC-SLG3-4E4T除了把8611-4i x4改成8654-8i x2，最大区别是SLG4用了两颗Retimer芯片带4个盘，而SLG3只用了一颗Retimer芯片带4个盘。所以这两个HBA卡提供的Retimer信号强度还是有差距的。同样道理SLG4肯定是为Gen4设计的，但Gen5我估计是跑不到的。 T.JOHN 发表于 2023-5-5 21:58
Gen4刚出的时候就对信号是有更高要求的，包括Gen5也是。PCI-SIG特意出篇个文章表示外围设备需要retimer芯片 ...
Gen5 的盘、卡、线 三五年内是不用想走进普通玩家的。。
本帖最后由 myway 于 2023-5-6 23:09 编辑
190 发表于 2023-5-5 21:18
【【血亏的Yi天】这么贵的转接卡居然会造成性能损失？——洋垃圾 博通 P411W-32P-哔哩哔哩】 https://b23 ...
这个视频里边提及的问题，不要用最新的“P411W-32P_4_1_3_1_HBA_signed_P14.3.fw”主要原因是大概率会识别不到好些常见的NVME SSD，例如Samsung PM1733 7.68 TB、WD SN550 ，所以不少都降到前一个版本 v4.1.2.1。
https://forum.level1techs.com/t/a-neverending-story-pcie-3-0-4-0-5-0-bifurcation-adapters-switches-hbas-cables-nvme-backplanes-risers-extensions-the-good-the-bad-the-ugly/171428/193
@190
EDIT：
博通真TMD的有意思。。。
最新固件不能识别直接接在卡上的NVMe SSD的原因竟然是这样///// 限制在只能用 UMB backplane，即背板
https://forum.level1techs.com/uploads/default/original/4X/6/c/9/6c90d411d8fe6ca192925152fdbacebb30f89542.png
EDIT2 UMB backplane 在 P411W-32P user guide的解释
https://forum.level1techs.com/uploads/default/original/4X/e/e/8/ee8d3bec6d560f56a7ccd0e4f88c7f978ff0a117.png myway 发表于 2023-5-6 22:43
这个视频里边提及的问题，不要用最新的“P411W-32P_4_1_3_1_HBA_signed_P14.3.fw”主要原因是大概率会 ...
你这挖得也是够深的，我是比较关心通道数分配模式问题，跑去问了下。这个卡和intel卡的共享模式还有点不一样，是通道数x2然后除以接入盘数，固定均分的模式，当然总通道数是不变的。所以要发挥独立盘x4的前提是要么通道数够大（x16），要么盘位要少点（实际通道数/2）。另外问下slg4-4e4t这张卡热吗？通道数分配模式是共享不？ 190 发表于 2023-5-7 07:47
你这挖得也是够深的，我是比较关心通道数分配模式问题，跑去问了下。这个卡和intel卡的共享模式还有点不 ...
因为边上还有一张 P4800X AIC ，TrueNAS也不会报告SLG4的温度，，，除非晚些时候，我贴个热敏电阻传感器监测一下温度，我就暂时没有别的办法了///
另外，关于intel的卡，你说的是8口哪张吧？ 哪张卡用的是 Redrivers，而SLG系列用Retimers，这是不一样的。
我也用过哪张intel卡，如果你关注的是同时访问接在这个卡上的NVMe的并行速度，那么最好考虑SLG，因为会掉速。
至于Retimers vs. Redrivers的具体区别，我还没看完这篇：
https://www.asteralabs.com/smart-retimers/pci-express-retimers-vs-redrivers-an-eye-popping-difference/ 本帖最后由 190 于 2023-5-7 10:26 编辑
myway 发表于 2023-5-7 08:53
因为边上还有一张 P4800X AIC ，TrueNAS也不会报告SLG4的温度，，，除非晚些时候，我贴个热敏电阻传感器 ...
好复杂，机翻了都看不懂。。。
intel那张卡放nas挺好用，因为目前便宜的盘都是gen3的，然后能最大化盘位，同时又能保证每块盘单独运行时能满速，家里nas很少时候会多盘同时满载。
接下来就是考虑给主力机也弄上笼子，这要考虑gen4了，但是在最大化盘位还是最优先保障满速之间选择，最大化盘位看起来好像是p411w-32p，但是兼容性和速度有点未知；slg4看你在用，正好问问兼容性和速度方面有没有什么问题，顺便问问是否需要额外增加风扇散热？
另外再解释下我问过来的关于p411w-32p的通道数分配区别（暂时忽略转接性能衰减），以实际通道数x8的x16pcie槽，同时接入8块盘举例，①intel卡的共享模式，可以让8块盘的其中任意2块盘同时跑x4，而8盘同时跑时只能x1；②P411W-32P的拆分均分模式，先给x8通道拆分成x16，然后均分，即接入8盘后，每盘只能均分到X2，即便只有其中1块盘单独跑，其他盘休息，也只能跑到X2，同时跑只能x1；如果想要单盘跑x4，在总通道数x8的情况下只能接入4块盘，或者总通道数要保证x16，才能保证8个盘的接入。
所以我想求证的是slg4用的是哪种分配模式? 190 发表于 2023-5-7 10:12
好复杂，机翻了都看不懂。。。
intel那张卡放nas挺好用，因为目前便宜的盘都是gen3的，然后能最大化盘位 ...
我觉得，若你思考的是这个问题，且PCIe Gen4 x16 槽能空出两条，我建议你上两个 SLG4-4E4T，价格肯定比P411W-32P要少花钱。
回答你的问题前，恐怕我得先去看完那篇东西，晚点吧 myway 发表于 2023-5-7 10:47
我觉得，若你思考的是这个问题，且PCIe Gen4 x16 槽能空出两条，我建议你上两个 SLG4-4E4T，价格肯定比P4 ...
是的，并且slg4还能有保，就是能有这么多通道数的平台只有服务器或者工作站平台了。想上桌面级的话，只能退而求其次，就是以共享的方式接入多盘位，其实我也更倾向于这个方案，碍于水平不够，只能等着白嫖你的研究成果了 190 发表于 2023-5-7 10:12
好复杂，机翻了都看不懂。。。
intel那张卡放nas挺好用，因为目前便宜的盘都是gen3的，然后能最大化盘位 ...
手机回答就简短一点
首先SLG4 本来就是x16 且只能分四条线，每条x4，目前PCIe Gen3/Gen4的盘都是x4的，所以不存在每个盘不够带宽。
且SLG3/4都是带Retimer的卡，因此相比Redriver卡而言，能够重组/矫正PCIe信号（芯片级的处理，而非Redriver只是简单的信号放大），确保在四个盘并发访问时候，有正确的PCIe信号即达到每个盘的理论上限。
而任何超过x4进行处理的，就例如P411W-32P，或者连瑞（LIANRUI）同类产品，就得查具体的交换芯片的规格了，我没有了解细节，但任何超过x16 lans的都是三个锅盖五个锅，必定损失信号进而掉速，最坏的情况（我猜的）就是数据01010需要软件、ecc等校正了。 myway 发表于 2023-5-8 00:24
手机回答就简短一点
首先SLG4 本来就是x16 且只能分四条线，每条x4，目前PCIe Gen3/Gen4的盘都是x4的， ...
那就安心等明年14 15代通道数多点，x16插个拆分卡再拿4条m2转接下，齐活 好详细
马克下
以后搞U2的笼子借鉴下
页:
[1]