难道是洋垃圾E5的缺陷？

九天御风

由于个人需要买了个二手浪潮服务器，配的是2680v4*2和64G内存，主板自带3008直通卡接的硬盘笼。直接装的win10系统，使用中发现硬盘插到4个以上就跑不满读取速度了。实际例子就是8T的西数硬盘HC320，插4个的时候全部一起读取文件每个硬盘的读取速度在240-250M/S。但是插上5个或者6个的时候一起读取的话每个硬盘速度只有150M/S那里了。
一开始我以为是内存插的不够，就把内存换了8跟8G的插上，这样每个CPU都有4通道了，但是结果还是一样。我不知道这个算不算是CPU的问题，有大神知道的话希望能帮我解惑，不胜感激。

mkkkno1

12Gb/s是单端口的极限，4块盘同时用带宽基本就满了。

alieshex

这情况。。。我猜。你看一下手册3008是不是走南桥芯片组了，还有芯片组上传带宽是不是pcie3.0x1

ghwwx

alieshex 发表于 2024-3-18 09:05
这情况。。。我猜。你看一下手册3008是不是走南桥芯片组了，还有芯片组上传带宽是不是pcie3.0x1 ...

SAS现在的极限就是12G/s

九天御风

不应该啊，难道浪潮的服务器自带的12个位置的硬盘笼只能插4个硬盘满速？不会有这么脑残的设计吧 买的是浪潮英信服务器 SA5212M4

马化有点腾

看一下PCIE接口的带宽，感觉像是接触不良，协商到3.0x2了

happysun110

这明显是某个地方的带宽到极限了。

九天御风

我看了一下3008直通卡的介绍是12GB/S啊，插满12个SSD都绰绰有余了

feelmydick

mkkkno1 发表于 2024-3-18 09:04
12Gb/s是单端口的极限，4块盘同时用带宽基本就满了。

12G阵列卡指的是支持12G SAS硬盘，3008/3108基本上都是pcie3.0*8，跑满24块机械都没问题


楼主可以切换到IT模式试试？不应该这么慢

mkkkno1

九天御风 发表于 2024-3-18 09:18
我看了一下3008直通卡的介绍是12GB/S啊，插满12个SSD都绰绰有余了

背板和3008的一个端口连接的吧，单端口带宽只有这么多，12Gb/s这是理论带宽。注意大小写的区别。

lzyIBM

九天御风 发表于 2024-3-18 09:18
我看了一下3008直通卡的介绍是12GB/S啊，插满12个SSD都绰绰有余了

这要除以8吧。。。

九天御风

马化有点腾 发表于 2024-3-18 09:17
看一下PCIE接口的带宽，感觉像是接触不良，协商到3.0x2了

这个是主板集成的，不是插上去的。就两个接口用两条线连的硬盘笼

rx_78gp02a

12Gb/s是单通道速率，一个8643口有4个独立通道，两个8643口一共有8个独立通道，总8*12Gb/s=82Gbps。瓶颈在PCIE 8Gb/s*8=64Gbps。除非背板使用了Expander卡，存在单通道12Gb/s一转多的情况，否则直连背板不存在公用带宽瓶颈。建议查PCIE连接速率，查背板类型。

mkkkno1

feelmydick 发表于 2024-3-18 09:22
12G阵列卡指的是支持12G SAS硬盘，3008/3108基本上都是pcie3.0*8，跑满24块机械都没问题

也是哈，忘记不是单端口连接到背板的，一根线4个端口，但是他那个情况怎么看都像是单端口的速率。

九天御风

九天御风

就是左下那两个黑色的接头，我也不知道叫什么。我是怀疑是不是CPU的问题

alieshex

ghwwx 发表于 2024-3-18 09:10
SAS现在的极限就是12G/s

lz描述的不像12Gb的限速，更像pcie3x1的1GB限速

wxlg1117

rx_78gp02a 发表于 2024-3-18 09:24
12Gb/s是单通道速率，一个8643口有4个独立通道，两个8643口一共有8个独立通道，总8*12Gb/s=82Gbps。瓶颈在P ...

楼主这12盘位，背板肯定是带expander的，虽然还有一种情况就是2个8643有可能有一个是级联口，但一个8643也不会出现5盘就降速的情况吧。

hitmanzmj

难道不是内圈外圈速度不一样么，这机械盘速度就是90-260吧

九天御风

内外圈速度我知道，但是测试的时候是读同一个文件的，全盘格式化之后最先先入的文件应该是最快的吧

Mufasa

浪潮笼子自带的背板问题。

alieshex

先试试插两条线再说。行的话就是端口限速，不行的话就是我的猜想，3008走了芯片组南桥通道，同时你的芯片组比较低级intel只留了pcie3.0x1的上传带宽（intel偷工减料，到了e5v5的时候芯片组南桥还是这样，有x4，x1两种规格）
验证也比较简单，intel应该没有非芯片组的usb，usb上再挂个硬盘测速，都走芯片组的话总带宽应该还是3.0x1的水平。。。。突然想起来有些有直连转换芯片的，这方法还是得翻出主板pcie设计图

九天御风

alieshex 发表于 2024-3-18 11:20
先试试插两条线再说。行的话就是端口限速，不行的话就是我的猜想，3008走了芯片组南桥通道，同时你的芯片组 ...

一直插的两条线，至于你说的南桥通道问题我觉得不可能啊，主板自己集成的3008然后又卡自己脖子？设计师脑子呢

alieshex

九天御风 发表于 2024-3-18 11:27
一直插的两条线，至于你说的南桥通道问题我觉得不可能啊，主板自己集成的3008然后又卡自己脖子？设计师脑 ...

为啥不可能。多老的主板了，pcie通道还是比较宝贵的，都留给插槽了。去看看主板手册，说不定就是这么设计的。
另外这只是我的猜想（之前回复的时候说了，这更像3.0x1的限速。结合我之前看到的芯片组上传带宽x1规格，给出猜想），你可以按前一条验证方法试试，或者翻出主板手册pcie通道设计打脸

alieshex

我回来了。更正2点，c612没有额外的pcie上传带宽，这设计是下一代加进去的。互联的是dmi 2.0，带宽2G，intel传统双u砍半用来互联，到芯片组还是1G（基本=pcie3x1，太巧了。。。）大体思路没错，走南桥带宽卡住，但具体细节错了。（如果是我这思路的话）

lz，要不要拆一个u，恢复dmi 2G的cpu到芯片组能力来验证一下

九天御风

alieshex 发表于 2024-3-18 13:59
我回来了。更正2点，c612没有额外的pcie上传带宽，这设计是下一代加进去的。互联的是dmi 2.0，带宽2G，inte ...

啊。。。。。那我这种情况是不是得买一个PCIE的直通卡插上？

xivisi

alieshex 发表于 2024-3-18 13:59
我回来了。更正2点，c612没有额外的pcie上传带宽，这设计是下一代加进去的。互联的是dmi 2.0，带宽2G，inte ...

我最近差不多也想入这个浪潮服务器平台。结果发现确实有你说的这种情况。CPU（单个）总共40条PCIE，32条做了两个X16，还有一个X8，没有连接C612的PCIE总线。确实是通过DMI总线

至于楼主的主板是什么情况，我就不知道了

alieshex

九天御风 发表于 2024-3-18 14:21
啊。。。。。那我这种情况是不是得买一个PCIE的直通卡插上？

追求硬盘速度吗，一般1G也够用的。pcie直通槽上应该是能满速的。
另外，这只是我的猜测（虽然我比较肯定，但也不一定是）

alieshex

xivisi 发表于 2024-3-18 14:30
我最近差不多也想入这个浪潮服务器平台。结果发现确实有你说的这种情况。CPU（单个）总共40条PCIE，32条 ...

dmi总线我一时忘了名字（同时也有点和epyc弄混了）。pcie上传通道是下一代加进去的，专门用来传存储数据的额外通道。（时间久了记忆有点错乱）
你这图带宽都是x2的，算了双向的吧
嘛，pcie宝贵，intel死抠，只有epyc超级大方

xivisi

alieshex 发表于 2024-3-18 14:48
dmi总线我一时忘了名字（同时也有点和epyc弄混了）。pcie上传通道是下一代加进去的，专门用来传存储数据 ...

这个就是X99平台的DMI主板接口，描述是4GB/s，应该是等效于PCIE3.0X4