都是PCIe4.0和8通道主控，企业级SSD和消费级SSD实力差距如何？

wuqiong0927

一直都想做这么一个选题，但奈何囊中羞涩，实在没有预算买测试盘，刚好，前阵子把PS5数字版卖了，扩容的2T SSD保留了下来，加上手里的企业级3.84T，都是PCIe 4.0，都是8通道主控，都有完整的DRAM，都基于TLC NAND，你说巧不巧？



我承认，拿4T的企业级去比较2T的消费级，有点降维打击的意思。如果拿PM9A3 1.92TB vs 980 PRO 2TB，无疑会合适一些……为了防止得罪人，本文抹去比对双方姓名，点到为止，如果有谁认出来，也请不要说出来……

初识固态硬盘

NAND早在上世纪80年代就被发明出来了，我第一次听说固态硬盘，是2008年ThinkPad X300问世的时候，记得当时2.5英寸主流的IDE机械硬盘容量大概是320GB，X300配备的是三星64GB SLC固态硬盘。

后来参加工作，先后购买过美光M4 128GB、OCZ Vertex 3 120GB、建兴128M6M、三星840 PRO 256GB、Intel 730 480GB、闪迪Ultra II 2TB、WD SN750 512GB、三星SM961 512GB等等，这块2TB的M.2是2021年双11入手的，价格比如今一台二手PS5数字版都要贵……

↓ 手里的OCZ Vertex3 120GB，正反共16颗NAND，SandForce 2281主控，至今还能用


2.5英寸SATA大家都非常熟悉了，传承自2.5英寸机械硬盘，mSATA是为了方便超薄本安装使用衍生的形态，后来随着Intel主推Ultrabook（超极本），为进一步压缩SSD体积，又推出了NGFF产品形态，也就是大家熟知的M.2。



再后来，NVMe正式落地，拥有小尺寸，使用金手指的M.2由于外形合适，又顺理成章的扛起了NVMe的大旗。

企业级SSD这边也是类似的套路，U.2同样传承自2.5英寸硬盘，通过相同的外壳尺寸、螺丝孔位，在安装时并不需要使用专门的硬盘托架，并且SFF-8639连接器也无需对硬盘背板重新设计，实现了从SATA、SAS的平滑过渡或不同类型硬盘的混合部署。



↓ 左为2.5” U.2，右为2.5” SATA


AIC是比较传统的PCIe SSD产品形态，从NVMe诞生之前就有了，个人认为这种形态比较适合在台式机上使用，毕竟可以省去转接卡。当然，使用阵列卡、转接线等情况除外。

随着PCIe速度不断翻倍，U.2预计在PCIe 6.0时代将无法满足信号质量要求，因此EDSFF又被推出，如三星PM1743，铠侠CM7，小海豚7940，都提供了EDSFF版本。EDSFF是专门针对企业级NVMe SSD设计的形态，使用金手指代替SFF-8639连接器，借此提供更好的信号质量，让SSD可以工作在PCIe 5.0，甚至PCIe 6.0模式下。同时，EDSFF在尺寸、外形设计方面也考虑了对服务器散热的影响，也更适合密集部署。



截然不同的硬件设计

M.2和U.2的尺寸差距，通过下图对比一目了然，其中，M.2搭配了被动散热马甲。



消费级M.2 SSD常见尺寸为2280，也就是宽22mm，长80mm，可以很方便的安装到笔记本电脑、台式机主板、PS5游戏机中。2TB版本一般采用单面布局，本文测试的这个M.2 SSD配备了8通道主控，2GB的DDR4 DRAM，以及两颗高速NAND颗粒，由于PCB布局比较容易认出型号，就不展示了。

企业级U.2这边，采用15mm厚度外壳，3.84TB实际物理容量4TiB，使用8通道主控，5颗海力士DDR4构成4+1GB ECC冗余校验DRAM，配备多达16颗长江存储X2 NAND，除此之外，SSD还配置了单独的电源管理芯片和Nor Flash，后者用于存放主固件的引导程序。



毫无疑问，如果只从三大件，主控、DRAM、NAND来说，即使是相同的物理容量，企业级阵容无疑也是更加豪华的。而多出来的这些芯片能带来怎样的性能？我们往下看。

性能看似相近，但原理相差甚远

使用TLC或QLC NAND的消费级SSD通常会模拟SLC的工作方式进行写加速，也就是我们常说的“SLC缓存”，对于CrystalDiskMark这类写入量较少的测试工具，反映出的往往都是缓存加速下的峰值写性能。如大家在电商页面常见到的几十万甚至上百万IOPS的4K随机写，就是这么来的。

我手里的这块消费级2T M.2 PCIe 4.0 SSD是比较早期的型号，数据没有那么亮眼，实测CDM结果如下：



企业级SSD虽然也有缓存一说，但不管是TLC还是QLC，都不会使用模拟SLC的方式进行用户数据的写加速，数据通过PCIe抵达主控，经处理，如添加校验信息、加密、扰码等发送至IO缓冲区，再直接写入NAND当中，即数据直接落盘。企业级SSD通常会配置更多的NAND和闪存通道，就是为了增加闪存的并发操作保障性能，因此也不存在缓外掉速的情况。



单就CDM测试结果来说，这两块SSD的读性能、最大写性能都差不多，但是，由于写入原理不同，二者的写性能并不适合拿来直接对比。写入量小无所谓，但如果写入量巨大，将会是另一番景象。

完全没有可比性的“缓外”性能

我的测试思路：
1、先通过nvme命令格式化SSD
2、由于我也是第一次用FIO跑消费级SSD，先用QD512的压力进行4K随机写1个小时，观察性能变化情况和写入量
3、根据第2步的测试结果，调整后面的测试

小插曲：不知道算不算出师不利……这块消费级SSD竟然格式化失败了……


好在不影响测试，继续……

4K随机稳态预处理（掉速测试）

使用FIO，QD512对消费级SSD进行1个小时的4K随机写入，每两秒记录一次IOPS数据并生成下面的性能图表。

• 最开始，SSD有超过520K IOPS的4K随机写性能，也是这款SSD的峰值性能；
• 很快，SSD的4K随机写性能被限制在400K IOPS以内，并在55K IOPS至400K IOPS之间波动，推测可能是由于该SSD并非全盘模拟，导致大量4K随机写访问了SLC缓存之外的地址，造成性能抖动与下降；
• 大约1100秒开始，SSD的SLC缓存即将写满，此后维持峰值性能的时间较少，大部分硬件资源用在SLC缓存释放；
• 大约1800秒开始，SSD开始全力释放SLC缓存，保证后面的数据可以被顺利写入；
• 大约3000秒开始，SLC缓存彻底失效，SSD进入TLC直写阶段，IOPS从大约150K开始缓慢下降，并在125K IOPS上下维持了一段时间。
  

讲真，125K IOPS的4K随机直写性能，对于只有两颗NAND，且并不具备大OP的M.2消费级SSD来说，属实不慢了，甚至超过了个别号称企业级SSD的产品。大家在日常使用的时候，也几乎不会用到这个性能区间，所以对于“缓外速度”并不需要特别担心。

当然，如果继续延长4K随机写的时间，会引发TLC直写区域的GC介入，结果会是如下情况，IOPS最终只有大约55K，即最终稳定状态。



我们再来看看企业级这边：

同样使用FIO，QD512对企业级SSD进行12000秒的4K随机写入，每1秒记录一次IOPS数据并生成下面的性能图表。



怎么样，是不是看起来很像消费级SSD SLC缓存彻底失效后的曲线？但注意，这两个纵坐标的刻度可完全不一样，即使是最低点，企业级SSD也要高出消费级SSD平均线不少。

• 企业级SSD在格式化完毕的初始状态，由于没有任何有效的用户数据，因此不需要执行GC，此时SSD的4K随机写性能很高，最高达到了785K IOPS；
• 大约1500秒时，SSD已经以700K IOPS的速度4K随机写全盘1遍，此时SSD处于深度脏盘状态，第二遍写入开始时，GC介入，4K随机写性能开始逐渐下滑；
• 在6000秒后，SSD的4K随机写性能开始趋于稳定；
• 在大约11000秒之后，SSD的4K随机写性能彻底稳定，为200K IOPS到210K IOPS之间。
  

这块企业级SSD的官方4K随机写性能为190K IOPS，实测比官方数值略高一些。随着SSD逐渐趋于稳态，性能下降平稳，并没有性能“毛刺”产生。同时，最低也有200K IOPS的随机写性能达到同类产品中的较高水平（8通道1DWPD PCIe 4.0企业级SSD），也远远超过了消费级产品。

4K随机读，小压力消费级领先，大压力企业级领先

由于读操作不会受到SLC缓存影响，因此这款消费级SSD在4K随机读环节表现出了比较优秀的性能，最高达到776K IOPS，甚至超过了其Spec标称值。企业级这边，随着IO压力的增加，4K随机读IOPS也在逐渐增加，直至突破1100K IOPS大关。
QD1到QD64，消费级SSD性能领先；
QD64到QD256，企业级SSD性能领先，且延迟明显更低。
一个不负责任的推测：消费级SSD往往不需要面临复杂的读请求，任务单一，所以可以将尽可能多的硬件资源用于完成某一个任务的读请求，也就导致小队列深度下的高性能。而企业级则相对保守，并不会在小压力时过多投入精力。



顺序写，消费级和企业级SSD仍有明显差距

顺序性能测试环节，由于这块消费级SSD并不能通过标准的nvme命令进行格式化，使用全0填充又非常慢，索性进入Windows系统进行SSD的分区与格式化，上电静置一段时间，让SSD有足够的时间清理垃圾。

切换至Linux，使用Fio进行128K QD512顺序写全盘2遍，结果如下：

• 由于这块消费级SSD并非全盘模拟SLC，因此在短暂的维持了27秒全性能之后，SSD进入TLC直写阶段，速度约为1600MB/s；
• 在第一遍全盘写入的末期，SSD开始释放一直被占用的SLC缓存，此时会出现明显的性能波动，最低写入速度只有230MB/s，但大部分时间仍然能够以1600MB/s的速度直接写入；
• 第二遍全盘写开始，全部为TLC直写，此时性能再也没有波动发生，稳定在1600MB/s上下区间。
  

企业级这边，全盘两遍顺序写入，性能始终稳若老狗，维持在5000MB/s的水平。



最近，由于速度更快的200+层TLC NAND在消费级SSD上面被使用，我们已经能够看到个别消费级SSD的TLC直写速度达到4GB/s左右。考虑到SLC缓存还会引发4倍的写放大，对于性能要求不高的场景，个人感觉可以放弃SLC缓存这种写入模式了。

顺序读，和随机读差不多，都很优秀，直接上图不解释



跑分差异大，但实际个人应用没有差别

在测试SSD性能时，很多人会选择PCMARK、3DMARK Storage Benchmark，进行实际应用模拟的性能测试，企图说明不同SSD在相同应用下的性能差异。

然而实际结果是，跑分有高低，但在真实应用中，又几乎用不出来差别。原因也很简单，一款游戏或一款应用的启动，不光有硬盘的读取，也有CPU对于读取出来的数据的解压缩，有GPU根据这些解压缩好的数据进行渲染等等，整个读取环节占比较小，并导致最终体验差异微乎其微。

以3DMARK Storage Benchmark中的BF5读取为例，消费级SSD为1073MB/s读速，企业级SSD为584MB/s读速，但实际游戏加载时间最多不超过1秒。否则也不会有那么多头铁的SSD厂商，在测试实际游戏加载时间时，非要拉上P5800X一决高下了。




当然了，企业级和消费级SSD在性能之外，还会有很多其它方面的差异，特别是数据准确性、SSD可靠性方面的，我本人没有能力进行这些方面的测试，所以只能简单介绍一下：

数据可靠性方面：
消费级SSD：UBER＜1E-15
企业级SSD：UBER＜1E-16

UBER是不可修复比特错误率的缩写，也就是我们常说的“0E”错误，指的是SSD在调用了一系列纠错机制后，仍然无法准确恢复出来的数据错误。

NAND本身具有一定的原始比特错误率，即，存进去的数据会因为制造工艺、NAND自身原理等因素不可避免的出现一定的错误，需要通过BCH、LDPC等纠错算法加以恢复。如果恢复失败，则需要借助如Die、Plane间的Raid5或其它手段加以恢复。需要注意，此前Die、Plane间的Raid5是高端消费级SSD才会配置的技术，现如今的消费级SSD是否依然具有这个技术，不得而知（特别是那些足容的SSD）。

SSD MTBF平均故障间隔时间：
根据JEDEC行业规范，虽然没有明确指出具体数字，但能找到一些描述：

• 消费级SSD：40℃环境下，满足每天8小时使用，FFR≤3%
• 企业级SSD：55℃环境下，满足24小时不间断运行，FFR≤3%
  

虽然都是FFR（功能性失效）≤3%，但对于运行环境温度的要求，以及每天需要工作的强度要求，是完全不同的。

我们可以看到一些企业级SSD的MTBF描述，会加上55℃的说明，MTBF常见为200万小时；
消费级SSD目前大多不会说明MTBF数字，更不会给出测试环境温度。
MTBF需要大样本的长时间测试，通常主控厂商、NAND原厂会更具这个实力进行规模测试，一些使用“交钥匙”方案，也就是我们常说的“公版”方案厂商，是否会进行这个测试，就不得而知了，更有甚者使用交钥匙方案搭配黑片、白片NAND，其可靠性还是画个问号吧。

寿命方面：
这里也是消费级SSD和企业级SSD差异比较大的地方，以常见的消费级SSD写寿命为例，为每TB大约600TBW，换算过来是 0.33 DWPD，企业级SSD通常是1 DWPD或3 DWPD，也就是消费级的3倍和9倍。

最后是一些功能层面的差异，如企业级SSD通常会有持续的固件更新，会有一些诊断方面的功能，也能根据多用户的同时使用，做一些优化，如多个命名空间，命名空间之间的性能隔离等等，这些通常是消费级SSD所不具备的。至于数据加密、安全擦除，一般好一些的消费级SSD也都会有，大家不用担心。

零零散散写了这么多，就先这样吧。

至于选择，首先还是看价格，当然，我并不推荐盲目的求廉，特别是那些使用公版方案搭配白片、黑片的杂牌产品。老品牌，特别是原厂品牌，无疑用起来会更放心。

在明显价格优势下，消费级SSD通常已经足够解决我们的日常使用需求，并且M.2的外形设计也可以极大节省PC的内部空间，并避免布线等，整洁党的福音。

如果你对企业级SSD更感兴趣，特别是视频剪辑等可能一次性拷贝大量数据的工作者，选择企业级SSD也是比较不错的选择，个人比较推荐8通道主控的产品，毕竟，功耗低，对散热要求低，即使不搭配专门的散热风扇，只要机箱风道通畅，也能满足散热要求，U.2需要搭配转接卡，PCIe插槽足够的话，选择AIC也是非常不错的。

至于性能更强的16通道主控企业级SSD，还是建议搭配额外的散热风扇。

指原莉乃

没啥重要资料 便宜为王

wuqiong0927

指原莉乃 发表于 2024-1-16 17:40
没啥重要资料 便宜为王

重新下载、拷贝啥的也麻烦，经济实力允许的话，还是尽量选大厂的产品

Wolverine

感谢分享！

tmhl0cr5

感谢大佬分享

westbobo

哈哈，其实还可以再增加一个。
后台FIO进行混合读写操作情况下的3DMARK测试
那个情况能反映出比较大的性能差距

gladiator

4.0的U2温度都挺感人的吧，家用PC没服务器那种暴力扇吹SN640这个3.0不怎么热的盘都得上风扇对着吹了

wuqiong0927

westbobo 发表于 2024-1-17 09:07
哈哈，其实还可以再增加一个。
后台FIO进行混合读写操作情况下的3DMARK测试
那个情况能反映出比较大的性能 ...

这里如果FIO压力过大，3DMARK会完全没法看……

wuqiong0927

gladiator 发表于 2024-1-17 09:17
4.0的U2温度都挺感人的吧，家用PC没服务器那种暴力扇吹SN640这个3.0不怎么热的盘都得上风扇对着吹了 ...

SN640参数比较差，其它不熟悉，不能评价。。。4.0 U.2温度并不是都很感人，8通道的产品普遍都还好，特别是带散热鳍片的，散热基本没压力的

westbobo

wuqiong0927 发表于 2024-1-17 09:37
这里如果FIO压力过大，3DMARK会完全没法看……

可以试试
比如4K 70%读，30%写的情况
Q1T1
Q2T2
Q4T4
Q8T8
基本就覆盖上常规开一堆日常软件的情景了
然后看3DMARK的评测情况
模拟一下有压力环境下的家用软件游戏读取性能
我之前测的结果是普遍会有较大的掉速，但是企业级的表现会好很多很多

westbobo

gladiator 发表于 2024-1-17 09:17
4.0的U2温度都挺感人的吧，家用PC没服务器那种暴力扇吹SN640这个3.0不怎么热的盘都得上风扇对着吹了 ...

其实没那么夸张
发热和实际运行速度成完全正比
持续读写时的温度最高，待机时会低很多
日常使用上网打游戏，只是偶尔高速读写一下，大多时候都是轻微的压力，其实和待机温度区别不大的

wuqiong0927

westbobo 发表于 2024-1-17 09:46
可以试试
比如4K 70%读，30%写的情况
Q1T1

其实个人日常使用场景的话，顺序读写占比会更高一些，特别是游戏，基本是大块数据的加载，再通过CPU解压缩之类。3DMARK实际上是Q1T1顺序读，加Q8T8 4K随机，3DMARK成绩至少要下降一半以上。消费级就更不用说了，可能要直接掉到早期SATA TLC的水平

wuqiong0927

wuqiong0927 发表于 2024-1-17 09:49
其实个人日常使用场景的话，顺序读写占比会更高一些，特别是游戏，基本是大块数据的加载，再通过CPU解压 ...

补充一下，3DMARK 存储基准测试考验的是 4K 这种小的 BS 的 Q1T1 顺序读，顺序，不是随机

westbobo

wuqiong0927 发表于 2024-1-17 09:49
其实个人日常使用场景的话，顺序读写占比会更高一些，特别是游戏，基本是大块数据的加载，再通过CPU解压 ...

主要是为了模拟日常家用的场景吧
比如浏览器开着，一堆标签在缓存
然后QQ或者YY之类的挂着
音乐播放器
还开这个迅雷或者百度网盘之类的下载软件
再开个监控软件之类的
大概这种情况下，再去运行游戏和软件
我觉得比较体现真实家用

wuqiong0927

westbobo 发表于 2024-1-17 09:51
主要是为了模拟日常家用的场景吧
比如浏览器开着，一堆标签在缓存
然后QQ或者YY之类的挂着

如果是这种负载程度的话，我之前试过 AIDA64全盘顺序读 + 3DMARK，企业级16通道的产品，从3050分掉到2700分，影响很小

粉墨home

感谢分享！

westbobo

wuqiong0927 发表于 2024-1-17 09:57
如果是这种负载程度的话，我之前试过 AIDA64全盘顺序读 + 3DMARK，企业级16通道的产品，从3050分掉到2700 ...

是的，企业级的损失比较小
不过消费级很惨

wuqiong0927

westbobo 发表于 2024-1-17 10:18
是的，企业级的损失比较小
不过消费级很惨

消费级讲究单任务的完成速度，本身多任务并行处理的能力就偏弱，加上主控通道数量、CE数量都少，也不奇怪。。。

机器大猫

westbobo 发表于 2024-1-17 09:51
主要是为了模拟日常家用的场景吧
比如浏览器开着，一堆标签在缓存
然后QQ或者YY之类的挂着

加大内存可以解决多数问题，记得要在系统里把虚拟内存都关闭。

fayff

大电容代替纽扣电池？

vu1nex

牛的牛的，谢谢老哥的测试！

wuqiong0927

机器大猫 发表于 2024-1-17 10:39
加大内存可以解决多数问题，记得要在系统里把虚拟内存都关闭。

是的，其实很多缓存压根就没必要落盘，放在内存里很合适

wuqiong0927

fayff 发表于 2024-1-17 10:51
大电容代替纽扣电池？

不清楚纽扣电池瞬间放电能不能满足要求。。。

huihuige

企业级家用真的是没有使用场景~

marvinma

各位大佬，有什么便宜大碗好用的pc储存方案？8T或以上的，可靠的二手也可以。感谢~

wuqiong0927

huihuige 发表于 2024-1-17 11:10
企业级家用真的是没有使用场景~

这么说的话，PCIe SSD其实也没有场景，SATA SSD足够用，一棒子打死肯定是过于草率的。

dukeiii

涨知识

weston

感谢大佬分享，涨知识了

voodoosys

想要好还是要企业级

tzycai

文章写得好，感谢。