找回密码
 加入我们
搜索
      
查看: 94584|回复: 229

[存储] 想上U.2船的用户,你可能需要了解的一些常识

 火... [复制链接]
发表于 2023-4-21 21:08 | 显示全部楼层 |阅读模式
本帖最后由 T.JOHN 于 2023-5-23 13:33 编辑

2023年,随着NAND价格持续走低,7.68T满血大船降至普通消费者能接受的价格区间。偶尔有人会PM我在哪家店铺买或者应该如何转接,因而开个帖子以解释一些常见问题。

价格篇
NAND行业价格调研主要来自于trendforce,即便权威如华尔街日报也是引用这个调研机构的价格预测。今年价格目前仍在下跌中,至少Q2前不会回弹。
最新的一篇bulletin提到三星4月7日计划减产dram,但是dram价格今年预测会持续下降至Q4。3月17日的新闻提到尽量NAND市场价格暴跌,但WD在22Q4增加了20%出货量,可见价格下降看不到头。因此现在开始备战618是毫无问题的,而等等党非刚需甚至可以明年再看,如果想抄底?那只能抄在半山腰上。如果是刚需?那随时都可以入。

Trendforce行业新闻:https://www.trendforce.com/presscenter/news
NAND每日价格表: https://www.trendforce.com/price/flash

转接篇
做了表格简单汇总各种转接方式

就消费级主板而言,目前最佳的转接方式是M.2转8654/8612(8611),再用线连U.2 SSD,主要原因如下:
1. PCIe兼容问题肯定比M.2口会多些,比如接CPU直出的PCIex16的通道,如果不装GPU,容易卡自检,因为一般消费级主板默认是GPU
2. U.2盘普遍功耗高,典型功耗12w~25w,相当于一颗笔记本的CPU,没有主动散热很难保证其稳定性。家用没有8038这种5000rpm暴力扇,不宜装在PCIe位置和GPU这个最大热源放一起
3. M.2本就是用于存储,PCIe还可以用于其他设备,没必要额外占用PCIe槽
至于转接卡/线电气性能导致信号不佳,可能降速问题则不必担忧,PC用户没有服务器的背板不存在二次转接,跑个4.0不是问题。而5.0的U.2盘都有了,也是一样的接口和线材。
4. 最后也是最重要的,使用PCIe供电有概率烧盘,烧卡,烧主板,使用电源sata供电无此风险。参考本坛 《佳翼的转接卡让我一次BOOM了三块SSD》


接口篇
对于转接而言,8643/8654/8611其实都是一样的,并无太大区别。只是8643(mini-SAS HD)已经淘汰了,作为legacy接口转接PCIe,它的针脚定义也不是标准化的,厂商会自定义可能导致不兼容。
8611主要应用在各类服务器主板和超微自家的retimer卡上,8654则是传统HBA卡LSI(现被博通收购)从9500系列开始推行,这两种新的接口主要是方便硬盘背板的布线。
而硬盘背板不得不提到U.3接口,即SFF-TA1001,目前这种接口只存在于少数服务器背板上,和个人用户都没关系,企业推出的U.3的盘也兼容U.2。
Present PCI Express legacy internal implementations using SFF-8643/73 connectors are vendor specific (Not standardized) and do not align with legacy SAS/SATA implementations. Some are 85Ω; some have a white ring on fixed ends. As a result, PCIe cables utilizing SFF-8643/73 connectors can currently be plugged intolegacy SAS/SATA implementations resulting in signal incompatibilities.



8654/8611的高度比8643要低,在接线时可以降低和超长的显卡干涉概率。参考尺寸:8643高度14.17mm,m.2座子2.5mm,显卡尾部高度16mm。图为8654

经过两三年的发展,现在8654和8611价格已经和8643差不多了,没必要省这10块钱。他们的价格差异主要取决于座子的成本,当产量到达一定程度,模具费归0,即可忽略不计。

8654(slimline SAS)和8611(ocu-link)主要参数比较如下图

8611其实更“高级”一点,因为它的针脚定义带供电,但实际上没人用,Reserved。这两种接口都有4i/8i两种宽度接4x/8x的设备,或者一个/两个U.2盘。8611功能上和8654没啥区别。大体的性能参数都一致,区别在于寿命8654标了10年,比8611 5年更长。另外由于锁扣是单独设计的,不集成在座子上,锁紧力为50N,比8611的30N更大。再加上8654价格比8611便宜,因此我建议用8654。参考价格(包邮):m.2转8654转接板30元,8654转8639+15pin线55元。

产品篇

由于上文已经提到,NAND产品价格持续下跌,本表价格只是参考。目前有全新货品的也就这三款,有3-5年的店保或者官保,其他的二手品比如大普微就不列了。
从绝对性能来说,CD6最优,PCIe4.0毕竟吞吐量翻倍了。
从性价比上来说,PE6011最优,价格低于SN640,并且性能略强。
从可靠性上来说,BiCS4更优,广泛应用于各类消费级产品。
从售后角度来说,某WD总代的SN640最优,5年保也就贵个几十块钱。

综合来说,以目前价格,我个人觉得SN640较好,个人用户买to B产品,有个总代能兜底还是比较靠谱的,另外WD的dashboard还能更新SN640固件也是加分项,而多出来那么多IOPS你真的用不到。就好像很多人用optane装windows,然后说我没觉得和原来三星970evo有啥差别。因为windows开机时不会用到200MB+的4k Q1T1性能,20MB的4k Q1T1差不多就是windows启动所需的上限了,自然就没差别。

那如何用到那么高的IOPS呢?就是放在服务器上,一个盘同时被N个用户使用,即划分虚拟机出租,10几年前叫VPS,现在叫云计算。比如A用户正在运行爬虫,B用户正在玩PT,C用户正在运行语言模型。不同虚拟机上,有读有写,文件块大小和队列深度各不相同。企业盘如果像消费级盘玩SLC缓存和缓外那种策略,碰到垃圾回收,直接速度暴降至比sata都不如,那客户肯定抱怨,所以性能要保持一致性,PC用户用不到那些持续性的性能是完全正常的。由于使用场景不同,消费级的3秒真男人策略不具备可比性,普通消费者往往只需要3秒的性能,因为3秒就完事了,并不在乎有多持久。对于大多数消费者而言最重要的还是容量,就傲腾那种容量?同价格,7.68T vs 380G,优势在我(NAND)。

散热篇
以CD6和KC3000举例,两者均为同类产品种发热的佼佼者
Model Number:                       KCD61LUL7T68
Firmware Version:                   8002

Warning  Comp. Temp. Threshold:     73 Celsius
Critical Comp. Temp. Threshold:     82 Celsius

Supported Power States
St Op     Max   Active     Idle   RL RT WL WT  Ent_Lat  Ex_Lat
0 +    27.50W   25.00W       -    0  0  0  0   500000  500000
1 +    19.80W   18.00W       -    0  0  1  1   500000  500000
2 +    15.40W   14.00W       -    1  1  2  2   500000  500000
3 +    15.40W   14.00W       -    1  1  2  2   500000  500000
4 +    15.40W   14.00W       -    1  1  2  2   500000  500000
5 +    15.40W   14.00W       -    1  1  2  2   500000  500000
6 -     5.00W               -        -    6  6  6  6   500000  500000


CD6的PS3,即低功耗模式为14w,是KC3000 4TB满载写入PS0的1.4倍,PS0则是最高27.5w=intel 1165G7。
群联E18是8通道主控,每通道最高支持1600mt/s,已经可以算是企业级了,所以他相比一般的4通道主控更热。而CD6-R是16通道,CM6-V是18通道,16通道是真正数据中心级标配,包括不仅限于三星,镁光,intel。
题外话:最近比较火热的联芸1602是4通道主控,并不带dram,每通道最高支持2400mt/s,配合唯一标称2400mt/s的YMTC的232L tlc。抛开稳定性不谈,此方案是目前消费级最为先进的低功耗+高性能方案,且全套国产。

CD6实测温度:
坏境:室温22度
位置:P280的硬盘位,避免热源干扰
散热:6mm铜片+0.5mm导热垫+6010风扇,价格69.5元(含邮费)




目前所有的datacenter级U.2 SSD的主控都在背面,intel/镁光/大普微/小海豚在背面都做了开槽处理增加散热面积。我的9200max在有风道的服务器4U机箱中待机是45度(主动散热但无散热片)。
PE6011/SN640/CD6背面都是平的,前两者是低功耗盘,CD6也可以做成7mm薄盘,只是为了装在服务器背板上加高成15mm保留风道。PC用户可以无视这个开孔的风道空间,因为你不装在服务器机箱中用,想要改善散热仅在背面贴散热片和导热垫即可,正面无需处理。

总结:
CD6用被动散热是不行的,楼下有回帖使用WD猛禽的硬盘架增大散热片体积可行(我没实测,但有不少回帖证实)
如果散热片够大,则散热效果对风扇转速不敏感,相差1000rpm散热效果接近
由于风扇功率很小,差1000rpm噪音其实区别也不大。如果你是顺风耳,可以用fan control进行DC调速

推论:
考虑到兼容性,理论上3mm散热片+风扇即可满足散热要求,全速使用不触发温度墙,73度警告,82度临界。

性能篇
我其实没啥兴趣测性能,因为storagereview,anandtech都有。只是CHH有人发帖问windows下 CD6只有2G不到,盘有没有问题?需要直连CPU吗,连芯片组会不会影响性能?就这两个问题简单测下就知道其实硬件上都不存在问题

测试环境:
CPU:12400@5G
MEM: 8Gx4@3375mhz cl15
MB: B660M PG
OS: win11 22h2 22621.1555 + NFTS w/ hyper-v | debian11.5 bullseye kernel 6.1 + RAW
Firmware:8002
连接方式:使用接芯片组的M.2转8654,再用8654转8639线连接CD6

以下为CD6的标称性能和测试。



linux下使用裸盘测试,即没有格式化和文件系统,之后转到windows下格式化为ntfs测试。win11我开启了内核隔离,也就是hyper-v,会降低一切性能,包括i/o和延时。

1.非直连性能限制?
B660M芯片组对性能基本没有限制,吞吐量和延时和标称无异。唯一不达标的就是读取IOPS,4KB QD256上不了600k,也许z790能更强,只是你确定你能用到1000k的IOPS么?
2. win11写入限制?
win11确实有2G左右的写入限制,即便在linux下使用NTFS写入,10倍延时情况下也能有3G写入。这个问题只能等巨硬自己修或者换win10。
3. win11性能衰减?
win11下Q1T1性能不差,最大读取吞吐量也没问题,所以你日常不会使用出和win10的差距。
延时相比裸盘都有显著增加,理论上对打游戏有debuff,可能会被1帧吊打,这和我开启内核隔离也有关系。
至于4K QD256/32 随机读/写的IOPS只有理论性能一半不到,这个对PC用户虽然影响不大。可能是NFTS文件系统的原因,和裸盘有差距正常,倒不是win11的锅,因为win10也一样。

注:这个峰值IOPS不同产品测试方法不同,我是根据CD6产品页面来测的,由于没写线程数量,因此测的是单线程下4K QD256随读和4K QD32随写。作为比对,SN750产品页面测试方法是8线程QD32。Kioxia EXCERIA PRO标的是16线程QD32。CDM v8默认是16线程,所以大多数人测的都是16。这里和CPU一样,单线程强自然比多线程强来得更有用。

目前市售8002固件性能接近于CM6-V,而非CD6-R,性能释放完美,写入IOPS甚至高于CM6-V标称,但功耗无论待机还是满载都非常爆炸,ENJOY~

评分

参与人数 19邪恶指数 +215 收起 理由
搞基薛定谔 + 5 666
dexterchen + 5
wangqida + 5 支持一下
kwan8888 + 10
hemartin + 5
楚门的世界 + 10
okko123 + 5
猪圈 + 10
silverse + 10
错庞末班车 + 5 支持一下
xunleihyz + 5
两只大狗 + 10 感谢LZ,解决了U.2的困惑
ximen15555 + 10 就是NB
朝廷钦犯 + 20
狐妹是我的 + 60
skanlife + 20
xzzfft + 10 就是NB
hawie + 5
summerq + 5

查看全部评分

 楼主| 发表于 2023-4-21 21:59 | 显示全部楼层
ts02147823 发表于 2023-4-21 21:09
CD6现在可以自己更新固件了吗

不能,在linux下使用LVFS也无效,只有HPE的可以
 楼主| 发表于 2023-4-21 22:05 | 显示全部楼层
巴特沃斯 发表于 2023-4-21 21:29
世纪嘉华和联瑞的PLX上行3,0卡其实挺便宜的,699分8个口差不多就是150块的连接成本.

一般人很少有PLX拆分需求,U.2一般装一个就够了。

9500Tri mode是PCIe 4.0的,并且用8654-8i接口,是全双工的。

我有9400-8i是3.0的,接口是8643x2。Tri mode卡最大作用是接特定服务器背板可以扩展出很多设备,如果只接8639纯属浪费了。
 楼主| 发表于 2023-4-21 22:15 | 显示全部楼层
无奈的精灵 发表于 2023-4-21 21:50
https://www.chiphell.com/forum.php?mod=redirect&goto=findpost&ptid=2497804&pid=52118428
用上这个西数 ...

这架子是不错,不过两个导热贴的位置看上去是给WD产品特别优化的,对着它主控?如果其他产品用还是得垫片高于定位孔高度的导热垫。

CD6 28度真的太低了,超出我对产品理解,这和环境温度低也有关。当然这个铁块看上去确实够大,也许能够做到被动散热?或者借助机箱风道的轻微气流散热
 楼主| 发表于 2023-4-21 22:31 | 显示全部楼层
zhgna 发表于 2023-4-21 22:18
请问楼主,我刚买了块凯侠cd6,直接接在超微主板的u2接口,因主板不能正确识别cd6的温度,显示是-127多度, ...


在linux下,用ipmi命令直接强制控制风扇转速的,达到定速的效果。以x10dri为例子,主板有两个PWM控制区域(0x00和0x10),分别是Fan 1-6和Fan A-C,我把CPU风扇接到Fan A和Fan B上
ipmitool -H 192.168.1.4 -U admin -P password raw 0x30 0x45 0x01 0x01 (设置风扇为全速模式)
ipmitool -H 192.168.1.4 -U admin -P password raw 0x30 0x70 0x66 0x01 0x00 0x48 (Fan 1-6,这个最大值是0xFF,16进制,下面也一样你可以自行调整)
ipmitool -H 192.168.1.4 -U admin -P password raw 0x30 0x70 0x66 0x01 0x01 0x10

192.168.1.4是你的ipmi界面的ip,admin和password是你登录用户名和密码
 楼主| 发表于 2023-4-21 22:43 | 显示全部楼层
无奈的精灵 发表于 2023-4-21 22:19
我是整面铺满莱9W,两块凸起来的位置用薄一点的。当时气温还比较低,这个是刚开机不久的温度,不过还是明 ...

如果刚开机还正常,我开机的时候好像37度,比你这个高9。另外你有测试过全速写个200~300G后的温度么?如果夏天能够控制在73以内,这个被动散热方案确实不错。楼里也有其他几位都对这架子给了积极评价
 楼主| 发表于 2023-4-21 22:47 | 显示全部楼层
fshx 发表于 2023-4-21 22:37
我就想知道,M2转U2转接线如何?以前有人说用了它关不了机(PM983的U2盘)。 ...

你只要不用vendor自定义的线,用标准的8654/8611转,一般不会有任何问题,除非主板不认你,这个主贴SFF规范解释过了
 楼主| 发表于 2023-4-21 23:02 | 显示全部楼层
zinghu 发表于 2023-4-21 22:52
给你参考一下
PM9A3就这么回事,买回来,如果带减震垫要撕了,还有切个口的话线好装点。
但突出铝块那里 ...


贴散热片降10度在预期之内,CD6也一样,从60变50。PM9A3盘体标12v 1.7A,而CD6表12v 2.6A,PS3直接14w,所以我测下来CD6难以被动散热。其他像4510,PM9A3,SN640,PE6011我觉得被动散热都还是合理的。
 楼主| 发表于 2023-4-22 09:07 | 显示全部楼层
亓亓 发表于 2023-4-22 08:52
好贴,发现个小疏误
转接篇,转接输入,M.2转接,8645,望订正

感谢指出,已订正。并修改措辞,输入变为输出,以免产生歧义。
 楼主| 发表于 2023-4-22 09:25 | 显示全部楼层
fshx 发表于 2023-4-22 09:19
你好楼主,查了下资料,如果是M.2转U.2是这样转么?

是的,你图上的是8611接口,一般比8654贵点。供电口是15pin,也就是常说的sata供电。M.2上的座子一般有两种朝向,你可以根据自己走线情况选择。
 楼主| 发表于 2023-4-22 14:09 | 显示全部楼层
ximen15555 发表于 2023-4-22 13:56
那些Z370 X370那种原生U2是用什么数据线,不需要转接了吧

线还是要的,只是省个转接卡,用8643转8639的线。
 楼主| 发表于 2023-4-23 15:30 | 显示全部楼层
LogLL 发表于 2023-4-22 15:08
好贴
但是U2转M2是不是有兼容性问题呢?
唯一一次买U2就是转m2后不识别。。。

一般不会有什么兼容问题,比如我接的是华擎的低端主板,但不排除少数不兼容,所以我加了主板QVL这个缺点。微星对U.2盘支持向来不太理想,你不是第一个,以前也有其他人发过贴抱怨过。
 楼主| 发表于 2023-4-23 15:32 | 显示全部楼层
Zyn0114 发表于 2023-4-22 23:08
这是我看到的头一个关注到M.2转8643高度干涉显卡的帖子。。。确实有点坑的,我机箱里就有这个情况,只能把 ...

是的,你说的这个是8611优点,类似type-c,所以它座子成本高点。但不代表8654有那么脆,作为类比就是苹果lightning口,这还是天天插拔的,也没见什么人把这上面暴露的金手指给搞坏,或者搞坏概率很低。一般来说,8645和8611这两个哪个便宜买哪个就行了
 楼主| 发表于 2023-4-23 15:35 | 显示全部楼层
samjill 发表于 2023-4-23 11:37
咨询下楼主和其他用过的网友
我的机箱是乔思伯D30,主板是msi的b660 matx
显卡是七彩虹的3070ti

不用8643就不会干涉,8611和8654都很矮,不管哪种盘都建议放在能蹭点风道的位置
 楼主| 发表于 2023-4-23 15:39 | 显示全部楼层
yutian12345 发表于 2023-4-23 12:34
有没有合适的背板和机箱推荐?
想搞个尽量小点的u.2 nas


你要背板的话一般都建议用搞个正规的服务器(dell hp lenovo)机箱自带的NVME背板,它们都做过QVL。

如果已经有机箱,需要硬盘笼的话,可以用参考:https://www.chiphell.com/thread-2497804-1-1.html  这位楼主的型号是a2u8x25s3phs,是Intel出品,能放光驱位置,背板接口是8611 。不过我估计这东西比个全新机箱还贵
 楼主| 发表于 2023-4-23 18:22 | 显示全部楼层
conanhfl 发表于 2023-4-23 17:37
A2U8X25S3PHS 这个你知道能跑4.0吗?
U.2盘开始多了挂在机箱不太行想试试看p411w-32p + 这个笼子 ...

跑不了,参考J叔测评 https://www.chiphell.com/forum.p ... ertype=1&page=1

原话:
果不其然, 这块背板复杂的布线和电路对电气性能要求很高, 最后无论怎么调整Gen 4 SSD都只能运行在PCIe 1.0 x4(你没眼花, 不是PCIe 4.0 x1)
 楼主| 发表于 2023-4-23 18:28 | 显示全部楼层
yutian12345 发表于 2023-4-23 17:39
没啥人定制小体积迹象。带光驱位的感觉都挺大的

背板没那么好做的,那些个寨厂连sata/sas背板都还没做明白,更别提NVME了。
8盘NVME相当于32条PCIe lan下行,上行如果接LSI 9500这种卡还有支持上下行拆分。如果做成U.3,兼容SAS/Sata布线更加复杂,保证信号强度还要能不衰减。还要保证考虑电源输入,8盘25w可是200w的功耗。还得考虑散热layout。这就是块小主板了,不是转接卡拉几条线那么简单的。
如果你要体积小楼上有人提到icy dock的硬盘笼比较小,仅占一个光驱位
 楼主| 发表于 2023-4-23 18:29 | 显示全部楼层
meno 发表于 2023-4-23 17:40
理论上原材料不涨,只要国产介入,利润能做到低的可怕,肯定涨不起来了。 ...

原材料的价格也在一直下降,参考trendforce的统计
 楼主| 发表于 2023-4-23 20:32 | 显示全部楼层
yutian12345 发表于 2023-4-23 20:28
这个可以几块盘?四块感觉很热吧

它家有各类产品,1/2/4都有,热是必然的,所以有风扇
 楼主| 发表于 2023-4-24 14:43 | 显示全部楼层
fshx 发表于 2023-4-24 14:15
PE6011到手了,楼主写错了,最大功耗不是14W,是24W
这里读10,写14,实际是10+14=24 ,功耗 ...

ssd写功耗>读功耗,hynix只是把读写分开标了而已。计算功耗不会把读写加一起的,因为主控实现10w读和14w写的时候已经满负荷了。所以对于PE6011是up to 14w,参考storage review的表格 https://www.storagereview.com/re ... terprise-ssd-review

你用功耗仪太粗放了,因为加盘了以后cpu uncore/芯片组的功耗也提升了,电源低功耗下的转换损失也要考虑。想要测量至少也要从转接线的sata口剥线,引12v 正负极去测量才能准
 楼主| 发表于 2023-4-24 15:12 | 显示全部楼层
fshx 发表于 2023-4-24 15:04
问题NVME是全双工的,是可以并发读写的啊,总不能写的时候读就不消耗功耗吧?

速度倒是没话说,实测拖文 ...

和PCIe全双工没关系,SSD主控就是一个ARM构架的CPU,它的操作数是有限制的。比如CD6标称最大读取IOPS 1400k,最大写入IOPS是350k,七读三写的IOPS是750k,而不是把读写加起来变成1750k。如果像你想象的功耗叠加,那SSD需要两个主控,两套电路。
 楼主| 发表于 2023-4-25 13:28 | 显示全部楼层
iscity 发表于 2023-4-25 11:48
缺点  消费级主板QVL

这里的QVL代表什么意思呢?

QVL就是Qualified Vendor List,对于主板来说就是确认过支持的硬件,除了内存,还有也有SSD。如果是老旧的z77/87主板,芯片组缺乏对nvme支持,容易插上去不认盘,同时期的服务器主板芯片组x78/x99没这问题
 楼主| 发表于 2023-4-25 13:29 | 显示全部楼层
zxy2001 发表于 2023-4-25 13:20
如果是CD6,做好防尘,不然3个月后,电容会长毛,容易BOOM

不放在服务器里用不到风道可以用胶带直接把孔贴上,灰尘无孔可入
 楼主| 发表于 2023-4-25 14:51 | 显示全部楼层
fanchenwen 发表于 2023-4-25 14:26
看起来是8654更好一些,请问m.2转8654的卡厚度是多少,支持主板背面的m.2接口转出吗? ...

公头厚度最大9毫米,只要是m.2都能转,不看位置,兼容性取决于芯片组
 楼主| 发表于 2023-4-25 15:26 | 显示全部楼层
fanchenwen 发表于 2023-4-25 15:16
是不是8612接口厚度要比8654低一些?那样应该是8612更适合主板背面。

8611公头最大7.5毫米,如果你就差这1.5mm,8611更适合你
 楼主| 发表于 2023-4-25 16:34 | 显示全部楼层
俊华V网络 发表于 2023-4-25 16:11
是不是买WD哪款就直接  南京F高就行?

淘宝上有两家WD代理,搜SN640就有
 楼主| 发表于 2023-4-25 16:45 | 显示全部楼层
190 发表于 2023-4-25 16:39
有两家吗,我只知道梵多是,另外一家是哪家?

北京的固态硬盘超级店
 楼主| 发表于 2023-4-25 20:00 | 显示全部楼层
czgzxc 发表于 2023-4-25 18:32
一般来说6mm/6.5mm?

淘宝有卖5/8/10/15/20各种规格的,铜柱高度往往这个不是问题
 楼主| 发表于 2023-4-25 20:01 | 显示全部楼层
958813826 发表于 2023-4-25 19:58
劳烦问问SN640只能用转接卡 不能用m.2转接线吗?

卡和线都行,主楼已经解释过了
 楼主| 发表于 2023-4-25 22:19 来自手机 | 显示全部楼层
fanchenwen 发表于 2023-4-25 22:15
铜柱高度是问题的,铜柱高度变了,机箱IO口也得跟着变,需要自己魔改。

所言极是,我脑残了,没考虑到io接口
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2025-5-21 15:16 , Processed in 0.016835 second(s), 6 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表