告别单盘组建TrueNAS SCALE终极家用OpenZFS File Server, VM & More

hanyou7

更新
分别测试了
nvme为P4610

总结 zfs下 nvme也只能当高性能hdd使用
metadata存在的情况下hddpool有提升
还是加内存最实在
就先暂时这么用了 感谢J叔

下面是测试结果
nvme 四盘 raid10 async=enable

1. ------------------------------------------------------------------------------
   
2. CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
   
3.                                   Crystal Dew World: https://crystalmark.info/
   
4. ------------------------------------------------------------------------------
   
5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
   
6. * KB = 1000 bytes, KiB = 1024 bytes
   
7. 
   
8. [Read]
   
9.   SEQ    1MiB (Q=  8, T= 1):  1686.849 MB/s [   1608.7 IOPS] <  4968.19 us>
   
10.   SEQ  128KiB (Q=  8, T= 8):  3018.896 MB/s [  23032.3 IOPS] <  2776.73 us>
    
11.   RND    4KiB (Q= 32, T=16):    88.801 MB/s [  21679.9 IOPS] < 23531.17 us>
    
12.   RND    4KiB (Q=  1, T= 1):    41.255 MB/s [  10072.0 IOPS] <    99.16 us>
    
13. 
    
14. [Write]
    
15.   SEQ    1MiB (Q=  8, T= 1):  1990.050 MB/s [   1897.9 IOPS] <  4203.53 us>
    
16.   SEQ  128KiB (Q=  8, T= 8):  1922.005 MB/s [  14663.7 IOPS] <  4358.53 us>
    
17.   RND    4KiB (Q= 32, T=16):   186.869 MB/s [  45622.3 IOPS] < 11179.27 us>
    
18.   RND    4KiB (Q=  1, T= 1):    33.005 MB/s [   8057.9 IOPS] <   123.96 us>
    
19. 
    
20. Profile: Default
    
21.    Test: 1 GiB (x5) [Z: 0% (0/5824GiB)]
    
22.    Mode: [Admin]
    
23.    Time: Measure 5 sec / Interval 5 sec
    
24.    Date: 2022/05/13 15:03:10
    
25.      OS: Windows Server 2019 Datacenter (Full installation) [10.0 Build 20348] (x64)
    
26. Comment: raid10
    

复制代码

nvme 单盘 raid0 async=enable

1. ------------------------------------------------------------------------------
   
2. CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
   
3.                                   Crystal Dew World: https://crystalmark.info/
   
4. ------------------------------------------------------------------------------
   
5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
   
6. * KB = 1000 bytes, KiB = 1024 bytes
   
7. 
   
8. [Read]
   
9.   SEQ    1MiB (Q=  8, T= 1):  1694.023 MB/s [   1615.5 IOPS] <  4695.85 us>
   
10.   SEQ  128KiB (Q=  8, T= 8):  3052.036 MB/s [  23285.2 IOPS] <  2746.63 us>
    
11.   RND    4KiB (Q= 32, T=16):    83.695 MB/s [  20433.3 IOPS] < 24969.69 us>
    
12.   RND    4KiB (Q=  1, T= 1):    41.492 MB/s [  10129.9 IOPS] <    98.59 us>
    
13. 
    
14. [Write]
    
15.   SEQ    1MiB (Q=  8, T= 1):  2166.966 MB/s [   2066.6 IOPS] <  3861.83 us>
    
16.   SEQ  128KiB (Q=  8, T= 8):  1957.021 MB/s [  14930.9 IOPS] <  4280.45 us>
    
17.   RND    4KiB (Q= 32, T=16):   200.099 MB/s [  48852.3 IOPS] < 10451.03 us>
    
18.   RND    4KiB (Q=  1, T= 1):    33.939 MB/s [   8285.9 IOPS] <   120.55 us>
    
19. 
    
20. Profile: Default
    
21.    Test: 1 GiB (x5) [Z: 0% (0/2883GiB)]
    
22.    Mode: [Admin]
    
23.    Time: Measure 5 sec / Interval 5 sec
    
24.    Date: 2022/05/13 15:12:11
    
25.      OS: Windows Server 2019 Datacenter (Full installation) [10.0 Build 20348] (x64)
    
26. Comment: 单盘raid0
    

复制代码

nvme 双盘 raid1 async=enable

1. ------------------------------------------------------------------------------
   
2. CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
   
3.                                   Crystal Dew World: https://crystalmark.info/
   
4. ------------------------------------------------------------------------------
   
5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
   
6. * KB = 1000 bytes, KiB = 1024 bytes
   
7. 
   
8. [Read]
   
9.   SEQ    1MiB (Q=  8, T= 1):  1612.973 MB/s [   1538.3 IOPS] <  5194.27 us>
   
10.   SEQ  128KiB (Q=  8, T= 8):  2544.942 MB/s [  19416.4 IOPS] <  3293.54 us>
    
11.   RND    4KiB (Q= 32, T=16):    81.891 MB/s [  19992.9 IOPS] < 25522.74 us>
    
12.   RND    4KiB (Q=  1, T= 1):    40.776 MB/s [   9955.1 IOPS] <   100.33 us>
    
13. 
    
14. [Write]
    
15.   SEQ    1MiB (Q=  8, T= 1):   842.614 MB/s [    803.6 IOPS] <  9921.00 us>
    
16.   SEQ  128KiB (Q=  8, T= 8):   494.060 MB/s [   3769.4 IOPS] < 16923.66 us>
    
17.   RND    4KiB (Q= 32, T=16):    32.846 MB/s [   8019.0 IOPS] < 63052.89 us>
    
18.   RND    4KiB (Q=  1, T= 1):    16.429 MB/s [   4011.0 IOPS] <   249.08 us>
    
19. 
    
20. Profile: Default
    
21.    Test: 1 GiB (x5) [Z: 0% (0/2883GiB)]
    
22.    Mode: [Admin]
    
23.    Time: Measure 5 sec / Interval 5 sec
    
24.    Date: 2022/05/13 15:28:05
    
25.      OS: Windows Server 2019 Datacenter (Full installation) [10.0 Build 20348] (x64)
    
26. Comment: raid0-1 async=disable
    

复制代码

hdd raidz2*2 async=enable

1. ------------------------------------------------------------------------------
   
2. CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
   
3.                                   Crystal Dew World: https://crystalmark.info/
   
4. ------------------------------------------------------------------------------
   
5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
   
6. * KB = 1000 bytes, KiB = 1024 bytes
   
7. 
   
8. [Read]
   
9.   SEQ    1MiB (Q=  8, T= 1):  1583.659 MB/s [   1510.3 IOPS] <  5291.27 us>
   
10.   SEQ  128KiB (Q=  8, T= 8):  2655.567 MB/s [  20260.4 IOPS] <  3154.99 us>
    
11.   RND    4KiB (Q= 32, T=16):    86.604 MB/s [  21143.6 IOPS] < 24109.44 us>
    
12.   RND    4KiB (Q=  1, T= 1):    44.226 MB/s [  10797.4 IOPS] <    92.49 us>
    
13. 
    
14. [Write]
    
15.   SEQ    1MiB (Q=  8, T= 1):   759.449 MB/s [    724.3 IOPS] < 11013.37 us>
    
16.   SEQ  128KiB (Q=  8, T= 8):   545.840 MB/s [   4164.4 IOPS] < 15318.42 us>
    
17.   RND    4KiB (Q= 32, T=16):    30.022 MB/s [   7329.6 IOPS] < 69128.94 us>
    
18.   RND    4KiB (Q=  1, T= 1):    16.713 MB/s [   4080.3 IOPS] <   244.83 us>
    
19. 
    
20. Profile: Default
    
21.    Test: 1 GiB (x5) [Y: 84% (422/500GiB)]
    
22.    Mode: [Admin]
    
23.    Time: Measure 5 sec / Interval 5 sec
    
24.    Date: 2022/05/13 15:33:11
    
25.      OS: Windows Server 2019 Datacenter (Full installation) [10.0 Build 20348] (x64)
    
26. Comment: hdd async=disable
    

复制代码

nvme 单盘 raid0 async=disable

1. ------------------------------------------------------------------------------
   
2. CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
   
3.                                   Crystal Dew World: https://crystalmark.info/
   
4. ------------------------------------------------------------------------------
   
5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
   
6. * KB = 1000 bytes, KiB = 1024 bytes
   
7. 
   
8. [Read]
   
9.   SEQ    1MiB (Q=  8, T= 1):  1612.973 MB/s [   1538.3 IOPS] <  5194.27 us>
   
10.   SEQ  128KiB (Q=  8, T= 8):  2544.942 MB/s [  19416.4 IOPS] <  3293.54 us>
    
11.   RND    4KiB (Q= 32, T=16):    81.891 MB/s [  19992.9 IOPS] < 25522.74 us>
    
12.   RND    4KiB (Q=  1, T= 1):    40.776 MB/s [   9955.1 IOPS] <   100.33 us>
    
13. 
    
14. [Write]
    
15.   SEQ    1MiB (Q=  8, T= 1):   842.614 MB/s [    803.6 IOPS] <  9921.00 us>
    
16.   SEQ  128KiB (Q=  8, T= 8):   494.060 MB/s [   3769.4 IOPS] < 16923.66 us>
    
17.   RND    4KiB (Q= 32, T=16):    32.846 MB/s [   8019.0 IOPS] < 63052.89 us>
    
18.   RND    4KiB (Q=  1, T= 1):    16.429 MB/s [   4011.0 IOPS] <   249.08 us>
    
19. 
    
20. Profile: Default
    
21.    Test: 1 GiB (x5) [Z: 0% (0/2883GiB)]
    
22.    Mode: [Admin]
    
23.    Time: Measure 5 sec / Interval 5 sec
    
24.    Date: 2022/05/13 15:28:05
    
25.      OS: Windows Server 2019 Datacenter (Full installation) [10.0 Build 20348] (x64)
    
26. Comment: raid0-1 async=disable
    

复制代码

nvme 四盘 raid10 async=disable

------------------------------------------------------------------------------
CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
                                  Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

[Read]
  SEQ    1MiB (Q=  8, T= 1):  1657.061 MB/s [   1580.3 IOPS] <  5056.80 us>
  SEQ  128KiB (Q=  8, T= 8):  2558.193 MB/s [  19517.5 IOPS] <  3276.84 us>
  RND    4KiB (Q= 32, T=16):    88.048 MB/s [  21496.1 IOPS] < 23748.98 us>
  RND    4KiB (Q=  1, T= 1):    41.601 MB/s [  10156.5 IOPS] <    98.34 us>

[Write]
  SEQ    1MiB (Q=  8, T= 1):   844.880 MB/s [    805.7 IOPS] <  9895.56 us>
  SEQ  128KiB (Q=  8, T= 8):   490.464 MB/s [   3741.9 IOPS] < 17042.09 us>
  RND    4KiB (Q= 32, T=16):    30.180 MB/s [   7368.2 IOPS] < 68891.20 us>
  RND    4KiB (Q=  1, T= 1):    16.441 MB/s [   4013.9 IOPS] <   248.89 us>

Profile: Default
   Test: 1 GiB (x5) [Z: 0% (0/5824GiB)]
   Mode: [Admin]
   Time: Measure 5 sec / Interval 5 sec
   Date: 2022/05/13 15:40:51
     OS: Windows Server 2019 Datacenter (Full installation) [10.0 Build 20348] (x64)
Comment: raid10 async=disable


nvme 四盘 raid5 async=disable

1. ------------------------------------------------------------------------------
   
2. CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
   
3.                                   Crystal Dew World: https://crystalmark.info/
   
4. ------------------------------------------------------------------------------
   
5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
   
6. * KB = 1000 bytes, KiB = 1024 bytes
   
7. 
   
8. [Read]
   
9.   SEQ    1MiB (Q=  8, T= 1):  1589.352 MB/s [   1515.7 IOPS] <  5272.98 us>
   
10.   SEQ  128KiB (Q=  8, T= 8):  2492.544 MB/s [  19016.6 IOPS] <  3363.04 us>
    
11.   RND    4KiB (Q= 32, T=16):    87.415 MB/s [  21341.6 IOPS] < 23907.39 us>
    
12.   RND    4KiB (Q=  1, T= 1):    41.116 MB/s [  10038.1 IOPS] <    99.49 us>
    
13. 
    
14. [Write]
    
15.   SEQ    1MiB (Q=  8, T= 1):   824.193 MB/s [    786.0 IOPS] < 10146.50 us>
    
16.   SEQ  128KiB (Q=  8, T= 8):   456.695 MB/s [   3484.3 IOPS] < 18280.85 us>
    
17.   RND    4KiB (Q= 32, T=16):    25.271 MB/s [   6169.7 IOPS] < 81901.40 us>
    
18.   RND    4KiB (Q=  1, T= 1):    16.021 MB/s [   3911.4 IOPS] <   255.43 us>
    
19. 
    
20. Profile: Default
    
21.    Test: 1 GiB (x5) [Z: 0% (0/8521GiB)]
    
22.    Mode: [Admin]
    
23.    Time: Measure 5 sec / Interval 5 sec
    
24.    Date: 2022/05/13 15:47:43
    
25.      OS: Windows Server 2019 Datacenter (Full installation) [10.0 Build 20348] (x64)
    
26. Comment: raid5 asyan=disable
    

复制代码

hddpool metadata：nvme *4 raidz2*2 async=disable

1. ------------------------------------------------------------------------------
   
2. CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
   
3.                                   Crystal Dew World: https://crystalmark.info/
   
4. ------------------------------------------------------------------------------
   
5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
   
6. * KB = 1000 bytes, KiB = 1024 bytes
   
7. 
   
8. [Read]
   
9.   SEQ    1MiB (Q=  8, T= 1):  1658.722 MB/s [   1581.9 IOPS] <  5053.01 us>
   
10.   SEQ  128KiB (Q=  8, T= 8):  2994.636 MB/s [  22847.3 IOPS] <  2793.26 us>
    
11.   RND    4KiB (Q= 32, T=16):    72.305 MB/s [  17652.6 IOPS] < 28894.42 us>
    
12.   RND    4KiB (Q=  1, T= 1):    37.200 MB/s [   9082.0 IOPS] <   109.98 us>
    
13. 
    
14. [Write]
    
15.   SEQ    1MiB (Q=  8, T= 1):   769.940 MB/s [    734.3 IOPS] < 10863.25 us>
    
16.   SEQ  128KiB (Q=  8, T= 8):   531.076 MB/s [   4051.8 IOPS] < 15750.09 us>
    
17.   RND    4KiB (Q= 32, T=16):    28.165 MB/s [   6876.2 IOPS] < 73729.07 us>
    
18.   RND    4KiB (Q=  1, T= 1):    16.830 MB/s [   4108.9 IOPS] <   243.16 us>
    
19. 
    
20. Profile: Default
    
21.    Test: 64 GiB (x5) [Z: 84% (422/500GiB)]
    
22.    Mode: [Admin]
    
23.    Time: Measure 5 sec / Interval 5 sec
    
24.    Date: 2022/05/13 16:46:37
    
25.      OS: Windows Server 2019 Datacenter (Full installation) [10.0 Build 20348] (x64)
    
26. Comment: hddpool async=diskable
    

复制代码

hddpool metadata：nvme *4 raidz2*2 async=enable

1. ------------------------------------------------------------------------------
   
2. CrystalDiskMark 8.0.1 x64 (C) 2007-2021 hiyohiyo
   
3.                                   Crystal Dew World: https://crystalmark.info/
   
4. ------------------------------------------------------------------------------
   
5. * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
   
6. * KB = 1000 bytes, KiB = 1024 bytes
   
7. 
   
8. [Read]
   
9.   SEQ    1MiB (Q=  8, T= 1):  1667.111 MB/s [   1589.9 IOPS] <  5026.17 us>
   
10.   SEQ  128KiB (Q=  8, T= 8):  2612.037 MB/s [  19928.3 IOPS] <  3208.86 us>
    
11.   RND    4KiB (Q= 32, T=16):    73.526 MB/s [  17950.7 IOPS] < 28417.48 us>
    
12.   RND    4KiB (Q=  1, T= 1):    38.491 MB/s [   9397.2 IOPS] <   106.29 us>
    
13. 
    
14. [Write]
    
15.   SEQ    1MiB (Q=  8, T= 1):   806.107 MB/s [    768.8 IOPS] < 10375.40 us>
    
16.   SEQ  128KiB (Q=  8, T= 8):  1982.620 MB/s [  15126.2 IOPS] <  4222.37 us>
    
17.   RND    4KiB (Q= 32, T=16):    27.606 MB/s [   6739.7 IOPS] < 75252.18 us>
    
18.   RND    4KiB (Q=  1, T= 1):    28.798 MB/s [   7030.8 IOPS] <   142.05 us>
    
19. 
    
20. Profile: Default
    
21.    Test: 64 GiB (x5) [Z: 84% (422/500GiB)]
    
22.    Mode: [Admin]
    
23.    Time: Measure 5 sec / Interval 5 sec
    
24.    Date: 2022/05/13 16:55:41
    
25.      OS: Windows Server 2019 Datacenter (Full installation) [10.0 Build 20348] (x64)
    
26. Comment: hddpool async=enable
    

复制代码

最后附一张单盘nvme raid0 两个挂载 同时跑4k结果

hanyou7

jerrytsao 发表于 2022-4-1 10:34
我肯定没有这种需求...你这种我觉得上Ceph啊

ceph我也有一套环境 可以做到奇数节点不停机

sc80t

jerrytsao 发表于 2022-3-26 23:14
晚些会定制个32盘机箱, 目前8盘放在外面的笼子, 不想用机柜...

楼主现在换新箱子了吗？32盘是机柜式还是塔式？

d7xl使用情况怎么样：现在这种室外30来度的天气，不开空调的话硬盘多少度，前面的a12x25开多少转？

jerrytsao

sc80t 发表于 2022-6-8 23:23
楼主现在换新箱子了吗？32盘是机柜式还是塔式？

d7xl使用情况怎么样：现在这种室外30来度的天气，不开空 ...

还没有, 必须是普通塔式机箱, 否则机柜选择无限多...D7 XL很稳没毛病

sc80t

jerrytsao 发表于 2022-6-9 02:52
还没有, 必须是普通塔式机箱, 否则机柜选择无限多...D7 XL很稳没毛病

好的   谢谢

lz2906190

zfs炒的概念吧，问题一大堆，特性没见到，哪有EXT4好。

lz2906190

还有这个NAS做什么应用呢。坚决反对无配套应用，单纯堆配置的。

summerq

请问rdma搞定了吗？starwind貌似有配套软件，可以支持rdma

堪堪可闻

你是怎么装下24个HDD的？我看7xl标准安装是18HDD啊
+++++++++++++++++++++++++++++++++++
看到答案了，接到外面...


这么多硬盘，线缆上是不是要标序号？不然哪个盘坏了都找不到

QSG

jerrytsao 发表于 2022-5-10 11:32
PCIe NVMe SSD Pool在ZFS 3.0出来之前限制较大, 有多余磁盘的话还不如给HDD Pool做Special Vdev ...

大佬能说说metadata提升有多大吗

jerrytsao

QSG 发表于 2022-7-17 14:09
大佬能说说metadata提升有多大吗

主贴CDM测试的随机性能啊...另外就是万一盘坏了更换需要Resilvering的时候

super_arc

大佬们的电表是不是都是倒转的啊

super_arc

大佬们，请问一下，超微这款 AOC-SLG3-2E4T NVME 卡是不是自带芯片的呀。。 还是需要主板支持拆分？

超微官网：https://www.supermicro.com/zh_cn ... n/AOC-SLG3-2E4T.php

马甲群鬼

其实我觉得软RAID性能不够是伪命题，原先我们隧道有178路1080p的视频监控，分13个服务器储存，每个每个服务器上用mdadm把11块硬盘组成raid5，另有一块热备盘，一天24小时的覆盖写入，视频存储和调取没出现过瓶颈，到我离职的时候大概有个2年多时间没出现过阵列崩溃，有个别盘挂了热备和降级使用都能顶上去。我觉得哪怕是PT玩家高强度刷流软阵列也完全能满足需求

litguy

马甲群鬼 发表于 2022-8-26 16:07
其实我觉得软RAID性能不够是伪命题，原先我们隧道有178路1080p的视频监控，分13个服务器储存，每个每个服务 ...

我作分布式全闪存阵列的
软 RAID 性能肯定对现在的 CPU 不是问题
PT 下载超不过 2GB/S 的写入性能吧
so，不用纠结这个
软 RAID 主要是 RAID5 这种有 write hole，硬 RAID 上面有 cache 和电池，不怕这个
其实监控这种，有 write hole 都无所谓，掉电前几秒的数据丢了都不是问题

马甲群鬼

litguy 发表于 2022-8-26 16:49
我作分布式全闪存阵列的
软 RAID 性能肯定对现在的 CPU 不是问题
PT 下载超不过 2GB/S 的写入性能吧

单位的服务器有个能坚持2个小时的UPS，还联动台自启的柴油发电机，应该不会丢数据

家里面的NAS我也买个UPS，设置剩余15供电时间通知NAS关机，问题不大

litguy

马甲群鬼 发表于 2022-8-26 16:55
单位的服务器有个能坚持2个小时的UPS，还联动台自启的柴油发电机，应该不会丢数据

家里面的NAS我也买个U ...

肯定是那样的，我们的 QA 要求更高，会强制拔电源这种测试来检查重新上电后的数据完整性，一些隐藏的小 bug 都是这样发现的

随野

我用X570D4U-2L2T(内置X550-T2)+5700X+2x32G3200ECC+2x16GOptane(一块作boot drive一块作system dataset pool[这块以后要换高容量的])+5xHC550(raidz1)+280G900pOptane(slog)组的truenas scale, SMB连接PC里的X550-T2 NIC(一根线直连)怎么都跑不满10GbE/raidz1的速度(写开始时可以后期不行, 读全程不行).

J叔(or any other 18cm)知道有什么办法吗?

(网上有说法要开multi channel support + Receive Side Scaling, 然而scale最新版本smb auxiliary parameters里把interfaces给ban了)

litguy

随野 发表于 2022-9-5 04:04
我用X570D4U-2L2T(内置X550-T2)+5700X+2x32G3200ECC+2x16GOptane(一块作boot drive一块作system dataset po ...

先在 NAS 内部读写共享目录，确认可以突破这个速度限制，然后才是看 nfs/cifs 的问题

dsboylw

lz2906190 发表于 2022-6-9 09:07
zfs炒的概念吧，问题一大堆，特性没见到，哪有EXT4好。

抄概念？

SUN从2005年把ZFS并入Solaris里，现在小20年了，到你这概念了

wangfenghun

j叔求教：
看到您用9400-16i，想问下是有什么特殊原因吗？9400-16i相对9300-16i 9305-16i这些hba卡，在性能上有区别吗？还是9400有一些新特性是9300没有的？
感谢。

liyxxx

内存比我硬盘大系列

ONEChoy

它弯了

纨绔弟子

转接卡插四个u2，无外置供电顶得住吗？

Dolfin

今天又把这个帖子重新读了一遍，非常期待后面nvme over rdma的过程

9S機關

hanyou7 发表于 2022-5-13 17:16
更新
分别测试了
nvme为P4610

这个元数据metadata是完全不提升4K，是吗？

上火的小M

留名mark

gungnir

请教下J叔，mcx354-fcct和mcx354-fcbt这两款网卡有什么区别呀？

g7muik

这太强了，膜拜

苏格拉底

看了这一卡多接的u2，瞬间不用看。折腾不起。