新组了TrueNAS，raid-z2出现了诡异问题

死也要爱钱

最近捡便宜装了一台TrueNAS Scale，配置是7302+h12ssl-i+128G内存，系统是最新的22.12.3.2
SSD_Pool是两块7.68T的SN640组镜像，HDD_Pool是八块16T的HC550组raid-z2（添加了两条2T的970evoplus镜像作metadata vdev）
在SSD_Pool和HDD_Pool上各创建一个文件夹用作smb3共享，假设SSD_Pool上的文件夹叫A，HDD_Pool上的文件夹叫B
电脑是2.5G口，系统是win10 22H2，目前的现象是：
①电脑和A之间读写都是270MB/s，算正常；
②A和B之间互传的读写速度都在600MB/s也正常；
③电脑往B里写速度是230MB/s，也算正常；电脑从B里读文件，速度只有30M/s…………
有没有人能解释下为什么就最后一种情形速度如此可怜，困扰了我好久了

dutian_007

把两个2T的硬盘去掉，这个作用不大

死也要爱钱

dutian_007 发表于 2023-7-22 15:43
把两个2T的硬盘去掉，这个作用不大

要是不是副作用的话暂时先不去掉了，metadata vdev没法单独拆掉，得先备份整个HDD_Pool里的数据再重建

gnattu

死也要爱钱 发表于 2023-7-22 15:52
要是不是副作用的话暂时先不去掉了，metadata vdev没法单独拆掉，得先备份整个HDD_Pool里的数据再重建 ...

我记得是可以直接移除special vdev的，存储池会减少special vdev的容量，然后移除时会写回存储池。但是应该不是这个的问题。你用的什么HBA啊，有在本地试过性能吗

死也要爱钱

gnattu 发表于 2023-7-22 16:01
我记得是可以直接移除special vdev的，存储池会减少special vdev的容量，然后移除时会写回存储池。但是应 ...

没用HBA，h12ssl-i上有8个sata接口，用的两根4sata转minisas hd反向线接的硬盘背板。不过从HDD_Pool里复制大文件到SSD_Pool也能跑到接近600M/s，感觉HDD_Pool本身应该也是过关的

7155071

元数据缓存metadata vdev，对SMB协议的读写几乎没有任何性能提升。实际上ZFS并不需要SSD作为cache，最多只是拿ssd作为写日志而已，主要的cache还是内存。个人建议在HDD Pool上建立一个ISCSI，走ISCSI协议再试试看读写速度如何，感觉是metadata vdev和SMB之间的锅。我之前用FreeNAS做ZFS的时候，也是分了ssd pool和hdd pool两个存储池，但没单独加cache，所以一切都很正常，在内存没用光之前，写入都是顶着网速峰值，读取顶着硬盘峰值。

gnattu

7155071 发表于 2023-7-22 16:40
元数据缓存metadata vdev，对SMB协议的读写几乎没有任何性能提升。实际上ZFS并不需要SSD作为cache，最多只 ...

Special vdev不是cache，他就是存储池的一部分，真的会存储数据的

我现在也是八个HC550+special vdev，10G都能跑满

落樱缤纷

7155071 发表于 2023-7-22 16:40
元数据缓存metadata vdev，对SMB协议的读写几乎没有任何性能提升。实际上ZFS并不需要SSD作为cache，最多只 ...

我的TRUENAS筹建中，按照你的说法，内存是越大越好，至于SSD加速反而意义不大吗？

7155071

其实不用metadata vdev  /  Special vdev /  LOG之类的，也能跑满。我试过好几次，写入还是靠内存，读取看盘体本身，8个HC550在raidz下，连续读取也超过1G/S了。

死也要爱钱

gnattu 发表于 2023-7-22 16:43
Special vdev不是cache，他就是存储池的一部分，真的会存储数据的

我现在也是八个HC550+special vdev，1 ...

会不会是NAS上10G端口朝电脑的2.5G端口传输的链路有问题？我这的路径是NAS 10G — 交换机10G — 路由器 10G — 电脑2.5G

gnattu

死也要爱钱 发表于 2023-7-22 17:35
会不会是NAS上10G端口朝电脑的2.5G端口传输的链路有问题？我这的路径是NAS 10G — 交换机10G — 路由器 1 ...

但是你说你的SSD池速度没问题就让我觉得可能不是这个问题。。。
你可以iperf试一下到服务器上下行的速度是不是有区别
10G到2.5确实会有flow control问题，特别是如果你用的螃蟹卡的2.5，然后交换机本身flow control做的不好，这个问题会很明显，出现这种情况的话iperf从服务器到客户端的性能会崩的很厉害

死也要爱钱

ssh看了下路由接口的ifconfig，里面居然真的有丢包……
那么问题来了，为什么从SSD_Pool读过来不丢包，HDD_Pool读过来就丢包了

死也要爱钱

gnattu 发表于 2023-7-22 17:55
但是你说你的SSD池速度没问题就让我觉得可能不是这个问题。。。
你可以iperf试一下到服务器上下行的速度 ...

我感觉大概率是win10的smb问题了
我的TrueNAS上是X710-DA4，连了两个在st5008f v2上，为了用上smb3的多通道。我刚才突发奇想拔掉了一个，然后读取能稳定在170M/s……

gnattu

死也要爱钱 发表于 2023-7-22 20:54
我感觉大概率是win10的smb问题了
我的TrueNAS上是X710-DA4，连了两个在st5008f v2上，为了用上smb3的多通 ...

我去 multichannel弄巧成拙啊
我都是服务器上直接链路聚合的（我的交换机支持802.3ad），不依赖这个multichannel

dutian_007

gnattu 发表于 2023-7-22 21:23
我去 multichannel弄巧成拙啊
我都是服务器上直接链路聚合的（我的交换机支持802.3ad），不依赖这个multi ...

我truenas的双网卡链路聚合，数据只会往一个网卡跑。这个你会解决不

xustrive

dutian_007 发表于 2023-7-23 09:39
我truenas的双网卡链路聚合，数据只会往一个网卡跑。这个你会解决不

动态LACP 试试。

dutian_007

xustrive 发表于 2023-7-26 14:08
动态LACP 试试。

loadblance吗？

xustrive

dutian_007 发表于 2023-7-26 14:22
loadblance吗？

除了这个以外还要硬件支持。 螃蟹估计不行，intel 350 才支持有的功能。

Juzi丶

做nas为啥不用7f32，再退一步说，既然pcie够用的情况下为啥不用am4...还有这个配置应该是能跑满万兆smb的

mcafee6

dutian_007 发表于 2023-7-23 09:39
我truenas的双网卡链路聚合，数据只会往一个网卡跑。这个你会解决不

这个是正常的，turenas网卡bond那里选lacp、LB，你单台client访问nas，数据都是只走一个网卡。多台client访问nas才会走多个网卡！truenas用1000M、2.5G多网卡绑定没什么卵用，应该直接10G 100G。

死也要爱钱

Juzi丶 发表于 2023-7-26 14:29
做nas为啥不用7f32，再退一步说，既然pcie够用的情况下为啥不用am4...还有这个配置应该是能跑满万兆smb的 ...

前者，我是3.7k买的板U内存套装，没得选
后者，我除了slimsas接的两个sn640，还插了一块a2000，一块x710，三张x16转4m.2（算上板载的双m.2，总共有10块m.2）

Juzi丶

死也要爱钱 发表于 2023-7-26 19:53
前者，我是3.7k买的板U内存套装，没得选
后者，我除了slimsas接的两个sn640，还插了一块a2000，一块x710 ...

太扭曲了.png