请教ZFS添加L2ARC和SLOG

VvLin-61

自组nas，unraid系统，打算买傲腾M10 16G用作缓存或者slog，L2ARC可以加速读取，SLOG可以加速写入，板子还有俩M.2空位，有必要买俩傲腾（白菜价10块）来加速吗

monkeylab

你这俩加速的前提就有些问题吧，加内存是效率最高的法子。

VvLin-61

monkeylab 发表于 2025-1-25 20:23
你这俩加速的前提就有些问题吧，加内存是效率最高的法子。

已经设置了16G内存给ARC了，再往上加内存贵啊

monkeylab

VvLin-61 发表于 2025-1-25 20:29
已经设置了16G内存给ARC了，再往上加内存贵啊

额，咋说呢，我觉得你步子迈的太大了，连最基本的1T硬盘1G内存都做不到就开始考虑L2ARC和SLOG。
我的知识可能比较老了，建议你去爬一下文，L2ARC没个存储池两三成容量那命中率惨不忍睹，SLOG你的自组nas是有啥同步写的需求嘛？一般的smb是没有同步写的啊。
家用文件服务器我是建议留3G给系统剩下的内存全划给ARC，L2ARC和SLOG都不要。

fromiss

要是有高吞吐的需求，加块nvme放这块内容。加速作用不大，除非是热数据。

VvLin-61

monkeylab 发表于 2025-1-25 20:36
额，咋说呢，我觉得你步子迈的太大了，连最基本的1T硬盘1G内存都做不到就开始考虑L2ARC和SLOG。
我的知识 ...

一开始就是在一个帖子下面看到有人2*6t的zfs下面加了一个傲腾用作slog，就去查资料看
slog的同步写入我一直没搞明白是啥意思，啥场景才是同步写入

我是两块14t 东芝mg08组mirror，unraid默认1/8内存只有4G，我改成16了，我还有部分要留给虚拟机用，给24G应该可以吧

VvLin-61

monkeylab 发表于 2025-1-25 20:36
额，咋说呢，我觉得你步子迈的太大了，连最基本的1T硬盘1G内存都做不到就开始考虑L2ARC和SLOG。
我的知识 ...

ZFS ZIL(SLOG) 组件
我看这个里面说

ZFS 收到数据之后:

先将数据写在内存中
再把内存中的数据写一份到 ZIL 中
最后把保存在内存中的、已被写入到 ZIL 的数据再写一份到 ZFS 文件系统 (写入物理硬盘)
数据在真正被写入文件系统 (物理硬盘) 之前共有两份，一份在内存中，另一份在 ZIL 中。

数据被处理的整个过程中会有三份，内存中、ZIL 中和文件系统 (物理硬盘) 中。

整个数据处理过程中，写硬盘的操作 串行 发生了两次，第一次是写 ZIL 数据 (4K 写)，第二次的写操作是把数据存入硬盘上的文件系统 (4K 或顺序写)。

发生在 ZIL 的 4K 写操作就是性能下降的原因。

所以只要让所有的 ZIL 写操作都发生在 4K 性能好的 SSD 上，整个 zpool 的性能就上去了。这时候 SLOG 就派上了用场。

根据文档，SLOG 设备必须是一个独立设备，如果这个设备的 4K 同步写性能很好的话可以提升整体的 zpool 的同步写性能。所以之前会用 ZeusRAM 现在会用 Optane 来存储 ZIL 数据，因为这种设备写入能力很强。

monkeylab

VvLin-61 发表于 2025-1-25 20:53
一开始就是在一个帖子下面看到有人2*6t的zfs下面加了一个傲腾用作slog，就去查资料看
slog的同步写入我一 ...

哦哦，mirror那内存够了，
同步写入简单的例子就是数据库这种啊，家里建个smb一般不会去开同步写入的。
SLOG不用多大的盘小傲腾能凑合用，但是L2ARC你非要上的话还是建议弄个大点的普通SSD。

monkeylab

VvLin-61 发表于 2025-1-25 20:58
ZFS ZIL(SLOG) 组件
我看这个里面说

再好的傲腾做ZIL性能也赶不上关掉同步写入啊，而且你复制个文件过去的途中停电死机，同步不同步这个文件都救不回来。
不过10块钱的傲腾买就买了，我现在建议直接上手一试。

VvLin-61

monkeylab 发表于 2025-1-25 21:01
哦哦，mirror那内存够了，
同步写入简单的例子就是数据库这种啊，家里建个smb一般不会去开同步写入的。
S ...

还有块闲置的256G sata光威，我再去看看到底需不需要加
smb一般win下是不是就用映射网络驱动器来使用

VvLin-61

monkeylab 发表于 2025-1-25 21:10
再好的傲腾做ZIL性能也赶不上关掉同步写入啊，而且你复制个文件过去的途中停电死机，同步不同步这个文件 ...

目前没有数据库需求，在琢磨着建站用个mysql，但是应该不会把mysql放在zfs里，还有一个m.2的cache
短时间内没法上机，nas在家里，过年回老家了，先到手试试

unraid只能装u盘上，而且对速度没啥要求，我看最近好评比较多的fnos就可以装傲腾上，想再攒一台试试，就买了一个

YsHaNg

VvLin-61 发表于 2025-1-25 13:16
目前没有数据库需求，在琢磨着建站用个mysql，但是应该不会把mysql放在zfs里，还有一个m.2的cache
短时间 ...

运行的时候完全在内存里 跟u盘也没关系 我15年的u盘也用着好好的
有那折腾ZIL的精力不如建一个pool专用 L2ARC还是需要大一点才好用

VvLin-61

YsHaNg 发表于 2025-1-25 22:30
运行的时候完全在内存里 跟u盘也没关系 我15年的u盘也用着好好的
有那折腾ZIL的精力不如建一个pool专用 L ...

选多大建一个pool合适呀
二级用多大合适

YsHaNg

VvLin-61 发表于 2025-1-25 14:32
选多大建一个pool合适呀
二级用多大合适

非媒体二进制数据库什么的就扔unraid传统pool里 看你每个用途多大 甚至可以建多个pool给不同用途 比如docker一个虚拟机一个 数据安全靠mover或者社区插件定期备份到数据盘 我觉得这比zfs subpool灵活 也完全不涉及同步写什么性能的 反正直写高性能ssd
L2ARC当然越大越好 看钱包和主流m2容量
折腾参考
https://forums.unraid.net/topic/ ... b-cache-pools-both/
https://forums.unraid.net/topic/ ... amp;comment=1256329

babur

我是家用环境开同步，没问题吧，nas再快还不是要过网线，与其快不如大，读快取大命中率才高，写快取大才不容易超量。
以此角度optane不是特别好的选择，因为他小
不过他耐写、便宜(16G)
担心写死TLC那optane很好
没想花预算在加速上，optane 16G装系统足够，那也很好

tyy474

浪费M2，直接用来当储存才是最高效的

severalh

VvLin-61 发表于 2025-1-25 20:29
已经设置了16G内存给ARC了，再往上加内存贵啊

弱弱的问下 怎么设置 内存ARC值？

helleon

severalh 发表于 2025-7-19 04:10
弱弱的问下 怎么设置 内存ARC值？

改/sys/module/zfs/parameters/zfs_arc_max

unraid的话写在 /boot/config/go

helleon

我也是unraid主要是qb下载和局域网内smb还有jellyfin
28T的ZFS, 16g内存给了4G给arc，480g的ssd做l2arc
跑了几个月以后arc_summary的结果扔给AI分析，结论是L2没啥太大作用
最后内存加到32G，24G给arc完事，480g的l2arc还是扔那

trott90

这个看你的用途是什么，如果只是媒体服务器，没必要

mdk2000

l2arc只能用企业级ssd

mosigan

mdk2000 发表于 2025-7-20 15:16
l2arc只能用企业级ssd

l2arc是读缓存，稳定性要求可以不那么高

mdk2000

mosigan 发表于 2025-7-22 14:04
l2arc是读缓存，稳定性要求可以不那么高

只有企业级才行,你可以观察下

ssh下
zpool iostat -v 1

l2arc那块ssd会被榨干到99.9%空间,然后不停交换冷热数据

满盘读写消费级速度寿命都是硬伤

mosigan

mdk2000 发表于 2025-7-22 15:08
只有企业级才行,你可以观察下

ssh下

缓存本来就是用来反复读写的，我说稳定性要求可以不那么高是因为l2arc是读缓存，坏了不影响阵列上本身的数据