Chiphell - 分享与交流用户体验

标题: 请教ZFS添加L2ARC和SLOG [打印本页]

作者: VvLin-61 时间: 2025-1-25 20:21
标题: 请教ZFS添加L2ARC和SLOG
自组nas，unraid系统，打算买傲腾M10 16G用作缓存或者slog，L2ARC可以加速读取，SLOG可以加速写入，板子还有俩M.2空位，有必要买俩傲腾（白菜价10块）来加速吗 (, 下载次数: 15)

作者: monkeylab 时间: 2025-1-25 20:23
你这俩加速的前提就有些问题吧，加内存是效率最高的法子。

作者: VvLin-61 时间: 2025-1-25 20:29

monkeylab 发表于 2025-1-25 20:23
你这俩加速的前提就有些问题吧，加内存是效率最高的法子。

已经设置了16G内存给ARC了，再往上加内存贵啊

作者: monkeylab 时间: 2025-1-25 20:36
本帖最后由 monkeylab 于 2025-1-25 20:37 编辑

VvLin-61 发表于 2025-1-25 20:29
已经设置了16G内存给ARC了，再往上加内存贵啊

额，咋说呢，我觉得你步子迈的太大了，连最基本的1T硬盘1G内存都做不到就开始考虑L2ARC和SLOG。
我的知识可能比较老了，建议你去爬一下文，L2ARC没个存储池两三成容量那命中率惨不忍睹，SLOG你的自组nas是有啥同步写的需求嘛？一般的smb是没有同步写的啊。
家用文件服务器我是建议留3G给系统剩下的内存全划给ARC，L2ARC和SLOG都不要。

作者: fromiss 时间: 2025-1-25 20:51
要是有高吞吐的需求，加块nvme放这块内容。加速作用不大，除非是热数据。

作者: VvLin-61 时间: 2025-1-25 20:53

monkeylab 发表于 2025-1-25 20:36
额，咋说呢，我觉得你步子迈的太大了，连最基本的1T硬盘1G内存都做不到就开始考虑L2ARC和SLOG。
我的知识 ...

一开始就是在一个帖子下面看到有人2*6t的zfs下面加了一个傲腾用作slog，就去查资料看
slog的同步写入我一直没搞明白是啥意思，啥场景才是同步写入

我是两块14t 东芝mg08组mirror，unraid默认1/8内存只有4G，我改成16了，我还有部分要留给虚拟机用，给24G应该可以吧

作者: VvLin-61 时间: 2025-1-25 20:58

monkeylab 发表于 2025-1-25 20:36
额，咋说呢，我觉得你步子迈的太大了，连最基本的1T硬盘1G内存都做不到就开始考虑L2ARC和SLOG。
我的知识 ...

ZFS ZIL(SLOG) 组件
我看这个里面说

ZFS 收到数据之后:

先将数据写在内存中
再把内存中的数据写一份到 ZIL 中
最后把保存在内存中的、已被写入到 ZIL 的数据再写一份到 ZFS 文件系统 (写入物理硬盘)
数据在真正被写入文件系统 (物理硬盘) 之前共有两份，一份在内存中，另一份在 ZIL 中。

数据被处理的整个过程中会有三份，内存中、ZIL 中和文件系统 (物理硬盘) 中。

整个数据处理过程中，写硬盘的操作串行发生了两次，第一次是写 ZIL 数据 (4K 写)，第二次的写操作是把数据存入硬盘上的文件系统 (4K 或顺序写)。

发生在 ZIL 的 4K 写操作就是性能下降的原因。

所以只要让所有的 ZIL 写操作都发生在 4K 性能好的 SSD 上，整个 zpool 的性能就上去了。这时候 SLOG 就派上了用场。

根据文档，SLOG 设备必须是一个独立设备，如果这个设备的 4K 同步写性能很好的话可以提升整体的 zpool 的同步写性能。所以之前会用 ZeusRAM 现在会用 Optane 来存储 ZIL 数据，因为这种设备写入能力很强。

作者: monkeylab 时间: 2025-1-25 21:01

VvLin-61 发表于 2025-1-25 20:53
一开始就是在一个帖子下面看到有人2*6t的zfs下面加了一个傲腾用作slog，就去查资料看
slog的同步写入我一 ...

哦哦，mirror那内存够了，
同步写入简单的例子就是数据库这种啊，家里建个smb一般不会去开同步写入的。
SLOG不用多大的盘小傲腾能凑合用，但是L2ARC你非要上的话还是建议弄个大点的普通SSD。

作者: monkeylab 时间: 2025-1-25 21:10

VvLin-61 发表于 2025-1-25 20:58
ZFS ZIL(SLOG) 组件
我看这个里面说

再好的傲腾做ZIL性能也赶不上关掉同步写入啊，而且你复制个文件过去的途中停电死机，同步不同步这个文件都救不回来。
不过10块钱的傲腾买就买了，我现在建议直接上手一试。

作者: VvLin-61 时间: 2025-1-25 21:12

monkeylab 发表于 2025-1-25 21:01
哦哦，mirror那内存够了，
同步写入简单的例子就是数据库这种啊，家里建个smb一般不会去开同步写入的。
S ...

还有块闲置的256G sata光威，我再去看看到底需不需要加
smb一般win下是不是就用映射网络驱动器来使用

作者: VvLin-61 时间: 2025-1-25 21:16

monkeylab 发表于 2025-1-25 21:10
再好的傲腾做ZIL性能也赶不上关掉同步写入啊，而且你复制个文件过去的途中停电死机，同步不同步这个文件 ...

目前没有数据库需求，在琢磨着建站用个mysql，但是应该不会把mysql放在zfs里，还有一个m.2的cache
短时间内没法上机，nas在家里，过年回老家了，先到手试试

unraid只能装u盘上，而且对速度没啥要求，我看最近好评比较多的fnos就可以装傲腾上，想再攒一台试试，就买了一个

作者: YsHaNg 时间: 2025-1-25 22:30

VvLin-61 发表于 2025-1-25 13:16
目前没有数据库需求，在琢磨着建站用个mysql，但是应该不会把mysql放在zfs里，还有一个m.2的cache
短时间 ...

运行的时候完全在内存里跟u盘也没关系我15年的u盘也用着好好的
有那折腾ZIL的精力不如建一个pool专用 L2ARC还是需要大一点才好用

作者: VvLin-61 时间: 2025-1-25 22:32

YsHaNg 发表于 2025-1-25 22:30
运行的时候完全在内存里跟u盘也没关系我15年的u盘也用着好好的
有那折腾ZIL的精力不如建一个pool专用 L ...

选多大建一个pool合适呀
二级用多大合适

作者: YsHaNg 时间: 2025-1-25 22:51

VvLin-61 发表于 2025-1-25 14:32
选多大建一个pool合适呀
二级用多大合适

非媒体二进制数据库什么的就扔unraid传统pool里看你每个用途多大甚至可以建多个pool给不同用途比如docker一个虚拟机一个数据安全靠mover或者社区插件定期备份到数据盘我觉得这比zfs subpool灵活也完全不涉及同步写什么性能的反正直写高性能ssd
L2ARC当然越大越好看钱包和主流m2容量
折腾参考
https://forums.unraid.net/topic/ ... b-cache-pools-both/
https://forums.unraid.net/topic/ ... amp;comment=1256329

作者: babur 时间: 2025-1-26 00:42
我是家用环境开同步，没问题吧，nas再快还不是要过网线，与其快不如大，读快取大命中率才高，写快取大才不容易超量。
以此角度optane不是特别好的选择，因为他小
不过他耐写、便宜(16G)
担心写死TLC那optane很好
没想花预算在加速上，optane 16G装系统足够，那也很好

作者: tyy474 时间: 2025-1-26 11:07
浪费M2，直接用来当储存才是最高效的

欢迎光临 Chiphell - 分享与交流用户体验 (https://www.chiphell.com/)