[分享]f1290FX 每小时1.5亿条日志收集

godspeed66 · 发表于 2022-12-7 15:06

本帖最后由 godspeed66 于 2022-12-7 15:23 编辑

[分享]f1290FX 每小时1.5亿条日志

直接用NAS收集日志，不需要额外日志服务器，7323P 8核16线程，64GB内存

每小时1.5亿条.jpg

小于等于1ms 延迟，，磁盘完全没压力

每小时1.5亿条 2.jpg

=======================

对比之前老服务器，老服务器每小时仅能收集0.7亿条数据，12TB*8 HDD RAID5，双路银牌4214 24核48线程，128GB内存

0.7亿.png

=======================

关于检索速度，哎，没法对比了，一个是秒出结果，一个是等到海枯石烂

godspeed66 · 发表于 2022-12-8 09:33

本帖最后由 godspeed66 于 2022-12-8 09:35 编辑

风车车发表于 2022-12-8 00:56
图看不清，持久化用什么做的，卡芙卡用了么

没有持久化

没有卡夫卡

容器.jpg

godspeed66 · 发表于 2022-12-8 09:37

图片质量怎么下降这么严重？

godspeed66 · 发表于 2022-12-8 14:51

风车车发表于 2022-12-8 14:14
不用卡芙卡我感觉正常，因为logstash自己就有一些（可以看做是redis的替代）设计可以作为buffer，不太g ...

没有特意配置logstash的持久化队列

godspeed66 · 发表于 2022-12-8 14:58

风车车发表于 2022-12-8 14:14
不用卡芙卡我感觉正常，因为logstash自己就有一些（可以看做是redis的替代）设计可以作为buffer，不太g ...

另，有啥办法能降低logstash的CPU开销吗？

账号		自动登录	找回密码
密码			加入我们

[NAS] [分享]f1290FX 每小时1.5亿条日志收集