Chiphell - 分享与交流用户体验»社区 › 讨论区-生活与技术的讨论 › 电脑讨论(新) › [分享]f1290FX 每小时1.5亿条日志收集

[分享]f1290FX 每小时1.5亿条日志收集

查看数: 7030 | 评论数: 16 | 收藏 1

关灯 | 提示：支持键盘翻页<-左右->

帖子模式

godspeed66

发布时间: 2022-12-7 15:06

正文摘要:

本帖最后由 godspeed66 于 2022-12-7 15:23 编辑 [分享]f1290FX 每小时1.5亿条日志直接用NAS收集日志，不需要额外日志服务器，7323P 8核16线程，64GB内存 ======================= 关于检 ...

风车车 发表于 2022-12-8 15:07

本帖最后由风车车于 2022-12-8 15:08 编辑

godspeed66 发表于 2022-12-8 14:58
另，有啥办法能降低logstash的CPU开销吗？

这个问题很难解，可以先从jvm的profiling入手，看看是不是jvm调优的问题，比如老生常谈的jvm heap太小这种的

再说你这个30%我觉得还好吧

godspeed66 发表于 2022-12-8 14:58

风车车发表于 2022-12-8 14:14
不用卡芙卡我感觉正常，因为logstash自己就有一些（可以看做是redis的替代）设计可以作为buffer，不太g ...

另，有啥办法能降低logstash的CPU开销吗？

godspeed66 发表于 2022-12-8 14:51

风车车发表于 2022-12-8 14:14
不用卡芙卡我感觉正常，因为logstash自己就有一些（可以看做是redis的替代）设计可以作为buffer，不太g ...

没有特意配置logstash的持久化队列

风车车 发表于 2022-12-8 14:14

本帖最后由风车车于 2022-12-8 14:18 编辑

godspeed66 发表于 2022-12-8 09:33
没有持久化

没有卡夫卡

不用卡芙卡我感觉正常，因为logstash自己就有一些（可以看做是redis的替代）设计可以作为buffer，不太get得到没有持久化的意思，logstash不就是做日志收集和存储的么，持久化就在里面啊

godspeed66 发表于 2022-12-8 09:37

图片质量怎么下降这么严重？

lmeva2002 发表于 2022-12-8 02:25

这是啥。。不明觉厉

风车车 发表于 2022-12-8 00:56

图看不清，持久化用什么做的，卡芙卡用了么

Hellboy2016 发表于 2022-12-8 00:43

xks07 发表于 2022-12-7 22:13
SN640 楼主之前发过贴

就是坏了好几块那个看来厂家升级系统了

xks07 发表于 2022-12-7 22:13

Hellboy2016 发表于 2022-12-7 22:08
u.2 7.68t 啥型号啥渠道价格

SN640 楼主之前发过贴

Hellboy2016 发表于 2022-12-7 22:08

u.2 7.68t 啥型号啥渠道价格

逃学生 发表于 2022-12-7 21:24

大受震撼……

log4j 发表于 2022-12-7 21:23

有必要吗。。。

weston 发表于 2022-12-7 19:46

能问一下，啥业务这么多日志吗？不明觉厉啊

regwoo 发表于 2022-12-7 19:40

新服务器 12 x U.2 SSD
老服务器 8 x HDD......
有效的就这些信息

lee_jiunn 发表于 2022-12-7 18:43

不明觉厉

账号		自动登录	找回密码
密码			加入我们

[分享]f1290FX 每小时1.5亿条日志收集

正文摘要:

回复