godspeed66 发表于 2022-12-7 15:06

[分享]f1290FX 每小时1.5亿条日志收集

本帖最后由 godspeed66 于 2022-12-7 15:23 编辑

[分享]f1290FX每小时1.5亿条日志


直接用NAS收集日志，不需要额外日志服务器，7323P 8核16线程，64GB内存








小于等于1ms 延迟 ，，磁盘完全没压力





=======================

对比之前老服务器，老服务器每小时仅能收集0.7亿条数据，12TB*8 HDD RAID5，双路银牌4214 24核48线程，128GB内存






=======================

关于检索速度，哎，没法对比了，一个是秒出结果，一个是等到海枯石烂

lee_jiunn 发表于 2022-12-7 18:43

不明觉厉

regwoo 发表于 2022-12-7 19:40

新服务器 12 x U.2 SSD
老服务器8x HDD......
有效的就这些信息

weston 发表于 2022-12-7 19:46

能问一下，啥业务这么多日志吗？不明觉厉啊

log4j 发表于 2022-12-7 21:23

有必要吗。。。

逃学生 发表于 2022-12-7 21:24

大受震撼……

Hellboy2016 发表于 2022-12-7 22:08

u.2 7.68t 啥型号 啥渠道价格

xks07 发表于 2022-12-7 22:13

Hellboy2016 发表于 2022-12-7 22:08
u.2 7.68t 啥型号 啥渠道价格

SN640楼主之前发过贴

Hellboy2016 发表于 2022-12-8 00:43

xks07 发表于 2022-12-7 22:13
SN640楼主之前发过贴

就是坏了好几块那个 看来厂家升级系统了

风车车 发表于 2022-12-8 00:56

图看不清，持久化用什么做的，卡芙卡用了么

lmeva2002 发表于 2022-12-8 02:25

[生病]这是啥。。不明觉厉

godspeed66 发表于 2022-12-8 09:33

本帖最后由 godspeed66 于 2022-12-8 09:35 编辑

风车车 发表于 2022-12-8 00:56
图看不清，持久化用什么做的，卡芙卡用了么

没有持久化

没有卡夫卡

godspeed66 发表于 2022-12-8 09:37

图片质量怎么下降这么严重？

风车车 发表于 2022-12-8 14:14

本帖最后由 风车车 于 2022-12-8 14:18 编辑

godspeed66 发表于 2022-12-8 09:33
没有持久化

没有卡夫卡



不用卡芙卡我感觉正常，因为logstash自己就有一些（可以看做是redis的替代）设计可以作为buffer，不太get得到没有持久化的意思，logstash不就是做日志收集和存储的么，持久化就在里面啊[震惊]

godspeed66 发表于 2022-12-8 14:51

风车车 发表于 2022-12-8 14:14
不用卡芙卡我感觉正常，因为logstash自己就有一些（可以看做是redis的替代）设计可以作为buffer，不太g ...

没有特意配置logstash的持久化队列[雷人][流汗]

godspeed66 发表于 2022-12-8 14:58

风车车 发表于 2022-12-8 14:14
不用卡芙卡我感觉正常，因为logstash自己就有一些（可以看做是redis的替代）设计可以作为buffer，不太g ...

另，有啥办法能降低logstash的CPU开销吗？

风车车 发表于 2022-12-8 15:07

本帖最后由 风车车 于 2022-12-8 15:08 编辑

godspeed66 发表于 2022-12-8 14:58
另，有啥办法能降低logstash的CPU开销吗？


这个问题很难解，可以先从jvm的profiling入手，看看是不是jvm调优的问题，比如老生常谈的jvm heap太小这种的



再说你这个30%我觉得还好吧
页: [1]
查看完整版本: [分享]f1290FX 每小时1.5亿条日志收集