kafkakafka单条日志超过1M解决方案 一、说明 kafka默认会丢弃超过单调日志超过1M的记录。如果单条日志超出1M(压缩后),客户端会报出如下错误。 错误日志 Icon java.util.concurrent.ExecutionException: org.apache.kafka.commo... 4年前 (2020-12-29) 9℃
日志采集日志实时收集之FileBeat+Kafka flume,logstash 都是基于jvm的,都比较耗资源,而filebeat是基于go的,把logstash的核心拿出来了,但是没有执行格式化,只是在端上采集,,,, 之前,我们的某一个业务用于实时日志收集处理的架构大概是这样的: http://rk700... 4年前 (2020-12-29) 5℃
kafkakafka系列:设置日志数据保存过期时间(含某个topic)、日志策略 目录 全局设置(h) 某个Topic设置(ms) 立刻删除(now) 日志策略 分段策略属性 日志刷新策略 日志保存清理策略 参考 全局设置(h) server.properties log.retention.hours=72 log... 4年前 (2020-12-29) 6℃
linuxLinux用户登录记录日志和相关查看命令汇总(转) # 1 utmp、wtmp、btmp文件 Linux用户登录信息放在三个文件中: 1 /var/run/utmp:记录当前正在登录系统的用户信息,默认由who和w记录当前登录用户的信息,uptime记录系统启动时间; 2 /var/log/wtmp:记录当前正在登录和历史... 4年前 (2020-08-10) 7℃