余晖落尽暮晚霞,黄昏迟暮远山寻
本站
当前位置:网站首页 > 编程知识 > 正文

Linux 下使用 Logrotate 旋转和压缩日志文件

xiyangw 2023-05-14 11:57 10 浏览 0 评论

Linux-Rotate-And-Compress-Logs

在 Linux 系统中,当涉及到检查和故障排除错误时,几乎所有系统日志文件都非常重要。它们提供了关于各种系统服务在失败之前可能出现的问题的重要线索。

Linux 下使用 Logrotate 旋转和压缩日志文件

Linux 系统上安装的任何服务,例如 Apache 服务器或 MySQL 服务器生成通常存储在 /var/log 目录。如果您检查此目录的内容,您将看到类似于下面的内容:

随着时间的推移,日志文件的大小会增加,并占用更多的空间。在您意识到这一点之前,日志文件的大小已经膨胀,稍有疏忽,很容易耗尽磁盘空间。

考虑到这一点,谨慎的做法是将日志文件保持在可管理的大小,并删除占用磁盘空间的旧日志,这就是 log rotation 的由来。

什么是 log rotation ?

Log rotation 是一个创建新日志文件和存档&删除旧文件以节省磁盘空间的过程。例如:apport.log 变为 apport.log.1,并创建一个新的 apport.log 日志文件记录新的日志项。旧的日志文件通常被压缩,并显示为 apport.log.2.gz,apport.log.3.gz,apport.log.4.gz,等等。

当日志文件的大小增长并超过某个限制时,通常会激活日志轮换。

轮换程序如何工作 ?

在我们讲解轮换程序如何工作之前,请确保在您的系统上安装了 logrotate。

For Debian / Ubuntu System:

$ sudo apt-get install logrotate -y

For CentOS / RHEL / Fedora System:

$ sudo yum install logrotate -y
or 
$ sudo dnf  install logrotate -y

运行以下命令检查 logrotate 版本

linuxtechi@ubuntu-server:~$ logrotate --version
logrotate 3.14.0
    Default mail command:       /usr/bin/mail
    Default compress command:   /bin/gzip
    Default uncompress command: /bin/gunzip
    Default compress extension: .gz
    Default state file path:    /var/lib/logrotate/status
    ACL support:                yes
    SELinux support:            yes
linuxtechi@ubuntu-server:~$

默认情况下,logrotate 在现代 Linux 发行版中是预安装的,因此不需要安装它。

logrotate 配置文件

logrotate 作为 cron 作业每天运行,遍历各种日志文件,轮换它们,并清除配置文件中定义的旧日志文件,您需要密切关注两个主要的配置源。

(1)/etc/logrotate.conf

这是 logrotate 工具的主要配置文件,它使用 include 指令来包含位于 /etc/logrotate.d 目录中的配置,让我们看一下配置文件。

$ cat /etc/logrotate.conf

(2)/etc/logrotate.d

这是一个目录,包含已安装包的日志配置,这些包的日志文件需要日志轮换。您还可能找到系统工具的配置文件,例如 apt & dpkg (用于 Debian 系统)、rsyslog、ufw 和 cups-daemon。

linuxtechi@ubuntu-server:~$ ls -l /etc/logrotate.d/
total 60
-rw-r--r-- 1 root root 120 Sep  5  2019 alternatives
-rw-r--r-- 1 root root 126 Dec  4 20:25 apport
-rw-r--r-- 1 root root 173 Apr  9 11:21 apt
-rw-r--r-- 1 root root  91 Apr  1 10:49 bootlog
-rw-r--r-- 1 root root 130 Jan 21  2019 btmp
-rw-r--r-- 1 root root 181 Feb 17 08:19 cups-daemon
-rw-r--r-- 1 root root 112 Sep  5  2019 dpkg
-rw-r--r-- 1 root root 329 Feb  4  2019 nginx
-rw-r--r-- 1 root root  94 Feb  8  2019 ppp
-rw-r--r-- 1 root root 501 Mar  7  2019 rsyslog
-rw-r--r-- 1 root root 677 Nov 29 02:08 speech-dispatcher
-rw-r--r-- 1 root root 119 Mar 30 21:49 ubuntu-advantage-tools
-rw-r--r-- 1 root root 178 Jan 21 22:16 ufw
-rw-r--r-- 1 root root 235 Apr 13 23:37 unattended-upgrades
-rw-r--r-- 1 root root 145 Feb 19  2018 wtmp
linuxtechi@ubuntu-server:~$

让我们看一下 dpkg 包管理器工具的配置文件

$ cat -n /etc/logrotate.d/dpkg

自定义 logrotate 配置文件示例

假设我们有一个以 linuxtechi 用户运行的应用程序,生成的日志文件存储在 /home/linuxtechi/logs 目录中,日志文件需要每周轮换旋转。

首先,我们在主目录中创建一个 logrotate 配置文件

$ vim /home/linuxtechi/logrotate.conf

写入如下配置内容

/home/linuxtechi/logs/*.log {
    weekly
    missingok
    rotate 14
    compress
    create
}

日志文件将每周轮换一次,如果有任何日志文件丢失,则会抑制任何错误消息。在这个月中,将备份 14 个日志文件,并在轮换当前日志文件后创建一个新的日志文件。

接下来,我们创建一个 logs 目录,其中将包含应用程序的日志文件,然后创建一个名为 app.log 的日志文件。

linuxtechi@ubuntu-server:~$ mkdir logs && cd logs
linuxtechi@ubuntu-server:~/logs$ touch app.log
linuxtechi@ubuntu-server:~/logs$ ls
app.log
linuxtechi@ubuntu-server:~/logs$

接下来,我们运行 logrotate 命令在主目录中创建一个 logrotate 状态文件,以验证日志条目是否已经创建。

$ logrotate /home/linuxtechi/logrotate.conf --state /home/linuxtechi/logrotate-state --verbose

从输出来看,日志文件没有被轮换,因为轮换每周发生一次,而日志文件只有一个小时。

检查日志记录文件,以验证是否记录了关于日志旋转运行的任何信息。

linuxtechi@ubuntu-server:~$ cat logrotate-state
logrotate state -- version 2
"/home/linuxtechi/logs/app.log" 2020-5-24-17:0:0
linuxtechi@ubuntu-server:~$

从输出中,我们可以看到 logrotate 程序确认最后一次考虑日志文件进行旋转,并打印时间戳。

我们强制 logrotate 旋转日志文件,否则它现在不会旋转日志文件。

$ logrotate /home/linuxtechi/logrotate.conf --state /home/linuxtechi/logrotate-state --verbose --force

返回 logs 目录,您将看到一个额外的日志文件,该文件已被旋转和压缩。

linuxtechi@ubuntu-server:~$ cd logs/
linuxtechi@ubuntu-server:~/logs$ ls
app.log  app.log.1.gz
linuxtechi@ubuntu-server:~/logs$

根据大小对日志文件进行压缩和旋转

有时,日志文件会在指定的轮换间隔 (每天 / 每周 / 每月) 之前变得更大并占用空间。

解决该问题的一种方法是指定文件的最大尺寸,超过该大小时将触发日志文件的旋转。要实现这一点,请在 logrotate 文件中指定 maxsize 选项。

假设我们在 /etc/logrotate.d 目录下为应用程序创建一个自定义日志旋转配置文件

linuxtechi@ubuntu-server:~$ cd /etc/logrotate.d/
linuxtechi@ubuntu-server:/etc/logrotate.d$ sudo vi custom-app
/home/linuxtechi/logs/app-access.log
{
    daily
    missingok
    maxsize 40M
    rotate 4
    compress
    create
}

可以使用 -d 选项对日志文件进行 logrotate 的试运行

$ logrotate -d /etc/logrotate.d/custom-app

除了增强基于大小的日志文件的旋转之外,谨慎的做法是确保使用 cron 作业定期调用 logtate 配置文件。这对于日志文件来说尤其重要,因为它们的大小会迅速膨胀,有可能会填满磁盘空间。

您可以将 logrotate 脚本从 /etc/cron.daily 目录复制到 /etc/cron.hourly 位置。这将把日志旋转转换为一个小时,而不是每日的日志旋转。

另一种方法是在 /etc /crontab 文件中指定 cron 作业,这样每隔 10 分钟就会触发旋转。

*/10 * * * * /etc/cron.daily/logrotate

除了使用 maxsize 指令指定最大大小外,还使用 crontab 调用 logrotate 脚本,这是一个完美的组合,可以确保及时旋转日志文件,以避免填满硬盘驱动器。

有关 logrotate 工具的其他选项,请查看手册页

我的开源项目

  • course-tencent-cloud(酷瓜云课堂 - gitee 仓库)
  • course-tencent-cloud(酷瓜云课堂 - github 仓库)

相关推荐

辞旧迎新,新手使用Containerd时的几点须知

相信大家在2020年岁末都被Kubernetes即将抛弃Docker的消息刷屏了。事实上作为接替Docker运行时的Containerd在早在Kubernetes1.7时就能直接与Kubelet集成使...

分布式日志系统ELK+skywalking分布式链路完整搭建流程

开头在分布式系统中,日志跟踪是一件很令程序员头疼的问题,在遇到生产问题时,如果是多节点需要打开多节点服务器去跟踪问题,如果下游也是多节点且调用多个服务,那就更麻烦,再者,如果没有分布式链路,在生产日志...

Linux用户和用户组管理

1、用户账户概述-AAA介绍AAA指的是Authentication、Authorization、Accounting,即认证、授权和审计。?认证:验证用户是否可以获得权限,是3A的第一步,即验证身份...

linux查看最后N条日志

其实很简单,只需要用到tail这个命令tail-100catalina.out输入以上命令,就能列出catalina.out的最后100行。...

解决linux系统日志时间错误的问题

今天发现一台虚拟机下的系统日志:/var/log/messages,文件时间戳不对,跟正常时间差了12个小时。按网上说的执行了servicersyslogrestart重启syslog服务,还是不...

全程软件测试(六十二):软件测试工作如何运用Linux—读书笔记

从事过软件测试的小伙们就会明白会使用Linux是多么重要的一件事,工作时需要用到,面试时会被问到,简历中需要写到。对于软件测试人员来说,不需要你多么熟练使用Linux所有命令,也不需要你对Linux...

Linux运维之为Nginx添加错误日志(error_log)配置

Nginx错误日志信息介绍配置记录Nginx的错误信息是调试Nginx服务的重要手段,属于核心功能模块(nginx_core_module)的参数,该参数名字为error_log,可以放在不同的虚机主...

Linux使用swatchdog实时监控日志文件的变化

1.前言本教程主要讲解在Linux系统中如何使用swatchdog实时监控日志文件的变化。swatchdog(SimpleWATCHDOG)是一个简单的Perl脚本,用于监视类Unix系统(比如...

syslog服务详解

背景:需求来自于一个客户想将服务器的日志转发到自己的日志服务器上,所以希望我们能提供这个转发的功能,同时还要满足syslog协议。1什么是syslog服务1.1syslog标准协议如下图这里的fa...

linux日志文件的管理、备份及日志服务器的搭建

日志文件存放目录:/var/log[root@xinglog]#cd/var/log[root@xinglog]#lsmessages:系统日志secure:登录日志———————————...

运维之日志管理简介

日志简介在运维过程中,日志是必不可少的东西,通过日志可以快速发现问题所在。日志分类日志分类,对不同的日志进行不同维度的分析。操作系统日志操作系统是基础,应用都是在其之上;操作系统日志的分析,可以反馈出...

Apache Log4j 爆核弹级漏洞,Spring Boot 默认日志框架就能完美躲过

这两天沸沸扬扬的Log4j2漏洞门事件炒得热火朝天:突发!ApacheLog4j2报核弹级漏洞。。赶紧修复!!|Java技术栈|Java|SpringBoot|Spring...

Linux服务器存在大量log日志,如何快速定位错误?

来源:blog.csdn.net/nan1996jiang/articlep/details/109550303针对大量log日志快速定位错误地方tail/head简单命令使用:附加针对大量log日志...

Linux中查看日志文件的正确姿势,求你别tail走天下了!

作为一个后端开发工程师,在Linux中查看查看文件内容是基本操作了。尤其是通常要分析日志文件排查问题,那么我们应该如何正确打开日志文件呢?对于我这种小菜鸡来说,第一反应就是cat,tail,vi(或...

分享几款常用的付费日志系统,献给迷茫的你!

概述在前一篇文章中,我们分享了几款免费的日志服务器。他们各有各的特点,但是大家有不同的需求,有时免费的服务器不能满足大家的需要,下面推荐几款付费的日志服务器。1.Nagios日志服务器Nagio...

取消回复欢迎 发表评论: