Linux系统日志切割-Logrotate

关于日志切割

日志文件包含了关于系统中发生的事件的有用信息,在排障过程中或者系统性能分析时经常被用到。对于忙碌的服务器,日志文件大小会增长极快,服务器会很快消耗磁盘空间,这成了个问题。除此之外,处理一个单个的庞大日志文件也常常是件十分棘手的事。

logrotate是个十分有用的工具,它可以自动对日志进行截断(或轮循)、压缩以及删除旧的日志文件。例如,你可以设置logrotate,让/var/log/foo日志文件每30天轮循,并删除超过6个月的日志。配置完后,logrotate的运作完全自动化,不必进行任何进一步的人为干预。

安装logrotate

在Debian或Ubuntu上:

1
# apt-get install logrotate cron

在Fedora,CentOS或RHEL上:

1
# yum install logrotate crontabs

logrotate的配置文件是/etc/logrotate.conf,通常不需要对它进行修改。日志文件的轮循设置在独立的配置文件中,它(们)放在/etc/logrotate.d/目录下。

logrotate配置

1
2
3
4
5
6
7
8
9
10
11
12
/var/log/log-file { # 仅针对 /var/log/wtmp 所设定的参数
monthly # 每月一次切割,取代默认的一周
rotate 5 # 保留五个日志历史.
compress # 开启gzip 压缩
delaycompress # 和compress 一起使用时,转储的日志文件到下一次转储时才压缩
missingok # 日志丢失,不报错继续滚动下一个日志
notifempty # 当日志文件为空时,不进行轮转
create 644 root root # 指定新建的日志文件权限以及所属用户和组
postrotate # 执行命令开始
/usr/bin/killall -HUP rsyslogd
endscript # 命令结束
}

上面的模板是通用的,而配置参数则根据你的需求进行调整,不是所有的参数都是必要的。

重要参数说明

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
compress                                   通过gzip 压缩转储以后的日志
nocompress 不做gzip压缩处理
copytruncate 用于还在打开中的日志文件,把当前日志备份并截断;是先拷贝再清空的方式,拷贝和清空之间有一个时间差,可能会丢失部分日志数据。
nocopytruncate 备份日志文件不过不截断
create mode owner group 轮转时指定创建新文件的属性,如create 0777 nobody nobody
nocreate 不建立新的日志文件
delaycompress 和compress 一起使用时,转储的日志文件到下一次转储时才压缩
nodelaycompress 覆盖 delaycompress 选项,转储同时压缩。
missingok 如果日志丢失,不报错继续滚动下一个日志
errors address 专储时的错误信息发送到指定的Email 地址
ifempty 即使日志文件为空文件也做轮转,这个是logrotate的缺省选项。
notifempty 当日志文件为空时,不进行轮转
mail address 把转储的日志文件发送到指定的E-mail 地址
nomail 转储时不发送日志文件
olddir directory 转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统
noolddir 转储后的日志文件和当前日志文件放在同一个目录下
sharedscripts 运行postrotate脚本,作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个,那么每个日志轮转后都会执行一次脚本
prerotate 在logrotate转储之前需要执行的指令,例如修改文件的属性等动作;必须独立成行
postrotate 在logrotate转储之后需要执行的指令,例如重新启动 (kill -HUP) 某个服务!必须独立成行
daily 指定转储周期为每天
weekly 指定转储周期为每周
monthly 指定转储周期为每月
rotate count 指定日志文件删除之前转储的次数,0 指没有备份,5 指保留5 个备份
dateext 使用当期日期作为命名格式
dateformat .%s 配合dateext使用,紧跟在下一行出现,定义文件切割后的文件名,必须配合dateext使用,只支持 %Y %m %d %s 这四个参数
size(或minsize) log-size 当日志文件到达指定的大小时才转储,log-size能指定bytes(缺省)及KB (sizek)或MB(sizem).
当日志文件 >= log-size 的时候就转储。 以下为合法格式:(其他格式的单位大小写没有试过)
size = 5 或 size 5 (>= 5 个字节就转储)
size = 100k 或 size 100k
size = 100M 或 size 100M

手动运行logrotate

logrotate可以在任何时候从命令行手动调用。要调用为/etc/lograte.d/下配置的所有日志调用logrotate:

1
[root@boysec.cn ~]$ logrotate /etc/logrotate.conf

要为某个特定的配置调用logrotate,执行一次切割任务测试

1
2
3
4
5
6
[root@boysec.cn ~]$ll /var/log/log-file  -h
-rw-r--r-- 1 root root 10M Jan 14 14:40 /var/log/log-file
[root@boysec.cn ~]$logrotate -vf /etc/logrotate.d/log-file
[root@boysec.cn ~]$ll /var/log/log-file*
-rw-r--r-- 1 root root 0 Jan 14 14:43 /var/log/log-file
-rw-r--r-- 1 root root 10485760 Jan 14 14:40 /var/log/log-file.1

即使轮循条件没有满足,我们也可以通过使用‘-f’选项来强制logrotate轮循日志文件,‘-v’参数提供了详细的输出。

logrotate生产应用

为nginx设置日志切割

防止访问日志文件过大

1
2
3
4
5
6
7
8
9
10
11
12
13
cat /etc/logrotate.d/nginx 
/application/nginx/logs/*.log {
create 0640 www root
daily
rotate 10
missingok
notifempty
compress
sharedscripts
postrotate
/bin/kill -USR1 `cat /application/nginx/logs/nginx.pid 2>/dev/null` 2>/dev/null || true
endscript
}

logrotate工具对于防止因庞大的日志文件而耗尽存储空间是十分有用的。配置完毕后,进程是全自动的,可以长时间在不需要人为干预下运行。本教程重点关注几个使用logrotate的几个基本样例,你也可以定制它以满足你的需求。