Linux 服务器上的大文件查找及清理实践

发表于 | 分类于 | | 阅读次数:
字数统计: 2.8k | 阅读时长 ≈ 0:03

生产上的 Linux 服务器磁盘空间不足，后面排查得知是某个应用频繁写 log 导致。于是加了一条自动清理过期日志的 crontab 。
具体的排查过程记录如下，都是很基础的命令。

一、df

df -h 命令查看当前磁盘空间的使用情况：

1
2
3
4
5
6
7
8
# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1        50G   50G    0G  100% /
devtmpfs        3.9G     0  3.9G   0% /dev
tmpfs           3.9G   24K  3.9G   1% /dev/shm
tmpfs           3.9G  476K  3.9G   1% /run
tmpfs           3.9G     0  3.9G   0% /sys/fs/cgroup
tmpfs           783M     0  783M   0% /run/user/0

系统只有一个磁盘分区 /dev/vda1，大小为 50G，已挂载到根目录下，用量为 100%，确实没有剩余空间。

以此可断定并非存在分区划分不合理的情况。比如磁盘大部分容量分配给了其他分区，挂载到诸如 /home、/usr 等目录下导致 / 路径下没有足够的空间。

二、lsblk

lsblk 命令查看硬盘的分区与挂载点：

1
2
3
4
5
# lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0     11:0    1   37M  0 rom
vda    253:0    0   50G  0 disk
`-vda1 253:1    0   50G  0 part /

当前只有一块硬盘 vda，大小为 50G，全部分配给了唯一的分区 vda1，不存在剩余空间。

此处可以确定硬盘的所有容量都已被分配使用。不存在剩余空间（未分配区域）或者因为 LVM 卷导致仍有空闲存储未被使用等情况。

三、du

du 命令统计文件和目录占用的磁盘空间大小。

du 命令默认会以递归的方式输出当前路径中包含的所有文件的大小（以目录为单位显示），信息量有时会比较庞大。
可以使用 -s 选项获取当前目录下所有文件的大小总和。或者使用 -d 选项指定遍历的深度，即只统计到某一层目录而无需展开到更深层的子目录。

当前 Linux 服务器上的应用都部署在某个特定的路径下，因此切换到该目录并统计其中文件占用的磁盘空间大小总和：

1
2
# du -sh
12G     .

通过 -d 选项指定遍历的层数为 1，显示当前路径下包含的每一个子目录各自占用的磁盘空间总和：

1
2
3
4
5
6
7
8
9
10
# du -hd1
80K     ./work
7.6M    ./lib
12G     ./logs
236K    ./conf
4.0K    ./temp
221M    ./webapps
15M     ./backup
860K    ./bin
12G     .

可以看到 logs 子目录下的文件总共占用了 12G 存储空间，几乎与整个目录大小相当。因此基本可以确定 logs 目录为需要进一步排查的对象。

PS：如当前路径下子目录众多，也可以使用 sort 命令对输出结果按大小进行排序。

1
2
3
4
5
6
7
8
9
10
# du -d1 | sort -nr
12448764        .
12199320        ./logs
225988  ./webapps
14432   ./backup
7736    ./lib
860     ./bin
236     ./conf
80      ./work
4       ./temp

sort 命令的 -n 选项表示以数字大小为排序依据，-r 则表示逆序输出排序结果。
du 命令去掉 -h 选项则避免将文件大小（bytes）自动转换为 KB、MB、GB 等导致单位不一致。可以使用 -k 或 -m 等选项手动指定 du 命令的单位。

四、ls

ls 命令获取指定目录下包含的文件列表（及详细信息）。

1
2
3
4
5
6
7
8
9
# ls -Slh logs | head -8
total 12G
-rw-r--r-- 1 tomcat Devops 3.5G Dec 29 01:40 catalina.out
-rw-r----- 1 root   root   108M Nov 15 00:00 localhost_access.2019-11-14.log
-rw-r----- 1 root   root   107M Nov 22 00:00 localhost_access.2019-11-21.log
-rw-r----- 1 root   root   106M Nov 14 00:00 localhost_access.2019-11-13.log
-rw-r----- 1 root   root   104M Nov 17 00:00 localhost_access.2019-11-16.log
-rw-r----- 1 root   root   104M Nov 23 00:00 localhost_access.2019-11-22.log
-rw-r----- 1 root   root   104M Nov 13 00:00 localhost_access.2019-11-12.log

其中 -S 选项用于将输出结果按文件大小排序，-l 选项指定输出各文件的详细信息。由于 logs 目录下文件众多，使用 head -8 筛选前 8 条输出进行显示。

此时即可根据对文件大小和功能的判断手动执行删除操作。

五、find

find 命令筛选指定时期内创建的文件

logs 目录下每天都会创建新的日志文件，导致占用的磁盘空间与日俱增。因此需要定期删除指定日期以前的旧文件，释放不必要的空间占用。

如删除当前目录下只在 60 天以前修改过的文件，保留最近两个月的日志记录：

1
# find . -mtime +60 -type f -exec rm {} \;

将该命令添加到 crontab 中，设置好定时规则，即可定期执行清理任务，避免过高的磁盘占用。

命令总结

  • du -h：查看当前系统中磁盘空间的使用情况
  • lsblk：查看当前系统中磁盘的分区和挂载情况
  • du -hd1：查看当前目录下各子目录分别占用的磁盘空间大小
  • ls -Slh | head -8：列出当前目录下所有文件的详细信息，结果由大到小排序，输出前 8 条
  • find . -mtime +60 -type f -exec rm {} \;：查找当前目录下所有 60 天之前修改过的文件并删除