百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

k8s自动化运维八-如何清理docker存储的大文件

ztj100 2024-12-09 19:14 13 浏览 0 评论

承接上文k8s自动化运维七

docker文件简介

  • containers

里面都是容器,每启动一个容器便会在这里记录

进到某一个容器目录中,可以看到容器的日志文件

如果文件比较大的话,就可以清空该文件

cat /dev/null > xxx-json.log

  • image

默认里面只有一个overlay2目录,存储镜像管理数据的目录,以使用的存储驱动命名,这是Centos系统,使用的驱动为overlay2。

1、/var/lib/docker/image/overlay2/distribution

从远端拉到本地的镜像相关元数据

2、/var/lib/docker/image/overlay2/imagedb

镜像数据库

3、/var/lib/docker/image/overlay2/imagedb/content

每一个镜像都会配置digest,也就是镜像ID。Content目录里会看到一个sha256的目录,进入到该目录下,看到都是以镜像ID命名的文件,docker images看到的镜像ID的前12位就来自这个文件。

4、/var/lib/docker/image/overlay2/layerdb

5、/var/lib/docker/image/overlay2/layerdb/mounts


每启动一个容器,该目录都会将容器的container ID记录下来,当容器被停止了,container ID依旧存在,当容器被删除了,container ID才会被清除。

6、/var/lib/docker/image/overlay2/layerdb/sha256


只记录镜像的信息,不记录容器的信息,当镜像有添加或删除时,此目录的信息会有更新

7、/var/lib/docker/image/overlay2/repositories.json


记录了镜像的tag、镜像ID等信息

  • network

docker的网关、容器的IP地址等信息

网关和网络的名称均与上面的配置文件里一致,可见上面的network目录就是记载着docker的网络信息。

  • overlay2

Docker存储驱动,常见的有overlay、overlay2、aufs

每启动一个容器就会有一个docker存储挂载,如上所示,他们是共用宿主机的存储,也就是这些docker存储的挂载除了挂载点不一样其他的都一样。所有容器都共用一个存储,当一个容器有数据变化,那么连接容器的所有存储的挂载信息都会更新产生变化。

可通过执行docker system prune 命令可用于清理磁盘,删除关闭的容器、无用的数据卷和网络,以及dangling镜像(即无tag的镜像)

查看磁盘使用情况

磁盘马上满了,

  • 定位大文件du -sh /* |sort -rn | head

这样一层一层查看

du -sh /var/lib/docker/* |sort -rn | head

就可以定位到这2个文件夹比较大

  • 清理volumes应用日志

查看volumes文件

# 查看该目录下前N个大文件
du -am ./* | sort -nrk 1 | head -n 20

最终定位到./diff/app/logs/这个目录下的文件比较大

这个文件下是应用的日志目录,对应到pod容器里面的这些日志

然后把大的日志文件清空即可

# 这种方式把日志文件清空,不会影响docker的正常运行

cat /dev/null > xibaoxiao-bwy_info.log
  • 清理containers容器日志
    1、查找占用空间最大的目录是属于哪个容器的
docker ps -q | xargs docker inspect --format '{{.State.Pid}}, {{.Name}}, {{.GraphDriver.Data.WorkDir}}' | grep "c1dc42ba3167ece0894405870176847e912afd9151a0adb77691ac51663b942f"

2、知道了是哪个容器之后,进入到该容器目录,其中若有容器日志大文件,清空即可

相关推荐

再说圆的面积-蒙特卡洛(蒙特卡洛方法求圆周率的matlab程序)

在微积分-圆的面积和周长(1)介绍微积分方法求解圆的面积,本文使用蒙特卡洛方法求解圆面积。...

python编程:如何使用python代码绘制出哪些常见的机器学习图像?

专栏推荐...

python创建分类器小结(pytorch分类数据集创建)

简介:分类是指利用数据的特性将其分成若干类型的过程。监督学习分类器就是用带标记的训练数据建立一个模型,然后对未知数据进行分类。...

matplotlib——绘制散点图(matplotlib散点图颜色和图例)

绘制散点图不同条件(维度)之间的内在关联关系观察数据的离散聚合程度...

python实现实时绘制数据(python如何绘制)

方法一importmatplotlib.pyplotaspltimportnumpyasnpimporttimefrommathimport*plt.ion()#...

简单学Python——matplotlib库3——绘制散点图

前面我们学习了用matplotlib绘制折线图,今天我们学习绘制散点图。其实简单的散点图与折线图的语法基本相同,只是作图函数由plot()变成了scatter()。下面就绘制一个散点图:import...

数据分析-相关性分析可视化(相关性分析数据处理)

前面介绍了相关性分析的原理、流程和常用的皮尔逊相关系数和斯皮尔曼相关系数,具体可以参考...

免费Python机器学习课程一:线性回归算法

学习线性回归的概念并从头开始在python中开发完整的线性回归算法最基本的机器学习算法必须是具有单个变量的线性回归算法。如今,可用的高级机器学习算法,库和技术如此之多,以至于线性回归似乎并不重要。但是...

用Python进行机器学习(2)之逻辑回归

前面介绍了线性回归,本次介绍的是逻辑回归。逻辑回归虽然名字里面带有“回归”两个字,但是它是一种分类算法,通常用于解决二分类问题,比如某个邮件是否是广告邮件,比如某个评价是否为正向的评价。逻辑回归也可以...

【Python机器学习系列】拟合和回归傻傻分不清?一文带你彻底搞懂

一、拟合和回归的区别拟合...

推荐2个十分好用的pandas数据探索分析神器

作者:俊欣来源:关于数据分析与可视化...

向量数据库:解锁大模型记忆的关键!选型指南+实战案例全解析

本文较长,建议点赞收藏,以免遗失。更多AI大模型应用开发学习视频及资料,尽在...

用Python进行机器学习(11)-主成分分析PCA

我们在机器学习中有时候需要处理很多个参数,但是这些参数有时候彼此之间是有着各种关系的,这个时候我们就会想:是否可以找到一种方式来降低参数的个数呢?这就是今天我们要介绍的主成分分析,英文是Princip...

神经网络基础深度解析:从感知机到反向传播

本文较长,建议点赞收藏,以免遗失。更多AI大模型应用开发学习视频及资料,尽在...

Python实现基于机器学习的RFM模型

CDA数据分析师出品作者:CDALevelⅠ持证人岗位:数据分析师行业:大数据...

取消回复欢迎 发表评论: