暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / PolarDB日志过多空间不足引起备份失败问题

PolarDB日志过多空间不足引起备份失败问题

IT那活儿 2024-07-12
110
点击上方“IT那活儿”公众号--专注于企业全栈运维技术分享，不管IT什么活儿，干就完了！！！
一

问题背景

登陆DBstack管理界面，巡检polarDB数据库备份的过程中，发现ploarDB当日全量备份失败。

二

问题排查

2.1 查询备份容器并入备份容器
查询kubectl get pod -n dbstack-dbaas -o wide |grep backup-agent
进入kubectl -n dbstack-dbaas exec -it polar-rwo-backup-65765-xxxx -c polar-rwo-backup-agent bash

2.2 进入日志目录cd/log
查找报错信息grep ERROR -R log | grep -v "too many" | grep -v "no such device" | sort | tail， 显示磁盘空间不足。

三

问题解决

3.1 进入到容器目录/var/lib/docker/overlay2
查看使用情况du -sh * | grep G。
3.2 找出对应的docker
docker ps -q | xargs docker inspect --format '{{.State.Pid}}, {{.Id}}, {{.Name}}, 
{{.GraphDriver.Data.WorkDir}}' | grep "de1cba2b9af00fc317e01ee73baaf8dda7303e412357a2f0d53781e36bc4cae1"
3.3 进入管理机x.x.x.x查询docker ps | grep 1a7f并进入改docker
查询docker ps | grep 1a7f。
进入docker exec -it 1a7fd434b7dc bash：
3.4 查询docker空间使用情况
df-h
3.5 进入根目录查看文件使用情况
du -sh *
3.6 进入日志目录
删除多余日志monitor、numen_request、springboot（至少保留三天）。
问题小结：
  • 及时关注存储空间变化；
  • 更改日志存储目录的路径至更充足的空间。

END


本文作者：韩学士(上海新炬中北团队）

本文来源：“IT那活儿”公众号

polardbdocker
文章转载自IT那活儿，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论