暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GaussDB运维管理案例分析—实例删除失败

wang 2023-06-13
405

现象描述

GaussDB实例删除失败。

可能原因

GaussDB Service服务不正常,或者IAAS服务不正常,回收站备份失败。

定位思路

查看实例删除的告警信息,在Service OM查看删除失败的报错信息,查看实例删除的失败步骤。

处理步骤

1、使用浏览器,通过地址“https://ManageOne运维面主页的访问地址:31943”,登录ManageOne运维面,或通过地址“https://ManageOne主门户的访问地址”,登录ManageOne主门户,选择“运维中心(OC)”,进入ManageOne运维面。

1)密码方式:输入帐号和密码。

a.默认帐号:bss_admin。说明:如果是升级场景,默认帐号为admin。

b.默认密码:参见《华为云Stack 8.2.1 帐户一览表》的“A类(Portal)”页签中,“ManageOne运维面”帐户对应的默认密码。

2)USB Key方式:插入已预置用户证书的USB Key,选择设备和用户证书,并输入PIN码


2、在“集中监控 > 告警管理 > 当前告警”中查看集中告警,并处理告警信息,获取告警中的实例ID(instance_id)或者工作ID。

图片


3、选择“实例运维 > 任务管理”,右上角筛选条件选择“实例ID”或“任务流ID”,输入框中输入获取的实例ID或工作流ID,执行搜索,查看“当前状态”为失败的任务。

图片

“失败原因”列输出了失败时的程序错误日志。单击“树表”,则可以查看任务失败具体的环节。

图片


4、根据task执行结果,定位不同的故障场景操作。

场景一:删除备份策略(Gaussdbv5BackupPolicyDeletionTask)执行失败。按以下方法重启备份管理服务,排除备份管理服务故障后通过Service OM重做失败Task。

a.以opsadmin用户名登入节点。

b.执行以下指令,切换到root用户。

sudo su - root

c.执行以下指令,切换到service用户。

su - service

d.执行如下命令,重启tomcat进程。

cd /opt/cloud/GaussDB-backupmanager/bin/

./shutdown.sh

./startup.sh

e.在步骤3的“树表”页面,单击Gaussdbv5BackupPolicyDeletionTask的下拉按钮,选择“重做”任务。


场景二:Iass删除资源失败(Gaussdbv5DeleteDBInstanceTask或下一个Task Gaussdbv5CheckVMDeletionResultTask执行失败),根据3中展示的失败概览,分析失败原因。

a.如失败概览中有类似“network”“ping”的错误信息,表示网络不通,联系运维排查网络故障原因,解决网络问题后在步骤3的“树表”页面,单击上述执行失败的“Gaussdbv5DeleteDBInstanceTask”或“Gaussdbv5CheckVMDeletionResultTask”task的下拉按钮,选择“重做”任务。

b.如失败概览中有类似“iaas”“ecs”的错误信息,表明是IASS服务异常,删除资源失败,联系运维排查IAAS故障原因,修复问题后在步骤3的“树表”页面,单击上述执行失败的“Gaussdbv5DeleteDBInstanceTask”或“Gaussdbv5CheckVMDeletionResultTask”task的下拉按钮,选择“重做”任务。


场景三:回收站备份失败(Gaussdbv5RecycleBackupTask或下一个Gaussdbv5CheckRecycleBackupTask执行失败),查看子任务流并根据3中展示的失败概览,分析失败原因。

a.如RdsExportDbStatusCheckTask执行失败,表示备份导出失败,检查环境到OBS的网络是否异常,联系运维排查备份失败原因,解决备份失败问题后在步骤3的“树表”页面,单击上述执行失败的“RdsExportDbInitTask”task的下拉按钮,选择“重做”任务。


5、若以上步骤仍不能解决问题,收集日志和告警信息,联系技术支持进行处理。

需要下载的日志信息有:


管理侧:

•DBS-GaussDB-backupmanager组件下的日志。

•DBS-GaussDB-instancemanager组件下的日志。


租户侧:

agent组件下的:

•/home/Ruby/log/agent.log

•/home/Ruby/log/asyncJobResult.dat

•/home/Ruby/log/om_agent/agent.log


GaussDB Kernel组件下的:/var/lib/log/Ruby

最后修改时间:2023-06-14 09:56:29
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论