暂无图片
暂无图片
1
暂无图片
暂无图片
暂无图片

华为GaussDB T DN主备切换

墨天轮 2019-09-23
861

DN主备切换

集群主DN发生故障,DN的备机自动升为主机后,可能导致集群各主机上的主备分布不均衡,从而使各主机的运行负载不均衡。待故障DN恢复正常后,可以手工执行主备切换,使各主机上的主备DN分布均衡。在其他场景,如有需要也可以通过命令行手动切换DN。

背景信息

部署集群时,建议用户将主机上的主DN对应的备1实例和备2实例分散部署在其他多个主机上,且尽量使各主机上的DN数相同。如表1所示。

表1 集群部署方案示例

主机

AZ

CN

CM

ETCD

DN

plat1

AZ1

CN 1

CM备

ETCD1

DN1备

plat2

AZ1

CN 2

CM主

ETCD2

DN2备

plat3

AZ1

-

-

ETCD3

DN1主

plat4

AZ1

-

-

-

DN2主

如果主机plat3中DN1的主实例发生故障,则主机plat1中DN1的备实例会自动升主。待DN1的主实例恢复正常后,手动切换DN1的主备实例,保持各个主机中主备实例数目的一致。

前提条件

集群已经启动,实例的主备关系正常。

操作步骤

  • omm用户身份登录GaussDB 100所在的任意服务器。
  • 在集群的任意一个主机上执行如下命令,切换主备DN。

    gs_om -t switch -h plat1 -I DB1_2

    plat1为当前备DN所在的主机名称。

    DB1_2为要被切换的备DN名称。

  • 对于同一对实例,上一次主备切换未完成,不能执行下一次切换。
  • passive节点不支持主备切换。【passive节点只在使用Zenith_ZPAXOS内核的集群中使用】
  • 进行过主备切换后,如果当前集群状态中balanced字段为false,在继续执行重启etcd、单AZ拉起、节点替换或扩容操作后,集群状态中balanced字段会显示为true,但实际集群DN主备状态并未改变。
  • 在切换过程中,不可以使用Ctrl+C命令中断切换过程。否则会出现如下错误提示,同时需要手动释放CM锁,方可执行下次DN主备切换。
    [GAUSS-53007] : Failed to switch cluster. Error:Set output to terminal. time="2019-07-16T15:45:51+08:00" level=error msg="The group group_1 is doing switchover" time="2019-07-16T15:45:51+08:00" level=fatal msg="switchover datanode primary to DB(DB1_2) failed"

    解锁方法如下:

    • 查询switchover是否锁住:
      [omm@plat1 ~]$ etcdctl --cert="$ETCD_CERT_CLIENT_FILE" --key="$ETCD_KEY_CLIENT_FILE" --cacert="$ETCD_CA_CLIENT_FILE" --endpoints="$ETCD_ADDRESS" get /clusters/cmd_cm/arbitrate_db --prefix /clusters/cmd_cm/arbitrate_db/group_1 group_1
    • 删除switchover锁:
      [omm@plat1 ~]$ etcdctl --cert="$ETCD_CERT_CLIENT_FILE" --key="$ETCD_KEY_CLIENT_FILE" --cacert="$ETCD_CA_CLIENT_FILE" --endpoints="$ETCD_ADDRESS" del /clusters/cmd_cm/arbitrate_db/group_1

示例

omm@plat1:~>gs_om -t switch -h plat1 -I DB1_2 Switching instances. Successfully switched cluster.

错误排查

如果启动集群或者停止集群服务失败,请根据日志文件中的日志信息排查错误,参见管理日志。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论