备注:测试版本 6.3.1

Table of Contents

• 一.HDFS HA
• 1.1 启用HA
• 1.2 设置备用的NameService
• 1.3 选择备用的主机
• 1.4 审核更改
• 1.5 命令详细信息
• 1.6 最后步骤
• 1.7 重启后
• 1.8 Hue 设置
• 1.9 Hive 设置
• 1.10 重启Impala
• 二.YARN HA
• 2.1 添加ResourceManager
• 2.2 选择ResourceManager 所在主机
• 2.3 启动新增的ResourceManager
• 2.4 重启YARN
• 三.Hive HA
• 3.1 添加MataStore Server和HiveServer2
• 3.2 重启hive
• 参考

一.HDFS HA

HDFS的NameNode是一个单点，一个集群里面一般只有一个NameNode，当NameNode出现故障，Secondary NameNode并不会直接进行failover切换成为新的NameNode。

为了解决这个问题，HDFS在同一个集群里面运行两个NameNode，区别于Secondary NameNode，第二个NameNode被成为standby NameNode，可以提供自动的failover功能，一个集群里面最多只能有2个NameNode。同一时间，一个集群里面只有一个运行的NameNode。

CDH里面已经把这个做成了图形化界面操作，太方便了

1.1 启用HA

1.2 设置备用的NameService

1.3 选择备用的主机

1.4 审核更改

默认配置即可,录入 JournalNode目录

1.5 命令详细信息

等待命令执行完成

1.6 最后步骤

需要手工配置hue和hive，按照操作指导来即可

1.7 重启后

1.8 Hue 设置

Hue -> 配置 -> HDFS web界面角色 -> 选择httpfs，没有则在hdfs里添加角色。

1.9 Hive 设置

1.10 重启Impala

二.YARN HA

可以跟HDFS一样添加HA，如果HDFS已经启用HA，那更简单，添加一个ResourceManager，重启即可，CDH会自动部署高可用。

2.1 添加ResourceManager

2.2 选择ResourceManager 所在主机

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b07AqI7q-1607409020926)(https://upload-images.jianshu.io/upload_images/2638478-a7e6425bbccaa939.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]

2.3 启动新增的ResourceManager

2.4 重启YARN

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zvinlCRF-1607409020930)(https://upload-images.jianshu.io/upload_images/2638478-7db990a9683b09be.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]

三.Hive HA

同YARN。添加MataStore Server和HiveServer2，重启自动部署。

3.1 添加MataStore Server和HiveServer2

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h2Ij6FuQ-1607409020931)(https://upload-images.jianshu.io/upload_images/2638478-ea6d62008d3f6826.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]

3.2 重启hive

参考

1.https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_ha.html
2.https://blog.csdn.net/lingeio/article/details/97753136