暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

CDH Namenode HA配置的正确姿势

尖峰DBA 2021-04-21
1911

    在大型Hadoop集群,Namenode做HA非常必要。CDH可以方便地在HA和非HA之间切换。不过,通常最关键的一步被忽略了,导致Hive等应用无法正确读取数据:

ERROR parse.CalcitePlanner: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to determine if hdfs://cmnode:8020/user/hive/warehouse/pfeedback is encrypted: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby. 

   那么,正常的步骤是啥?

1、停止所有任务,准备切换到HA模式。

2、指定一下服务名。

3、指定一个备用Namenode主机。


4、选择3个以上奇数个NameNode。

5、点击“继续”开始批量执行。

6、全部成功完成后,点击“继续”,会弹出一个提示页面,里面的提示通常都会被忽略,这恰恰是引起数据无法访问的关键。

7、停止所有Hive服务,备份数据库,准备更新元数据。

mysqldump --all-databases -uroot -p -hrepdb >repdb.sql

如果Hive服务没停掉,菜单中的更新选项是灰色的,无法执行操作。

8、确认开始更新。

9、检查确认。

10、重启Hive服务并测试。

文章转载自尖峰DBA,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论