使用ambari add host
时,为何不能register 节点?
为什么老是报找不目录,文件没有权限之类的问题?还有返回值不为0 是什么情况?
如果host来自其他节点的复制,不是全新的host , 那么需要先做host cleanup。
然后再在新节点上安装ambari server 和 agent 。 找不到目录、返回值不为0,都是因为环境中的依赖关系不完整导致的,最终导致注册失败。
如何做host cleanup ?
删除旧的目录,旧的配置文件。删除已经安装了的插件。
注意: ambari server / agent / postgre 可以卸载重装,也可以不卸载,但可能需要reinitialize .
参考:
http://clarkupdike.blogspot.com/2014/09/resetting-deleting-and-cleaning-out.html
https://cwiki.apache.org/confluence/display/AMBARI/Host+Cleanup+for+Ambari+and+Stack
host cleanup 的时候,如何批量卸载节点上的组件?
生成列表:
yum list installed | grep HDP|awk -F" " '{print "yum -erase -y", $1}'
串行移除:
clean(){ yum erase -y @local-HDP-2.3.4.0 yum erase -y datafu_2_3_4_0_3485.noarch yum erase -y hadoop_2_3_4_0_3485.x86_64 yum erase -y hadoop_2_3_4_0_3485-client.x86_64 yum erase -y hadoop_2_3_4_0_3485-conf-pseudo.x86_64 yum erase -y hadoop_2_3_4_0_3485-doc.x86_64 yum erase -y hadoop_2_3_4_0_3485-hdfs.x86_64 yum erase -y 2.7.1.2.3.4.0-3485.el6 yum erase -y hadoop_2_3_4_0_3485-hdfs-fuse.x86_64 yum erase -y 2.7.1.2.3.4.0-3485.el6 yum erase -y 2.7.1.2.3.4.0-3485.el6 yum erase -y 2.7.1.2.3.4.0-3485.el6 yum erase -y hadoop_2_3_4_0_3485-hdfs-zkfc.x86_64 yum erase -y 2.7.1.2.3.4.0-3485.el6 yum erase -y hadoop_2_3_4_0_3485-libhdfs.x86_64 yum erase -y hadoop_2_3_4_0_3485-mapreduce.x86_64 yum erase -y 2.7.1.2.3.4.0-3485.el6 yum erase -y hadoop_2_3_4_0_3485-source.x86_64 yum erase -y hadoop_2_3_4_0_3485-yarn.x86_64 yum erase -y 2.7.1.2.3.4.0-3485.el6 yum erase -y 2.7.1.2.3.4.0-3485.el6 yum erase -y 2.7.1.2.3.4.0-3485.el6 yum erase -y 2.7.1.2.3.4.0-3485.el6 yum erase -y hbase_2_3_4_0_3485.noarch yum erase -y hbase_2_3_4_0_3485-doc.noarch yum erase -y hbase_2_3_4_0_3485-master.noarch yum erase -y hbase_2_3_4_0_3485-regionserver.noarch yum erase -y hbase_2_3_4_0_3485-rest.noarch yum erase -y hbase_2_3_4_0_3485-thrift.noarch yum erase -y hbase_2_3_4_0_3485-thrift2.noarch yum erase -y hdp-select.noarch yum erase -y hive_2_3_4_0_3485.noarch yum erase -y hive_2_3_4_0_3485-hcatalog.noarch yum erase -y 1.2.1.2.3.4.0-3485.el6 yum erase -y hive_2_3_4_0_3485-jdbc.noarch yum erase -y hive_2_3_4_0_3485-metastore.noarch yum erase -y hive_2_3_4_0_3485-server.noarch yum erase -y hive_2_3_4_0_3485-server2.noarch yum erase -y hive_2_3_4_0_3485-webhcat.noarch yum erase -y 1.2.1.2.3.4.0-3485.el6 yum erase -y mysql-connector-java.noarch yum erase -y @local-HDP-2.3.4.0 yum erase -y 0.5.0.2.3.4.0-3485.el6 yum erase -y ranger_2_3_4_0_3485-hdfs-plugin.x86_64 yum erase -y ranger_2_3_4_0_3485-hive-plugin.x86_64 yum erase -y ranger_2_3_4_0_3485-yarn-plugin.x86_64 yum erase -y snappy.x86_64 yum erase -y snappy-devel.x86_64 yum erase -y sqoop_2_3_4_0_3485.noarch yum erase -y sqoop_2_3_4_0_3485-metastore.noarch yum erase -y tez_2_3_4_0_3485.noarch yum erase -y zookeeper_2_3_4_0_3485.noarch }
再执行:
clean
即可!
备注:yum list installed 打印出来的结果中,可能有特殊字符,需要手工copy终端显示,然后保存到文件中,再用awk、grep等提取相关的信息。
现有datanode n04 复制自另外的节点n03,并已经添加host成功,但是节点不是live , 为什么?
n04 的配置跟n03 冲突! 只能识别其中的一个为live! 这就是对于复制节点要做host cleanup 的原因。
hdfs 8020 端口 connection refused 如何解决?
确认 hdfs 的 hbase.rootdir 是否配置了正确的节点。
例如,我尝试把hbase.site.xml 中的 n01 改成n02 :
再做namenode移动的时候,可以通过节点检查。
如何查看节点时间同步情况?
ssh n01.kylin.hdp date ; ssh n02.kylin.hdp date; ssh n03.kylin.hdp date ; ssh n04.kylin.hdp date
如何同步各个节点的时间?
保证ntpd 服务已经安装
/etc/init.d/ntpd restart
hbase region server 不能启动的原因可能就是 时间不同步。
[Alert][hive_server_process] Failed with result CRITICAL: [‘Connection failed on host n 02.kylin.hdp:10000 如何解决?
重启 hiveServer2 即可!
如何平衡hdfs各节点的存储 ?
hadoop balancer
命令,可以均衡各个节点上的存储。但注意均衡后也不是绝对平均的!
如何查看各个datanode上的数据分布?
http://127.0.0.1:50070/dfshealth.html#tab-datanode
该链接从hdfs-> quick link 中 提取。
注意:127.0.0.1:50070 是我做了虚拟机到宿主机的端口映射的地址, 请根据实际ip访问。
使用ambari 添加节点的正常流程是怎么样的?
- 新建host .
- 按照ambari hdp 上安装 ambari server/agent 的流程来配置host的环境。
- 使用ambari添加节点。
使用旧节点创建新节点的流程应该是怎样的?
- host cleanup 清理旧系统的配置和之前已安装的应用。
- 确认ambari server/agent 是否安装好。
- 使用ambari web添加节点。
为什么添加节点过程中会报各种异常?
归根结底,是系统中的依赖条件不满足。当然还有配置错误。所以按手册流程来操作就非常重要。

长按二维码关注“BI实验室” , 了解更多BI解决方案!




