暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

使用ambari为hdp集群添加节点的若干问题记录

数据的砖格外烫手 2016-02-18
1489

使用ambari add host
时,为何不能register 节点?

为什么老是报找不目录,文件没有权限之类的问题?还有返回值不为0 是什么情况?


如果host来自其他节点的复制,不是全新的host , 那么需要先做host cleanup。

然后再在新节点上安装ambari server 和 agent 。 找不到目录、返回值不为0,都是因为环境中的依赖关系不完整导致的,最终导致注册失败。

如何做host cleanup ?

删除旧的目录,旧的配置文件。删除已经安装了的插件。

注意: ambari server / agent / postgre 可以卸载重装,也可以不卸载,但可能需要reinitialize .

参考:

http://clarkupdike.blogspot.com/2014/09/resetting-deleting-and-cleaning-out.html

https://cwiki.apache.org/confluence/display/AMBARI/Host+Cleanup+for+Ambari+and+Stack

host cleanup 的时候,如何批量卸载节点上的组件?

生成列表:

yum list installed | grep HDP|awk -F" " '{print "yum -erase -y",  $1}'

串行移除:

clean(){
yum erase -y @local-HDP-2.3.4.0
yum erase -y datafu_2_3_4_0_3485.noarch
yum erase -y hadoop_2_3_4_0_3485.x86_64
yum erase -y hadoop_2_3_4_0_3485-client.x86_64
yum erase -y hadoop_2_3_4_0_3485-conf-pseudo.x86_64
yum erase -y hadoop_2_3_4_0_3485-doc.x86_64
yum erase -y hadoop_2_3_4_0_3485-hdfs.x86_64
yum erase -y 2.7.1.2.3.4.0-3485.el6
yum erase -y hadoop_2_3_4_0_3485-hdfs-fuse.x86_64
yum erase -y 2.7.1.2.3.4.0-3485.el6
yum erase -y 2.7.1.2.3.4.0-3485.el6
yum erase -y 2.7.1.2.3.4.0-3485.el6
yum erase -y hadoop_2_3_4_0_3485-hdfs-zkfc.x86_64
yum erase -y 2.7.1.2.3.4.0-3485.el6
yum erase -y hadoop_2_3_4_0_3485-libhdfs.x86_64
yum erase -y hadoop_2_3_4_0_3485-mapreduce.x86_64
yum erase -y 2.7.1.2.3.4.0-3485.el6
yum erase -y hadoop_2_3_4_0_3485-source.x86_64
yum erase -y hadoop_2_3_4_0_3485-yarn.x86_64
yum erase -y 2.7.1.2.3.4.0-3485.el6
yum erase -y 2.7.1.2.3.4.0-3485.el6
yum erase -y 2.7.1.2.3.4.0-3485.el6
yum erase -y 2.7.1.2.3.4.0-3485.el6
yum erase -y hbase_2_3_4_0_3485.noarch
yum erase -y hbase_2_3_4_0_3485-doc.noarch
yum erase -y hbase_2_3_4_0_3485-master.noarch
yum erase -y hbase_2_3_4_0_3485-regionserver.noarch
yum erase -y hbase_2_3_4_0_3485-rest.noarch
yum erase -y hbase_2_3_4_0_3485-thrift.noarch
yum erase -y hbase_2_3_4_0_3485-thrift2.noarch
yum erase -y hdp-select.noarch
yum erase -y hive_2_3_4_0_3485.noarch
yum erase -y hive_2_3_4_0_3485-hcatalog.noarch
yum erase -y 1.2.1.2.3.4.0-3485.el6
yum erase -y hive_2_3_4_0_3485-jdbc.noarch
yum erase -y hive_2_3_4_0_3485-metastore.noarch
yum erase -y hive_2_3_4_0_3485-server.noarch
yum erase -y hive_2_3_4_0_3485-server2.noarch
yum erase -y hive_2_3_4_0_3485-webhcat.noarch
yum erase -y 1.2.1.2.3.4.0-3485.el6
yum erase -y mysql-connector-java.noarch
yum erase -y @local-HDP-2.3.4.0
yum erase -y 0.5.0.2.3.4.0-3485.el6
yum erase -y ranger_2_3_4_0_3485-hdfs-plugin.x86_64
yum erase -y ranger_2_3_4_0_3485-hive-plugin.x86_64
yum erase -y ranger_2_3_4_0_3485-yarn-plugin.x86_64
yum erase -y snappy.x86_64
yum erase -y snappy-devel.x86_64
yum erase -y sqoop_2_3_4_0_3485.noarch
yum erase -y sqoop_2_3_4_0_3485-metastore.noarch
yum erase -y tez_2_3_4_0_3485.noarch
yum erase -y zookeeper_2_3_4_0_3485.noarch
}

再执行:

clean

即可!

备注:yum list installed 打印出来的结果中,可能有特殊字符,需要手工copy终端显示,然后保存到文件中,再用awk、grep等提取相关的信息。

现有datanode  n04 复制自另外的节点n03,并已经添加host成功,但是节点不是live , 为什么?

n04 的配置跟n03 冲突! 只能识别其中的一个为live! 这就是对于复制节点要做host cleanup 的原因。

hdfs  8020  端口 connection refused 如何解决?

确认 hdfs 的 hbase.rootdir 是否配置了正确的节点。

例如,我尝试把hbase.site.xml 中的 n01 改成n02 :


     hbase.rootdir
     hdfs://n02.kylin.hdp:8020/apps/hbase/data

再做namenode移动的时候,可以通过节点检查。

如何查看节点时间同步情况?

ssh n01.kylin.hdp date ; ssh n02.kylin.hdp date; ssh n03.kylin.hdp date ; ssh n04.kylin.hdp date

如何同步各个节点的时间?

  1. 保证ntpd 服务已经安装

  2. /etc/init.d/ntpd restart

hbase region server 不能启动的原因可能就是 时间不同步。

[Alert][hive_server_process] Failed with result CRITICAL: [‘Connection failed on host n     02.kylin.hdp:10000  如何解决?

重启 hiveServer2 即可!

如何平衡hdfs各节点的存储 ?

hadoop balancer 

命令,可以均衡各个节点上的存储。但注意均衡后也不是绝对平均的!

如何查看各个datanode上的数据分布?

http://127.0.0.1:50070/dfshealth.html#tab-datanode

该链接从hdfs-> quick link 中 提取。

注意:127.0.0.1:50070 是我做了虚拟机到宿主机的端口映射的地址, 请根据实际ip访问。

使用ambari 添加节点的正常流程是怎么样的?

  1. 新建host .
  2. 按照ambari hdp 上安装 ambari server/agent 的流程来配置host的环境。
  3. 使用ambari添加节点。

使用旧节点创建新节点的流程应该是怎样的?

  1. host cleanup  清理旧系统的配置和之前已安装的应用。
  2. 确认ambari server/agent 是否安装好。
  3. 使用ambari web添加节点。

为什么添加节点过程中会报各种异常?

归根结底,是系统中的依赖条件不满足。当然还有配置错误。所以按手册流程来操作就非常重要。


长按二维码关注“BI实验室” , 了解更多BI解决方案!

文章转载自数据的砖格外烫手,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论