11-Hadoop部署多机HDFS HA+Federation+YARN.pdf
免费下载
北京小象科技有限公司
微信公号：ChinaHadoop 新浪微博：ChinaHadoop
邮箱：Admin@chinahadoop.cn 电话：156 1144 0609
网址：http://www.chinahadoop.cn
HDFS HA+Federation+YARN 部署
目录
HDFS HA+Federation+YARN 部署 ..................................................................................................... 1
1. 集群环境的节点分布 ............................................................................................................... 1
2. 搭建集群 ................................................................................................................................... 2
2.1. 修改配置文件 ............................................................................................................... 2
2.2. 启动 JournalNode ......................................................................................................... 2
2.3. 在 Cluster1 上操作 ....................................................................................................... 2
2.4. 在 Cluster2 上操作 ....................................................................................................... 4
2.5. 启动 DataNode ............................................................................................................. 5
2.6. 启动 yarn ...................................................................................................................... 7
3. 执行一个 MapReduce 任务 ..................................................................................................... 8
4. 停止集群 ................................................................................................................................. 10
5. 自定义脚本 ............................................................................................................................. 10
1. 集群环境的节点分布
JournalNode：chinahadoop2 chinahadoop3 chinahadoop4
北京小象科技有限公司
微信公号：ChinaHadoop 新浪微博：ChinaHadoop
邮箱：Admin@chinahadoop.cn 电话：156 1144 0609
网址：http://www.chinahadoop.cn
Cluster1 HA： chinahadoop1(Active NameNode) chinahadoop2(Standby NameNode)
Cluster2 HA： chinahadoop3(Active NameNode) chinahadoop4(Standby NameNode)
DataNode: chinahadoop1 chinahadoop2 chinahadoop3 chinahadoop4
NodeManager：chinahadoop1 chinahadoop2 chinahadoop3 chinahadoop4
ResourceManager：chinahadoop1
2. 搭建集群
2.1. 修改配置文件
hadoop-env.sh、core-site.xml、mapred-site.xml、yarn-site.xml、salves
这五个文件在每个节点上的内容是相同的。
注意在配置文件 hdfs-site.xml 中有一个地方不同。
在 Cluster1 的所有节点（chinahadoop1 和 chinahadoop2）上，要配置成：
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://chinahadoop2:8485;chinahadoop3:8485;chinahadoop4:8485/chinahadoo
p-cluster1</value>
</property>
在 Cluster2 的所有节点（chinahadoop3 和 chinahadoop4）上，要配置成：
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://chinahadoop2:8485;chinahadoop3:8485;chinahadoop4:8485/chinahadoo
p-cluster2</value>
</property>
配置文件下载连接（仅供参考）
链接：http://pan.baidu.com/s/1kU5RtZ5 密码：ms4s
2.2. 启动 JournalNode
在 chinahadoop2、chinahadoop3 和 chinahadoop4 上，
分别执行命令 sbin/hadoop-daemon.sh start journalnode
2.3. 在 Cluster1 上操作
在 chinahadoop1 上格式化 namenode
执行命令 bin/hdfs namenode -format -clusterId chinahadoop-cluster
of 11
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论