10-Hadoop部署多机HDFS HA+YARN.pdf
免费下载
北京小象科技有限公司
微信公号：ChinaHadoop 新浪微博：ChinaHadoop
邮箱：Admin@chinahadoop.cn 电话：156 1144 0609
网址：http://www.chinahadoop.cn
HDFS HA+YARN 部署
目录
HDFS HA+YARN 部署 ......................................................................................................................... 1
1. 集群环境的节点分布 ............................................................................................................... 2
2. 演示修改主机名 ....................................................................................................................... 2
3. 演示配置 hosts 文件 ................................................................................................................ 3
4. 演示免密码登录 ....................................................................................................................... 4
5. 演示远程拷贝文件 ................................................................................................................... 5
6. 配置 hosts 文件 ........................................................................................................................ 6
7. 配置免密码登录 ....................................................................................................................... 7
8. 自定义远程拷贝脚本 ............................................................................................................... 7
9. 搭建集群 ................................................................................................................................... 8
9.1. 修改配置文件 ............................................................................................................... 8
9.2. 启动 JournalNode ......................................................................................................... 9
9.3. 格式化 NameNode ....................................................................................................... 9
9.4. 激活 NameNode ......................................................................................................... 11
9.5. 启动 DataNode ........................................................................................................... 11
9.6. 启动 yarn .................................................................................................................... 13
10. 执行一个 MapReduce 任务 ............................................................................................... 14
11. 停止集群 ............................................................................................................................. 15
12. 自定义脚本 ......................................................................................................................... 16
北京小象科技有限公司
微信公号：ChinaHadoop 新浪微博：ChinaHadoop
邮箱：Admin@chinahadoop.cn 电话：156 1144 0609
网址：http://www.chinahadoop.cn
1. 集群环境的节点分布
JournalNode：chinahadoop2 chinahadoop3 chinahadoop4
HA: chinahadoop1(Active NameNode) chinahadoop3(Standby NameNode)
DataNode: chinahadoop1 chinahadoop2 chinahadoop3 chinahadoop4
NodeManager: chinahadoop1 chinahadoop2 chinahadoop3 chinahadoop4
ResourceManager: chinahadoop1
2. 演示修改主机名
因为 chinahadoop1 是复制的虚机，并且主机名保留了原来的名字，所以需要修改主机名。
2.1. 查看主机名，执行命令 hostname
2.2. 修改主机名（即时生效），执行命令 sudo hostname chinahadoop1
2.3. 修改主机名（永久生效），执行命令 sudo vim /etc/sysconfig/network
将 HOSTNAME 的值，修改为 chinahadoop1
2.4. 执行命令 cat /etc/sysconfig/network 查看下
2.5. 注销用户，重新登录，再次打开终端窗口，就会显示 chinahadoop@chinahadoop1
of 17
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论