hadoop搭建文档 - 墨天轮文档

hadoop搭建文档

忽图剌

746

7页

1次

2020-09-21

5墨值下载

伪分布式（single node setup）

---------------------------

安装 jdk、配置环境变量，测试

免秘钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

hadoop 包安装并配置环变：hadoop-2.6.5.tar.gz

Hadoop 的第二次 JAVA_HOME 环境变量配置

vi hadoop-env.sh

vi mapred-env.sh

vi yarn-env.sh

配置 core-site.xml

vi core-site.xml

<name>fs.defaultFS</name>

</property>

<name>hadoop.tmp.dir</name>

<value>/var/sxt/hadoop/local</value>

</property>

配置 hdfs-site.xml

<name>dfs.replication</name>

</property>

<name>dfs.namenode.secondary.http-address</name>

</property>

配置 slaves 文件

vi slaves node06

格式化 hdfs

hdfs namenode -format (只能格式化一次，再次启动集群不要执行）

启动集群

start-dfs.sh

角色进程查看：jps

帮助： hdfs

hdfs dfs

查看 web UI: IP:50070

创建目录：hdfs dfs -mkdir -p /user/root

查看目录: hdfs dfs -ls /

上传文件： hdfs dfs -put hadoop-2.6.5.tar.gz /user/root

停止集群：stop-dfs.sh

全分布安装

---------------------------------------------

前期准备：

jdk

hostname

hosts

date

安全机制

firewall

windows 域名映射

节点： node06/07/08/09

全分布分配方案：

NN SNN DN

NODE06 *

NODE07 * *

NODE08 *

NODE09 *

节点状态：

node06：伪分布

node07/08/09 : ip 配置完成

建立各节点通讯（hosts）

设置时间同步：date -s “xxxx-x-xx xx:xx:xx”

秘钥分发：

在每个节点上登录一下自己：产生.ssh 目录

从 node06 向 node07/node08/node09 分发公钥 (公钥的名称要变化)

scp id_dsa.pub node03:`pwd`/node06.pub

各节点把 node01 的公钥追加到认证文件里：

cat ~/node06.pub >> ~/.ssh/authorized_keys

07/node08/node09 安装 jdk 环境，node06 分发 profile 给其他节点，并重读配置文件

分发 hadoop 部署程序 2.6.5 到其他节点

copy node06 下的 hadoop 为 hadoop-local （管理脚本只会读取 hadoop 目录）

[root@node06 etc]# cp -r hadoop hadoop-local

配置 core-site.xml

配置 hdfs-site.xml

of 7

5墨值下载

oracle 安装部署

关注

评论