hadoop2.x伪分布式环境搭建

唯唯

460

2页

3次

2020-06-02

免费下载

1.修改主机名等基本配置信息

2.配置自身到自身的 ssh 免密

（1）ssh-keygen 生成秘钥

（2）ssh-copy-id [本机别名] 拷贝秘钥到自身

3.安装 jdk

（1）首先查询并卸载已经安装的 openjdk：

rpm -qa |grep java

rpm -e --nodeps [查询出的几个 java 文件]

（2）下载并解压源码包到某个位置

tar -zxvf ....tgz

（3）设置环境变量：

vim /etc/profile

在最下面增加：

export JAVA_HOME=[你解压后的 jdk 全路径]

export PATH=$JAVA_HOME/bin:$PATH

退出，source /etc/profile

输入'java -version'检查是否安装成功

4.安装 hadoop（这里使用 root，一般企业不会用 root）：

（1）解压 hadoop2.XXX.tgz 到某个位置

（2）设置环境变量：

vim /etc/profile

在最下面增加：

export HADOOP_HOME=[你解压后的 hadoop 全路径]

export PATH=$HADOOP_HOME/bin:$PATH

export PATH=$HADOOP_HOME/sbin:$PATH

退出，source /etc/profile

输入'hadoop'检查是否安装成功（安装成功会出现提示信息）

5.集群搭建：

（1）修改${HADOOP_HOME}/etc/hadoop/下的 core-site.xml 文件：

增加如下配置:

<name>fs.defaultFS</name>

</property>

<name>hadoop.tmp.dir</name>

<value>[$HADOOP_HOME]/tmp</value> //创建这个 tmp 文件夹

</property>

（2）修改${HADOOP_HOME}/etc/hadoop/下的 hdfs-site.xml 文件：

增加如下配置：

<name>dfs.replication</name>

</property>

（3）修改${HADOOP_HOME}/etc/hadoop/下的 hadoop-env.sh 文件：

export JAVA_HOME=[你解压后的 jdk 全路径]

（4）修改${HADOOP_HOME}/etc/hadoop/下的 mapred-site.xml 文件(貌似有个叫 mapre-

default.xml 的，改成 mapred-site.xml)：

增加如下配置：

<name>mapreduce.framework.name</name>

</property>

（5）修改${HADOOP_HOME}/etc/hadoop/下的 yarn-site.xml 文件：

增加如下配置：

<name>yarn.log-aggregation-enable</name>

</property>

<name>yarn.log.server.url</name>

<value>http://[本机别名]:19888/jobhistory/job/</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

（6）修改${HADOOP_HOME}/etc/hadoop/下的 slaves 文件：

把 localhost 改成[本机别名]

（7）格式化集群：

hdfs namenode -format

（8）启动服务：

start-dfs.sh

start-yarn.sh

（9）jps 检查进程：

namenode

secondarynamenode

datanode

resourcemanager

nodemanager

搞定！！

of 2

免费下载

关注

评论