1 下载安装
[官网下载链接](<https://hadoop.apache.org/releases.html> )
1.1 这里选择安装的是2.9.2,使用下面命令进行下载:
# cd ~/softwarewget http://apache.communilink.net/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
1.2 解压重命名:
tar -xzvf hadoop-2.9.2.tar.gzmv hadoop-2.9.2 hadoop
1.3 配置环境变量:
使用vim编辑~/.bashrc文件,加入以下配置(目录换成自己的安装目录):
export HADOOP_HOME=/software/hadoopexport HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
使用source命令使配置生效:source ~/.bashrc
可以使用echo $PATH 输出查看是否正确
2 简单配置
2.1 配置core-site.xml
文件位置:$HADOOP_HOME/etc/hadoop/core-site.xml
命令:
cd /software/hadoop/etc/hadoopvim core-site.xml
配置如下:
<configuration><!-- 指定运行端口 --><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><!-- 指定临时目录 --><property><name>hadoop.tmp.dir</name><value>/data/hadoop/tmp</value></property></configuration>
2.2 配置hdfs-site.xml
文件位置:$HADOOP_HOME/etc/hadoop/hdfs-site.xml
命令:
cd /software/hadoop/etc/hadoopvim hdfs-site.xml
配置:
<configuration><!-- 备份数量 --><property><name>dfs.replication</name><value>1</value></property></configuration>
2.3 配置mapred-site.xml
文件位置:$HADOOP_HOME/etc/hadoop/mapred-site.xml.template
命令:
cd /software/hadoop/etc/hadoop# 复制并重命名cp mapred-site.xml.template mapred-site.xmlvim mapred-site.xml
配置:
<configuration><!-- 配置资源管理器 --><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>
2.4 配置
文件位置:$HADOOP_HOME/etc/hadoop/yarn-site.xml
命令:
cd /software/hadoop/etc/hadoopvim yarn-site.xml
配置:
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
3 启动Hadoop
# 第一次,格式化namenodehdfs namenode -format# 运行HDFSstart-dfs.sh# 运行yarnstart-yarn.sh# 查看运行状况(前提是安装jdk并配置环境变量)jps# 停止hdfsstop-dfs.sh# 停止yarnstop-yarn.sh


文章转载自顶哥说,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。




