暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Hadoop 安装(单机版)

顶哥说 2020-01-26
286


1 下载安装

[官网下载链接](<https://hadoop.apache.org/releases.html> )

1.1  这里选择安装的是2.9.2,使用下面命令进行下载:

    # cd ~/software
    wget http://apache.communilink.net/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

    1.2  解压重命名:


      tar -xzvf hadoop-2.9.2.tar.gz
      mv hadoop-2.9.2 hadoop


      1.3  配置环境变量:

      使用vim编辑~/.bashrc文件,加入以下配置(目录换成自己的安装目录):


        export HADOOP_HOME=/software/hadoop
        export HADOOP_INSTALL=$HADOOP_HOME
        export HADOOP_MAPRED_HOME=$HADOOP_HOME
        export HADOOP_COMMON_HOME=$HADOOP_HOME
        export HADOOP_HDFS_HOME=$HADOOP_HOME
        export YARN_HOME=$HADOOP_HOME
        export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
        export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
        export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
        使用source命令使配置生效:source ~/.bashrc
        可以使用echo $PATH 输出查看是否正确


        2  简单配置

        2.1 配置core-site.xml

        文件位置:$HADOOP_HOME/etc/hadoop/core-site.xml

        命令:

          cd /software/hadoop/etc/hadoop
          vim core-site.xml


          配置如下:

            <configuration>
            <!-- 指定运行端口 -->
            <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
            </property>
            <!-- 指定临时目录 -->
            <property>
            <name>hadoop.tmp.dir</name>
            <value>/data/hadoop/tmp</value>
            </property>
            </configuration>


            2.2 配置hdfs-site.xml

            文件位置:$HADOOP_HOME/etc/hadoop/hdfs-site.xml

            命令:

              cd /software/hadoop/etc/hadoop
              vim hdfs-site.xml


              配置:

                <configuration>
                <!-- 备份数量 -->
                <property>
                <name>dfs.replication</name>
                <value>1</value>
                </property>
                </configuration>


                2.3  配置mapred-site.xml

                文件位置:$HADOOP_HOME/etc/hadoop/mapred-site.xml.template

                命令:

                  cd /software/hadoop/etc/hadoop
                  # 复制并重命名
                  cp mapred-site.xml.template mapred-site.xml
                  vim mapred-site.xml

                  配置:

                    <configuration>
                    <!-- 配置资源管理器 -->
                    <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
                    </property>
                    </configuration>

                    2.4  配置

                    文件位置:$HADOOP_HOME/etc/hadoop/yarn-site.xml

                    命令:

                      cd /software/hadoop/etc/hadoop
                      vim yarn-site.xml

                      配置:

                        <configuration>
                        <property>
                        <name>yarn.nodemanager.aux-services</name>
                        <value>mapreduce_shuffle</value>
                        </property>
                        </configuration>

                        3  启动Hadoop

                            

                          # 第一次,格式化namenode
                          hdfs namenode -format
                          # 运行HDFS
                          start-dfs.sh
                          # 运行yarn
                          start-yarn.sh
                          # 查看运行状况(前提是安装jdk并配置环境变量)
                          jps
                          # 停止hdfs
                          stop-dfs.sh
                          # 停止yarn
                          stop-yarn.sh



                          文章转载自顶哥说,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

                          评论