Mac 配置Hadoop环境

晨起临风 2021-07-28

477

配置为java1.8 + hadoop2.8.5

1 安装Java 1.8

下载安装

vi ~./bash_profile

JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home

export JAVA_HOME

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source ~/.bash_profile 配置生效

$ java -version
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)

如果为安装成功则需要检查一下配置是否正确。

2 安装Hadoop

将hadoop解压至指定目录下

在～/.bash_profile 中配置 HADOOP_HOME = 指定目录

export PATH=$PATH:$HADOOP_HOME/bin

然后开始配置Hadoop为单机模式

2.1 配置hdfs-site.xml

<property>


<name>dfs.replication</name>


<value>1</value>


</property>


<property>


<name>dfs.permissions</name>


<value>false</name> <!-- 关闭防火墙  -->


</property>


<name>dfs.namenode.name.dir</name>


<value>/Users/**/cbd/hadoop/dfs/name</value>


<property>


<name>dfs.datanode.data.dir</name>


<value>/Users/**/cbd/hadoop/data1/hadoop</value>


</property>

2.2 配置mapred-site.xml

<property>


<!-- 指定mapreduce运行在yarn上  -->


<name>mapreduce.framework.name</name>


<value>yarn</value>

2.3 配置 yarn-site.xml

<property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
 </property>
 <property>
     <name>yarn.resourcemanager.address</name>
     <value>localhost:9000</value>
<property>

/Users/***/cbd/hadoop/hadoop-2.8.5

hadoop namenode -format

./start-dfs.sh. 启动hadoop

./ start-yarn.sh 启动yarn

ssh 登陆本机就不需要输入多次密码了

打开本地地址http://localhost:9000可以访问了

大数据

文章转载自晨起临风，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

Mac 配置Hadoop环境

评论