CentOS中Hadoop之HDFS的安装和配置

HDFS 包括NameNode、DataNode、SecondaryNameNode
NameNode：1、维护 管理文件系统的名字空间(元数据信息) 
2、负责确定指定的文件块到具体的Datanode结点的映射关系。
3、维护管理 DataNode上报的心跳信息
DataNode：1、负责工作，进行读写数据 
2、周期向NameNode汇报
3、负责管理用户的文件数据块(一个大的数据拆分成多个小的数据块)
SecondaryNameNode：负责辅助NameNode管理工作

Yarn 包括 ResourceManager、NodeManager
ResourceManager：1、拥有系统所有资源分配的决定权
2、负责集群中所有应用程序的资源分配，拥有集群资源主要、全局视图
NodeManager：1、负责与ResourceManager通信
2、负责启动和管理应用程序的container的生命周期，监控它们的资源使用情况（cpu和内存）
3、跟踪节点的监控状态，管理日志等。并报告给RM

# 下载
wget https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.2.tar.gz
tar -zxvf hadoop-2.6.0-cdh5.16.2.tar.gz
mv hadoop-2.10.0 /usr/local/
mv hadoop-2.10.0 hadoop

# 下载位置
http://dl.bintray.com/sequenceiq/sequenceiq-bin/
# 存放位置
/usr/local/hadoop/lib/native

tar -xf hadoop-native-64-2.7.0.tar

vi /etc/profile
# 增加内容
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
# 在path后面增加
:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
# 刷新生效
 source /etc/profile

ssh-keygen -t rsa
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

# jdk的环境配置
export JAVA_HOME=/usr/local/jdk8

# 用于定义系统级别的参数，如HDFS  URL、Hadoop的临时目录
<configuration>
    <property>
        <!--指定 NameNode的 hdfs 协议文件系统的通信地址-->
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-master:8020</value>
    </property>
    <property>
        <!--指定 hadoop 存储临时文件的目录-->
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>
    <property>
        <!--流文件的缓冲区大小-->
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
</configuration>

# 如名称节点和数据节点的存放位置、文件副本的个数、文件读取权限等
<configuration>
    <property>
        <!--指定dataNode存储block的副本数量,默认值是3个,该值应该不大于4-->
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>


# 后期补其他参数。。。

hadoop-master

# 格式化
./hdfs namenode -format
# 启动
./start-dfs.sh
# 检查
jps


# 访问
http://192.168.225.133:50079/

9137 DataNode
9026 NameNode
9390 SecondaryNameNode

# Mapreduce参数
# 包括JobHistory Server和应用程序参数两部分，
# 如reduce任务的默认个数、任务所能够使用内存的默认上下限等
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

# 集群资源管理系统参数
# 配置 ResourceManager，NodeManager 的通信端口，web监控端口等
<configuration>
    <property>
        <!--配置 NodeManager 上运行的附属服务。需要配置成 mapreduce_shuffle 后才可以在 Yarn 上运行 MapReduce 程序。-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

# 启动yarn
./start-yarn.sh
# 验证
jps

9137 DataNode
9026 NameNode
12294 NodeManager
12185 ResourceManager
9390 SecondaryNameNode