暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

搭建HBase集群(5个节点)

菜鸟想超神 2020-07-31
343

之前的分享过使用Paralles Desktop,在虚拟机环境中搭建hadoop集群(2主3从5节点),今天就在这个基础上,再搭建HBase。由于之前安装的Hadoop2.10版本,所以Hbase我选择了2.2.5版本

在选择版本时,一般不要选择第三个数字为0的版本,而是选择上一个稳定版本,如目前最新的是2.3.0,我选择的是2.2.5

集群规划

HBase2.2.5安装

将安装包拷贝到5台机器上并解压缩

由于我是使用的Parallels Desktop虚拟机安装的,虚拟机中直接挂载了我本地宿主机的文件夹,所以我可以在虚拟机中直接访问我的宿主机中下载的安装包,如果是使用的其他虚拟机或在真实的集群中,也是大同小异的。

    # root模式下
    cp media/psf/Home/Downloads/hbase-2.2.5-bin.tar.gz usr/local/src/
    cd usr/local/src/
    tar -zxf hbase-2.2.5-bin.tar.gz
    cd hbase-2.2.5
    chown -R hadoop:hadoop ./hbase-2.2.5 #修改所属用户和所属用户组


    配置环境变量

    编辑hadoop用户的家目录下的.bashrc文件

      export JAVA_HOME=/usr/local/src/jdk1.8.0_241
      export HADOOP_HOME=/usr/local/src/hadoop-2.10.0
      export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
      export PATH=$PATH:/usr/local/src/hadoop-2.10.0/sbin:/usr/local/src/hadoop-2.10.0/bin:/usr/local/hbase-2.2.5/bin


      配置HBase

      部署分布式模式,需要拷贝hadoop的hdfs-site.xml和core-site.xml文件到hbase的conf目录

      时间同步

      yum install ntp -y # 5台虚拟机都安装

      ntpdate hdp-master1 #在其他4台虚拟机中执行

      修改/usr/local/src/hbase-2.2.5/conf/hbase-env.sh文件

        export JAVA_HOME=/usr/local/src/jdk1.8.0_241
        export HBASE_CLASSPATH=/usr/local/hadoop-2.10.0/conf
        export HBASE_MANAGES_ZK=false #(关闭Hbase本身的zookeeper集群)

        修改hbase-site.xml文件

          <property>
          <name>hbase.cluster.distributed</name>
          <value>true</value>
          </property>
          <property>
          <name>hbase.tmp.dir</name>
          <value>./tmp</value>
          </property>
          <property>
          <name>hbase.unsafe.stream.capability.enforce</name>
          <value>false</value>
          </property>
          <property>
          <name>hbase.master</name>
          <value>9000</value>
          </property>
          <property>
          <name>hbase.rootdir</name>
          <value>hdfs://hdp-master-server/hbase</value>
          </property>
          <property>
          <name>hbase.zookeeper.quorum</name>
          <value>hdp-slave1,hdp-slave2,hdp-slave3</value>
          </property>
          <property>
          <name>hbase.master.info.port</name>
          <value>60010</value>
          </property>


          regionservers配置

            hdp-slave1
            hdp-slave2
            hdp-slave3

            3.5 backup-masters配置(注意backup-masters需要手动创建)

            hdp-master2

            启动hbase

            hdp-masger1:start-hbase.sh

            hdp-master2:手动启动HMaster,hbase-daemon.sh start master

            验证,访问HBase的web界面

            http://hdp-master1:60010


            大功告成。


            文章转载自菜鸟想超神,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

            评论