基础环境构建之kafka环境搭建

一、搭建环境

      操作系统：centos7.2

二、准备安装软件

       安装软件：jdk-8u181-linux-x64.gz、kafka_2.11-2.1.0.tgz、zookeeper-3.4.5.tar.gz

三、开始安装

     1、使用 SecureCRTP 登录centos7.2 系统，创建工作目录

        mkdir ysn

     2、使用WinSCP，登录centos7.2 系统，将jdk-8u181-linux-x64.gz、kafka_2.11-2.1.0.tgz、zookeeper-3.4.5.tar.gz 文件上传到bigdata目录下

     3、使用 SecureCRTP，进入bigdata目录，分别解压上传好的文件

      cd ysn
      tar -zxvf jdk-8u181-linux-x64.gz
      tar -zxvf kafka_2.11-2.1.0.tgz
      tar -zxvf zookeeper-3.4.5.tar.gz

     4、将解压目录，移动到对应的目录下

     mv jdk1.8.0_181 /usr/local/jdk
     mv zookeeper-3.4.5 /usr/local/zk
     mv kafka_2.11-2.1.0 /usr/local/kafka

     5、配置zookeeper

     cd /usr/local/zk/conf
     cp zoo_sample.cfg zoo.cfg
     vim zoo.cfg

         修改文件中的dataDir路径配置为

     dataDir=/usr/local/zk/data

          保存退出

        6、配置kafka

     cd /usr/local/kafka/config
     vim server.properties

        修改文件中的log.dirs路径配置为

    log.dirs=/usr/local/kafka/data

       保存退出

     7、配置jdk、zookeeper、kafka环境变量

      vim /etc/profile
         

       在文件尾部添加配置信息

export JAVA_HOME=/usr/local/jdk
export ZK_HOME=/usr/local/zk
export KAFKA_HOME=/usr/local/kafka
export PATH=.:$JAVA_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin:$PATH

      保存退出，配置生效

   source /etc/profile

   8、启动zookeeper

    zkServer.sh start

         查看启动状态

   zkServer.sh status

    显示Mode: standalone 信息表示正常

9、启动kafka

cd /usr/local/kafka/bin
./kafka-server-start.sh ../config/server.properties

  创建主题

./kafka-topics.sh --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --create --topic test
 

启动生成者

./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test

启动消费者

./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test

测试在生产者端输入信息，消费者是否正常接收到

表示正常接收，安装kafka环境搭建完成。