建议收藏 | Docker+Jdk8+Zookeeper+Kafka+UI for Kafka 安装详细教程

大数据技能圈 2025-02-10

514

组件版本下载

openjdk 8

https://builds.openlogic.com/downloadJDK/openlogic-openjdk/8u402-b06/openlogic-openjdk-8u402-b06-linux-x64.tar.gz

协调服务：zookeeper

https://dlcdn.apache.org/zookeeper/zookeeper-3.9.1/apache-zookeeper-3.9.1-bin.tar.gz

消息队列：Kafka

https://downloads.apache.org/kafka/3.6.1/kafka_2.12-3.6.1.tgz

Docker 安装

1 安装docker 基础包

yum install -y yum-utils device-mapper-persistent-data lvm2

2设置稳定仓库

yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

3 安装Docker最新版本(latest)

yum install docker-ce docker-ce-cli containerd.io

4 启动docker

systemctl start docker

5 测试docker

docker run hello-world

出现以下内容表示安装成功

6 停止docker

systemctl stop docker

国内经常使用Docker的朋友，可能都会涉及到配置镜像源的操作，来加速自己的镜像拉取。然而这段时间陆续发现曾经常用的国内镜像站（各种云商和高校镜像站）现在已经不能用了，搜索互联网可用镜像站或者镜像加速地址，并测试后汇总如下，使用前请自行斟酌。

Docker 镜像加速列表（截止到20240910）

注意有些镜像站仅包含基础镜像或白名单镜像，如果一个加速地址拉不到需要的镜像，可切换其他地址尝试，当然如果侵犯的您的权益，请联系我删除~

docker.registry.cyou 正常
docker-cf.registry.cyou 正常
dockerpull.com 正常
dockerproxy.cn 正常
docker.1panel.live 正常
hub.rat.dev 正常
dhub.kubesre.xyz 正常
docker.hlyun.org 正常
docker.kejilion.pro 正常
registry.dockermirror.com 正常
docker.mrxn.net 正常
docker.chenby.cn 正常
ccr.ccs.tencentyun.com 正常
hub.littlediary.cn 正常
hub.firefly.store 正常
docker.nat.tf 正常
hub.yuzuha.cc 正常
hub.crdz.gq 正常
noohub.ru 正常
docker.nastool.de 正常
hub.docker-ttc.xyz 正常
freeno.xyz 正常
docker.hpcloud.cloud 正常
dislabaiot.xyz 正常
docker.wget.at 正常
ginger20240704.asia 正常
lynn520.xyz 正常
doublezonline.cloud 正常
dockerproxy.com 正常

配置方式1：临时使用

直接使用，直接拿镜像域名拼接上官方镜像名，例如要拉去镜像yidadaa/chatgpt-next-web，可以用下面写法

docker pull dockerpull.com/yidadaa/chatgpt-next-web

配置方式2：长久有效

Ubuntu 16.04+、Debian 8+、CentOS 7+

修改文件 /etc/docker/daemon.json（如果不存在则需要创建创建，注意不要写入中文），并重启服务。

sudo mkdir -p etc/docker
sudo tee etc/docker/daemon.json
<<-'EOF'
{
"registry-mirrors": [
    "https://dockerpull.com",
"https://docker.anyhub.us.kg",
"https://dockerhub.jobcher.com",
"https://dockerhub.icu",
"https://docker.awsl9527.cn"
]
}
EOF

sudo systemctl daemon-reload && sudo systemctl restart docker

可直接使用docker pull拉去镜像进行测试，或用以下命令检查是否生效：

docker info

OpenJDK 8 安装

1 创建upload和software两个文件夹

cd opt
mkdir upload
mkdir software

2 上传文件到/opt/upload文件夹下面

勾选右下角Follow terminal folder

选择到/opt/upload目录，点击上传按钮

选择openJDK文件，点击打开

3 上传成功

4 解压到/opt/software文件夹

cd opt/upload
tar -xzvf openlogic-openjdk-8u402-b06-linux-x64.tar.gz -C /opt/software

5 重命名jdk

cd /opt/software
mv openlogic-openjdk-8u402-b06-linux-x64 openjdk8

6 配置环境变量

vim /etc/profile
export JAVA_HOME=/opt/software/openjdk8
export PATH=$PATH:$JAVA_HOME/bin

7 生效配置文件

source /etc/profile
java -version

openJDK安装成功。

Zookeeper 安装

1 上传zookeeper到 /opt/upload

2 解压zookeeper到/opt/software

cd /opt/upload
tar -zxvf apache-zookeeper-3.9.1-bin.tar.gz -C /opt/software/

2 重命名zookeeper

mv apache-zookeeper-3.9.1-bin/ zookeeper-3.9.1

3 创建zoo.cfg

cd /opt/software/zookeeper-3.9.1/conf
cp zoo_sample.cfg zoo.cfg

4 修改 zoo.cfg

cd /opt/software/zookeeper-3.9.1/conf
vim zoo.cfg
# 修改以下内容
dataDir=/opt/software/zookeeper-3.9.1/zookeeper

5 启动zookeeper

cd /opt/software/zookeeper-3.9.1/bin
./zkServer.sh start

6 查看zookeeper状态

cd /opt/software/zookeeper-3.9.1/bin
./zkServer.sh status

出现standalone，表示安装成功。

7 停止zookeeper

cd /opt/software/zookeeper-3.9.1/bin
./zkServer.sh stop

Kafka安装与配置

1上传kafka到/opt/upload

2 解压kafka到/opt/software

tar -zxvf kafka_2.12-3.6.1.tgz -C /opt/software/

3 修改server.properties

cd /opt/software/kafka_2.12-3.6.1/config
vim server.properties
修改以下内容
# listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://bigdata:9092
zookeeper.connect=bigdata:2181

4 启动kafka

cd /opt/software/kafka_2.12-3.6.1/bin
./kafka-server-start.sh ../config/server.properties &

注意：这里需要保证zookeeper是启动状态，zookeeper启动步骤请查看目录2.5

5 查看kafka进程

jps

出现kafka进程

6 停止kafka

cd/opt/software/kafka_2.12-3.6.1/bin
./kafka-server-stop.sh

Docker 安装

1拉取kafka-ui镜像

docker pull provectuslabs/kafka-ui:latest

2拉起kafka-ui进程

注意：在此之前要保证zookeeper和kafka在运行中，启动命令参考1.4和1.5

docker run
--add-host=bigdata:192.168.241.128 --name=kafka-ui -d -e
KAFKA_CLUSTERS_0_NAME=produce_cluster -e
KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=bigdata:9092 -p 8090:8080
provectuslabs/kafka-ui:latest

3 访问web客户端

http://192.168.241.128:8090

4 停止UI for Kafka

docker ps
# 找到 CONTAINER ID
docker stop CONTAINER ID

5 启动 UI for Kafka

docker ps -a
# 找到 CONTAINER ID
docker start CONTAINER ID

说在最后：有问题找苦获取经

筹划已久的大数据系列组件视频正式开始录制了，后续会持续发布出来，本次系列视频包含但不限于Kafka、Doris、Seatunnel、Dolphinscheduler、StarRocks、Iceberg、Flink、Spark、Hudi、Paimon、Fluss、FlinkCDC、Dinky、StreamPark、实时数仓/数据湖建设、离线数仓建设等。预计持续更新时间9个月。

详情请看说大事！大数据系列组件视频正式开始录制发布！

本系列视频由苦获独立完成，保证了课程系列的连贯性，文档、配套代码及视频都已发布在知识星球，详情可添加苦获咨询。

kafka架构请访问Kafka架构是怎么样的？如何保证数据不丢失？

加群请添加作者

获取文档代码资料

建议收藏 | Docker+Jdk8+Zookeeper+Kafka+UI for Kafka 安装详细教程

推荐阅读系列文章

评论