docker-compose部署redis三主三从集群

IT学习道场 2022-08-08

1887

本次是两台主机，搭建 3主 3从的 redis 集群，使用 docker-compose
部署。

服务器规划

服务器ip	实例	端口
10.100.232.171	redis_6379，redis_6380，redis_6381	6379，6380，6381
10.100.232.172	redis_6379，redis_6380，redis_6381	6379，6380，6381

服务器：10.100.232.171

创建基础配置文件

1，创建 redis 挂载目录：

# 递归创建 docker、redis 目录  
mkdir -p docker/redis


# 进入 redis 目录下
cd /docker/redis

2，创建 redis 集群模板配置文件：

vi redis-cluster.tmpl

模板配置文件内容：

bind 0.0.0.0
# redis端口
port ${PORT}
tcp-backlog 511
timeout 0
tcp-keepalive 300
supervised no
pidfile var/run/redis_${PORT}.pid
databases 16
always-show-logo yes
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
dir data/
repl-disable-tcp-nodelay no
slave-priority 100
maxclients 60000
lazyfree-lazy-eviction no
lazyfree-lazy-expire no
lazyfree-lazy-server-del no
slave-lazy-flush no
#redis 访问密码
requirepass 123456
#redis 访问Master节点密码
masterauth 123456
# 关闭保护模式
protected-mode no
# 开启集群
cluster-enabled yes
# 集群节点配置
cluster-config-file nodes_${PORT}.conf
# 超时
cluster-node-timeout 5000
# 集群节点IP host模式为宿主机IP
cluster-announce-ip 10.100.232.171
# 集群节点端口 6391 - 6396
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}
# 开启 appendonly 备份模式
appendonly yes
appendfilename "appendonly.aof"
# 每秒钟备份
appendfsync everysec
# 对aof文件进行压缩时，是否执行同步操作
no-appendfsync-on-rewrite no
# 当目前aof文件大小超过上一次重写时的aof文件大小的100%时会再次进行重写
auto-aof-rewrite-percentage 100
# 重写前AOF文件的大小最小值 默认 64mb
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
aof-use-rdb-preamble no
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
# 日志配置
# debug:会打印生成大量信息，适用于开发/测试阶段
# verbose:包含很多不太有用的信息，但是不像debug级别那么混乱
# notice:适度冗长，适用于生产环境
# warning:仅记录非常重要、关键的警告消息
loglevel notice
# 日志文件路径
logfile "/data/redis.log"

port：节点端口号；
requirepass：对登录权限做限制，redis每个节点的requirepass可以是独立、不同的，建议 redis启用密码时将各个节点masterauth和requirepass设置为相同的密码，降低运维成本；
masterauth：如果主节点开启了访问认证，从节点访问主节点需要认证，主要是针对master对应的slave节点设置的，在slave节点数据同步的时候用到；
protected-mode：保护模式，默认值 yes，即开启。开启保护模式以后，需配置 bind ip 或者设置访问密码；关闭保护模式，外部网络可以直接访问；
daemonize：是否以守护线程的方式启动（后台启动），默认no；
appendonly：是否开启 AOF 持久化模式，默认 no；
cluster-enabled：是否开启集群模式，默认 no；
cluster-config-file：集群节点信息文件；
cluster-node-timeout：集群节点连接超时时间；
cluster-announce-ip：集群节点 IP，填写宿主机的 IP（内网ip）；
cluster-announce-port：集群节点映射端口；
cluster-announce-bus-port：集群节点总线端口。

3，循环生成节点目录和配置文件

for port in `seq 6379 6381`; 
do \
mkdir -p redis_${port}/conf \
&& PORT=${port} envsubst <redis-cluster.tmpl> redis_${port}/conf/redis.conf \
&& mkdir -p redis_${port}/data;\
done

也可以直接在redis-cluster.tmpl所在的目录下，直接执行就行，直接在命令行中执行

4，tree 命令查看生成后的目录结构：

tree 命令安装：

yum install -y tree

目录结构：

确认一下生成的配置文件在 copy 过程中有没有丢失字符

docker-compose 构建 redis 容器

安装 docker-compose 并赋予执行权限（已安装可以略过）

# 安装命令
sudo curl -L https://get.daocloud.io/docker/compose/releases/download/1.22.0/docker-compose-`uname -s`-`uname -m` -o usr/local/bin/docker-compose


# 授权：
chmod +x usr/local/bin/docker-compose

创建 docker-compose.yml 配置文件：

# 进入 docker/redis 目录下
cd /docker/redis


# 创建 docker-compose.yml 文件
vi docker-compose.yml

文件内容（本次构建使用的镜像是 redis:latest，单主机构建三个节点）：

version: "3.1"
services:
  redis-node1:
    image: redis:latest # 基础镜像
    container_name: redis_6379 # 容器名称
    ports: # 映射端口，对外提供服务
      - 6379:6379 # redis的服务端口
      - 16379:16379 # redis集群监控端口
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    network_mode: host # 使用host模式 必须 共享宿主机IP
    privileged: true # 拥有容器内命令执行的权限
    restart: always
    volumes:
      - /opt/docker/redis/redis_6379/conf/redis.conf:/config/redis.conf # 配置文件目录映射到宿主机
      - /opt/docker/redis/redis_6379/data:/data # 数据文件目录映射到宿主机
    command: [ "redis-server", "/config/redis.conf" ] # 设置服务默认的启动命令
  redis-node2:
    image: redis:latest
    container_name: redis_6380
    ports:
      - 6380:6380
      - 16380:16380
    stdin_open: true
    tty: true
    network_mode: host
    privileged: true
    restart: always
    volumes:
      - /opt/docker/redis/redis_6380/conf/redis.conf:/config/redis.conf
      - /opt/docker/redis/redis_6380/data:/data
    command: [ "redis-server", "/config/redis.conf" ]
  redis-node3:
    image: redis:latest
    container_name: redis_6381
    ports:
      - 6381:6381
      - 16381:16381
    stdin_open: true
    tty: true
    network_mode: host
    privileged: true
    restart: always
    volumes:
      - /opt/docker/redis/redis_6381/conf/redis.conf:/config/redis.conf
      - /opt/docker/redis/redis_6381/data:/data
    command: [ "redis-server", "/config/redis.conf" ]

构建 redis 容器：

# 在放置 docker-compose.yml 文件的目录下执行
docker-compose -f docker-compose.yml up -d

执行成功结果：

防火墙开放端口

防火墙相关命令：

# 查看防火墙运行状态
firewall-cmd --state


# 开启防火墙
systemctl start firewalld.service


#关闭防火墙
systemctl stop firewalld.service

开放端口号：

firewall-cmd --add-port=6379/tcp --permanent
firewall-cmd --add-port=6380/tcp --permanent
firewall-cmd --add-port=6381/tcp --permanent
firewall-cmd --add-port=16379/tcp --permanent
firewall-cmd --add-port=16380/tcp --permanent
firewall-cmd --add-port=16381/tcp --permanent
firewall-cmd --reload

服务器：10.100.232.172

同步服务器：10.100.232.172的步骤，接下来在该服务器主机上重复操作上面的步骤（记得改配置文件中的IP ），修改 redis-cluster.tmpl 的 IP

cluster-announce-ip 10.100.232.171 改为 cluster-announce-ip 10.100.232.172

搭建集群

进入任意一个容器

# 进入容器（redis_6379）内部
docker exec -it redis_6379 /bin/bash


# 切换到 /usr/local/bin 路径下
cd /usr/local/bin

执行命令创建集群（--cluster-replicas 1 代表一个master拥有一个slave ）

redis-cli -a 123456 --cluster create \
10.100.232.171:6379 \
10.100.232.171:6380 \
10.100.232.171:6381 \
10.100.232.172:6379 \
10.100.232.172:6380 \
10.100.232.172:6381 \
--cluster-replicas 1

集群搭建成功：

查看下集群的信息

redis-cli -h 10.100.232.171 -p 6379 -a 123456 cluster nodes

控制台客户端连接下看看

搭建完成，自己去试试吧

文章转载自IT学习道场，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。