RabbitMQ集群和镜像队列

全栈进阶那些事 2021-12-15

865

集群简介

RabbitMQ 集群中的所有节点都会备份所有的元数据信息：

队列元数据： 队列的名称及属性
交换器： 交换器的名称及属性
绑定关系元数据： 交换器与队列或者交换器与交换器之间的绑定关系
vhost元数据： 为vhost 内的队列、交换器和绑定提供命名空间及安全属性

2. RabbitMQ 节点类型：磁盘节点（disc）（默认）、内存节点（ram）

内存节点将所有的队列、交换器、绑定关系、用户、权限和vhost的元数据定义都存储在内存中，而磁盘节点则将这些信息存储到磁盘中。

如果集群中唯一的磁盘节点宕机，集群虽然可以保持收发消息但不能进行执行创建队列、交换器、绑定关系、用户，以及更改权限、添加或删除集群节点的操作。

在内存节点重启后，它们会连接到预先配置的磁盘节点，下载当前集群元数据的副本。

单机多节

在一台机器上部署多个RabbitMQ 服务节点，需要确保每个节点都有独立的名称、数据存储位置、端口号(包括插件的端口号)等。

以一台机器运行3个rabbit节点为例，确保这台机器已经正常运行rabbit，首先停掉rabbit服务，关闭可视化页面插件，然后开始启动多节点搭建集群。

设置名称、端口启动rabbit三个节点

RABBITMQ_NODENAME=rabbit1 RABBITMQ_NODE_PORT=5672 rabbitmq-server -detached
RABBITMQ_NODENAME=rabbit2 RABBITMQ_NODE_PORT=5673 rabbitmq-server -detached
RABBITMQ_NODENAME=rabbit3 RABBITMQ_NODE_PORT=5674 rabbitmq-server -detached


# 如果需要开启可视化页面插件 上面执行语句需加上这句话配置不同端口号
RABBITMQ_SERVER_START_ARGS="-rabbitmq_management listener [{port , 15672}] "

把rabbit2以内存节点身份加入到集群中

rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z stop_app
rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z reset
rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z join_cluster rabbit1@iZm5e5v1gnvihwh0k62o37Z --ram
rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z start_app

把rabbit3以内存节点身份加入到集群中

rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z stop_app
rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z reset
rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z join_cluster rabbit1@iZm5e5v1gnvihwh0k62o37Z --ram
rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z start_app

开启rabbit1的可视化页面插件

rabbitmq-plugins -n rabbit1 enable rabbitmq_management

查看集群

rabbitmqctl -n rabbit1 cluster_status

至此RabbitMQ单机多节点集群搭建完毕！

多机多节点集群

准备3台物理机，分别安装好rabbit，主机名为：rabbit1、rabbit2、rabbit3。RabbitMQ集群对延迟非常敏感，应当只在本地局域网内使用。

配置各个节点的hosts 文件

vim /etc/hosts


192.168.89.101 rabbit1
192.168.89.102 rabbit2
192.168.89.103 rabbit3

复制RabbitMQ 的cookie 文件到各个节点，cookie 相当于密钥令牌，集群中的RabbitMQ 节点需要通过交换密钥令牌以获得相互认证。

# 位置
/var/lib/rabbitmq/.erlang.cookie

启动各个节点

systemctl  start rabbitmq-server.service

配置rabbit2加入rabbit1集群

# 停止节点中的 RabbitMQ 应用程序
rabbitmqctl stop_app


# 清空节点状态
rabbitmqctl reset


# 将 rabbit2加入rabbit1集群
rabbitmqctl join_cluster rabbit@rabbit1


# 启动节点中的 RabbitMQ 应用程序
rabbitmqctl start_app

配置rabbit3加入rabbit1集群

# 停止节点中的 RabbitMQ 应用程序
rabbitmqctl stop_app


# 清空节点状态
rabbitmqctl reset


# 将 rabbit3加入rabbit1集群 --ram 以内存节点加入
rabbitmqctl join_cluster rabbit@rabbit1 --ram


# 启动节点中的 RabbitMQ 应用程序
rabbitmqctl start_app

查看集群状态

rabbitmqctl cluster_status

修改节点类型

# 停止节点中的 RabbitMQ 应用程序
rabbitmqctl stop_app


# 更改节点类型 disc ram
rabbitmqctl change_cluster_node_type disc


# 启动节点中的 RabbitMQ 应用程序
rabbitmqctl start_app

删除集群节点

# 停止节点中的 RabbitMQ 应用程序
rabbitmqctl stop_app


# 清空节点状态
rabbitmqctl reset


# 启动节点中的 RabbitMQ 应用程序
rabbitmqctl start_app

镜像队列

为了实现高可用，RabbitMQ提供了镜像队列机制，所谓镜像队列其实就是在另外一个RabbitMQ服务器Broker存放一个该队列的一个拷贝队列，实现队列内消息的冗余存储。该模式带来的副作用也很明显，随着镜像队列越来越多，会大大消耗掉系统性能。

镜像队列解决的是消息高可用问题，而不是基于负载均衡实现的高吞吐量问题。高吞吐量主要是通过RabbitMQ集群来实现的。

1. 在控制台配置镜像策略

Name: policy的名称
Pattern: queue的匹配模式（正则表达式）
Apply to：使用对象
Priority: 可选参数， policy的优先级
Definition: 镜像定义，包括三个部分 ha-mode，ha-params，ha-sync-mode

all：表示在集群所有的节点上进行镜像
exactly：表示在指定个数的节点上进行镜像，节点的个数由ha-params指定
nodes：表示在指定的节点上进行镜像，节点名称通过ha-params指定

ha-mode: 指明镜像队列的模式
ha-params: ha-mode模式需要用到的参数
ha-sync-mode: 镜像队列中消息的同步方式，有效值为automatic，manually

2. 用命令配置镜像队列

rabbitmqctl  set_policy  fzb-ha  "^hello"  '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'

3. 镜像队列机制

镜像队列机制是基于Master-Slave主从模式的，镜像队列所有操作都是只能在Master节点进行操作，生产者发布消息到队列，分发消息给消费者，跟踪消费者的消费确认ACK，消费者不管连接的哪个节点最终都会转发到Master节点，然后将这些操作对应的消息由Master节点广播同步给其他节点。

在某种程度上你可以理解镜像队列拥有一个隐藏的fanout交换器，它指示着信道将消息分发到队列的从拷贝上。

Master节点宕机时，会从所有slave节点中选择最早加入这个镜像队列集合的slave作为新的master。

扫描二维码

关注我们

了解更多全栈技能

数据库

文章转载自全栈进阶那些事，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

RabbitMQ集群和镜像队列

单机多节

多机多节点集群

评论