RabbitMQ的Cluster模式分为两种
普通集群模式,就是将 RabbitMQ 部署到多台服务器上,每个服务器启动一个 RabbitMQ 实例,多个实例之间进行消息通信。
此时我们创建的队列 Queue,它的元数据(主要就是 Queue 的一些配置信息)会在所有的 RabbitMQ 实例中进行同步,但是队列中的消息只会存在于一个 RabbitMQ 实例上,而不会同步到其他队列。
当我们消费消息的时候,如果连接到了另外一个实例,那么那个实例会通过元数据定位到 Queue 所在的位置,然后访问 Queue 所在的实例,拉取数据过来发送给消费者。
这种集群可以提高 RabbitMQ 的消息吞吐能力,但是无法保证高可用,因为一旦一个 RabbitMQ 实例挂了,消息就没法访问了,如果消息队列做了持久化,那么等 RabbitMQ 实例恢复后,就可以继续访问了;如果消息队列没做持久化,那么消息就丢了。
大致的流程图如下图:
*我们会发现,其实队列的数据只是保存了一份,其他的broker只是保留了元数据而已,用来访问交换机,binding或者队列的基本信息(比如地址啥的)
元数据包含以下内容:
RabbitMQ 中的节点类型有两种:
RabbitMQ 要求在集群中至少有一个磁盘节点,所有其他节点可以是内存节点,当节点加入或者离开集群时,必须要将该变更通知到至少一个磁盘节点。如果集群中唯一的一个磁盘节点崩溃的话,集群仍然可以保持运行,但是无法进行其他操作(增删改查),直到节点恢复。为了确保集群信息的可靠性,或者在不确定使用磁盘节点还是内存节点的时候,建议直接用磁盘节点。
我们会发现,在这汇总集群方式中的情形下,我们会遇到如下几个问题
参考文章window下单机搭建RabbitMQ多节点集群
分别访问他们的ui管理界面
http://localhost:15673/#/
http://localhost:15674/#/
http://localhost:15675/#/
界面应当如下,节点名称应当会变,但是应当可以访问
关闭rabbitmq node 2,3,让他们加入rabbit1集群
如果是通过rabbitmq-server方式启动的,直接关闭运行界面就可以了,如果是通过rabbitmq-server -detached的话,执行
D:\tools\RabbitMQ Server\rabbitmq_server-3.8.4-2\sbin>rabbitmqctl stop_app
Stopping rabbit application on node rabbit2@DESKTOP-IB5K0.. ... //成功关闭提示
ok,那我们正式开始,关闭所有的节点(命令基于powershell)
打开 http://localhost:15673/#/ 查看信息
.\rabbitmqctl.bat join_cluster rabbit1
出现如下提示,
我们查看http://localhost:15673/#/,
rabbit2节点没有启动,但是加进来了。
在D:\rabbitmq_server-3.10.6-2\sbin 下执行如下命令
rabbitmqctl start_app
rabbit2节点启动了
同理,注册rabbit3到集群中,并且启动
可以在ui中查看到注册进来了
我们切换到server-1下执行命令
.\rabbitmqctl.bat cluster_status
可以查看各种节点的信息
假如我们需要结束节点3,那么在对应的目录下,执行命令如下
我们发现无论是访问下面的那个界面,都是出现了集群的信息的
http://localhost:15673/#/
http://localhost:15674/#/
http://localhost:15675/#/
前文请参考:spring-boot rabbitmq整合
如果publish指定集群的某个节点,其他的节点也是可以访问这个message的,除非该节点宕机了。
测试
搭建好集群后,我们需要做个测试,我们发送一个mq消息,会发现三个节点都有这个消息,我们修改配置把publish的broker节点设置为5673,而不是address设置集群地址
spring:rabbitmq:host: 0.0.0.0port: 5673username: rootpassword: rootpublisher-confirms: true #确认消息已发送到交换机(Exchange)publisher-returns: true #确认消息已发送到队列(Queue)
如果root没有权限,请改成guest/guest都行,我们发送了一个名为TestDirectQueue的队列,我们去
http://localhost:15673/#/queues
http://localhost:15674/#/queues
http://localhost:15675/#/queues
看,我们会发现都有未消费的的message
修改consumer配置为:
spring:rabbitmq:host: 0.0.0.0port: 5674username: rootpassword: rootvirtual-host: pers-xrblistener:direct:retry:max-attempts: 3simple:retry:max-attempts: 3acknowledge-mode: manual
启动consumer项目,我们可以发现,message被消费完了
总结
我们可以大胆的猜测,保留队列信息的消息在节点1,rabbit1上的,但是集群中的其他节点也是可以消费的。如果节点1的消费者很慢的话,多几个节点也是可以的。但是如果rabbit1节点宕机了,理论上是其他节点应该是消费不了的了。
如果保存queue 消息队列的节点宕机了的话,那么就会发现,其他节点没有节点信息了,我们发送一个mq后,再执行命令,停止rabbit1
.\rabbitmqctl.bat stop_app
在访问 http://localhost:15674/#/ 或者http://localhost:15675/#/ 我们会发现节点 rabbit1停止了,我们再看queue的消息
无法获取对应的消息了,启动消费者会报错
我们执行命令,重启节点rabbit1
.\rabbitmqctl.bat start_app
message又可见了,我们再重启消费者,消费成功
参考 3. spring boot + rabbitmq集群(单节点配置) 只需要修改配置文件就可以了。
通常来说,配置rabbitmq的集群应该如下配置,在address中配置多个地址,通过都好分割
spring:rabbitmq:username: rootpassword: rootpublisher-confirms: true #确认消息已发送到交换机(Exchange)publisher-returns: true #确认消息已发送到队列(Queue)addresses: 0.0.0.0:5674,0.0.0.0:5673,0.0.0.0:5675listener:simple:acknowledge-mode: manual
代码地址: https://github.com/GitHubsteven/spring-in-action2.0/tree/master/spring-boot-mesage
上一篇:【RTP】两字节扩展