RabbitMQ-持久化
创始人
2024-05-25 04:51:11
0
  一、介绍

         如何保证RabbitMQ服务停掉以后生产者发送过来的消息不丢失。默认情况下RabbitMQ退出或由于某种原因崩溃时,他将忽视队列和消息,除非告知它不要这样做。确保消息不丢失需要做两件事情:将队列和消息都标记为持久化

  二、队列持久化

        再声明队列的时候把durable参数改为true即可

boolean durable = true; //让队列持久化
channel.queueDeclare(TASK_QUEUE_NAME,durable,false,false,null);

        但是需要注意的是,如果之前声明的队列不是持久化的,需要把原先的队列先删除,或者重新创建一个持久化队列,不然会出现错误

        删除之后

       重启之后

  三、消息持久化

         需要在消息生产者修改代码,MessageProperties.PERSISTENT_TEXT_PLAIN添加这个属性

channel.basicPublish("",QUEUE_NAME, MessageProperties.PERSISTENT_TEXT_PLAIN,message.getBytes());

        将消息标注为持久化并不能完全保证不会丢失消息,尽管它告诉RabbitMQ将消息保存到磁盘,但是依然存在当消息刚刚准备存储在磁盘的时候,但是还没有存储完,消息还在缓存的一个间隔点。此时并没有真正写入磁盘。持久性保证并不强,仅使用于简单任务队列。

  四、不公平分发

         设置参数(在消费端)

 //设置不公平分发
int prefetchCount = 1;
channel.basicQos(prefetchCount);
  五、预取值
//轮询
//int prefetchCount = 0;
//设置不公平分发
//int prefetchCount = 1;
//预取值
int prefetchCount = 2;
channel.basicQos(prefetchCount);
  六、发布确认

     1、开启发布确认(默认没有开启)

//开启发布确认
channel.confirmSelect();

     2、单个确认发布

          这是一种简单的确认方式,它是一种同步确认发布的方式,也就是发布一个消息之后只有它被确认发布后,后续的消息才能继续发布,waitForConfirmsOrDie(long)这个方法只有在消息被确认的时候才返回,如果在指定时间范围内这个消息没有被确认那么它将抛出异常。

         缺点:发布速度特别慢,最多提供每秒不超过数百条发布消息的吞吐量。

    3、批量确认发布

         单个确认发布非常慢,而与单个确认发布相比,先发布一批消息然后一起确认可以极大提高吞吐量,缺点就是:当发生故障导致发布出现问题时,无法确定哪个消息出现问题了。我们必须将整个批处理保存在内存中,以记录重要的消息后重新发布。当然这种方案仍然是同步的,一样阻塞消息的发布。

    4、异步确认发布

         逻辑比较复杂,但性价比较高,可靠性和效率都比较好;是利用回调函数来达到消息可靠性传递的,这个中间件也是通过回调函数来保证是否投递成功。

/*** @author* @date * 发布确认模式*     1、单个确认*     2、批量确认*     3、异步批量确认*/
public class ConfirmMessage {public static final int MESSAGE_COUNT = 1000;public static void main(String[] args) throws Exception {//1、单个确认   558ms//publishMessageIndividually();//2、批量确认   121ms//publicMessageBatch();//3、异步发布确认   40mspublishMessageAsync();}//单个确认public static void publishMessageIndividually() throws Exception {Channel channel = RabbitMqUtil.getChannel();//队列声明String queueName = UUID.randomUUID().toString();channel.queueDeclare(queueName,true,false,false,null);//开启发布确认channel.confirmSelect();//开始时间long begin = System.currentTimeMillis();//批量发消息for (int i = 0; i < MESSAGE_COUNT; i++) {String message = i+"";channel.basicPublish("",queueName,null,message.getBytes());System.out.println();boolean flag = channel.waitForConfirms();if(flag){System.out.println("消息发送成功");}}//结束时间long end = System.currentTimeMillis();System.out.println("发布"+MESSAGE_COUNT+"个单独确认消息耗时"+(end-begin));}//批量发布确认public static void publicMessageBatch() throws Exception {Channel channel = RabbitMqUtil.getChannel();//队列声明String queueName = UUID.randomUUID().toString();channel.queueDeclare(queueName,true,false,false,null);//开启发布确认channel.confirmSelect();//开始时间long begin = System.currentTimeMillis();//批量确认消息大小int batchSize = 100;//批量发消息  批量发布确认for (int i = 1; i <= MESSAGE_COUNT; i++) {String message = i+"";channel.basicPublish("",queueName,null,message.getBytes());//判断达到100条消息的时候,批量确认一次if(i%batchSize == 0){//发布确认channel.waitForConfirms();}}//结束时间long end = System.currentTimeMillis();System.out.println("发布"+MESSAGE_COUNT+"个批量确认消息耗时"+(end-begin));}//异步发布确认public static void publishMessageAsync() throws Exception {Channel channel = RabbitMqUtil.getChannel();//队列声明String queueName = UUID.randomUUID().toString();channel.queueDeclare(queueName,true,false,false,null);//开启发布确认channel.confirmSelect();//开始时间long begin = System.currentTimeMillis();//消息确认成功 回调函数ConfirmCallback ackCallback = (deliveryTag, multiple) ->{System.out.println("确认的消息:"+deliveryTag);};//消息确认失败 回调函数/*** 1、消息的标识* 2、是否为批量确认*/ConfirmCallback nackCallback = (deliveryTag, multiple) ->{System.out.println("未确认的消息:"+deliveryTag);};//准备消息的监听器 监听哪些消息发送成功了 哪些消息发送失败了、/*** 1、监听哪些消息确认成功了* 2、监听哪些消息确认失败了*/channel.addConfirmListener(ackCallback,nackCallback);//批量发消息  异步发布确认for (int i = 0; i < MESSAGE_COUNT; i++) {String message = i+"";channel.basicPublish("",queueName,null,message.getBytes());}//结束时间long end = System.currentTimeMillis();System.out.println("发布"+MESSAGE_COUNT+"个异步确认消息耗时"+(end-begin));}
}

       5、如何处理异步未确认消息

            把未确认的消息放到一个基于内存的能被发布线程访问的队列,比如说用ConcurrentLinkedQueue这个队列在confirm callbacks与发布线程之间进行消息的传递

//异步发布确认public static void publishMessageAsync() throws Exception {Channel channel = RabbitMqUtil.getChannel();//队列声明String queueName = UUID.randomUUID().toString();channel.queueDeclare(queueName,true,false,false,null);//开启发布确认channel.confirmSelect();/*** 线程安全有序的一个哈希表 适用于高并发情况* 1、轻松的将序号与消息进行关联* 2、轻松的批量删除条目 只要给到序号* 3、支持高并发*/ConcurrentSkipListMap outstandingConfirm = new ConcurrentSkipListMap<>();//消息确认成功 回调函数ConfirmCallback ackCallback = (deliveryTag, multiple) ->{if(multiple){//2、删除已经确认的消息 剩下就是为确认的消息ConcurrentNavigableMap confirmed =outstandingConfirm.headMap(deliveryTag);confirmed.clear();}else{outstandingConfirm.remove(deliveryTag);}System.out.println("确认的消息:"+deliveryTag);};//消息确认失败 回调函数/*** 1、消息的标识* 2、是否为批量确认*/ConfirmCallback nackCallback = (deliveryTag, multiple) ->{//3、打印未确认的消息有哪些String message = outstandingConfirm.get(deliveryTag);System.out.println("未确认的消息:"+message+"未确认的消息标记:"+deliveryTag);};//准备消息的监听器 监听哪些消息发送成功了 哪些消息发送失败了、/*** 1、监听哪些消息确认成功了* 2、监听哪些消息确认失败了*/channel.addConfirmListener(ackCallback,nackCallback);//开始时间long begin = System.currentTimeMillis();//批量发消息  异步发布确认for (int i = 0; i < MESSAGE_COUNT; i++) {String message = i+"";channel.basicPublish("",queueName,null,message.getBytes());//1、记录所有要发送的消息outstandingConfirm.put(channel.getNextPublishSeqNo(),message);}//结束时间long end = System.currentTimeMillis();System.out.println("发布"+MESSAGE_COUNT+"个异步确认消息耗时"+(end-begin));}

相关内容

热门资讯

监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播,要解决的几个问题是:1&...
Windows10添加群晖磁盘... 在使用群晖NAS时,我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。 通过...
protocol buffer... 目录 目录 什么是protocol buffer 1.protobuf 1.1安装  1.2使用...
在Word、WPS中插入AxM... 引言 我最近需要写一些文章,在排版时发现AxMath插入的公式竟然会导致行间距异常&#...
【PdgCntEditor】解... 一、问题背景 大部分的图书对应的PDF,目录中的页码并非PDF中直接索引的页码...
Fluent中创建监测点 1 概述某些仿真问题,需要创建监测点,用于获取空间定点的数据࿰...
educoder数据结构与算法...                                                   ...
MySQL下载和安装(Wind... 前言:刚换了一台电脑,里面所有东西都需要重新配置,习惯了所...
修复 爱普生 EPSON L4... L4151 L4153 L4156 L4158 L4163 L4165 L4166 L4168 L4...
MFC文件操作  MFC提供了一个文件操作的基类CFile,这个类提供了一个没有缓存的二进制格式的磁盘...