百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

RabbitMQ非常实用技巧,动态调整消息并发处理能力

ztj100 2024-11-23 00:04 27 浏览 0 评论

1. 简介

RabbitMQ 是一个开源的消息代理和队列服务器,用于通过轻量级和可靠的消息传递,在服务器之间进行通信。在Spring Boot项目中我们一般都是通过@RabbitListener进行消息监听。可以通过配置消息监听器并发数来提高系统的消息处理能力。

在实际应用中,根据业务场景的不同,我们可能需要动态调整 RabbitMQ 消息监听的并发数。例如,当RabbitMQ消息积压过多时,这时候我们就可以考虑通过动态调整并发数,以提高消息处理速度;而在系统自身负载过高时,这时候可以考虑通过减少并发数来减轻系统的整体压力。本篇文章将通过具体的示例来展示如何调整运行中消息监听处理器的并发数。

注意:动态调整并发监听数还可以帮助我们更好地控制系统的稳定性和可靠性。通过实时监测系统的负载情况和消息处理速度,我们可以及时发现潜在的问题并进行调整,从而确保系统的正常运行。

2. 实战案例

依赖管理

<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>

2.1 配置管理

spring:
  rabbitmq:
    host: localhost
    port: 5672
    username: guest
    password: guest
    virtualHost: test
    publisherConfirmType: correlated
    publisherReturns: true
    listener: 
      simple:
        # 手动应答
        acknowledgeMode: manual
        concurrency: 2
        max-concurrency: 2

2.3 创建交换机及队列

通过管理界面创建交换机及队列。

  • 交换机名:test.exchange类型为topic
  • 队列名: test
  • 将交换机与队列进行绑定路由key:akf.#


2.4 消息队列准备消息

通过如下接口,先往队列中插入100条消息

@Resource
private RabbitTemplate rabbitTemplate ;


@GetMapping("/send")
public String send() {
  new Thread(() -> {
    for (int i = 0; i < 100; i++) {
      rabbitTemplate.convertAndSend("test.exchange", "akf.a", "message - " + i) ;
    }
  }).start() ;
  return "success" ;
}

2.5 消息监听器

@RabbitListener(queues = "test")
public void listener1(String message) {
  System.out.printf("%s - 接收到消息:%s%n", Thread.currentThread().getName(), message) ;
  try {
    TimeUnit.SECONDS.sleep(2) ;
  } catch (InterruptedException e) {}
}

2.6 测试

测试上面的消息监听器是正常的

2.7 调整并发数

在上一步的测试中我们发现控制台打印的始终是一个线程在执行消息处理。但是在一开始的配置文件中我们将concurrency属性设置的为2,起码这里应该是2个线程交替执行才对,这是为什么呢?

Spring监听RabbitMQ的消息时默认并不是一条一条的从RabbitMQ中去,是一次预期一批数据,这一批消费完后才进行下一批的获取,默认预期250条。而我们向队列中存入的数据才100条,所以控制台中你只能看到一个线程打印,因为你没有足够的消息供其它线程去获取处理。我们可以通过如下配置进行预期数的设置:

spring:
  rabbitmq:
    listener: 
      simple:
        prefetch: 5

重新启动服务,测试如下

2个线程交替执行;接下来该如何实现动态调整并发数呢?

首先,修改消息监听器配置

@RabbitListener(id = "test-queue", queues = "test", ackMode = "AUTO")
public void listener1(String message) {
  // ...
}

id: 这里最好是设置唯一的id值,我们是要通过该id值来获取当前队列的消息监听容器。
ackMode: AUTO 这里设置的应答模式,用来覆盖配置文件中的设置。

其次,通过RabbitListenerEndpointRegistry操作

@Resource
private RabbitListenerEndpointRegistry registry ;


@GetMapping("/modify/{count}")
public Object modify(@PathVariable("count") Integer count) {
  // 这里通过id获取对应的队列监听器;所以上面一定要定义唯一的id值
  MessageListenerContainer listenerContainer = registry.getListenerContainer("test-queue") ;
  if (listenerContainer instanceof SimpleMessageListenerContainer container) {
    container.setConcurrentConsumers(count) ;
  }
  return String.format("并发接收消息:%d%n", count) ;
}


最后,测试

首先将服务启动,控制输出如下(当前只有2个线程处理)

目前只有2个线程

调用上面的接口修改并发数为3个后,控制台输出

成功增加了一个消费者线程。

接下来再测试,如果修改的数量大于最大数(spring.rabbitmq.listener.simple.max-concurrency)

控制台抛出如下异常

不能超过最大数;再看看调小是否可以

可以动态调小。

我们也可以对消息监听器进行暂停消费和重新启动消息监听,这里就不在演示了,非常简单调用相应start/stop即可。

总结:在 Spring Boot 中动态调整 RabbitMQ 消息监听的并发数是一个重要的优化手段。通过合理设置并发数并根据系统负载情况进行动态调整,我们可以提高消息处理效率、节省系统资源、确保系统的稳定性和可靠性。在实际应用中,我们应该根据具体的业务场景和需求来选择合适的并发数调整策略,以达到最佳的性能和效果。

微信公众号:Spring全家桶实战案例源码

相关推荐

30天学会Python编程:16. Python常用标准库使用教程

16.1collections模块16.1.1高级数据结构16.1.2示例...

强烈推荐!Python 这个宝藏库 re 正则匹配

Python的re模块(RegularExpression正则表达式)提供各种正则表达式的匹配操作。...

Python爬虫中正则表达式的用法,只讲如何应用,不讲原理

Python爬虫:正则的用法(非原理)。大家好,这节课给大家讲正则的实际用法,不讲原理,通俗易懂的讲如何用正则抓取内容。·导入re库,这里是需要从html这段字符串中提取出中间的那几个文字。实例一个对...

Python数据分析实战-正则提取文本的URL网址和邮箱(源码和效果)

实现功能:Python数据分析实战-利用正则表达式提取文本中的URL网址和邮箱...

python爬虫教程之爬取当当网 Top 500 本五星好评书籍

我们使用requests和re来写一个爬虫作为一个爱看书的你(说的跟真的似的)怎么能发现好书呢?所以我们爬取当当网的前500本好五星评书籍怎么样?ok接下来就是学习python的正确姿...

深入理解re模块:Python中的正则表达式神器解析

在Python中,"re"是一个强大的模块,用于处理正则表达式(regularexpressions)。正则表达式是一种强大的文本模式匹配工具,用于在字符串中查找、替换或提取特定模式...

如何使用正则表达式和 Python 匹配不以模式开头的字符串

需要在Python中使用正则表达式来匹配不以给定模式开头的字符串吗?如果是这样,你可以使用下面的语法来查找所有的字符串,除了那些不以https开始的字符串。r"^(?!https).*&...

先Mark后用!8分钟读懂 Python 性能优化

从本文总结了Python开发时,遇到的性能优化问题的定位和解决。概述:性能优化的原则——优化需要优化的部分。性能优化的一般步骤:首先,让你的程序跑起来结果一切正常。然后,运行这个结果正常的代码,看看它...

Python“三步”即可爬取,毋庸置疑

声明:本实例仅供学习,切忌遵守robots协议,请不要使用多线程等方式频繁访问网站。#第一步导入模块importreimportrequests#第二步获取你想爬取的网页地址,发送请求,获取网页内...

简单学Python——re库(正则表达式)2(split、findall、和sub)

1、split():分割字符串,返回列表语法:re.split('分隔符','目标字符串')例如:importrere.split(',','...

Lavazza拉瓦萨再度牵手上海大师赛

阅读此文前,麻烦您点击一下“关注”,方便您进行讨论和分享。Lavazza拉瓦萨再度牵手上海大师赛标题:2024上海大师赛:网球与咖啡的浪漫邂逅在2024年的上海劳力士大师赛上,拉瓦萨咖啡再次成为官...

ArkUI-X构建Android平台AAR及使用

本教程主要讲述如何利用ArkUI-XSDK完成AndroidAAR开发,实现基于ArkTS的声明式开发范式在android平台显示。包括:1.跨平台Library工程开发介绍...

Deepseek写歌详细教程(怎样用deepseek写歌功能)

以下为结合DeepSeek及相关工具实现AI写歌的详细教程,涵盖作词、作曲、演唱全流程:一、核心流程三步法1.AI生成歌词-打开DeepSeek(网页/APP/API),使用结构化提示词生成歌词:...

“AI说唱解说影视”走红,“零基础入行”靠谱吗?本报记者实测

“手里翻找冻鱼,精心的布局;老漠却不言语,脸上带笑意……”《狂飙》剧情被写成歌词,再配上“科目三”背景音乐的演唱,这段1分钟30秒的视频受到了无数网友的点赞。最近一段时间随着AI技术的发展,说唱解说影...

AI音乐制作神器揭秘!3款工具让你秒变高手

在音乐创作的领域里,每个人都有一颗想要成为大师的心。但是面对复杂的乐理知识和繁复的制作过程,许多人的热情被一点点消磨。...

取消回复欢迎 发表评论: