消息队列RabbitMQ
1. 初识MQ
同步通讯:就如同打视频电话,双方的交互都是实时的。因此同一时刻你只能跟一个人打视频电话
异步通讯:就如同发微信聊天,双方的交互不是实时的,你不需要立刻给对方回应。因此你可以多线操作,同时跟多人聊天。
- 如果我们的业务需要实时得到服务提供方的响应,则应该选择同步通讯(同步调用)。
- 而如果我们追求更高的效率,并且不需要实时响应,则应该选择异步通讯(异步调用)
1.1.同步调用
目前我们的支付流程采用基于 OpenFeign 的同步调用,执行顺序为:先调用用户服务扣减余额,再更新支付流水状态,最后通知交易服务更新订单状态。这种方式存在三个主要问题:
- 拓展性差:随着业务发展,需求不断增加,如支付成功后发送短信通知、发放积分或金币奖励等功能都要修改现有代码,导致支付逻辑不断膨胀,违反开闭原则,维护成本高
- 性能低下:同步调用意味着每一步都需等待上一步完成,假设每个服务耗时 50ms,整个流程可能高达 300ms,严重影响响应速度。
- 级联失败:一旦交易服务或通知服务失败,整个流程回滚。
因此现有同步架构不仅限制系统扩展,还埋下性能瓶颈和稳定性隐患,不适合复杂业务场景
而要解决这些问题,我们就必须用异步调用的方式来代替同步调用。

1.2.异步调用
异步调用方式其实就是基于消息通知的方式,一般包含三个角色:
消息发送者:投递消息的人,就是原来的调用方
消息Broker:管理、暂存、转发消息,你可以把它理解成微信服务器
消息接收者:接收和处理消息的人,就是原来的服务提供方
- 在异步调用中,发送者不再直接同步调用接收者的业务接口,而是发送一条消息投递给消息Broker。然后接收者根据自己的需求从消息Broker那里订阅消息。每当发送方发送消息后,接受者都能获取消息并处理。
- 这样,发送消息的人和接收消息的人就完全解耦了。
- 除了扣减余额、更新支付流水单状态以外,其它调用逻辑全部取消。而是改为发送一条消息到Broker。而相关的微服务都可以订阅消息通知,一旦消息到达Broker,则会分发给每一个订阅了的微服务,处理各自的业务。
- 假如产品经理提出了新的需求,比如要在支付成功后更新用户积分。支付代码完全不用变更,而仅仅是让积分服务也订阅消息即可:

- 不管后期增加了多少消息订阅者,作为支付服务来讲,执行问扣减余额、更新支付流水状态后,发送消息即可。业务耗时仅仅是这三部分业务耗时,仅仅100ms,大大提高了业务性能
- 另外不管是交易服务、通知服务,还是积分服务,他们的业务与支付关联度低。现在采用了异步调用,解除了耦合,他们即便执行过程中出现了故障,也不会影响到支付服务
综上异步调用的优势包括:耦合度更低;性能更好;业务拓展性强;故障隔离,避免级联失败。
当然异步通信也存在下列缺点:完全依赖于Broker的可靠性、安全性和性能;架构复杂,后期维护和调试麻烦。
1.3.技术选型
消息Broker,目前常见的实现方案就是消息队列(Message Queue),简称为MQ.
目比较常见的MQ实现:ActiveMQ;RabbitMQ;RocketMQ;Kafka
| RabbitMQ | ActiveMQ | RocketMQ | Kafka | |
|---|---|---|---|---|
| 公司/社区 | Rabbit | Apache | 阿里 | Apache |
| 开发语言 | Erlang | Java | Java | Scala&Java |
| 协议支持 | AMQP,XMPP,SMTP,STOMP | OpenWire,STOMP,REST,XMPP,AMQP | 自定义协议 | 自定义协议 |
| 可用性 | 高 | 一般 | 高 | 高 |
| 单机吞吐量 | 一般 | 差 | 高 | 非常高 |
| 消息延迟 | 微秒级 | 毫秒级 | 毫秒级 | 毫秒以内 |
| 消息可靠性 | 高 | 一般 | 高 | 一般 |
追求可用性:Kafka、 RocketMQ 、RabbitMQ
追求可靠性:RabbitMQ、RocketMQ
追求吞吐能力:RocketMQ、Kafka
追求消息低延迟:RabbitMQ、Kafka
2.RabbitMQ
2.1.安装
1 | |

RabbitMQ对应的架构如图:

2.2.收发消息
2.2.1.交换机
我们打开Exchanges选项卡,可以看到已经存在很多交换机。
我们打开Queues选项卡,新建队列。
我们点击任意交换机,可进入交换机详情页面。利用控制台中的publish message发送一条消息。
这里是由控制台模拟了生产者发送的消息。由于没有消费者存在,最终消息丢失了,这样说明交换机没有存储消息的能力。

2.2.2.队列
发送到交换机的消息,只会路由到与其绑定的队列,因此仅仅创建队列是不够的,我们还需要将其与交换机绑定。
2.2.3.绑定关系
点击Exchanges选项卡,点击amq.fanout交换机,进入交换机详情页,然后点击Bindings菜单,在表单中填写要绑定的队列名称。
2.2.4.发送消息
再次回到exchange页面,找到刚刚绑定的amq.fanout,点击进入详情页,再次发送一条消息。
回到Queues页面,可以发现hello.queue中已经有一条消息了。点击队列名称,进入详情页,查看队列详情,这次我们点击get message。

这个时候如果有消费者监听了MQ的hello.queue1或hello.queue2队列,自然就能接收到消息了。
2.3.数据隔离
2.3.1.用户管理
点击Admin选项卡,首先会看到RabbitMQ控制台的用户管理界面:
这里的用户都是RabbitMQ的管理或运维人员。目前只有安装RabbitMQ时添加的itheima这个用户
对于小型企业而言,出于成本考虑,我们通常只会搭建一套MQ集群,公司内的多个不同项目同时使用。这个时候为了避免互相干扰, 我们会利用
virtual host的隔离特性,将不同项目隔离。一般会做两件事情:
- 给每个项目创建独立的运维账号,将管理权限分离。
- 给每个项目创建不同的
virtual host,将每个项目的数据隔离。
比如,我们给黑马商城创建一个新的用户,命名为hmall。会发现此时hmall用户没有任何virtual host的访问权限。

2.3.2.virtual host
我们先退出登录。切换到刚刚创建的hmall用户登录,然后点击Virtual Hosts菜单,进入virtual host管理页。
可以看到目前只有一个默认的virtual host,名字为 /。
我们可以给黑马商城项目创建一个单独的virtual host,而不是使用默认的/。
由于我们是登录hmall账户后创建的virtual host,因此回到users菜单,你会发现当前用户已经具备了对/hmall这个virtual host的访问权限了。
这就是基于virtual host 的隔离效果。

3.SpringAMQP
- 实际开发中我们不会通过控制台收发消息,而是通过代码实现。
- RabbitMQ 基于 AMQP 协议,具备良好的跨语言特性,任何遵循该协议的语言都可以与之交互。
- 虽然 RabbitMQ 提供了 Java 客户端,但编码较为复杂,因此在生产环境中我们通常结合 Spring 使用。
- Spring 官方推出了 Spring AMQP 来简化消息操作,并通过 Spring Boot 提供自动装配,使用更加便捷高效。
SpringAMQP提供了三个功能:
- 自动声明队列、交换机及其绑定关系。(设置队列)
- 基于注解的监听器模式,异步接收消息。(设置消费端)
- 封装了RabbitTemplate工具,用于发送消息。(设置生产端)
学习如何利用SpringAMQP实现对RabbitMQ的消息收发。
3.1.导入Demo工程
在课前资料给大家提供了一个Demo工程,方便我们学习SpringAMQP的使用:
将其复制到你的工作空间,然后用Idea打开,项目结构包括三部分:mq-demo:父工程,管理项目依赖;publisher:消息的发送者;consumer:消息的消费者。
在mq-demo这个父工程中,已经配置好了SpringAMQP相关的依赖,因此,子工程中就可以直接使用SpringAMQP了。
3.2.快速入门
在之前的案例中,我们都是经过交换机发送消息到队列,不过有时候为了测试方便,我们也可以直接向队列发送消息,跳过交换机。
在入门案例中,我们就演示这样的简单模型,如图:

编辑
也就是:publisher直接发送消息到队列;消费者监听并处理队列中的消息。
这种模式一般测试使用,很少在生产中使用。
3.2.1.消息发送
首先配置MQ地址,在publisher服务的application.yml中添加配置:
1 | |
然后在publisher服务中编写测试类SpringAmqpTest,并利用RabbitTemplate实现消息发送。
打开控制台,可以看到消息已经发送到队列中。


接下来,我们再来实现消息接收。
3.2.2.消息接收
首先配置MQ地址,在consumer服务的application.yml中添加配置
1 | |
然后在consumer服务的包中新建一个类SpringRabbitListener。

3.2.3.测试
启动consumer服务,在publisher服务中运行测试代码,发送MQ消息。最终consumer收到消息。

SpringAMQP如何收发消息?
- 引入spring-boot-starter-amqp依赖
- 配置rabbitmq服务端信息
- 利用RabbitTemplate发送消息
- 利用@RabbitListener注解声明要监听的队列,监听消息
3.3.WorkQueues模型
Work queues,任务模型。简单来说就是让多个消费者绑定到一个队列,共同消费队列中的消息。

- 当消息处理比较耗时的时候,可能生产消息的速度会远远大于消息的消费速度。长此以往,消息就会堆积越来越多,无法及时处理。
- 此时就可以用work 模型,多个消费者共同处理消息处理,消息处理的速度就能提高了。
接下来,我们就来模拟这样的场景。
首先,我们在控制台创建一个新的队列,命名为work.queue:

3.3.1.消息发送
这次我们循环发送,模拟大量消息堆积现象。
在publisher服务中的SpringAmqpTest类中添加一个测试方法。

要模拟多个消费者绑定同一个队列,我们在consumer服务的SpringRabbitListener中添加2个新的方法。
注意到这两消费者,都设置了Thead.sleep,模拟任务耗时:
消费者1 sleep了20毫秒,相当于每秒钟处理50个消息
消费者2 sleep了200毫秒,相当于每秒处理5个消息
3.3.3.测试
启动ConsumerApplication后,在执行publisher服务中刚刚编写的发送测试方法testWorkQueue。
最终结果如下:

可以看到消费者1和消费者2竟然每人消费了25条消息:
消费者1很快完成了自己的25条消息
消费者2却在缓慢的处理自己的25条消息。
也就是说消息是平均分配给每个消费者,并没有考虑到消费者的处理能力。导致1个消费者空闲,另一个消费者忙的不可开交。没有充分利用每一个消费者的能力,最终消息处理的耗时远远超过了1秒。这样显然是有问题的。
3.3.4.能者多劳
在spring中有一个简单的配置,可以解决这个问题。我们修改consumer服务的application.yml文件,添加配置:
1 | |

可以发现,由于消费者1处理速度较快,所以处理了更多的消息;消费者2处理速度较慢,只处理了6条消息。而最终总的执行耗时也在1秒左右,大大提升。
正所谓能者多劳,这样充分利用了每一个消费者的处理能力,可以有效避免消息积压问题。
3.3.5.总结
Work模型的使用:
- 多个消费者绑定到一个队列,同一条消息只会被一个消费者处理
- 通过设置prefetch来控制消费者预取的消息数量
3.4.交换机类型
在之前的两个测试案例中,都没有交换机,生产者直接发送消息到队列。而一旦引入交换机,消息发送的模式会有很大变化:

可以看到,在订阅模型中,多了一个exchange角色,而且过程略有变化:
- Publisher:生产者,不再发送消息到队列中,而是发给交换机
- Exchange:交换机,一方面,接收生产者发送的消息。另一方面,知道如何处理消息,例如递交给某个特别队列、递交给所有队列、或是将消息丢弃。到底如何操作,取决于Exchange的类型。
- Queue:消息队列也与以前一样,接收消息、缓存消息。不过队列一定要与交换机绑定
- Consumer:消费者,与以前一样,订阅队列,没有变化
Exchange(交换机)只负责转发消息,不具备存储消息的能力,因此如果没有任何队列与Exchange绑定,或者没有符合路由规则的队列,那么消息会丢失!
交换机的类型有四种:
Fanout:广播,将消息交给所有绑定到交换机的队列。最早在控制台使用的
Direct:订阅,基于RoutingKey(路由key)发送给订阅了消息的队列
Topic:通配符订阅,与Direct类似,只不过RoutingKey可以使用通配符
Headers:头匹配,基于MQ的消息头匹配,用的较少。
课堂中,我们讲解前面的三种交换机模式。
3.5.Fanout交换机
Fanout,英文翻译是扇出,我觉得在MQ中叫广播更合适。
在广播模式下,消息发送流程是这样的:

- 1) 可以有多个队列
- 2) 每个队列都要绑定到Exchange(交换机)
- 3) 生产者发送的消息,只能发送到交换机
- 4) 交换机把消息发送给绑定过的所有队列
- 5) 订阅队列的消费者都能拿到消息

3.5.1.声明队列和交换机
在控制台创建队列fanout.queue1和fanout.queue2,然后再创建一个交换机。然后绑定两个队列到交换机。

3.5.2.消息发送
在publisher服务的SpringAmqpTest类中添加测试方法。
3.5.3.消息接收
在consumer服务的SpringRabbitListener中添加两个方法,作为消费者。

3.5.4.总结
交换机的作用是什么?
- 接收publisher发送的消息
- 将消息按照规则路由到与之绑定的队列
- 不能缓存消息,路由失败,消息丢失
- FanoutExchange会将消息路由到每个绑定的队列
3.6.Direct交换机
在Fanout模式中,一条消息,会被所有订阅的队列都消费。但是,在某些场景下,我们希望不同的消息被不同的队列消费。这时就要用到Direct类型的Exchange。

在Direct模型下:
- 队列与交换机的绑定,不能是任意绑定了,而是要指定一个**
RoutingKey(路由key)**- 消息的发送方在 向 Exchange发送消息时,也必须**指定消息的
RoutingKey**。- Exchange不再把消息交给每一个绑定的队列,而是根据消息的
Routing Key进行判断,只有队列的Routingkey与消息的Routing key完全一致,才会接收到消息

3.6.1.声明队列和交换机
首先在控制台声明两个队列direct.queue1和direct.queue2。然后声明一个direct类型的交换机,命名为hmall.direct。
然后使用red和blue作为key,绑定direct.queue1到hmall.direct。
同理使用red和yellow作为key,绑定direct.queue2到hmall.direct

3.6.2.消息接收
在consumer服务的SpringRabbitListener中添加方法。

3.6.3.消息发送
在publisher服务的SpringAmqpTest类中添加测试方法。
由于使用的red这个key,所以两个消费者都收到了消息。

我们再切换为blue这个key,会发现,只有消费者1收到了消息:

3.6.4.总结
描述下Direct交换机与Fanout交换机的差异?
- Fanout交换机将消息路由给每一个与之绑定的队列
- Direct交换机根据RoutingKey判断路由给哪个队列
- 如果多个队列具有相同的RoutingKey,则与Fanout功能类似
3.7.Topic交换机
3.7.1.说明
Topic类型的Exchange与Direct相比,都是可以根据RoutingKey把消息路由到不同的队列。
只不过Topic类型Exchange可以让队列在绑定BindingKey 的时候使用通配符!
1 | |
通配符规则:
#:匹配0个或多个词item.#:能够匹配item.spu.insert或者item.spu*:匹配不多不少恰好1个词item.*:只能匹配item.spu


接下来,我们就按照上图所示,来演示一下Topic交换机的用法。
首先,在控制台按照图示例子创建队列、交换机,并利用通配符绑定队列和交换机。此处步骤略。最终结果如下。

3.7.2.消息发送
在publisher服务的SpringAmqpTest类中添加测试方法。

3.7.3.消息接收
在consumer服务的SpringRabbitListener中添加方法。
3.7.4.总结
描述下Direct交换机与Topic交换机的差异?
- Topic交换机接收的消息RoutingKey必须是多个单词,以
.分割- Topic交换机与队列绑定时的bindingKey可以指定通配符
#:代表0个或多个词*:代表1个词
3.8.声明队列和交换机
在之前我们都是基于RabbitMQ控制台来创建队列、交换机。但是在实际开发时,队列和交换机是程序员定义的,将来项目上线,又要交给运维去创建。那么程序员就需要把程序中运行的所有队列和交换机都写下来,交给运维。在这个过程中是很容易出现错误的。
因此推荐的做法是由程序启动时检查队列和交换机是否存在,如果不存在自动创建。
3.8.1.基本API
SpringAMQP提供了一个Queue类,用来创建队列。




3.8.2.fanout示例
在consumer中创建一个类,声明队列和交换机:
1 | |
3.8.2.direct示例
direct模式由于要绑定多个KEY,会非常麻烦,每一个Key都要编写一个binding:
1 | |
3.8.4.基于注解声明
基于@Bean的方式声明队列和交换机比较麻烦,Spring还提供了基于注解方式来声明。
例如,我们同样声明Direct模式的交换机和队列:
1 | |
简单多了。试试Topic模式:
1 | |
3.9.消息转换器
当使用 Spring 发送消息时,传输内容通常是 Java 对象,但消息队列只能处理字节数据。
因此,需要先将对象序列化为字节发送,接收时再反序列化为对象。Spring 默认使用的是 JDK 的序列化机制,但这种方式格式不友好、体积大、不安全。实际开发中,通常会配置 JSON 转换器,使消息更轻量、可读且更安全。

而在数据传输时,它会把你发送的消息序列化为字节发送给MQ,接收消息的时候,还会把字节反序列化为Java对象。
只不过,默认情况下Spring采用的序列化方式是JDK序列化。众所周知,JDK序列化存在下列问题:数据体积过大;有安全漏洞;可读性差
3.9.1.测试默认转换器
1)创建测试队列
首先,在consumer服务中声明一个新的配置类,利用@Bean的方式创建一个队列。
注意,这里我们先不要给这个队列添加消费者,我们要查看消息体的格式。
重启consumer服务以后,该队列就会被自动创建出来了。

2)发送消息
我们在publisher模块的SpringAmqpTest中新增一个消息发送的代码,发送一个Map对象。
发送消息后可以看到消息格式非常不友好。

3.9.2.配置JSON转换器
显然,JDK序列化方式并不合适。我们希望消息体的体积更小、可读性更高,因此可以使用JSON方式来做序列化和反序列化。
在publisher和consumer两个服务中都引入依赖:
1 | |
注意,如果项目中引入了spring-boot-starter-``web依赖,则无需再次引入Jackson依赖。
配置消息转换器,在publisher和consumer两个服务的启动类中添加一个Bean即可。
1 | |
消息转换器中添加的messageId可以便于我们将来做幂等性判断。
此时,我们到MQ控制台删除object.queue中的旧的消息。然后再次执行刚才的消息发送的代码,到MQ的控制台查看消息结构:

3.9.3.消费者接收Object
我们在consumer服务中SpringRabbitListener定义一个新的消费者,publisher是用Map发送,那么消费者也一定要用Map接收,格式如下:
1 | |

编辑