本章主题是流行的开源中间件RocketMQ和携程开源的QMQ之间的实现和区别。
RocketMQ最早由阿里开源，是相当流行的一款消息中间件，QMQ最早是在携程内部使用，后来也开源了。两者的实现原理大致相同，但是细节之处还是有很多不一样的地方，这些不同之处的实现也很值得思考。
架构介绍
RocketMQ的架构使用过的人应该都很熟悉，分为Producer，Consumer，Broker，NameServer四大集群，NameServer本身无状态，主要是维护Broker的地址等路由信息，Broker是消息的中转站，还负责消息的存储等。
QMQ的架构与RocketMQ大同小异，meta server负责状态和路由信息的维护，server的功能与broker相当，但是延时和定时消息被单独拆分出了一个服务delay server。我想这么做也是由业务决定的，酒店，度假，机票订单都经常会有提前预定的情况，消息并不需要实时消费，类似的业务场景比较常见。
消息存储与消费
RocketMQ存储
RocketMQ对消息的存储是混合型的结构，单一broker下所有的消息都保存在commitlog一个文件中。
逻辑上是如此，实际上还是分了很多个文件的，单个文件最大的大小是1G，文件名是起始偏移量。单一commitlog是一个相对抽象的概念。除了commitlog之外 ，还有consumequeue和indexfile两个索引文件。
consumequeue顾名思义，是用来给消费者读取的，broker会把要消费的消息推到consumequeue中，每一个consumequeue都对应了一个消费者，但也不是一一对应的关系，多个consumequeue是可以对应到同一个消费者的。broker接收到来自生产者的消息后，写入commitlog并且刷盘，随后将消息的offset等信息负载一个消费队列，然后写入。
QMQ消息存储
在了解QMQ的设计之前，我想先说说RocketMQ的存储设计有哪些缺点。对于ConsumeQueue，或者叫partition，数量固定的情况下，如果消费者客户端与其数量不一致，那很容易发生一个消费者客户端负载了多个消息队列从而导致很忙碌，但是其他客户端很空闲的情况，即负载不均衡，同时扩容也不太方便，增加机器并不能实时的增加ConsumeQueue与之对应。基于这个问题，QMQ对存储模型做了改进。
存储还是分了三个部分，分别是message log, consume log, pull log。
messagelog与RocketMQ的commitlog作用基本一致，consume log作用和consumeQueue作用也基本一致，pull log是QMQ增加在两者之间的中间层，用来方便扩容。
message log 存储生产者发送来的消息，是消息的存储单元
consume log一个log对应一个topic，存储的是commit log的索引信息
pull log存储的是consume log的索引信息，每一个Pull log对应了一个消费者客户端。
这样一来，消费队列与消费者之间的关系被解耦，当消费者增加时，新增一个Pull log，就可以实时负载到topic下对应的消息，积压的消息也可以被及时消费。
事务消息
RocketMQ事务消息
RocketMQ对事务消息的理念是，保证最终一致性，通过两阶段提交的方式来实现生产者端与消费者端的状态一致。
如图所示，生产者推送一个prepare到broker，broker将消息记录，并且定时向生产者轮询。生产者可以配置在消息消费成功之后的逻辑。
QMQ事务消息
如图所示，QMQ的事务是通过关系型数据库来实现。即每一个使用QMQ的应用，都必须新建一个指定的table，用来保存要发送的消息。在server上会有定时的任务来轮询db，将未消费的消息进行消费。同时，生产者也可以将业务逻辑与消息写入db放到同一个数据库事务中，保证了业务逻辑和消息发送成功这两个操作的原子性。
作为一个消息中间件，部署时必须要依赖db，复杂度相比RocketMQ略有增加。
作者：Moine0828
链接：https://www.jianshu.com/p/c2e2e9deb699
如果本文对你有帮助，
别忘记给我个三连：
点赞，转发，评论
。
咱们下期见！
收藏 等于白嫖，点赞 才是真情！
End
干货分享
这里为大家准备了一份小小的礼物，关注公众号，输入如下代码，即可获得百度网盘地址，无套路领取！
001：《程序员必读书籍》
002：《从无到有搭建中小型互联网公司后台服务架构与运维架构》
003：《互联网企业高并发解决方案》
004：《互联网架构教学视频》
006：《SpringBoot实现点餐系统》
007：《SpringSecurity实战视频》
008：《Hadoop实战教学视频》
009：《腾讯2019Techo开发者大会PPT》
010： 微信交流群
近期热文top
我就知道你“在看”
本文分享自微信公众号 - JAVA日知录（javadaily）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
