一、RabbitMQ简介:
'''
RabbitMQ就是消息队列
之前不是学了Queue了吗,都是队列还学RabbitMQ干嘛?
干的事情是一样的
Python的Queue有两个,
一个线程Queue生产者消费者模型,一个进程Queue用于父进程与子进程交互
两个完全独立的Python程序就不能交互了,或者两台机器之间的Queue,Java跟Python之间不能交互了
所以有了RabbitMQ
QQ跟Word通信:
1、用socket直接通信
2、通过硬盘通信
3、QQ通过socket发给中间商,中间商通过socket发给Word
第1个和第3个有啥区别呢?
第一种直接通信比较复杂,
第二种中间商可以省去网络通信维护的工作,而且可以实现三方或者更多方的通信
这个中间商就叫RabbitMQ
Python语言连接RabbitMQ的模块有:
pika主流常用、 celery分布式消息队列
'''
二、简单的示例:
import pika
# 相当于建立最基本的socket
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
# 声明一个管道
channel = connection.channel()
# 在管道里声明一个队列
channel.queue_declare(queue='q1')
# 通过管道发消息
channel.basic_publish(exchange='',
routing_key='q1', # 队列名
body='Hello World') # 消息内容
print("send: Hello World")
connection.close()
producer生产者
import pika
'''
消费者可能在其他机器上跨机器是没问题的
'''
# 建立连接.
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
# 建立管道
channel = connection.channel()
# 声明队列,为什么还要声明队列?
# 如果是生产者先运行,可以不写这个。
# 由于不确定生产者先运行还是消费者先运行,所以写上这个,随便哪个先运行都不会报错。
channel.queue_declare(queue='q1')
def callback(ch, method, properties, body):
# ch:管道内存对象地址,method:获取前面发的routing_key或处理成功应答delivery_tag,properties:可以获取持久化模式delivery_mode
print("-->", ch, method, properties)
print("received:{0}".format(body))
# 开始消费消息
channel.basic_consume(callback, # 如果收到消息就调用该函数处理消息
queue='q1',
no_ack=True)
print("Waiting for messages...")
# 开始收消息了。启动就一直运行,一直收下去,没有就阻塞住
channel.start_consuming()
consumer消费者
运行结果:先启动消费者,再启动生产者(多个生产者,一个消费者)
'''
消费者控制台(启动时):
Waiting for messages...
生产者控制台(第一次运行):
send: Hello World
消费者控制台(变化1):
Waiting for messages...
--> <BlockingChannel impl=<Channel number=1 OPEN....
received:b'Hello World'
生产者控制台(第二次运行):
send: Hello World
消费者控制台(变化2):
Waiting for messages...
--> <BlockingChannel impl=<Channel number=1 OPEN....
received:b'Hello World'
--> <BlockingChannel impl=<Channel number=1 OPEN....
received:b'Hello World'
'''
三、消息分发轮询:
上面的示例第二种运行结果:先启动消费者,再启动生产者(多个生产者,多个消费者)
'''
消费者控制台(启动消费者1):
Waiting for messages...
消费者控制台(启动消费者2):
Waiting for messages...
消费者控制台(启动消费者3):
Waiting for messages...
生产者控制台(第一次运行):
send: Hello World
消费者1控制台(变化):
Waiting for messages...
--> <BlockingChannel impl=<Channel number=1 OPEN....
received:b'Hello World'
生产者控制台(第二次运行):
send: Hello World
消费者2控制台(变化):
Waiting for messages...
--> <BlockingChannel impl=<Channel number=1 OPEN....
received:b'Hello World'
生产者控制台(第三次运行):
send: Hello World
消费者3控制台(变化):
Waiting for messages...
--> <BlockingChannel impl=<Channel number=1 OPEN....
received:b'Hello World'
生产者控制台(第四次运行):
send: Hello World
消费者1控制台(变化):
Waiting for messages...
--> <BlockingChannel impl=<Channel number=1 OPEN....
received:b'Hello World'
--> <BlockingChannel impl=<Channel number=1 OPEN....
received:b'Hello World'轮询分发...
'''
四、特殊情况,no_ack作用:
'''
假如现在顺序启动了3个消费者(A,B,C)处理数据,
A在处理的过程中挂掉了,怎么办呢?有两种方式:
一、no_ack设置为True:
这种情况表示生产者不关心数据是否处理完毕。如果A挂了
A当时的数据就丢掉了没有被处理
二、no_ack不写:
这种情况下,如果A挂了,A的数据会转给B, 如果B挂了,A的数据会
转给C,如果C也挂了,那么在下次启动消费者时会转给第一次启动的消费者
这种情况下,消费者处理完毕会通知RabbitMQ,RabbitMQ就从队列里删除
该数据。只有收到通知才从队列中删除。
'''
consumer: 改以下两处就会将所有消息完全处理
def callback(ch, method, properties, body):
print("--->:",ch)
time.sleep(10)
print("received: ", body)
# 2、加上这句,通知给RabbitMQ说这个消息已经处理完了,可以从队列里删了,如果no_ack=False这里必须要写
ch.basic_ack(delivery_tag=method.delivery_tag)
channel.basic_consume(callback,
queue='q1',
# no_ack=True 1、将这句注释表示消费者处理一条就通知RabbitMQ
)
查看队列里当前消息数量: