前言这次咱们来玩一个在Python中很牛叉的爬虫框架——Scrapy。scrapy介绍标准介绍Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的

本节内容1.RabbitMQ队列2.Redis缓存一、RabbitMQ队列　　安装 http://www.rabbitmq.com/installstandalonemac.html安装pythonrabbitMQmodule 1234567pipi

同步和异步，阻塞和非阻塞_同步和异步_关注的是结果消息的通信机制同步:同步的意思就是调用方需要主动等待结果的返回异步:异步的意思就是不需要主动等待结果的返回，而是通过其他手段比如，状态通知，回调函数等。_阻塞和非阻塞_主要关注的是等待结果返回调用方的状态阻塞:是指

IM消息架构主要有1、消息redis缓存队列及用户信息memcache2、消息的数据落地（入库mysql）3、消息的发送4、离线消息服务5、过期消息服务消息redis缓存队列服务端落地队列1.客户端通过HTTPS

IO的同步、异步、阻塞、非阻塞同步、异步同步（synchronous）：A调用B,B立刻处理A的请求（即使C紧接着调用B），并把最终结果返回给A。异步（asynchronous）：A调用B,B立刻反馈A,仅是状态，并非最终结果。B处

PriorityBlockingQueue是一个基于优先级堆的无界的并发安全的优先级队列（FIFO），队列的元素按照其自然顺序进行排序，或者根据构造队列时提供的Comparator进行排序，具体取决于所使用的构造方法。实现原理PriorityBlockingQueue通过使用堆这种数据结构实现将队列中的元素按照某种排序规则进行排序，从而改变先进先

　队列（Queue）代表了一个先进先出的对象集合。当您需要对各项进行先进先出的访问时，则使用队列。当您在列表中添加一项，称为入队，当您从列表中移除一项时，称为出队。　　ConcurrentQueue<T队列是一个高效的线程安全的队列，是.NetFramework4.0，System.Collections.Concurren

一、redis做消息队列1\.redis存储的list数据是双向链表实现的，可以作为队列2\.使用lpush和rpop实现入队和出队3\.每次使用lpush和rpop都要发起一次连接，性能不好4\.这是一次生产，一次消费的队列二、发布/订阅模式(publish/subscribe)，也是作为消息队列1\.可以一次生产

当创建队列jobs、监听器或订阅服务器以推送到队列中时，您可能会开始认为，一旦分派，队列工作器决定如何处理您的逻辑就完全由您自己决定了。嗯……并不是说你不能从作业内部与队列工作器交互，但是通常情况下，哪怕你做了，也是没必要的。这个神奇的骚操作的出现是因为“InteractsWithQueue”这个trait。.当排队作业正在从队列中拉出,这个\

　newFixedThreadPool：固定线程池，核心线程数和最大线程数固定相等，而空闲存活时间为0毫秒，说明此参数也无意义，工作队列为最大为Integer.MAX\_VALUE大小的阻塞队列。当执行任务时，如果线程都很忙，就会丢到工作队列等有空闲线程时再执行，队列满就执行默认的拒绝策略 newCachedThreadPool：带缓冲