Tornado和Celery介绍1.TornadoTornado是一个用python编写的一个强大的、可扩展的异步HTTP服务器，同时也是一个web开发框架。tornado是一个非阻塞式web服务器，其速度相当快。得利于其非阻塞的方式和对epoll的运用，tornado每秒可以处理数以千计的

写之前稍微说一下我对爬与反爬关系的理解一、什么是爬虫   爬虫英文是splider，也就是蜘蛛的意思，web网络爬虫系统的功能是下载网页数据，进行所需数据的采集。主体也就是根据开始的超链接，下载解析目标页面，这时有两件事，一是把相关超链接继续往容器内添加，二是解析页面目标数据，不断循环，直到没有url解析为止。举个栗子：我现在要爬取苏宁手机价

1\.安装步骤rpmimporthttps://packagecloud.io/rabbitmq/rabbitmqserver/gpgkeyrpmimporthttps://github.com/rabbitmq/signingkeys/releases/download/2.0/rabb

redis安装和使用redis安装wgethttp://download.redis.io/redisstable.tar.gztarzxvfredisstable.tar.gzcdredisstable.tar.gzmakemakeinst

删除工具类：importjava.io.File;publicclassDeleteAll{publicstaticvoiddeleteAll(Filefile){if(file.isFile()||file.list().length0){

server端：include<unistd.hinclude<sys/types.h/basicsystemdatatypes/include<sys/socket.h/basicsocketdefinitions/include<n

代码：usingNLog;usingSystem;usingSystem.Diagnostics;usingSystem.IO;usingSystem.Net;usingSystem.ServiceProcess;usingSystem.Text;usingSy

使用celery的目的：将项目中耗时的操作放入一个新的进程实现1.安装celerypipinstallcelery2.在项目的文件夹下创建包celery\_tasks用于保存celery异步任务3.在celery\_tasks下新建config.py指定broker到redisbroker_url'redis

业务背景　　在大型网站中，为了减少DB压力、让数据更精准、速度更快，将读拆分出来采用搜索引擎来为DB分担读的压力，ElasticSearch就是目前市面上比较流行的搜索引擎，他的检索速度奇快、支持各种复杂的全文检索，在各种场景下对比其他的搜索引擎的检索速度都显得尤为出众。这篇就先不介绍ElasticSearch了，后续我会出一个ElasticS

一、同步爬虫的瓶颈传统的同步爬虫（如requestsBeautifulSoup）在请求网页时，必须等待服务器返回响应后才能继续下一个请求。这种阻塞式I/O操作在面对大量数据时存在以下问题：速度慢：每个请求必须串行执行，无法充分利用网络带宽。易被封禁：高频