Tornado和Celery介绍1.TornadoTornado是一个用python编写的一个强大的、可扩展的异步HTTP服务器，同时也是一个web开发框架。tornado是一个非阻塞式web服务器，其速度相当快。得利于其非阻塞的方式和对epoll的运用，tornado每秒可以处理数以千计的

写之前稍微说一下我对爬与反爬关系的理解一、什么是爬虫   爬虫英文是splider，也就是蜘蛛的意思，web网络爬虫系统的功能是下载网页数据，进行所需数据的采集。主体也就是根据开始的超链接，下载解析目标页面，这时有两件事，一是把相关超链接继续往容器内添加，二是解析页面目标数据，不断循环，直到没有url解析为止。举个栗子：我现在要爬取苏宁手机价

1\.什么是动态代理代理模式是为了提供额外或不同的操作，而插入的用来替代”实际”对象的对象，这些操作涉及到与”实际”对象的通信，因此代理通常充当中间人角色。Java的动态代理比代理的思想更前进了一步，它可以动态地创建并代理并动态地处理对所代理方法的调用。在动态代理上所做的所有调用都会被重定向到单一的调用处理器上，它的工作是揭示调用的类型并确定相

造一个轮子，实现RPC调用在写了一个Netty实现通信的简单例子后，萌发了自己实现RPC调用的想法，于是就开始进行了NettyRpc的工作，实现了一个简单的RPC调用工程。如果也有兴趣动手造轮子的同学，可以先看看之前写的使用Java实现Netty通信(https://www.oschina.net/acti

Celery是一个广泛应用于网络应用程序的任务处理系统。它可以在以下情况下使用:在请求响应周期中做网络调用。服务器应当立即响应任何网络请求。如果在请求响应周期内需要进行网络调用，则应在周期外完成调用。例如当用户在网站上注册时，需要发送激活邮件。发送邮件是一种网络调用，耗时2到3秒。用户应该无需等待这2到3秒。因此，发送激活邮件应当在

导出C类（纯虚函数和虚函数）大致做法就是为class写一个warp，通过get\_override方法检测虚函数是否被重载了，如果被重载了调用重载函数，否则调用自身实现，最后导出的时候直接导出warp类，但是类名使用class，析构函数不需要导出，因为它会被自动调用纯虚函数编写C函

使用celery的目的：将项目中耗时的操作放入一个新的进程实现1.安装celerypipinstallcelery2.在项目的文件夹下创建包celery\_tasks用于保存celery异步任务3.在celery\_tasks下新建config.py指定broker到redisbroker_url'redis

魔法函数python中以双下划线开始和结束的函数（不可自己定义）为魔法函数调用类实例化的对象的方法时自动调用魔法函数（感觉不需要显示调用的函数都叫）在自己定义的类中，可以实现之前的内置函数，比如下面比较元素sorted时用It函数（lt(self,other)：判断self对象是否小于other对象；）

几乎所有的系统函数和库函数在执行时都会通过返回特定的值来说明成功或出错。我们在调用它们后，必须马上对其返回值进行检测，如果调用出错则要进行相应的处理（一般是向终端输出错误信息并终止程序运行）。否则在今后程序出错时，如果通过调试去定位到该错误将会花费很长的时间。当然也有某些系统调用从不失败（例如getpid()或\_exit()等），在调用它们时可以不

一、同步爬虫的瓶颈传统的同步爬虫（如requestsBeautifulSoup）在请求网页时，必须等待服务器返回响应后才能继续下一个请求。这种阻塞式I/O操作在面对大量数据时存在以下问题：速度慢：每个请求必须串行执行，无法充分利用网络带宽。易被封禁：高频