Tornado和Celery介绍1.TornadoTornado是一个用python编写的一个强大的、可扩展的异步HTTP服务器，同时也是一个web开发框架。tornado是一个非阻塞式web服务器，其速度相当快。得利于其非阻塞的方式和对epoll的运用，tornado每秒可以处理数以千计的

写之前稍微说一下我对爬与反爬关系的理解一、什么是爬虫   爬虫英文是splider，也就是蜘蛛的意思，web网络爬虫系统的功能是下载网页数据，进行所需数据的采集。主体也就是根据开始的超链接，下载解析目标页面，这时有两件事，一是把相关超链接继续往容器内添加，二是解析页面目标数据，不断循环，直到没有url解析为止。举个栗子：我现在要爬取苏宁手机价

一、CAsyncSocket类CAsyncSocket属于异步非阻塞类。CAsyncSocket类采用了windowssocket中的WSAAsyncSelect模型。CAsyncSocket类是在很低的层次上对windowssocketAPI进行了封装，它的成员函数和winsockAPI的函数调用直接对应，一个CAsyncSock

NIO高并发是jdk1.4出现的新的流.NIONewIO同步式非阻塞式IOBIOBlockingIO同步式阻塞式IOUDP/TCPAIOAsynchronousIO异步式非阻塞IOjdk1.8BIO的缺点1.会产生阻塞行为receive/accept/connect/r

通常我们有时候会有一种需求，就是要对文件的操作，进行事务控制，在java提供的原生态的api中是没有办法实现这一点的，而网上有open source的一个project提供了这种操作，就是XADisk，下面我只是做一个简单的Demo，其中的很多配置，以及api都没有详细的使用和列出来，有兴趣的朋友可以一直讨论.上代码:public stati

Kafka源码系列之Broker的IO服务及业务处理一，kafka角色Kafka源码系列主要是以kafka0.8.2.2源码为例。以看spark等源码的经验总结除了一个重要的看源码的思路：先了解部件角色和功能角色，然后逐个功能请求序列画图分析，最后再汇总。那么，下面再啰嗦一下，kafka的角色。kafka在生产中的使用，如下

一、分而治之fork/join   二叉树　　二分查找　　快速排序　　归并排序　　mapreduce　　动态规划1、fork/join(工作密取)　　RecursiveTask要有返回值　　RecursiveAction没有返回值　　invoke(同步)　　submit(有返回结果异步)　　execute(没有返

server端：include<unistd.hinclude<sys/types.h/basicsystemdatatypes/include<sys/socket.h/basicsocketdefinitions/include<n

使用celery的目的：将项目中耗时的操作放入一个新的进程实现1.安装celerypipinstallcelery2.在项目的文件夹下创建包celery\_tasks用于保存celery异步任务3.在celery\_tasks下新建config.py指定broker到redisbroker_url'redis

一、同步爬虫的瓶颈传统的同步爬虫（如requestsBeautifulSoup）在请求网页时，必须等待服务器返回响应后才能继续下一个请求。这种阻塞式I/O操作在面对大量数据时存在以下问题：速度慢：每个请求必须串行执行，无法充分利用网络带宽。易被封禁：高频