Python爬虫常常会面临自己ip地址被封的情况,也许刚入行的小白就只能等ip解封之后再进行接下来的操作了,但是这样的方式却是最不能借鉴的，万一数据需求量大，那要等到猴年马月呢?所以今天我们就来探讨下如何创建一个IP池并对其进行管理。对刚入行的小白很有帮助,希望大家耐心看下去,需要的朋友可以参考下。很多的网站都有反爬机制，其中就有这样一条，就是服务器会检查请

什么是NIONIO是相对有BIO而言的，就是非阻塞性IO。什么叫非阻塞性？我举一个简单的例子：比如，你客户端发送了一个字符串：niotest。考虑到网络底层的传输情况的复杂性，有可能，前一秒服端接受了nio几个字符，过了10ms，再接收到了test字符串。在BIO中，不会出现这个问题，是因为在调用read方法的时候，方

Wificommunicationsolutionsinhazardousarea:MX9341DMaxonExdIICT6Gb/ExtDA21IP68T80℃ExplosionProof4G5GRouter&HeavyDutyAntenna

VirtualBox的提供了四种网络接入模式，它们分别是：1、NAT  网络地址转换模式(NAT,NetworkAddressTranslation)2、BridgedAdapter  桥接模式3、Internal  内部网络模式4、HostonlyAdapter 主机模式下面我们分别对这四种网络模

LinuxShell提供两个非常使用的命令来爬取网页，它们分别是curl和wgetcurl和wget使用代理curl支持http、https、socks4、socks5wget支持http、https代理示例：!/bin/bashcurl支持http、https、socks4、soc

同步和异步，阻塞和非阻塞_同步和异步_关注的是结果消息的通信机制同步:同步的意思就是调用方需要主动等待结果的返回异步:异步的意思就是不需要主动等待结果的返回，而是通过其他手段比如，状态通知，回调函数等。_阻塞和非阻塞_主要关注的是等待结果返回调用方的状态阻塞:是指

首先介绍一下TCP：（TransmissionControlProtocol传输控制协议）是一种面向连接的、可靠的、基于字节流的传输层通信协议。相比而言UDP，就是开放式、无连接、不可靠的传输层通信协议。下面，我一次进行客户端和服务器端的QT实现。我的开发环境是：QTCreator5.7。!oneservertwo

Netty简单介绍核心架构图（现在还看不是很懂）：!netty(https://static.oschina.net/uploads/img/201712/02192156_X1e5.png"netty")Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高

先说点题外话吧，在我刚开始学习爬虫的时候，有一次一个学长给了我一个需求，让我把京东图书的相关信息抓取下来。恩，因为真的是刚开始学习爬虫，并且是用豆瓣练得手，抓取了大概500篇左右的影评吧，然后存放到了mysql中，当时觉得自己厉害的不行，于是轻松的接下了这个需求。。。然后信心满满的开始干活。。首先查看网页源代码。。。？？？我需要的东西源代码里面没有！！！

“IP地址”更像一把达摩克利斯之剑，默默地守护着互联网的安全。