一、前言在使用Python爬虫时，需要模拟发起网络请求，主要用到的库有requests库和python内置的urllib库，一般建议使用requests，它是对urllib的再次封装。那它们两者有什么区别?下面通过案例详细的讲解，了解他们使用的主要区别。二、urllib库简介：urllib库的response对象是先创建http，request对象

python网页抓取功能非常强大，使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意，可能很多网站都设置了防采集功能，不是那么轻松就能抓取到想要的内容。今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。最基础的抓取：!/usr/bin/envpythoncodingutf8@Au

1.安装packagecontrolle：Ctrl\2.importurllib.request,os;pf'PackageControl.sublimepackage';ippsublime.installed_packages_path();urllib.request.install_opener(

前面讲了Python的urllib库的使用和方法，Python网络数据采集Urllib库的基本使用，Python的urllib高级用法。今天我们来学习下Python中Requests库的用法。（官方手册(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fdocs.pythonreq

击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤门前冷落鞍马稀，老大嫁作商人妇。这篇文章主要来讲解下Python自带的爬虫库urllib常见用法，主要围绕urllib定义、urllib的常用模块和urlliblxml爬虫案例三个部分进行展开。

基本配置：Python版本：3.7相关模块：from urllib import parsefrom lxml import etreefrom urllib3 import disable_warningsimport requests案例关键点：使用单线程爬取，未登录，爬取网易云

原文链接: PythonRequests的一些高级特性(https://my.oschina.net/ahaoboy/blog/1608447)会话对象会话对象让你能够跨请求保持某些参数。它也会在同一个Session实例发出的所有请求之间保持cookie，期间使用 urllib3 的 connectionpoolin

学习爬虫中，从最近自己写的爬虫小程序中抓截一点代码。加深下记忆。1.因为我已经安装了Python3,所以使用了urllib3库。2.要根据对应网页的数据格式进行解码，有的是utf8，有的是GB2312，当然可能还有其它。否则会报错。import urllib3import time因为我使用了Python3，所以使用urlli

'''　　urllib.request.urltrieve(url,filenameNone,reporthookNone,dataNone)　　url:远程服务器地址（即需要获取数据的地址）　　filename:将远程获取的数据存放入的文件名'''importurllib.requestdefcallback(blocknum,

再一次尝试将QQ空间的头像保存到本地的过程中，发现每次执行那段代码都要有大约将近20s左右的延时。这个延时对于正常来说是不可忍受的。尝试解决之。首先尝试用浏览器直接打开头像地址，发现没有任何延时，瞬间即开。看来问题是出现在了代码之上。为了方便，获取头像采用的是urllib.urlretrive方法。既然这个方法有问题，那用最原始的的urllib.open