击上方“ Python爬虫与数据挖掘 ”，进行关注
回复“书籍”即可获赠Python从入门到进阶共10本电子书
今
日
鸡
汤
门前冷落鞍马稀，老大嫁作商人妇。
这篇文章主要来讲解下Python自带的爬虫库urllib常见用法，主要围绕urllib定义、urllib的常用模块和urllib+lxml爬虫案例三个部分进行展开。
一、什么是urllib
它是一个http请求的Python自带的标准库，无需安装，直接可以用。并且提供了如下功能：网页请求、响应获取、代理和cookie设置、异常处理、URL解析，可以说是一个比较强大的模块。
二、urllib模块
可分为以下模块：
urllib.request 请求模块
那么，我们先从第一个模块开始说起吧，首先说一下它的大致用法：
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) #里面有很多方法，类似与requests模块中的renquest方法
request里包含了很多方法，如果我们要发送一个请求并读取请求内容，最简单的方法就是:
请求格式：
urllib.request.urlopen(url,data,timeout)
url :请求地址
data：请求数据
timeout：请求超时时间
这里采用的是get请求，如果想要进行post请求，只需给data方法传参数即可，这里有个问题需要，因为传递参数必须是字节，所以得先编码成bytes才能读取。
也可以这样写：
通过解析模块先将它解析为byte格式然后读取，同样行之有效，这样就完成了一次post请求。
通过上面例子我们找到了request模块的使用方法，我们使用response.read()获取的是响应体的内容，我们还可以通过response.status、response.getheaders().response.getheader("server")，获取状态码以及头部信息，如果我们要给请求的网址添加头部信息的话了，就要使用urllib.request.Request方法了。
它的用法为：
urllib.request.Request(url,data,headers,timeout,method)
url:请求地址
data:请求数据
headers:请求头
timeout:请求超时时间
method:请求方法，如get post
大致了解下我们可以先来访问下起点网：
from urllib import request, parse
可以看出这是个post请求，因为method设置为post，data传了参数。
这里补充说明下有个urlencode方法，它的作用是将字典转换为url，例子如下:
from urllib.parse import urlencode
添加请求头其实还有一种方法，请看：
from urllib import request, parse
这种添加方式有个好处是自己可以定义一个请求头字典，然后循环进行添加，伪造多个浏览器头。
urllib.request 还可以设置代理，用法如下，
urllib.request.ProxyHandler({'http':'http://fsdfffs.com','https':'https://fsdfwe.com'})
这样就可以避免同一个IP访问网站多次被封的尴尬局面了。
import urllib.request
可以看出，由于本人使用无用的IP导致链接错误，所以此时应该处理异常。
换了种处理异常的方式，不过总的来说还是比较全面的。异常模块中有两个异常错误：
URLError，HTTPError，其中HTTPError是URLError的子类，URLError 里只有一个属性：reason,即抓异常的时候只能打印错误信息，类似上面的例子。
HTTPError 里有三个属性：code,reason,headers，即抓异常的时候可以获得code，reson，headers三个信息，
import socket
除此之外，它还可以处理cookie数据，不过要借助另一个模块 http。
import http.cookiejar, urllib.request
同时cookie可以写入到文件中保存，有两种方式http.cookiejar.MozillaCookieJar和http.cookiejar.LWPCookieJar()，想用哪种自己决定。
http.cookiejar.MozillaCookieJar()方式
import http.cookiejar, urllib.request
http.cookiejar.LWPCookieJar()方式
import http.cookiejar, urllib.request
如果想要通过获取文件中的cookie获取的话可以通过load方式，它也有两种方式，http.cookiejar.MozillaCookieJar和http.cookiejar.LWPCookieJar()，想用哪种自己决定。
http.cookiejar.MozillaCookieJar()方式
import http.cookiejar, urllib.request
http.cookiejar.LWPCookieJar()方式
import http.cookiejar, urllib.request
urllib parse模块
它是负责解析页面内容，模块下有一个urlparse方法用于拆分解析内容，具体用法如下：
urllib.parse.urlparse(url,scheme)
URL：页面地址
scheme: 协议类型 ，比如 http https
有拆分当然也会有拼接，我们可以看到上面返回的有六个值，所以我们在做拼接时一定要填写六个参数，否则它会报没有足够的值用来解包的错误。
urllib.parse.urlunpars(url,scheme)
类似的拼接方法其实还有，比如说urljoin,例子如下：
urllib.robotparser 它也是一个解析模块，从它的字面意思看，应该是一个机器人解析模块。
而且它还与机器人协议有关联，它的存在就是为了解析每个网站中机器人协议，判断这个网站是否可以抓取。
每个网站中都会有一个robots.txt文件，我们要做的就是先解析它，然后在对要下载的网页数据进行判断是否可以抓取。
可以通过直接输入url的方式来判断：
from urllib import robotparser
也可以通过间接设置url的方式来判断：
from urllib import robotparser
三、应用案例：爬取起点小说名
老样子，按下键盘快捷键F12，进行网页分析，这次我们采用lxml，我们得知只需要将这个页面中的某一个部分的数据变动一下就可以抓取到所有数据。如图：
下次我们来讲lxml和xpath语法，以便于大家更好的爬取数据，urllib内容就这么多，并不复杂，requests更为简单易学。
最后想学习更多关于Python的知识，可以参考学习网址：http://pdcfighting.com/，点击阅读原文，可以直达噢~
**********---**--****-------------- End **********---**--****--------------
往期精彩文章推荐：
欢迎大家点赞，留言，转发，转载，****感谢大家的相伴与支持
想加入Python学习群请在后台回复【入群】
万水千山总是情，点个【在看】行不行
/今日留言主题/
随便说一两句吧~~
本文分享自微信公众号 - Python爬虫与数据挖掘（crawler_python）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
