python网页抓取功能非常强大，使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意，可能很多网站都设置了防采集功能，不是那么轻松就能抓取到想要的内容。今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。最基础的抓取：!/usr/bin/envpythoncodingutf8@Au

1\.操作Cookie有时候我们想要验证浏览器中cookie是否正确，因为基于真实cookie的测试是无法通过白盒和集成测试的。WebDriver提供了操作Cookie的相关方法，可以读取、添加和删除cookie信息。WebDriver操作cookie的方法：get\_cookies()：获得所有cookie信息

Redis是完全开源免费的，遵守BSD协议，是一个高性能的keyvalue数据库。默认有16个数据库，可以利用selectn来切换。Redis与其他keyvalue缓存产品有以下三个特点：Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key