近几年来，python的热度一直特别火！大学期间，也进行了一番深入学习，毕业后也曾试图把python作为自己的职业方向，虽然没有如愿成为一名python工程师，但掌握了python，也让我现如今的工作开展和职业发展更加得心应手。这篇文章主要与大家分享一下自己在python爬虫方面的收获与见解。   

大家好，我是黑脸怪。这篇文章主要给大家介绍jsrpc，方便大家日后在遇到JS逆向的时候派上用场。前言jsrpc是指在浏览器开启一个ws和go服务连接，以调用http接口的形式来通信，浏览器端收到调用通信执行原先设置好的js代码。可以用于js逆向调用加密函数直接返回结果，也可以用来直接获取数据。该工具和代码，已经上传到git，下载即可用。下载地址：https

导读：目前，许多网站采取各种各样的措施来反爬虫，其中一个措施便是使用验证码。随着技术的发展，验证码的花样越来越多。验证码最初是几个数字组合的简单的图形验证码，后来加入了英文字母和混淆曲线。有的网站还可能看到中文字符的验证码，这使得识别越发困难。使用验证码可以防止应用或者网站被恶意注册、攻击，对于网站、APP而言，大量的无效注册、重复注册甚至是恶意攻击很令

作为爬虫，有时候会经历过需要爬取站点多吗，数据量大的网站，我们身边接触最频繁、同时也是最大的爬虫莫过于几大搜索引擎。今天我们来聊一个同样是站点多数据量的爬取方向，那就是舆情方向的爬虫。舆情简单来说就是舆论情况，要掌握舆情，那么就必须掌握足够多的内容资讯。除

有些关于URL去重的方面代码没有提供，需要自己去实现。主要这里提供思路项目地址：http://git.oschina.net/woshidaniu/GuozhongCrawler/tree/master/example/changeProxyIp/首先爬虫入口类：publicclassPervadeSpider{  

Baidu音乐歌曲爬虫：1、分析Baidu音乐歌曲下载接口，组装参数2、判断是否需要登录　　a、使用cookie　　b、使用selenium3、歌曲信息页面分析4、数据表设计歌曲类型表!(https://oscimg.oschina.net/oscnet/31721c4edb51fe06d2c5116a616f012d2e

学习爬虫中，从最近自己写的爬虫小程序中抓截一点代码。加深下记忆。1.因为我已经安装了Python3,所以使用了urllib3库。2.要根据对应网页的数据格式进行解码，有的是utf8，有的是GB2312，当然可能还有其它。否则会报错。import urllib3import time因为我使用了Python3，所以使用urlli

大家好，我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Python网络爬虫数据提取的问题，一起来看看吧。他的需求就是：xpath的一次性同时获取a标签和p标签的内容。上一篇文章中，大佬们已经给出了一个答案，可是数据获取下来后发现和网

大家好，我是皮皮。一、前言前几天在Python最强王者交流群【孤独】问了一个Python网络爬虫处理的问题，提问截图如下：报错截图如下：二、实现过程这里【隔壁山楂】、【此类生物】都看到真实路径和代码中写的不匹配，导致没找到对应的驱动。其实针对驱动选择，常用的方法就是将驱动加入到环境变量，一劳永逸。这里【瑜亮老师】、【此类生物】也指出使用绝对路径去加载驱动

做为爬虫工作者在日常工作中使用爬虫多次爬取同一网站时，经常会被网站的IP反爬虫机制给禁掉，为了解决封禁IP的问题通常会使用代理IP。但也有一部分人在HTTP代理IP的使用上存在着误解，他们认为使用了代理IP就能解决一切问题，然而实际上代理IP不是万