大家好，我是黑脸怪。这篇文章主要给大家介绍jsrpc，方便大家日后在遇到JS逆向的时候派上用场。前言jsrpc是指在浏览器开启一个ws和go服务连接，以调用http接口的形式来通信，浏览器端收到调用通信执行原先设置好的js代码。可以用于js逆向调用加密函数直接返回结果，也可以用来直接获取数据。该工具和代码，已经上传到git，下载即可用。下载地址：https

一、背景介绍大家好，我是皮皮。对于不同的数据我们使用的抓取方式不一样,图片,视频,音频,文本,都有所不同,由于网站图片素材过多,所以今天我们使用多线程的方式采集某站4K高清壁纸。二、页面分析目标网站：http://www.bizhi88.com/3840x2160/如图所示，有278个页面,这里我们爬取前100页的壁纸图片，保存到本地；解析页面如图所示所哟

大家好，我是Python进阶者。前言前几天雪球兄在Python交流群里分享了一个获取B站视频选集的Python代码，小编觉得非常奈斯，这里整理成一篇小文章，分享给大家学习。关于雪球兄，大家应该都熟悉了，之前他写过Python实战文章，好评如潮，没来得及看的小伙伴，可以戳这里了：之前也有给大家分享B站的一些文章，感兴趣的话可以看看这个文章，Python网络爬

!(https://oscimg.oschina.net/oscnet/upede1a7a938f161dbdaf6489a266e85e0347.JPEG)由于互联网的极速发展，所有现在的信息处于大量堆积的状态，我们既要向外界获取大量数据，又要在大量数据中过滤无用的数据。针对我们有益的数据需要我们进行指定抓取，从而出现了现在的爬虫技术，通过爬

第三章的requests库阶段性demo，爬取好听音乐网的榜上歌曲。此网站没有js混淆，音乐资源链接有规律，适合爬虫新手上手。首先观察首页和音乐榜的url链接关系，我们先手动模拟下载，chromef12获取response，可探查到url规律如下：1.!(https://oscimg.oschina.net/oscnet/485087a

1.概念：多台机器上可以执行同一个爬虫程序，实现网站数据的分布爬取2.原生的scrapy是不可以实现分布式式爬虫　　a）调度器无法共享　　b）管道无法共享3.scrapyredis组件：专门为scrapy开发的一套组件，该组件可以让scrapy实现分布式　　a）pipinstallscrapyredis4.分布式爬取的流程：

 vip视频网站爬虫电影网站：http://www.08ge.com/play/?makedianying&idfqvlYhH5QHb3Sh.html(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.08ge.com%2Fplay%2F%3Fmake

自从使用hexo在githubpage更新博客之后，我每次在cnblog上发布文章，需要手动再更新hexo。hexo使用markdown格式来写文章，手动更新需要对文章本身内容进行转化，做成md文件再进行上传，后来就想到，本身爬虫就可以对页面中的各种元素进行提取，同时markdown使用的是标记语法，那么使用爬虫分析文章元素，提取主要内容并且根据模板自动生

据国际知名金融广告服务平台提供商Dianomi的报告《2018Robottrafficreport》的数据，在互联网上人类流量仅仅占了48.2%，也就是说，一个页面的10000个点击里面，大约5100个来自机器人。在航旅票务等行业，热门数据接口中甚至有超过95%的流量是来自爬虫。如何有效管理爬虫流量，是当下业务安全面临的问题。

一、目标分析与基础爬虫实现我们的目标是抓取喜马拉雅某个特定分类或播主下的音频列表及其元数据。一个最基础的爬虫通常会使用同步阻塞的方式，逐个请求页面或接口，这在效率上是无法接受的。二、性能优化实战我们将从连接管理、异步非IO、线程池、请求调度等方面系统性优化