(原创)Scrapy爬取美女图片续集

Wesley13
• 阅读 705

      上一篇咱们讲解了Scrapy的工作机制和如何使用Scrapy爬取美女图片,而今天接着讲解Scrapy爬取美女图片,不过采取了不同的方式和代码实现,对Scrapy的功能进行更深入的运用。

(原创)Scrapy爬取美女图片续集

        在学习Scrapy官方文档的过程中,发现Scrapy自身实现了图片和文件的下载功能,不需要咱们之前自己实现图片的下载(不过原理都一样)。

        

        (原创)Scrapy爬取美女图片续集

        

  在官方文档中,我们可以看到下面一些话:

Scrapy为下载item中包含的文件(比如在爬取到产品时,同时也想保存对应的图片)提供了一个可重用的 item pipelines . 这些pipeline有些共同的方法和结构(我们称之为media pipeline)。一般来说你会使用Files Pipeline或者 Images Pipeline.

这两种pipeline都实现了以下特性:

  • 避免重新下载最近已经下载过的数据

  • Specifying where to store the media (filesystem directory, Amazon S3 bucket)

The Images Pipeline has a few extra functions for processing images:

  • 将所有下载的图片转换成通用的格式(JPG)和模式(RGB)

  • 缩略图生成

  • 检测图像的宽/高,确保它们满足最小限制

这个管道也会为那些当前安排好要下载的图片保留一个内部队列,并将那些到达的包含相同图片的项目连接到那个队列中。 这可以避免多次下载几个项目共享的同一个图片。

       从上面的话中,我们可以了解到 Scrapy不仅可以下载图片,还可以生成指定大小的缩略图,这就非常有用。


使用Files Pipeline

当使用 FilesPipeline ,典型的工作流程如下所示:

  1. 在一个爬虫里,你抓取一个项目,把其中图片的URL放入 file_urls 组内。

  2. 项目从爬虫内返回,进入项目管道。

  3. 当项目进入 FilesPipelinefile_urls 组内的URLs将被Scrapy的调度器和下载器(这意味着调度器和下载器的中间件可以复用)安排下载,当优先级更高,会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态,直到完成文件的下载(或者由于某些原因未完成下载)。

  4. 当文件下载完后,另一个字段(files)将被更新到结构中。这个组将包含一个字典列表,其中包括下载文件的信息,比如下载路径、源抓取地址(从 file_urls 组获得)和图片的校验码(checksum)。 files 列表中的文件顺序将和源 file_urls 组保持一致。如果某个图片下载失败,将会记录下错误信息,图片也不会出现在 files 组中。

使用Images Pipeline

当使用Imagespipeline ,典型的工作流程如下所示:

  1. 在一个爬虫里,你抓取一个项目,把其中图片的URL放入 images_urls 组内。

  2. 项目从爬虫内返回,进入项目管道。

  3. 当项目进入 Imagespipelineimages_urls 组内的URLs将被Scrapy的调度器和下载器(这意味着调度器和下载器的中间件可以复用)安排下载,当优先级更高,会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态,直到完成文件的下载(或者由于某些原因未完成下载)。

  4. 当文件下载完后,另一个字段(images)将被更新到结构中。这个组将包含一个字典列表,其中包括下载文件的信息,比如下载路径、源抓取地址(从 images_urls 组获得)和图片的校验码(checksum)。 images 列表中的文件顺序将和源 images_urls 组保持一致。如果某个图片下载失败,将会记录下错误信息,图片也不会出现在 images 组中。

Pillow 是用来生成缩略图,并将图片归一化为JPEG/RGB格式,因此为了使用图片管道,你需要安装这个库。 Python Imaging Library (PIL) 在大多数情况下是有效的,但众所周知,在一些设置里会出现问题,因此我们推荐使用 Pillow 而不是PIL.

咱们这次用到的就是Images Pipeline,用来下载图片,同时使用 Pillow 生成缩略图。在安装Scrapy的基础上,使用pip install pillow 安装这个模块。

打开cmd,输入scrapy startproject jiandan,这时候会生成一个工程,然后我把整个工程复制到pycharm中(还是使用IDE开发快)。 (原创)Scrapy爬取美女图片续集

上图就是工程的结构。

jiandanSpider.py ------Spider 蜘蛛

items.py -----------------对要爬取数据的模型定义

pipelines.py-------------咱们最终要存储的数据

settings.py----------------对Scrapy的配置

接下来我把代码贴一下(复制代码请到我博客):

jiandanSpider.py(和之前没有变化):

#coding:utf-8#需要安装pillow模块import scrapyfrom jiandan.items import JiandanItemfrom scrapy.crawler import CrawlerProcessclass jiandanSpider(scrapy.Spider):    name = 'jiandan'    allowed_domains = []    start_urls = ["http://jandan.net/ooxx"]    def parse(self, response):        item = JiandanItem()        item['image_urls'] = response.xpath('//img//@src').extract()#提取图片链接        # print 'image_urls',item['image_urls']        yield item        new_url= response.xpath('//a[@class="previous-comment-page"]//@href').extract_first()#翻页        # print 'new_url',new_url        if new_url:            yield scrapy.Request(new_url,callback=self.parse)

items.py(增加了一个字段,请看之前对Images Pipeline的描述) :

# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# http://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyclass JiandanItem(scrapy.Item):    # define the fields for your item here like:    image_urls = scrapy.Field()#图片的链接    images = scrapy.Field()       

pipelines.py(改变最大,看注释):# -*- coding: utf-8 -*-

# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.htmlimport osimport urllibimport scrapyfrom scrapy.exceptions import DropItemfrom scrapy.pipelines.images import ImagesPipelinefrom jiandan import settingsclass JiandanPipeline(ImagesPipeline):#继承ImagesPipeline这个类,实现这个功能    def get_media_requests(self, item, info):#重写ImagesPipeline   get_media_requests方法        '''        :param item:        :param info:        :return:        在工作流程中可以看到,        管道会得到文件的URL并从项目中下载。        为了这么做,你需要重写 get_media_requests() 方法,        并对各个图片URL返回一个Request:        '''        for image_url in item['image_urls']:            yield scrapy.Request(image_url)    def item_completed(self, results, item, info):        '''        :param results:        :param item:        :param info:        :return:        当一个单独项目中的所有图片请求完成时(要么完成下载,要么因为某种原因下载失败),         item_completed() 方法将被调用。        '''        image_paths = [x['path'] for ok, x in results if ok]        if not image_paths:            raise DropItem("Item contains no images")        return item                

settings.py(主要是对缩略图的设置):

# -*- coding: utf-8 -*-# Scrapy settings for jiandan project## For simplicity, this file contains only settings considered important or# commonly used. You can find more settings consulting the documentation:##     http://doc.scrapy.org/en/latest/topics/settings.html#     http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html#     http://scrapy.readthedocs.org/en/latest/topics/spider-middleware.htmlBOT_NAME = 'jiandan'SPIDER_MODULES = ['jiandan.spiders']NEWSPIDER_MODULE = 'jiandan.spiders'ITEM_PIPELINES = {   'jiandan.pipelines.JiandanPipeline': 1,}# ITEM_PIPELINES = {'jiandan.pipelines.ImagesPipeline': 1}IMAGES_STORE='E:\\jiandan2'DOWNLOAD_DELAY = 0.25IMAGES_THUMBS = {#缩略图的尺寸,设置这个值就会产生缩略图    'small': (50, 50),    'big': (200, 200),}

最后咱们开始运行程序,cmd切换到工程目录,

输入scrapy crawl jiandan,启动爬虫。。。

(原创)Scrapy爬取美女图片续集

大约25分钟左右,爬虫工作结束。。。

咱们去看看美女图吧。

(原创)Scrapy爬取美女图片续集

咱们打开thumbs文件夹,看看缩略图,下面有咱们设置的不同的尺寸。

(原创)Scrapy爬取美女图片续集

(原创)Scrapy爬取美女图片续集

今天的分享就到这里,如果大家觉得还可以呀,记得打赏呦。

(原创)Scrapy爬取美女图片续集

欢迎大家支持我公众号:

(原创)Scrapy爬取美女图片续集

本文分享自微信公众号 - 七夜安全博客(qiye_safe)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
python爬虫增加多线程获取数据
Python爬虫应用领域广泛,并且在数据爬取领域处于霸主位置,并且拥有很多性能好的框架,像Scrapy、Request、BeautifuSoap、urlib等框架可以实现爬行自如的功能,只要有能爬取的数据,Python爬虫均可实现。数据信息采集离不开Pyt
Karen110 Karen110
3年前
使用Scrapy网络爬虫框架小试牛刀
前言这次咱们来玩一个在Python中很牛叉的爬虫框架——Scrapy。scrapy介绍标准介绍Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板。对于框架的学习,重点是要学习其框架的特性、各个功能的
Stella981 Stella981
3年前
Crawlscrapy分布式爬虫
1.概念:多台机器上可以执行同一个爬虫程序,实现网站数据的分布爬取2.原生的scrapy是不可以实现分布式式爬虫  a)调度器无法共享  b)管道无法共享3.scrapyredis组件:专门为scrapy开发的一套组件,该组件可以让scrapy实现分布式  a)pipinstallscrapyredis4.分布式爬取的流程:
Stella981 Stella981
3年前
Scrapy框架
\TOC\1\.Scrapy介绍1.1.Scrapy框架Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。!(http://ccszt.com.cn/python/%E7%88%AC%E8%99%AB/file/images/
Stella981 Stella981
3年前
Scrapy爬虫框架
(1)、简介在糗事百科爬虫中我们的爬虫是继承scrapy.Spider类的,这也是基本的scrapy框架爬虫,在这个爬虫中我们自己在解析完整个页面后再获取下一页的url,然后重新发送了一个请求,而使用CrawlsSpider类可以帮助我们对url提出条件,只要满足这个条件,都进行爬取,CrawlSpider类继承自Spider,它比之前的Spid
Stella981 Stella981
3年前
Scrapy框架之分布式操作
一、分布式爬虫介绍  分布式爬虫概念:多台机器上执行同一个爬虫程序,实现网站数据的分布爬取。1、原生的Scrapy无法实现分布式爬虫的原因?调度器无法在多台机器间共享:因为多台机器上部署的scrapy会各自拥有各自的调度器,这样就使得多台机器无法分配start\_urls列表中的url。管
Stella981 Stella981
3年前
Scrapy爬取遇到的一点点问题
学了大概一个月Scrapy,自己写了些东东,遇到很多问题,这几天心情也不大好,小媳妇人也不舒服,休假了,自己研究了很久,有些眉目了利用scrapy框架爬取慕课网的一些信息步骤一:新建项目  scrapystartprojectmuke  进入muke   scrapygenspidermukewangimooc.co
Stella981 Stella981
3年前
Scrapy_redis
简介scrapy\_redis是一个基于Redis的Scrapy组件,用于scrapy项目的分布式部署和开发你可以启动多个spider对象,互相之间共享有一个redis的request队列,最适合多个域名的广泛内容的爬取特点分布式爬取分布式数据处理爬取到的item数据被推送到redis中,这意味着你可以启动尽可能多的item处理程序
小白学大数据 小白学大数据
5个月前
Scrapy爬虫:利用代理服务器爬取热门网站数据
在当今数字化时代,互联网上充斥着大量宝贵的数据资源,而爬虫技术作为一种高效获取网络数据的方式,受到了广泛的关注和应用。本文将介绍如何使用Scrapy爬虫框架,结合代理服务器,实现对热门网站数据的高效爬取,以抖音为案例进行说明。1.简介Scrapy是一个强大