知识不分边界......
人，为什么要读书？举个例子:
当看到天边飞鸟，你会说：“落霞与孤鹜齐飞，秋水共长天一色。”而不是：“卧靠，好多鸟。”;
当你失恋时你低吟浅唱道：“人生若只如初见，何事秋风悲画扇。”而不是千万遍地悲喊：“蓝瘦，香菇！”
今天回家早，陪俩小爷在楼下遛弯，忽然听见一阵马达轰鸣声，嗖~~闪一辆跑车，大大问；“爸爸，这是什么车啊？” 我：“红色的车…”小小说：“爸爸肯定不认识，我也知道是红色的车。”气氛有些冷场…
别人看车关注牌子，我看车关注宽敞不，睡着舒服不？可不管怎样不能在孩子面前丢份啊，我决定学习学习车标！
车标网
在网上找了半天车标的数据，最后看到了这个网站：车标网：http://www.chebiaow.com/logo。
网站将车系按照字母从A-Z进行了排序，然后点击每个车标进入详细信息，那Audi做例子：
有用的数据是哪些？品牌名称，车标，成立时间，主要车型，官网…
那么今天的爬虫练习呼之欲出，获取车标网下所有的汽车品牌及车标，并入库保存…
数据库操作指南
针对简单的数据，我习惯用python自带的sqlite3进行数据库的存储，简单方便….那么如何管理我们的数据库呢？推荐使用DBUtils!在往期的文章
决战高考，帮你秒变成语之王中，有对DBUtils的详细介绍，这里就不再赘述了…
但本次有一个知识点，我们需要将车标图片，存储在数据库中，那么如何在数据库中存储图片，使用类型BLOB。举一个简单的数据库图片读写例子
# -*- coding: utf-8 -*-
# @Author : 王翔
# @JianShu : 清风Python
# @Date : 2019/7/22 23:00
# @Software : PyCharm
# @version ：Python 3.7.3
# @File : show.py
import sqlite3
db = sqlite3.connect('Car.db')
cur = db.cursor()
cur.execute("CREATE TABLE if not exists image_save (image BLOB);")
with open('Audi.jpg', 'rb') as f:
cur.execute("insert into image_save values(?)", (sqlite3.Binary(f.read()),))
db.commit()
cur.execute('select image from image_save limit 1')
b = cur.fetchone()[0]
with open('1.jpg', 'wb') as f:
f.write(b)
我们创建一个image_save的测试表，然后将图片读取为二进制字节的方式，通过sqlite3.Binary将二进制文件存储至数据库。
那么同样的，我们将BLOB类型的图片读取出来后，进行写入，即可达到效果，来看看这个1.jpg是否正常：
图片下载小技巧
看过了二进制的存储方式，大家肯定说明白了，网站获取到图片链接然后找着上面的例子下载到本地，然后再进行二进制的读取后存储数据库即可，对吗？不对…有什么问题呢？来看一个例子：
这里Audi图片的链接地址，我们通过requests来下载看看….
import requests
r =requests.get('http://img.chebiaow.com/thumb/cb/allimg/1303/1-1303061Z600520,c_fill,h_138,w_160.jpg')
r.content
b'\xff\xd8\xff\xe0\x00\x10JFIF\x00\x01\x01...'
可以看到我们通过requests.get获取到的content就已经是二进制数据了，为何还要存储成图片，在转化呢？网页分析
适配url
针对A-Z的车标排序，网站的url匹配关系很简单：
from string import ascii_uppercase as au
# ascii_uppercase代表A-Z，当然你可以不引入模块自己生成也OK...
for uppercase in au:
"http://www.chebiaow.com/logo/{}.html".format(au)
获取品牌链接
可以看到在包含cb-list方法的ul下匹配所有li中的第一个a标签，然后拼接base_url即可。
品牌详情
进入品牌详情界面后，我们针对左右栏目的设置，分别获取所需标红的内容
整体代码
通过上面的分析，我们开始爬虫，但这个网站真的是相应好慢，没办法添加上Threading的多线程执行吧，整体代码如下：
# -*- coding: utf-8 -*-
# @Author : 王翔
# @JianShu : 清风Python
# @Date : 2019/7/22 23:08
# @Software : PyCharm
# @version ：Python 3.7.3
# @File : CarLogo.py
import os
from db_maker import DbMaker as DB
from string import ascii_uppercase as au
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
from sqlite3 import Binary
import threading
import time
class CarLogo:
DATABASE = 'car.db'
def __init__(self):
self.db = DB()
self.path = os.path.dirname(os.path.realpath(__file__))
self.images_path = os.path.join(self.path, 'images_path')
self.host = "http://www.chebiaow.com"
self.headers = {
'Connection': 'keep-alive',
'user-agent': ('Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36')
}
def check_dir(self):
if not os.path.exists(self.images_path):
os.mkdir(self.images_path)
def get_response(self, url, params=None):
try:
r = requests.get(url, headers=self.headers, params=params, timeout=15)
except:
pass
soup = BeautifulSoup(r.text, "lxml")
return soup
def create_url(self):
_url_format = "http://www.chebiaow.com/logo/{}.html"
for uppercase in au:
try:
soup = self.get_response(_url_format.format(uppercase))
_cars = soup.find("ul", {"class": "cb-list"}).findAll('li')
for car in _cars:
# self.car_info()
t = threading.Thread(target=self.car_info, args=(urljoin(self.host, car.div.a['href']),))
time.sleep(0.5)
t.start()
except:
pass
def car_info(self, url):
soup = self.get_response(url)
left_index = soup.find("div", {"class": "xq-left"}).findAll('p')
name = left_index[0].text
image_byte = requests.get(left_index[1].img['src']).content
right_index = soup.find("ul", {"class": "xq-right"}).findAll('li')
founded = right_index[3].span.text
models = right_index[5].span.text
website = right_index[7].span.text
print("Insert Car Logo {}".format(name))
_sql = "insert into car_logo(name,image,founded,models,website) values (?,?,?,?,?)"
self.db.insert(_sql, (name, Binary(image_byte), founded, models, website))
if __name__ == '__main__':
m = CarLogo()
m.create_url()
最终存储的数据库如下：
由于图片是BLOB类型的二进制文件，所以大家看到的是星星，感觉网站的车标是不不够，怎么才140多种（虽然我能认识的不到20种…）
这个中兴看了半天还以为是搞错了，没想到是同名的…
OK,今天的内容就到这里，整理好数据库，哪天闲了做一个车标的测试题，当然大家可以按照之前我的使用爬虫+Flask获取世界国旗数据和孩子一起学习那边文章引申着自己写一个车标的练习题。
