python实践之高温预警数据获取

小白学大数据
• 阅读 739

最近一段时间,四川真的感觉遭遇了最大最强高温,一到户外感觉都要被烤干了,可怕的故事是,现在才只有7月份呢,要是等到了8 、9月份,不会是要更热吧? 很多小伙伴都表示,,现在天气的温度这么高,我们必须要做好应对措施,不然疏于防范,一下子中暑了可就不好了。那作为有爬虫技术小伙伴些能不能做一个爬虫程序,爬取天气预警信息呢?不仅能够提前预防高温,有什么狂风暴雨之类的,也能提前做好准备,这个会很实用。既然小伙伴都这么建议了,我们就安排上,通过爬虫程序,爬取天气预警信息。 这里我们获取的数据来源于 http://www.weather.com.cn,在获取高温数据之前我们先对网站进行简单的分析,分析发现反爬机制不是很严,可以很好的获取,只要把基本的反爬措施做好就可以,比如代理 IP 的添加。代理不知道选哪家靠谱的,这里我们推荐使用亿牛云代理。文中我们也实践下代理的使用,示例如下:

``` #! -- encoding:utf-8 --

import requests
import random

# 要访问的目标页面
targetUrl = "http://httpbin.org/ip"

# 要访问的目标HTTPS页面
# targetUrl = "https://httpbin.org/ip"

# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"

# 代理验证信息
proxyUser = "username"
proxyPass = "password"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    "host" : proxyHost,
    "port" : proxyPort,
    "user" : proxyUser,
    "pass" : proxyPass,
}

# 设置 http和https访问都是用HTTP代理
proxies = {
    "http"  : proxyMeta,
    "https" : proxyMeta,
}


#  设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}



resp = requests.get(targetUrl, proxies=proxies, headers=headers)

print resp.status_code
print resp.text

```通过爬虫获取到了这个高温报警信息我们就可以提前做好防护措施,避免因高温导致的中暑等问题。

点赞
收藏
评论区
推荐文章
Irene181 Irene181
3年前
3000字 “婴儿级” 爬虫图文教学 | 手把手教你用Python爬取 “实习网”!
1\.为"你"而写这篇文章,是专门为那些"刚学习"Python爬虫的朋友,而专门准备的文章。希望你看过这篇文章后,能够清晰的知道整个"爬虫流程"。从而能够"独立自主"的去完成,某个简单网站的数据爬取。好了,咱们就开始整个“爬虫教学”之旅吧!2\.页面分析①你要爬取的网站是什么?首先,我们应该清楚你要爬去的网站是什么?由于这里我们想要
Wesley13 Wesley13
3年前
2020字节高频算法题
字节跳动现在是非常火热的哈,小伙伴们都极为关注。每天都有许多人在面试,有很多童鞋在牛客网写面经,阅读量都非常高。大家都知道字节跳动面试的特色哈,面试必定是要手撕算法的哈~总结了最近两月字节跳动提前批的算法题,大都数都是leetcode上的原题哈,也有一部分是剑指offer上的原题。有需要的小伙伴可以关注下哈。leetcode1
Stella981 Stella981
3年前
Python爬取暴走漫画动态图
最近再之乎上看到比较好的Python爬虫教程,看过之后对爬虫有了大概的了解,随后自己写了个爬取暴走漫画(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fbaozoumanhua.com%2Fcatalogs%2Fgif)动图的爬虫练练手,另外附上Python爬虫教程(https://w
高温导致大闸蟹价格暴涨
金秋临近,一年之中品尝螃蟹的好季节即将到来。但由于天气炎热,近期大闸蟹“食欲不振”,生长也受到了影响。然而,影响更深的是,由于高温,缺氧的大闸蟹“死伤严重”大闸蟹减产也导致其价格激增,今年大闸蟹价格比去年同期涨40%。大闸蟹一直都以来都比较贵,现在更是涨价,那估计很多人会被价格劝退吧?关于大闸蟹的价格和销量我们今天可以作为一个爬虫实践项目,通过获取数据分析对
酒店详情页的房价数据,怎么获取?
携程酒店详情页,指定入住日期的房价数据,怎么获取?疫情放开后很多行业开始了复苏,之前公司因为疫情暂停的项目现在又开始慢慢的启动了。最近小姐分到了一个爬取携程上一些酒店的数据需求,需要获取到酒店详情页,指定入住日期的房价数。但是据携程有反爬虫措施的,详情页的
不是海碗 不是海碗
1年前
「教程」微信小程序获取经纬度查询天气预警信息
使用天气预警API可以帮助人们及时获取和了解天气预警信息,以便采取相应的措施来保护自身和财产。天气预警通常是由气象部门或相关机构发布的,用于提醒公众可能出现的极端天气或自然灾害,如暴雨、洪水、台风、暴风雪、雷暴、高温、低温、霜冻等。本文将详细介绍如何利用微
E小媛同学 E小媛同学
1年前
实时天气预警信息API:全面提供各种天气灾害预警
随着气候变化的不断加剧,天气灾害成为大家关注的焦点。人们对于天气信息的获取需求越来越大,特别是在天气灾害发生时,及时、准确的天气预警信息能够极大地帮助人们做好防范准备,减少灾害带来的损失。为了满足这一需求,天气预警信息API应运而生,为大家提供了全面、准确的天气灾害预警服务。
热҈热҈热҈!天翼云开出解暑“凉方”!
天翼云依托技术、产品优势,为建筑工地提供覆盖采集、传输、处理、分析、展现等环节的视频系统整体构建方案,通过搭建智慧工地智能监控平台,实现对人、机、料、法、环全方位实时监控,为施工建设全周期提供安全保障。通过专网连接,实时监测工地温度、湿度及气候变化趋势,及时预警高温天气,灵活安排工人作业;借助5G网络等技术,实现工地施工的在线监测、自动监督和远程监控,智能识别不文明施工、粉尘超标等情况,并连通工地智能广播进行喊话干预处理,免去高温暴晒下的巡查流程,有效降低安全员的工作强度和巡查风险。
安居客房源信息获取
最近身边有几个做房产销售的朋友经常在诉苦,找不到客户,没有业绩,所以就比较好奇他们现在的行情,所以今天我们就使用python获取下安居客的一些房源数据。之前分享过很多关于爬虫的实践示例,今天这个也算是实践内容。我们就以户型结构、装修情况、水肥情况进行房源数据获取。爬取数据的通用流程:1、根据url请求页面,获取页面响应对象2、将页面响应对象转化为对象3、定
python采集全国高温数据
今年来范围最大最强高温来袭,截至目前,全国各级市/县共计508个高温预警生效中,主要集中在河南、陕西、山西、内蒙古、安徽、山东、湖北、江苏等地,多个省份发布高温红色,橙色预警。还没入伏就能有这样的温度,估计很多人都要郁闷了。之前分享的爬虫文章中好像也对天气数据爬取过,那今天就再盘它一次,来看看全国天气高温情况,跟那些有高温预警地区的伙伴们一个数据分析。这里
小白学大数据
小白学大数据
Lv1
男 · 亿牛云 · python技术
宁为代码类弯腰,不为bug点提交!
文章
92
粉丝
5
获赞
18