python采集全国高温数据

小白学大数据
• 阅读 565

今年来范围最大最强高温来袭 ,截至目前,全国各级市/县共计508个高温预警生效中,主要集中在河南、陕西、山西、内蒙古、安徽、山东、湖北、江苏等地,多个省份发布高温红色,橙色预警。还没入伏就能有这样的温度,估计很多人都要郁闷了。 之前分享的爬虫文章中好像也对天气数据爬取过,那今天就再盘它一次,来看看全国天气高温情况,跟那些有高温预警地区的伙伴们一个数据分析。这里我们获取的数据来源于http://www.weather.com.cn,在获取高温数据之前我们先对网站进行简单的分析,分析发现反爬机制不是很严,可以很好的获取,只要把基本的反爬措施做好就可以,比如代理IP的添加。代理不知道选哪家靠谱的,这里我们推荐使用亿牛云代理。文中我们也实践下代理的使用,示例如下:  #! -- encoding:utf-8 --  ​  import requests  import random  ​  # 要访问的目标页面  targetUrl = "http://httpbin.org/ip"  ​  # 要访问的目标HTTPS页面  # targetUrl = "https://httpbin.org/ip"  ​  # 代理服务器(产品官网 www.16yun.cn)  proxyHost = "t.16yun.cn"  proxyPort = "31111"  ​  # 代理验证信息  proxyUser = "username"  proxyPass = "password"  ​  proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {  "host" : proxyHost,  "port" : proxyPort,  "user" : proxyUser,  "pass" : proxyPass,  }  ​  # 设置 http和https访问都是用HTTP代理  proxies = {  "http" : proxyMeta,  "https" : proxyMeta,  }  ​  ​  # 设置IP切换头  tunnel = random.randint(1,10000)  headers = {"Proxy-Tunnel": str(tunnel)}  ​  ​  ​  resp = requests.get(targetUrl, proxies=proxies, headers=headers)  ​  print resp.status_code  print resp.text  ​ 根据获取数据分析来看,高温预警的那些的小伙伴尽量做好准备,估计空调在这个时间段内销量也会蹭蹭的涨。更多的爬虫知识之后会分享,新入门的小伙伴可以多多关注,有什么问题大家可以留言交流交流。

点赞
收藏
评论区
推荐文章
不是海碗 不是海碗
1年前
天气预警API有什么作用?
天气预警与天气预报不同,它一般情况下不会出现提示,但是只要出现了异常天气,如降温降雪等天气时就会弹出提醒。气象预警API接口的主要功能是通过调用该接口,查询全国各地甚至其他国家气象台站的气象灾害类型、等级和时间预报。它的数据来自国家气象中心,收集各个气象站观测到的数据。
不是海碗 不是海碗
1年前
细数N个获取天气信息的免费 API ,附超多免费可用API 推荐(三)
天气预报查询API支持全国以及全球多个城市的天气查询,包含国内3400个城市以及国际4万个城市的实况数据
Aidan075 Aidan075
3年前
1年前的小五都用 Python 来做什么?
↑点击上方“凹凸数据” 关注星标 每天更新,干货不断  (多图预警)注:这是小五一年前在知乎的回答,当时还只有凹凸数读一个公众号,所以很多图片都会带有数读或者知乎的水印。作为一个菜鸟数据分析师,只会sqlpython业余时间写写文章:用python爬取数据→数据清洗→数据分析→数据可视化词云镇楼20190730回来看,前面
不是海碗 不是海碗
1年前
「教程」微信小程序获取经纬度查询天气预警信息
使用天气预警API可以帮助人们及时获取和了解天气预警信息,以便采取相应的措施来保护自身和财产。天气预警通常是由气象部门或相关机构发布的,用于提醒公众可能出现的极端天气或自然灾害,如暴雨、洪水、台风、暴风雪、雷暴、高温、低温、霜冻等。本文将详细介绍如何利用微
E小媛同学 E小媛同学
1年前
实时天气预警信息API:全面提供各种天气灾害预警
随着气候变化的不断加剧,天气灾害成为大家关注的焦点。人们对于天气信息的获取需求越来越大,特别是在天气灾害发生时,及时、准确的天气预警信息能够极大地帮助人们做好防范准备,减少灾害带来的损失。为了满足这一需求,天气预警信息API应运而生,为大家提供了全面、准确的天气灾害预警服务。
曼成 曼成
8个月前
天气预警API:构建安全与便捷的社会
天气预警API通过提供实时的天气数据和预警信息,帮助个人和企业做出更加明智和及时的决策。本文将详细介绍天气预警API的概念、工作原理、应用场景以及它为社会带来的价值。
热҈热҈热҈!天翼云开出解暑“凉方”!
天翼云依托技术、产品优势,为建筑工地提供覆盖采集、传输、处理、分析、展现等环节的视频系统整体构建方案,通过搭建智慧工地智能监控平台,实现对人、机、料、法、环全方位实时监控,为施工建设全周期提供安全保障。通过专网连接,实时监测工地温度、湿度及气候变化趋势,及时预警高温天气,灵活安排工人作业;借助5G网络等技术,实现工地施工的在线监测、自动监督和远程监控,智能识别不文明施工、粉尘超标等情况,并连通工地智能广播进行喊话干预处理,免去高温暴晒下的巡查流程,有效降低安全员的工作强度和巡查风险。
应对高温“烤”验,数据中心降温奇招来了!
近日,中国电子学会联合中国电子技术标准化研究院等单位,在安徽省合肥市举办“节能服务进企业”暨绿色数据中心对接推广活动。会议为天翼云存储资源盘活系统HBlock入选《国家工业和信息化领域节能降碳技术装备推荐目录(2024年版)》颁发荣誉证书;天翼云存储产品专家肖夏敏发表演讲,向业界展示了HBlock在绿色节能方面的落地实践。
python实践之高温预警数据获取
最近一段时间,四川真的感觉遭遇了最大最强高温,一到户外感觉都要被烤干了,可怕的故事是,现在才只有7月份呢,要是等到了8、9月份,不会是要更热吧?很多小伙伴都表示,,现在天气的温度这么高,我们必须要做好应对措施,不然疏于防范,一下子中暑了可就不好了。那作为有爬虫技术小伙伴些能不能做一个爬虫程序,爬取天气预警信息呢?不仅能够提前预防高温,有什么狂风暴雨之类的,
高温导致大闸蟹价格暴涨
金秋临近,一年之中品尝螃蟹的好季节即将到来。但由于天气炎热,近期大闸蟹“食欲不振”,生长也受到了影响。然而,影响更深的是,由于高温,缺氧的大闸蟹“死伤严重”大闸蟹减产也导致其价格激增,今年大闸蟹价格比去年同期涨40%。大闸蟹一直都以来都比较贵,现在更是涨价,那估计很多人会被价格劝退吧?关于大闸蟹的价格和销量我们今天可以作为一个爬虫实践项目,通过获取数据分析对
小白学大数据
小白学大数据
Lv1
男 · 亿牛云 · python技术
宁为代码类弯腰,不为bug点提交!
文章
92
粉丝
5
获赞
18