提供一个网站的相关截图,麻烦提供一个思路如何爬取网站相关数据

Python进阶者
• 阅读 326

大家好,我是皮皮。

一、前言

前几天在Python钻石交流群【空】问了一个Python网络爬虫的问题,一起来看看吧。

给大家提供一个网站的相关截图,麻烦你们提供一个思路如何爬取网站相关数据,下图这里是数据区。

提供一个网站的相关截图,麻烦提供一个思路如何爬取网站相关数据

页面数据存储在这里的json里。

提供一个网站的相关截图,麻烦提供一个思路如何爬取网站相关数据

二、实现过程

常规来说,这个都返回json了,解析json就可以取数据了。但是json数据所对应的网址不能访问(内网,外边也无法访问),没有权限,估计是没有权限解析json数据。

提供一个网站的相关截图,麻烦提供一个思路如何爬取网站相关数据

其它的数据里没有相关信息,都找了,页面全部都是用ajax加载数据。但是从页面数据找不到图的真实url,后来分析图的真实url,是页面的json数据通过拼接得到。这里的页面是不是需要登录才能获取相关权限,才能访问数据?这里【甯同学】给了一个可行的思路,如下所示:

提供一个网站的相关截图,麻烦提供一个思路如何爬取网站相关数据

顺利地解决了粉丝的问题。

三、总结

大家好,我是皮皮。这篇文章主要盘点了一个Python网络爬虫处理的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

最后感谢粉丝【空】提问,感谢【甯同学】给出的思路和代码解析,感谢【莫生气】等人参与学习交流。

【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。

提供一个网站的相关截图,麻烦提供一个思路如何爬取网站相关数据

点赞
收藏
评论区
推荐文章
Python进阶者 Python进阶者
1年前
为啥chrome查看到网页,只有5000多行,应该有1万多行才对
大家好,我是皮皮。一、前言前几天在Python白银交流群【磐奚鸟】问了一个Python网络爬虫处理的问题,这里拿出来给大家分享下。二、实现过程这里【惜君】给了一个指导,可能网站有限制数据量。这里【瑜亮老师】发现了问题所在,如下图所示:数据方面确实存在,顺利
Python进阶者 Python进阶者
1年前
我在比较时序数据时,程序报错说数据标签有问题
大家好,我是皮皮。一、前言前几天在Python白银群【黑白人生】问了一个Pandas数据处理的问题,这里拿出来给大家分享下。截图如下图所示:数据截图如下所示:二、实现过程这里【论草莓如何成为冻干莓】给了一个思路,如下所示:看上去还是有点深奥的。后来【瑜亮老
Python进阶者 Python进阶者
1年前
pandas如何将下图这个数据格式,改为%Y-%m-%d这种格式的?
大家好,我是皮皮。一、前言前几天在Python白银交流群【小王子】问了一个Python日期处理的问题,一起来看看吧。原始数据库中的数据如下所示:二、实现过程这里【袁学东】给了一个方法,代码如下所示:pythondf这里【论草莓如何成为冻干莓】给了一个思路,
Python进阶者 Python进阶者
1年前
页面的json数据浏览器无法访问,还有什么别的办法获取数据?
大家好,我是皮皮。一、前言前几天在Python钻石流群【空】问了一个Python网络爬虫的问题,一起来看看吧。问题描述:请教一个问题,页面的json数据浏览器无法访问,还有什么别的办法获取数据图片如下:这个问题看上去有点怪怪的。二、实现过程看上去代码倒是很
Python进阶者 Python进阶者
11个月前
一个excel文件,我用pandas如何取行,只能用pandas?
大家好,我是皮皮。一、前言前几天在Python白银交流群粉丝问了一个Pandas数据筛选的问题。问题如下:我突然想到,如果一个excel文件,我用pandas如何取行,只能用pandas。二、实现过程后来【月神】给了一个思路和代码如下:其实粉丝之前也问了一
Python进阶者 Python进阶者
11个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
Python进阶者 Python进阶者
6个月前
爬取同样内容,xpath方法会比bs4要慢很多吗?
大家好,我是Python进阶者。一、前言前几天在Python白银交流群【沐子山树】问了一个Python网络爬虫的问题,问题如下:爬取同样内容,xpath方法会比bs4要慢很多吗?二、实现过程这里【Kimi】给了个思路如下:爬取网页内容时,使用XPath和B
Python进阶者 Python进阶者
2年前
练习爬虫,我想问一下这个xpath语句为啥找不到元素,感谢大佬!
大家好,我是皮皮。一、前言前几天在Python钻石交流群【萤火】问了一个Python网络爬虫的问题,下图是截图:下图是报错截图:二、实现过程这里【error】给了一个代码,如下所示,满足粉丝的需求:用selenium没找到的话,大概率是网页还没渲染出来,代码就运行到了抓取规则,所以抓不到。其实他的匹配规则是可以拿到数据的,只不过用jupyter运行sel
Python进阶者 Python进阶者
2个月前
为啥chrome查看到网页,只有5000多行,应该有1万多行才对
大家好,我是皮皮。一、前言前几天在Python白银交流群【磐奚鸟】问了一个Python网络爬虫处理的问题,这里拿出来给大家分享下。二、实现过程这里【惜君】给了一个指导,可能网站有限制数据量。这里【瑜亮老师】发现了问题所在,如下图所示:数据方面确实存在,顺利
Python进阶者 Python进阶者
1年前
在excel表格插入标黄的这列数据 实现合并单元格,并统计单元格个数?
大家好,我是皮皮。一、前言前几天在Python最强王者交流群【哎呦喂是豆子~】问了一个Python自动化办公的问题,一起来看看吧。下图是他的原始数据和他想得到的目标数据,如下所示:需要在标黄的两行里边进行相关操作。二、实现过程这里【瑜亮老师】给了一个思路,