CuterCorley CuterCorley
3年前
Python 不用selenium 带你高效爬取京东商品评论
一、项目说明1.项目背景一天,一朋友扔给我一个链接,让我看看这个歌商品的所有评论怎么抓取,我打开一看,好家伙,竟然有近300万条评论,不是一个小数目啊。但是仔细一看,原来有234万的评论是默认好评,还是有少部分是有价值的评价的。经过进一步观察,可以看到显然,网页中显示的只有100页数据,每页显示10条,通常可以用selenium点击每一页然后获取
Aidan075 Aidan075
3年前
用python爬取4332条粽子数据进行分析,再送15盒粽子给大家
↑点击上方“凹凸数据” 关注星标 文章干货!有福利 ! 端午节快要到了,甜咸粽子之争也快要拉开帷幕。小五准备用Python爬取淘宝上的粽子数据并进行分析,看看有什么发现。(顺便送大家一波福利)爬虫爬取淘宝数据,本次采用的方法是:Selenium控制Chrome浏览器自动化操作\1\。其实我们还可以利用Ajax接口来构造链接,但是非常
不温卜火 不温卜火
3年前
爬虫入门经典(十四) | 使用selenium尝试爬取豆瓣图书
大家好,我是不温卜火,是一名计算机学院大数据专业大三的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教!暂时只在csdn这一个平台进行
Stella981 Stella981
3年前
Python中Selenium选择日期(选择日历控件)的方法
1.日历控件中,年月日,一个一个的点击,灵活性太差,稳定性也差通过检查元素,日历空间就是一个文本输入框,可以用send\_keys检查元素2.发现标签中存在readonly属性,这是一个只读标签_不能进行输入(如果可以直接再日期输入框进行输入,就不需要2、3、4步骤啦,直接操作第5步骤)___3.所以,我们只需要删除readonly
Stella981 Stella981
3年前
Chrome handless模式
我们在通过Selenium运行自动化测试时,必须要启动浏览器,浏览器的启动与关闭必然会影响执行效率,而且还会干扰你做其它事情(本机运行的话)。那能不能把自动化测试的运行放在后台?当然可以!Chromeheadless模式,Google针对Chrome浏览器59版新增加的一种模式,可以让你不打开UI界面的情况下使用Chrome浏览器
Stella981 Stella981
3年前
Selenium(八)测试用例的设计与模块化
一.设计测试用例1.分析我之前写的登录脚本:fromseleniumimportwebdriverimporttimefromselenium.webdriver.common.action_chainsimportActionChainsfromselenium.webdriver.suppor
Stella981 Stella981
3年前
Selenium+Python自动化测试学习问题总结笔记
1.问题描述:不能导入自定义类错误内容:Thisinspectiondetectsnamesthatshouldresolvebutdon't.Duetodynamicdispatchandducktyping,thisispossibleinalimitedbutusefulnumberofcase
Stella981 Stella981
3年前
Python 实现短信轰炸机
原理其实很简单,就是利用selenium包打开各种网站的注册页,输入轰炸的号码,实现轰炸。其实也算是利用了注册漏洞。申明:仅娱乐使用,禁止:u7981:️用于非法用途!若用于非法用途,后果及法律责任博主一律不承担很多人学习python,不知道从何学起。很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。很
Wesley13 Wesley13
3年前
Selenium2 Python 自动化测试实战学习笔记(八)
Python多线程分布式和并行是完全不同的概念,分布式只负责将一个测试脚本可调用不同的远程环境来执行;并行强调“同时”的概念,它可以借助多线程或多进程技术并行来执行脚本技术。10.1单进程的时代        在单线程的时代,当处理器要处理多个任务时,必须要对这些任务排一下执行顺序并按照这个顺序
Python进阶者 Python进阶者
2年前
练习爬虫,我想问一下这个xpath语句为啥找不到元素,感谢大佬!
大家好,我是皮皮。一、前言前几天在Python钻石交流群【萤火】问了一个Python网络爬虫的问题,下图是截图:下图是报错截图:二、实现过程这里【error】给了一个代码,如下所示,满足粉丝的需求:用selenium没找到的话,大概率是网页还没渲染出来,代码就运行到了抓取规则,所以抓不到。其实他的匹配规则是可以拿到数据的,只不过用jupyter运行sel