CuterCorley CuterCorley
3年前
Python 爬取留言板留言(一):单进程版+selenium模拟
@toc一、项目概述1.项目说明本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。网站链接是,任意选择一条留言点击进入详情页后,如下对于图中标出的数据,均要进行爬取,以此构成一条留言的组成部分。2.环境配置(1)P
CuterCorley CuterCorley
3年前
Python 爬取留言板留言(二):多线程版+selenium模拟
一、项目概述本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。具体项目说明和环境配置可参考本系列的第一篇。本篇在第一篇的基础上做了一些改进1.采用了多线程,设定同时运行的线程的数量为3,线程数量适中,这样在保证在同一时刻有多个线
CuterCorley CuterCorley
3年前
Python 爬取留言板留言(三):多进程版+selenium模拟
一、项目概述本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。具体项目说明和环境配置可参考本系列的第一篇。本篇在第二篇的基础上做了一个主要改进:从多线程改变为多进程,设定同时运行的进程的数量为3,数量适中,这样在保证在同一
Stella981 Stella981
3年前
Selenium(十二):操作Cookie、调用JavaScript、HTML5的视频播放
1\.操作Cookie有时候我们想要验证浏览器中cookie是否正确,因为基于真实cookie的测试是无法通过白盒和集成测试的。WebDriver提供了操作Cookie的相关方法,可以读取、添加和删除cookie信息。WebDriver操作cookie的方法:get\_cookies():获得所有cookie信息
Stella981 Stella981
3年前
C#使用Selenium实现QQ空间数据抓取 说说抓取
上一篇讲的是如何模拟真人操作登录QQ空间,本篇主要讲述一下如何抓取QQ说说数据继续登录空间后的操作登陆后我们发现QQ空间的菜单其实是固定的,只需要找到对应元素就可以,继续XPath!(https://images2018.cnblogs.com/blog/318685/201808/3186852018082909444441195851
Wesley13 Wesley13
3年前
Java+Selenium+Sikulix定位web系统中的swfupload上传控件
图形化自动化测试软件Sikulix1、下载Sikulix控件java语言相关Jar包2、将sikulixapi.jar包buildpath到项目中3、创建一个demopackagecom.yunxiao.testidsp;importorg.sikuli.script.;publicc
Stella981 Stella981
3年前
Selenium WebDriver中一些鼠标和键盘事件的使用
在使用SeleniumWebDriver做自动化测试的时候,会经常模拟鼠标和键盘的一些行为。比如使用鼠标单击、双击、右击、拖拽等动作;或者键盘输入、快捷键使用、组合键使用等模拟键盘的操作。在WebDeriver中,有一个专门的类来负责实现这些测试场景,那就是Actions类,在使用该类的过程中会配合使用到Keys枚举以及Mouse、Ke
Wesley13 Wesley13
3年前
🔥《手把手教你》系列基础篇之3
1\.简介上一篇中,只是简单地一带而过的说了一些驱动浏览器,这一篇继续说说驱动浏览器,然后再说一说元素定位的方法。完成环境的安装并测试之后,我们对Selenium有了一定的了解了,接下来我们继续驱动浏览器做一些基本操作:窗口尺寸设置、网页截图、刷新、前进和后退2\.窗口尺寸设置在测试过程中,我们可能会要求打开浏览器的窗
Stella981 Stella981
3年前
Selenium3自动化测试【13】FireFox与Chrome浏览器元素定位
目前大部分浏览器都内置了相关插件或组件,能够帮助我们快速、简洁地展示各类元素的属性定义、DOM结构、CSS样式等属性。本书中使用的浏览器主要是FireFox、Chrome(这2款浏览器也是作为开发者常用的浏览器),因此本节介于这2款浏览器一起看看这些工具(组件)的使用方法。火狐(FireFox)浏览器如果大家对火狐浏览器较为熟知,在旧版本上的
Python进阶者 Python进阶者
2年前
Python网络爬虫过程中这个selenium对应的火狐驱动怎么用不了?
大家好,我是皮皮。一、前言前几天在Python最强王者交流群【孤独】问了一个Python网络爬虫处理的问题,提问截图如下:报错截图如下:二、实现过程这里【隔壁山楂】、【此类生物】都看到真实路径和代码中写的不匹配,导致没找到对应的驱动。其实针对驱动选择,常用的方法就是将驱动加入到环境变量,一劳永逸。这里【瑜亮老师】、【此类生物】也指出使用绝对路径去加载驱动