CuterCorley CuterCorley
4年前
Python 爬取留言板留言(一):单进程版+selenium模拟
@toc一、项目概述1.项目说明本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。网站链接是,任意选择一条留言点击进入详情页后,如下对于图中标出的数据,均要进行爬取,以此构成一条留言的组成部分。2.环境配置(1)P
CuterCorley CuterCorley
4年前
Python 爬取留言板留言(二):多线程版+selenium模拟
一、项目概述本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。具体项目说明和环境配置可参考本系列的第一篇。本篇在第一篇的基础上做了一些改进1.采用了多线程,设定同时运行的线程的数量为3,线程数量适中,这样在保证在同一时刻有多个线
CuterCorley CuterCorley
4年前
Python 爬取留言板留言(三):多进程版+selenium模拟
一、项目概述本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。具体项目说明和环境配置可参考本系列的第一篇。本篇在第二篇的基础上做了一个主要改进:从多线程改变为多进程,设定同时运行的进程的数量为3,数量适中,这样在保证在同一
九路 九路
4年前
2 手写Java LinkedList核心源码
上一章我们手写了ArrayList的核心源码,ArrayList底层是用了一个数组来保存数据,数组保存数据的优点就是查找效率高,但是删除效率特别低,最坏的情况下需要移动所有的元素。在查找需求比较重要的情况下可以用ArrayList,如果是删除操作比较多的情况下,用ArrayList就不太合适了。Java为我们提供了LinkedList,是用链接来实现的,我们
Wesley13 Wesley13
3年前
AWS 核心服务概述(二)
\TOC\AWS网络服务VPCVPC与虚拟网络是逻辑隔离的一个VPC只能属于一个区域,但可以属于多个可用区VPC主要属性:IP范围,路由,网关,安全设置DirectConnect用户数据中心到AWS的专用网络连接在高吞吐的情况下可以
Wesley13 Wesley13
3年前
Android 4.4 Kitkat 使能 USB adb 功能
背景在Linux3.8以后,Android的内核分支,便去掉了f\_adb,改使用USBfunctionFS,在用户空间实现USBadb功能。这篇文章根据原作者的Google文章,在Atmelsama5开发板上做了测试,将步骤记录如下,供需要使用的读者参考,你也可以查看作者原文:https://plus
Stella981 Stella981
3年前
FastCFS核心组件及访问方式
  FastCFS是一款可以跑数据库的轻量级分布式存储系统,她为数据库和云平台提供后端存储,保证数据强一致性,解决大容量数据存储问题,做到了高可靠、高可用、高性能以及高扩展性。  FastCFS服务端两个核心组件是FastStore和FastDIR。FastStore是基于块存储的分布式数据存储服务,其文件block大小为4MB,
燕青 燕青
1年前
Macos专业的系统监控工具:iStatistica for mac
是一款功能强大的系统监测工具,可以实时监测CPU、内存、网络、磁盘卡等系统资源的使用情况,帮助用户轻松管理电脑性能和优化系统运行。具体来说,iStatisticaforMac具备以下特点:系统监控仪表板:实时展示CPU、内存、网络、磁盘卡等系统资源的运行状
子桓 子桓
1年前
mac电脑简单好用的剪切板管理 Paste中文安装
Paste是一款基于云端的文本分享和协作工具,支持多种数据类型,包括代码、笔记、文本片段、截图等。用户可以轻松地将自己的文本内容分享给其他人,并且还可以进行实时协作,评论和讨论。Paste还具有以下特点:可以记录用户复制或剪切的文本、图片、文件等内容,并将