CuterCorley CuterCorley
3年前
Python 爬取留言板留言(二):多线程版+selenium模拟
一、项目概述本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。具体项目说明和环境配置可参考本系列的第一篇。本篇在第一篇的基础上做了一些改进1.采用了多线程,设定同时运行的线程的数量为3,线程数量适中,这样在保证在同一时刻有多个线
Wesley13 Wesley13
3年前
java多线程总结
线程或者说多线程,是我们处理多任务的强大工具。线程和进程是不同的,每个进程都是一个独立运行的程序,拥有自己的变量,且不同进程间的变量不能共享;而线程是运行在进程内部的,每个正在运行的进程至少有一个线程,而且不同的线程之间可以在进程范围内共享数据。也就是说进程有自己独立的存储空间,而线程是和它所属的进程内的其他线程共享一个存储空间。线程的使用可以使我们能够并行
Application Repository一键启用微信告警通告
序言我们在应用云服务平台时偶而会在管理人员电子邮箱中接到操作系统产生的告警通告,如EC2维护保养信息内容,这种电子邮件非常容易吞没在发件箱中,沒有获得妥善处理。此外针对关键的使用大家也许会在CloudWatch设定一些指标值告警并开展电子邮件通告。假如这种都能够发至手机微信等即时通讯手机软件,就比电子邮件通告许多了,终究很多人都习惯性在即时通讯手机软件上查
Wesley13 Wesley13
3年前
Java中list集合的clean()方法滥用引发的bug
做的是电商系统,主系统生成订单后,分别加入到不同的队列中给另外的三个子系统来异步处理,订单和商品是一对多的关系,在实际测试中,发现其中有一个子系统从队列中获取到的订单实体中,商品列表一直为空,子系统的开发人员一直说是获取不到值导致。因为这个问题,测试一直没通过,不得已只能打日志,反复排查。最后发现在这个子系统中,从队列拿到订单实体后,商品列表是不为空的,但是
Wesley13 Wesley13
3年前
M3U8文件
M3U本质上说不是音频文件,它是音频文件的列表文件,是纯文本文件。你下载下来打开它,播放软件并不是播放它,而是根据它的记录找到网络地址进行在线播放。M3U文件的大小很小,也就是因为它里面没有任何音频数据。把M3U文件直接转换为音频文件是不可能的,除非你把它指向的音频文件下载下来再作处理。m3u格式的文件只是存储多媒体播放列表,提供了一个指向其他位置的音
Wesley13 Wesley13
3年前
CAP理论概述和现状
CAP理论断言任何基于网络的数据共享系统,最多只能满足数据一致性、可用性、分区容忍性三要素中的两个要素。但是通过显式处理分区情形,系统设计师可以做到优化数据一致性和可用性,进而取得三者之间的平衡。自打引入CAP理论的十几年里,设计师和研究者已经以它为理论基础探索了各式各样新颖的分布式系统,甚至到了滥用的程度。NoSQL运动也将CAP理论当作对抗传统关系型
Stella981 Stella981
3年前
No operations allowed after statement closed.
之所以会出现这个异常,是因为Mysql在5以后针对超长时间DB连接做了一个处理,那就是如果一个DB连接在无任何操作情况下过了8个小时后,Mysql会自动把这个连接关闭。所以使用连接池的时候虽然连接对象还在但是链接数据库的时候会一直报这个异常。解决方法很简单在Mysql的官方网站上就可以找到。有两个方法第一种是在DB连接字符串后面加一个参数。
Wesley13 Wesley13
3年前
JavaWeb分页技术总结
分页技术:将所有数据分段展示给用户的技术。分页的意义:增加系统的复杂度,另外可以将大量的数据限制在某一个特定的范围。选择分页的标准:首先,判断的标准是速度,显而易见,数据库服务器,Web应用服务器和客户端之间是网络,如果网络传递的数据量越少,则客户端获得响应的速度越快。一般来说,数据库服务器和Web应用服务器的处理能力一般比客户端要强很多.从这两点来看
Wesley13 Wesley13
3年前
Java设计模式从精通到入门一 责任链模式
​一直都想对设计模式有一个深刻的认识,这样对于阅读源码的时候就不会那么吃力了。于是有了想要记录下设计模式的笔记。打算从自己不怎么熟悉的设计模式开始写,里面穿插着一点自己的想法,希望自己写完后,会又一个更深刻的理解和流畅的表述。介绍​为请求创建了一个接受者的链,通常一个接收者包含下一个接受者的引用,如果该对象不能处理该请求,就传给下一个。依次
凿壁偷光 凿壁偷光
1年前
AnyToISO Pro for Mac(专业级ISO镜像文件制作工具)
anytoisopromac版是一款简单易用的ISO镜像文件制作工具,可以帮助您快速提取各种类型的存档的内容,或将它们转换为ISO映像。AnyToISO能够处理大量流行的归档格式,例如DMG,RAR,RAR,IMG,CDI,7Z等。该实用程序允许您将其内容提取到文件夹,但也可以将它们快速转换为ISO映像。此外,AnyToISO为您提供了备份CD和DVD磁盘的可能性,将它们用作新生成的ISO映像的源。最后但同样重要的是,AnyToISO能够为Mac上存储的任何文件夹制作ISO档案。