CuterCorley CuterCorley
3年前
Python 爬取留言板留言(一):单进程版+selenium模拟
@toc一、项目概述1.项目说明本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。网站链接是,任意选择一条留言点击进入详情页后,如下对于图中标出的数据,均要进行爬取,以此构成一条留言的组成部分。2.环境配置(1)P
Kubrnete Kubrnete
3年前
高并发之网络IO基础
本篇文章是我在学习高并发问题时接触到的网络I/O相关知识,比较底层且纯理论,整合以作参考。下面长文预警。高并发基本表现为单位时间内系统能够同时处理的请求数核心是对CPU资源的有效压榨。注意,有效很重要。C10K问题C10K问题本质上是操作系统的问题。对于Web1.0/2.0时代的操作系统而言,传统的同步阻塞I/O模型都是一样的,
Base 深圳 嵌入式开发、算法岗 | 线下IT互联网专场招聘会预报名,就在本周六,升职加薪了解一下!
关于我们我们是专业的猎头团队,受用人单位委托寻觅良才。本期共有6个全职工程师岗位在招。部分信息应企业要求做了隐藏处理,还请谅解。帖子有岗位职责和任职要求的详细介绍,所以内容较长,请耐心阅读。岗位保证真实,投递必有回音,正在找工作的牛人们抓紧机会。另外,智造进化论线下专场招聘会第六期来啦,欢迎各位正在求职中或渴望升职加薪的大佬们报名参与!一、嵌入式开发工程
Easter79 Easter79
3年前
springboot系列九,springboot整合邮件服务、整合定时任务调度
一、整合邮件服务   如果要进行邮件的整合处理,那么你一定需要有一个邮件服务器,实际上java本身提供有一套JavaMail组件以实现邮件服务器的搭建,但是这个搭建的服务器意义不大,因为你现在搭建完成了,向一些大型的站点发送一封邮件,若干小时你就会被拉黑,如果不想拉黑彼此之间就做一个白名单即可。   要发送邮件,首先要知道
Wesley13 Wesley13
3年前
Celery 和 Redis 入门
Celery是一个广泛应用于网络应用程序的任务处理系统。它可以在以下情况下使用:在请求响应周期中做网络调用。服务器应当立即响应任何网络请求。如果在请求响应周期内需要进行网络调用,则应在周期外完成调用。例如当用户在网站上注册时,需要发送激活邮件。发送邮件是一种网络调用,耗时2到3秒。用户应该无需等待这2到3秒。因此,发送激活邮件应当在
Wesley13 Wesley13
3年前
JDBC和hibernate
JDBC与Hibernate在性能上相比,JDBC灵活性有优势。而Hibernate在易学性,易用性上有些优势。当用到很多复杂的多表联查和复杂的数据库操作时,JDBC有优势。相同点:◆两者都是JAVA的数据库操作中间件。◆两者对于数据库进行直接操作的对象都不是线程安全的,都需要及时关闭。◆两者都可以对数据库的更新操作进行显式的事务处理
Stella981 Stella981
3年前
Netty之粘包问题解决
最近接到一项新的任务,其中涉及到用netty解决粘包问题,该问题解决得很顺利。下面是一些心得体会。我们知道,netty当中有boss线程和worker线程,通常是1对多的关系,可以理解为boss接到客户的请求之后,分配给其中一个worker去处理,如果客户过多,可能会出现一个worker服务多个客户的情况。这是背景。按照我的理解,粘包问题解决的关键在
Stella981 Stella981
3年前
Android的进程管理
Android的进程管理很有意思,因为这个在其它系统是不存在的.谁启动了进程谁负责关闭进程,OS基本不插手或者说最少没有系统化的对进程的管理.传统的OS更关注对处理器资源的调度,对内存管理的重点在分配与回收,只是机械化的一个服务过程,系统与进程在那里的关系更象是一种服务关系.但是Android把进程当肉腩,想宰就宰.并且更"离谱"的是,
Stella981 Stella981
3年前
Kafka生产者发送消息的三种方式
Kafka是一种分布式的基于发布/订阅的消息系统,它的高吞吐量、灵活的offset是其它消息系统所没有的。Kafka发送消息主要有三种方式:1.发送并忘记2.同步发送3.异步发送回调函数下面以单节点的方式分别用三种方法发送1w条消息测试:方式一:发送并忘记(不关心消息是否正常到达,对返回结果不做任何判断处理)发送并忘记的方式本质上也
Wesley13 Wesley13
3年前
DB——数据的读取和存储方式
RDBMS是我们常见的一些存储数据的仓库,无论是做前端还是后端,都会接触到。我们常见的数据处理,都是通过sql来和数据库做交互的,因此造成了许多人对数据库认知比较模糊,底层的架构也不是很清晰,从本周开始,我们介绍些数据库的基础知识,来了解数据库引擎是如何工作的,以及如何设计更好的索引的方法论,欢迎一起探讨。一、数据库架构