@toc一、项目概述1.项目说明本项目主要是对领导留言板内的所有留言的具体内容进行抓取，对留言详情、回复详情和评价详情进行提取保存，并用于之后的数据分析和进一步处理，可以对政府的决策和电子政务的实施提供依据。网站链接是，任意选择一条留言点击进入详情页后，如下对于图中标出的数据，均要进行爬取，以此构成一条留言的组成部分。2.环境配置（1）P

本篇文章是我在学习高并发问题时接触到的网络I/O相关知识，比较底层且纯理论，整合以作参考。下面长文预警。高并发基本表现为单位时间内系统能够同时处理的请求数核心是对CPU资源的有效压榨。注意，有效很重要。C10K问题C10K问题本质上是操作系统的问题。对于Web1.0/2.0时代的操作系统而言，传统的同步阻塞I/O模型都是一样的，

一、整合邮件服务 　　如果要进行邮件的整合处理，那么你一定需要有一个邮件服务器，实际上java本身提供有一套JavaMail组件以实现邮件服务器的搭建，但是这个搭建的服务器意义不大，因为你现在搭建完成了，向一些大型的站点发送一封邮件，若干小时你就会被拉黑，如果不想拉黑彼此之间就做一个白名单即可。 　　要发送邮件，首先要知道

最近在开发一个功能模块时，在功能自测阶段，通过使用单测测试功能的完整性，在测试单测联通性使用到静态方法测试时，发现单测报错，通过查阅解决方案发现需要对Javaassist包进行排包或者升版本处理。通过排包解决掉单测报错，在部署项目时发现频繁报bean注入失败问题，最终定位发现是因为对Javaassist包排包引起的bean加载失败。故而对Javaassist包相关知识进行学习整理文章如下。

Celery是一个广泛应用于网络应用程序的任务处理系统。它可以在以下情况下使用:在请求响应周期中做网络调用。服务器应当立即响应任何网络请求。如果在请求响应周期内需要进行网络调用，则应在周期外完成调用。例如当用户在网站上注册时，需要发送激活邮件。发送邮件是一种网络调用，耗时2到3秒。用户应该无需等待这2到3秒。因此，发送激活邮件应当在

JDBC与Hibernate在性能上相比，JDBC灵活性有优势。而Hibernate在易学性，易用性上有些优势。当用到很多复杂的多表联查和复杂的数据库操作时，JDBC有优势。相同点：◆两者都是JAVA的数据库操作中间件。◆两者对于数据库进行直接操作的对象都不是线程安全的，都需要及时关闭。◆两者都可以对数据库的更新操作进行显式的事务处理

最近接到一项新的任务，其中涉及到用netty解决粘包问题，该问题解决得很顺利。下面是一些心得体会。我们知道，netty当中有boss线程和worker线程，通常是1对多的关系，可以理解为boss接到客户的请求之后，分配给其中一个worker去处理，如果客户过多，可能会出现一个worker服务多个客户的情况。这是背景。按照我的理解，粘包问题解决的关键在

Android的进程管理很有意思,因为这个在其它系统是不存在的.谁启动了进程谁负责关闭进程,OS基本不插手或者说最少没有系统化的对进程的管理.传统的OS更关注对处理器资源的调度,对内存管理的重点在分配与回收,只是机械化的一个服务过程,系统与进程在那里的关系更象是一种服务关系.但是Android把进程当肉腩,想宰就宰.并且更"离谱"的是,

问题描述在TiDB的产品迭代中，不免会碰到一些兼容性问题出现。通常协议上的兼容性protobuf已经能帮我们处理的很好，在进行功能开发，性能优化时，通常会保证版本是向后兼容的，但并不保证向前兼容性，因此，当集群中同时有新旧版本节点存在时，旧版本不能兼容新版本的特性，就有可能造成该节点崩溃，影响集群可用性，甚至丢失数据。目前在有不兼容的版

RDBMS是我们常见的一些存储数据的仓库，无论是做前端还是后端，都会接触到。我们常见的数据处理，都是通过sql来和数据库做交互的，因此造成了许多人对数据库认知比较模糊，底层的架构也不是很清晰，从本周开始，我们介绍些数据库的基础知识，来了解数据库引擎是如何工作的，以及如何设计更好的索引的方法论，欢迎一起探讨。一、数据库架构