反爬技术越来越成熟，为了爬取目标数据，必须对爬虫的请求进行伪装，骗过目标系统，目标系统通过判断请求的访问频次或请求参数将疑似爬虫的ip进行封禁，要求进行安全验证，通过python的第三方库faker可以随机生成header伪装请求头，并且减缓爬虫的爬取速度，能很好的避过多数目标系统的反扒机制，但对一些安全等级

之前笔记有记录java线程池的拒绝策略，回顾一下线程池的处理任务的优先级：先考虑corePoolSize、任务队列（缓冲队列）workQueue、最大线程maximumPoolSize，如果三者都满了，使用handler处理被拒绝的任务。即：如果运行的线程少于corePoolSize，则Executor始终首选添加新的线程，而不进行排队

说明：线程共包括以下5种状态。1. 新建状态(New):线程对象被创建后，就进入了新建状态。例如，ThreadthreadnewThread()。2. 就绪状态(Runnable):也被称为“可执行状态”。线程对象被创建后，其它线程调用了该对象的start()方法，从而来启动该线程。例如，thread

数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。通过数据库连接池能明显提高对数据库操作的性能。在Java应用程序开发中，常用的连接池有DBCP、C3P0、Proxool等。SpringBoot默认提供

本文首发于个人微信公众号《andyqian》，期待你的关注！前言之前文章《Java线程池ThreadPoolExecutor(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzI2NDU3OTg5Nw%3

在Java的内存分配中，总共3种常量池：转发链接：https://blog.csdn.net/zm13007310400/article/details/77534349(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fblog.csdn.net%2Fzm13007310400%2

1.数据库连接池2.SpringJDBC:JDBCTemplate数据库连接池1.概念：其实就是一个容器(集合)，存放数据库连接的容器。当系统初始化好后，容器被创建，容器中会申请一些连接对象，当用户来访问数据库时，从容器中获取连接对象，用户访问完之后，会将连接对

_/\__\Copyright2013TheNettyProject__\__\TheNettyProjectlicensesthisfiletoyouundertheApacheLicense,__\version2.0(the"License");youmaynotusethisf

问题与解决：问题：查询大数据量的时候，例如一次返回50w数据量的包，循环去查询发现读取会超时。解决方案：经过思考采用多线程去分页查询。使用线程池创建多个线程去查询分页后的数据最后汇总一下，解决了一次查询大量数据返回超时的问题。一次查询现状：多线程分页查询改