反爬技术越来越成熟，为了爬取目标数据，必须对爬虫的请求进行伪装，骗过目标系统，目标系统通过判断请求的访问频次或请求参数将疑似爬虫的ip进行封禁，要求进行安全验证，通过python的第三方库faker可以随机生成header伪装请求头，并且减缓爬虫的爬取速度，能很好的避过多数目标系统的反扒机制，但对一些安全等级

说明：线程共包括以下5种状态。1. 新建状态(New):线程对象被创建后，就进入了新建状态。例如，ThreadthreadnewThread()。2. 就绪状态(Runnable):也被称为“可执行状态”。线程对象被创建后，其它线程调用了该对象的start()方法，从而来启动该线程。例如，thread

前言go的goroutine提供了一种较线程而言更廉价的方式处理并发场景,go使用二级线程的模式,将goroutine以M:N的形式复用到系统线程上,节省了cpu调度的开销,也避免了用户级线程（协程）进行系统调用时阻塞整个系统线程的问题。【1】但goroutine太多仍会导致调度性能下降、GC

本文首发于个人微信公众号《andyqian》，期待你的关注！前言之前文章《Java线程池ThreadPoolExecutor(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzI2NDU3OTg5Nw%3

一：JVM中内存JVM中内存通常划分为两个部分，分别为堆内存与栈内存，栈内存主要用运行线程方法存放本地暂时变量与线程中方法运行时候须要的引用对象地址。JVM全部的对象信息都存放在堆内存中。相比栈内存，堆内存能够所大的多，所以JVM一直通过对堆内存划分不同的功能区块实现对堆内存中对象管理。堆内存不够最常见的错误就是OOM(OutOf

1.数据库连接池2.SpringJDBC:JDBCTemplate数据库连接池1.概念：其实就是一个容器(集合)，存放数据库连接的容器。当系统初始化好后，容器被创建，容器中会申请一些连接对象，当用户来访问数据库时，从容器中获取连接对象，用户访问完之后，会将连接对

内存上下文背景：需要经常处理大量以指针传值的查询，存在内存泄漏的问题，直到查询结束才能收回内存。所以实现了新的内存管理机制内存上下文（MemoryContext）内存上下文通俗解释：一个内存上下文相当于一个进程环境，进程环境间不互相影响，pgSQL提供了在内存上下文进行内存操作的函数：pallloc、pfree、repalloc

我们知道如果程序中并发的线程数量很多，并且每个线程都是执行一个时间很短的任务就结束时，会因为频繁创建线程而大大降低系统的效率，因此出现了线程池的使用方式，它可以提前创建好线程来执行任务。本文主要通过java的ThreadPoolExecutor来查看线程池

问题与解决：问题：查询大数据量的时候，例如一次返回50w数据量的包，循环去查询发现读取会超时。解决方案：经过思考采用多线程去分页查询。使用线程池创建多个线程去查询分页后的数据最后汇总一下，解决了一次查询大量数据返回超时的问题。一次查询现状：多线程分页查询改