java线程池原理浅析

京东云开发者
• 阅读 197

问题与解决:

问题:

查询大数据量的时候,例如一次返回50w数据量的包,循环去查询发现读取会超时。

解决方案:

经过思考采用多线程去分页查询。使用线程池创建多个线程去查询分页后的数据最后汇总一下,解决了一次查询大量数据返回超时的问题。

一次查询现状:



java线程池原理浅析



多线程分页查询改造图:



java线程池原理浅析



效果:使用多线程去查询查询时间由原来的10s减少到现在的300ms。

线程池是什么?

线程池(Thread Pool)是一种基于池化思想管理线程的工具,经常出现在多线程服务器中,如MySQL,clickhouse等数据库。

线程池好处:

1.降低资源消耗:通过池化技术重复利用已创建的线程,降低线程创建和销毁造成的损耗。

2.提高响应速度:任务到达时,无需等待线程创建即可立即执行。

3.提高线程的可管理性:线程是稀缺资源,如果无限制创建,不仅会消耗系统资源,还会因为线程的不合理分布导致资源调度失衡,降低系统的稳定性。

4.使用线程池可以进行统一的分配、调优和监控。提供更多更强大的功能:线程池具备可拓展性,允许开发人员向其中增加更多的功能。比如延时定时线程池ScheduledThreadPoolExecutor,就允许任务延期执行或定期执行。

线程池解决的问题是什么:

1.频繁申请/销毁资源和调度资源,将带来额外的消耗,可能会非常巨大。

2.对资源无限申请缺少抑制手段,易引发系统资源耗尽的风险。

3.系统无法合理管理内部的资源分布,会降低系统的稳定性。

Java线程池参数解析:

Java 提供的线程池相关的工具类中,最核心的是 ThreadPoolExecutor,完备的构造函数如下:

ThreadPoolExecutor(
 int corePoolSize,
 int maximumPoolSize,
 long keepAliveTime,
 TimeUnit unit,
 BlockingQueue<Runnable> workQueue,
 ThreadFactory threadFactory,
 RejectedExecutionHandler handler) 

参数说明:

corePoolSize:线程池的核心线程数

*备注: *默认情况下,线程池创建后的初始线程数为 0,当有任务到来就会创建一个线程去执行任务,当线程池中的线程数目达到 corePoolSize,就会把到达的任务放到缓存队列当中。

maximumPoolSize:线程池的最大线程数

*备注: 核心线程忙不过来且任务存储队列满了的情况下,还有新任务进来的话就会继续开辟线程,但是也不是任意的开辟线程数量,线程数(包含核心线程)达到**maximumPoolSize**后就不会产生新线程了,就会执行拒绝策略。***

keepAliveTime: 当活跃线程数大于核心线程数时,空闲的多余线程最大存活时间

备注:默认情况下,当线程池中的线程数大于 corePoolSize 时,如果一个线程空闲的时间达到keepAliveTime,则该线程会终止,直到线程池中的线程数不超过 corePoolSize。但是如果调用了 allowCoreThreadTimeOut(true) 方法,此时就算线程池中的线程数不大于corePoolSize ,keepAliveTime 参数也会起作用,直到线程池中的线程数为 0。

unit:参数 keepAliveTime 的时间单位。

取值:

TimeUnit.DAYS;               //天
TimeUnit.HOURS;             //小时 
TimeUnit.MINUTES;           //分钟 
TimeUnit.SECONDS;           //秒
TimeUnit.MILLISECONDS;      //毫秒 
TimeUnit.MICROSECONDS;      //微妙
TimeUnit.NANOSECONDS;       //纳秒 

workQueue:任务阻塞队列,用来存储等待执行的任务。

备注:

核心线程数满了后还有任务继续提交到线程池的话,就先进入workQueue。

workQueue通常情况下有如下选择:

LinkedBlockingQueue:无界队列,意味着无限制,其实是有限制,大小是int的最大值。也可以自定义大小。

ArrayBlockingQueue:有界队列,可以自定义大小,到了阈值就开启新线程(不会超过maximumPoolSize)。

SynchronousQueue:Executors.newCachedThreadPool();默认使用的队列。也不算是个队列,他不没有存储元素的能力。

一般都采取LinkedBlockingQueue,因为他也可以设置大小,可以取代ArrayBlockingQueue有界队列。

threadFactory:用于创建新线程的线程工厂。

备注: 默认采用的是**DefaultThreadFactory ,主要负责创建线程。 newThread() 方法。创建出来的线程都在同一个线程组且优先级也是一样的。

handler:拒绝策略,任务量超出线程池的配置限制或执行shutdown还在继续提交任务的话,会执行handler的逻辑。

备注:

如果线程池中所有的线程都在忙碌,并且工作队列也满了(前提是工作队列是有界队列),那么此时提交任务,线程池就会拒绝接收。拒绝策略可以通过 handler 参数来指定。

ThreadPoolExecutor 提供了以下4种拒绝策略:

CallerRunsPolicy:提交任务的线程自己去执行该任务。

AbortPolicy:默认的拒绝策略,会 throws RejectedExecutionException。

DiscardPolicy:直接丢弃任务,没有任何异常抛出。

DiscardOldestPolicy:丢弃最老的任务,就是把最早进入工作队列的任务丢弃,然后把新任务加入到工作队列。

线程池工作原理:



java线程池原理浅析





java提供的常用线程池:

1.newCachedThreadPool:用来创建一个可以无限扩大的线程池,适用于负载较轻的场景,执行短期异步任务。(可以使任务快速得到执行,因为任务时间执行短,可以很快结束,也不会造成cpu过度切换)

2.newFixedThreadPool:创建一个固定大小的线程池,因为采用无界的阻塞队列,所以实际线程数量永远不会变化,适用于负载较重的场景,对当前线程数量进行限制。(保证线程数可控,不会造成线程过多,导致系统负载更为严重)

3.newSingleThreadExecutor:创建一个单线程的线程池,适用于需要保证顺序执行各个任务。

4.newScheduledThreadPool:适用于执行延时或者周期性任务。

点赞
收藏
评论区
推荐文章
菜鸟阿都 菜鸟阿都
3年前
pageHelper一对多分页解决方案
前言   pageHelper是一款优秀的Mybatis分页插件,在项目中可以非常便利的使用,使开发效率得到很大的提升,但不支持一对多结果映射的分页查询,所以在平时的使用时,对于一对多分页会出现分页错误,这篇文章主要对pageHelper分页错误进行重现以及提出解决方案。分析    mybatis进行一对多查询时,映射文件(mapper.xml
Easter79 Easter79
3年前
sql优化之大数据量分页查询(mysql)
当需要从数据库查询的表有上万条记录的时候,一次性查询所有结果会变得很慢,特别是随着数据量的增加特别明显,这时就需要使用分页查询。对于数据库分页查询,也有很多种方法和优化的点。谈优化前的准备工作为了对下面列举的一些优化进行测试,需要使用已有的一张表作为实际例子。表名:order\_history。描述:某个业务的订单历史表。主要字段
Wesley13 Wesley13
3年前
java ssm框架实现分页功能 (oracle)
javaweb实现分页功能使用框架:ssm数据库:oracle话说oracle的分页查询比mysql复杂多了,在这里简单谈一下:查询前十条数据:1SELECTFROM(2SELECTROWNUMWN,RN.FROM(3
Wesley13 Wesley13
3年前
MySQL——性能优化
性能优化的思路1、首先需要使用慢查询功能,去获取所有查询时间比较长的SQL语句。MySQL——慢查询2、其次使用explain命令去查看有问题的SQL的执行计划。MySQL——执行计划EXPLAIN3、最后可以使用showprofile\s\查看有问题的SQL的性能使用情况。MySQL高级:showprofile
Wesley13 Wesley13
3年前
JPA分页查询与条件分页查询
情有独钟的JPA平时在写一些小项目时,比较喜欢引用SpringDataJpa,其实还是图他写代码快~在日常的开发工作中,分页列表查询基本是随处可见,下面一起看一下如何使用jpa进行多条件查询以及查询列表分页呢?关于JPA的使用关于jpa的使用,下面2步简单过一下,详细资料,小伙伴自行搜索一下吧~
Easter79 Easter79
3年前
Spring如何使用4行代码优雅的实现模糊查询,精确查询,分页查询功能。
最近开始使用Spring开发新项目了,开发新项目必定少不了折腾增删查改。其中模糊查询,精确查询,分页查询也算是不好对付的功能,需要手写大量重复的代码来实现相关的功能,如何优雅的实现查询功能呢? 首先上两张截图。!(https://oscimg.oschina.net/oscnet/388879498414582b02b00741b041a430
Wesley13 Wesley13
3年前
MySQL查询优化
在我们使用MySQL数据库时,比较常用也是查询,包括基本查询,关联查询,条件查询等等,对于同一个操作,SQL语句的实现有很多种写法,但是不同的写法查询的性能可能会有很大的差异。这里主要介绍下select查询优化的要点。1\.使用慢查询日志去发现慢查询。2\.使用执行计划去判断查询是否正常运行。3\.总是去测试你的查询
LeeFJ LeeFJ
1年前
Foxnic-SQL (8) —— DAO 特性 : 数据查询
FoxnicSQL的DAO对象包含了非常丰富的查询功能,可以查询记录、数据实体(Po对象)、单值。针对不同的数据库DAO对象已经实现了默认的分页功能。DAO中所有的查询方法都支持SQL字符串查询、SQL对象查询。下面我们来具体看一下这些功能。
数据库深分页介绍及优化方案 | 京东云技术团队
在前端页面显示,为了避免一次性展示全量数据,通过上下翻页或指定页码的方式查看部分数据,就像翻书一样,这就利用了MySQL的分页查询。一、MySQL的深分页查询偏移量过大的分页会导致数据库获取数据性能低下,以如下SQL为例:SELECTFROMtorderO
研发日常踩坑-Mysql分页数据重复 | 京东云技术团队
踩坑描述:写分页查询接口,orderby和limit混用的时候,出现了排序的混乱情况在进行第N页查询时,出现与第一前面页码的数据一样的记录。问题在MySQL中分页查询,我们经常会用limit,如:limit(0,20)表示查询第一页的20条数据,limit