1、简单排查java应用CPU飙高的线程问题

Wesley13
• 阅读 823

1. 获取要查看的进程的ID

ps aux | grep xxx

2. 查看此进程下的线程信息

  • top -H -p
  • top -p      按shift+h
  • top -Hp

       

3. 查看栈信息

jstack > stack

  • sudo -u tomcat $JAVA_HOME/bin/jstack > stack.log
  • sudo vim-->sh-->获取root权限-->su - tomcat--> $JAVA_HOME/bin/jstack

4. 简单分析

  • 线程ID为十进制-->十六进制:printf "%x\n" xxx
  • 观察占用cpu高的线程ID

        1>>若此线程ID固定不变

        2>>占cpu高的线程不断变化,多观察,统计 

        3>>cat stack | grep 'java.lang.Thread.State' | awk '{print $2$3$4$5}' | sort | uniq -c

            562 RUNNABLE

              5 TIMED_WAITING(onobjectmonitor)

            174 TIMED_WAITING(parking)

              7 TIMED_WAITING(sleeping)

              3 WAITING(onobjectmonitor)

            330 WAITING(parking)

  • 线程的state

        1>>RUNNABLE: 线程正在执行中,占用了资源,比如处理某个请求/进行计算/文件操作等

        2>>BLOCKED/Waiting to lock(需关注):

            >>>线程处于阻塞状态,等待某种资源(可理解为等待资源超时的线程);

            >>>"waiting to lock ",即等待给xxx上锁,grep stack文件找locked 查找获得锁的线程;

            >>>"waiting for monitor entry" 线程通过synchronized(obj){……}申请进入了临界区,但该obj对应的monitor被其他线程拥有,从而处于等待。

        3>>WAITING/TIMED_WAITING{定时}(关注):

            >>>"TIMED_WAITING (parking)":等待状态,且指定了时间,到达指定的时间后自动退出等待状态,parking指线程处于挂起中;

            >>>"waiting on condition"需与堆栈中的"parking to wait for  (atjava.util.concurrent.SynchronousQueue$TransferStack)"结合来看。first-->此线程是在等待某个条件的发生,来把自己唤醒,second-->SynchronousQueue不是一个队列,其是线程之间移交信息的机制,当我们把一个元素放入到 SynchronousQueue 中时必须有另一个线程正在等待接受移交的任务,因此这就是本线程在等待的条件。

        4>>Deadlock(需关注):死锁,资源相互占用。

5. other

(1)、线程状态为“waiting for monitor entry”
        意味着它 在等待进入一个临界区 ,所以它在”Entry Set“队列中等待。
        此时线程状态一般都是 Blocked:
        java.lang.Thread.State: BLOCKED (on object monitor)     

 (2)、线程状态为“waiting on condition”
        说明它在等待另一个条件的发生,来把自己唤醒,或者干脆它是调用了 sleep(N)。
        此时线程状态大致为以下几种:
        java.lang.Thread.State: WAITING (parking):一直等那个条件发生;
        java.lang.Thread.State: TIMED_WAITING (parking或sleeping):定时的,那个条件不到来,也将定时唤醒自己。
        
 (3)、如果大量线程在“waiting for monitor entry”
        可能是一个全局锁阻塞住了大量线程。
        如果短时间内打印的 thread dump 文件反映,随着时间流逝,waiting for monitor entry 的线程越来越多,没有减少的趋势,可能意味着某些线程在临界区里呆的时间太长了,以至于越来越多新线程迟迟无法进入临界区。

 (4)、如果大量线程在“waiting on condition”
        可能是它们又跑去获取第三方资源,尤其是第三方网络资源,迟迟获取不到Response,导致大量线程进入等待状态。
        所以如果你发现有大量的线程都处在 Wait on condition,从线程堆栈看,正等待网络读写,这可能是一个网络瓶颈的征兆,因为网络阻塞导致线程无法执行。
        线程状态为“in Object.wait()”:
        说明它获得了监视器之后,又调用了 java.lang.Object.wait() 方法。
        每个 Monitor在某个时刻,只能被一个线程拥有,该线程就是 “Active Thread”,而其它线程都是 “Waiting Thread”,分别在两个队列 “ Entry Set”和 “Wait Set”里面等候。
        在 “Entry Set”中等待的线程状态是“Waiting for monitor entry”,而在 “Wait Set”中等待的线程状态是 “in Object.wait()”。
        当线程获得了 Monitor,如果发现线程继续运行的条件没有满足,它则调用对象(一般就是被 synchronized 的对象)的 wait() 方法,放弃了 Monitor,进入 “Wait Set”队列。
        此时线程状态大致为以下几种:
        java.lang.Thread.State: TIMED_WAITING (on object monitor);
        java.lang.Thread.State: WAITING (on object monitor);
        一般都是RMI相关线程(RMI RenewClean、 GC Daemon、RMI Reaper),GC线程(Finalizer),引用对象垃圾回收线程(Reference Handler)等系统线程处于这种状态。

6. Test

"DubboServerHandler-10.88.132.160:20088-thread-3"{线程名} daemon prio=10{优先级} tid=0x00007f2770004800{java线程ID} nid=0x1b0b{native线程ID} waiting on condition [0x00007f2445a99000]

   java.lang.Thread.State: WAITING (parking)

    at sun.misc.Unsafe.park(Native Method)

    - parking to wait for  <0x00000005f9e9dcc8> (a java.util.concurrent.SynchronousQueue$TransferStack)

    at java.util.concurrent.locks.LockSupport.park(LockSupport.java:186)

    at java.util.concurrent.SynchronousQueue$TransferStack.awaitFulfill(SynchronousQueue.java:458)

    at java.util.concurrent.SynchronousQueue$TransferStack.transfer(SynchronousQueue.java:359)

    at java.util.concurrent.SynchronousQueue.take(SynchronousQueue.java:925)

    at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1068)

    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1130)

    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)

    at java.lang.Thread.run(Thread.java:744)

7.其他参考地址

1、JVM性能调优监控工具jps、jstack、jmap、jhat、jstat使用详解

2、java线程的几种状态详解

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
4个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
4、jstack查看线程栈信息
1、介绍利用jps、top、jstack命令找到进程中耗时最大的线程,以及线程状态等等,同时最后还可以显示出死锁的线程查找:FoundoneJavaleveldeadlock即可1、jps获得进程号!(https://oscimg.oschina.net/oscnet/da00a309fa6
Stella981 Stella981
3年前
PostgreSQL死锁进程及慢查询处理
1、死锁进程查看:SELECTFROMpg_stat_activityWHEREdatname'数据库名称'andwaitingtrue;pid进程id。2、慢查询SQL:selectdatname,pid,usename,application_name,client_addr,client
Wesley13 Wesley13
3年前
PHP创建多级树型结构
<!lang:php<?php$areaarray(array('id'1,'pid'0,'name''中国'),array('id'5,'pid'0,'name''美国'),array('id'2,'pid'1,'name''吉林'),array('id'4,'pid'2,'n
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
10个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这