JFR 定位因为 SSL 导致 CPU Load 飚高的问题

Stella981
• 阅读 802

问题场景

在某一时刻,某个微服务的某个实例 CPU 负载突然飚高:

JFR 定位因为 SSL 导致 CPU Load 飚高的问题

同时建立了很多数据库链接: JFR 定位因为 SSL 导致 CPU Load 飚高的问题

其他实例没有这个现象。

问题定位

由于建立了很多数据库链接,猜想可能是数据库比较慢,查看数据库这段时间的 SQL 统计,发现数据库并不慢:

JFR 定位因为 SSL 导致 CPU Load 飚高的问题

其中这个微服务这段时间的热点 SQL,执行并不慢。那么问题出在了哪里呢?可能是由于 GC,可能是由于 safepoint,还有可能是获取锁时间过长(参考:Java 监控 JFR全解),我们 dump 一下 JFR 并查看其中的 safepoint,GC 以及 Monitor Blocked 相关事件。

首先查看GC,发现都是 Young GC, GC 暂停时间也可以接受。

JFR 定位因为 SSL 导致 CPU Load 飚高的问题

然后是 safepoint,虽然有采集到 safepoint,但是暂停时间也没有很长。

JFR 定位因为 SSL 导致 CPU Load 飚高的问题

最后查看 Java Monitor Block,发现有很多很长时间的锁等待:

JFR 定位因为 SSL 导致 CPU Load 飚高的问题

堆栈显示,阻塞在:void sun.security.provider.SecureRandom.engineNextBytes(byte[])上面,这就是一个经典的问题,Java Random,参考代码:NativePRNG

// name of the *System* property, takes precedence over PROP_RNDSOURCE
private static final String PROP_EGD = "java.security.egd";
// name of the *Security* property
private static final String PROP_RNDSOURCE = "securerandom.source";

private static final boolean useLegacyDSA =
    Boolean.parseBoolean(GetPropertyAction.privilegedGetProperty
        ("jdk.security.legacyDSAKeyPairGenerator"));

static final String URL_DEV_RANDOM = "file:/dev/random";
static final String URL_DEV_URANDOM = "file:/dev/urandom";

涉及到两种随机数 seed 生成方式,一种是"file:/dev/random",另一种是"file:/dev/urandom",通过设置系统属性java.security.egd指定,默认是"file:/dev/random"

两种 Random 原理与解决

在 Linux 4.8 之前:

JFR 定位因为 SSL 导致 CPU Load 飚高的问题

在 Linux 4.8 之后:

JFR 定位因为 SSL 导致 CPU Load 飚高的问题

在熵池不够用的时候,默认的"file:/dev/random"会阻塞,"file:/dev/urandom"不会,继续用。对于我们来说,"file:/dev/urandom"够用,所以通过-Djava.security.egd=file:/dev/./urandom设置系统属性,使用 urandom 来减少阻塞。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
3个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
小果果学长 小果果学长
3年前
【编译原理】语义分析S属性定义的自下而上计算
目录一、实验目的(about:blank%E4%B8%80%E3%80%81%E5%AE%9E%E9%AA%8C%E7%9B%AE%E7%9A%84)二、实验任务(about:blank%E4%BA%8C%E3%80%81%E5%AE%9E%E9%AA%8C%E4%BB%BB%E5%8A%A1)三、实验原理(about:blank%E
Stella981 Stella981
3年前
Android So动态加载 优雅实现与原理分析
背景:漫品Android客户端集成适配转换功能(基于目标识别(So库35M)和人脸识别库(5M)),导致apk体积50M左右,为优化客户端体验,决定实现So文件动态加载.!(https://oscimg.oschina.net/oscnet/00d1ff90e4b34869664fef59e3ec3fdd20b.png)点击上方“蓝字”关注我
Stella981 Stella981
3年前
SVN基本命令
SVN基本命令从远程检出代码svncohttp://路径(目录或文件的全路径)(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2F%E8%B7%AF%E5%BE%84%28%E7%9B%AE%E5%BD%95%E6%88%96%E6%96%87%E4%
Wesley13 Wesley13
3年前
2、Libgdx配置你的开发环境(Eclipse,Intellij IDEA,NetBeans)
(原文:http://www.libgdx.cn/topic/13/2libgdx%E9%85%8D%E7%BD%AE%E4%BD%A0%E7%9A%84%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83eclipseintellijideanetbeans(https://www.oschina.net/action/G
Easter79 Easter79
3年前
SVN基本命令
SVN基本命令从远程检出代码svncohttp://路径(目录或文件的全路径)(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2F%E8%B7%AF%E5%BE%84%28%E7%9B%AE%E5%BD%95%E6%88%96%E6%96%87%E4%
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
9个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这