从一次CPU打满到ReDos攻击和防范

京东云开发者
• 阅读 313

作者:京东物流 刘海茂

近期碰到一起值班报警事件,web应用服务器CPU消耗打到99%,排查后发现是因为ReDoS导致了服务器发生了资源被耗尽、访问系统缓慢的问题,通过排查过程从而分享下ReDos攻击的原理、常见场景以及防范和解决方案,如果有错误欢迎指正。

背景

值班的时候突然报警,web应用服务器CPU消耗打到99%,同时现场反馈系统访问缓慢

从一次CPU打满到ReDos攻击和防范

登录泰山平台,查看ump监控发现系统消耗CPU消耗突然被打满

从一次CPU打满到ReDos攻击和防范

通过java自带的dump工具,下载jstock文件,发现有大量相同任务线程在运行,具体的堆栈信息如下

从一次CPU打满到ReDos攻击和防范

仔细查看这些线程的执行代码,发现都调用了UrlUtil.extractDomain这个方法

从一次CPU打满到ReDos攻击和防范

根据堆栈信息查看业务代码,发现是joybuy登录拦截器用正则表达式匹配访问url解析主域的方法出现了阻塞,至此,可以判断是因为ReDoS导致了服务器发生了资源被耗尽、访问系统缓慢的问题,那么,什么是ReDoS呢?

从一次CPU打满到ReDos攻击和防范

ReDos简介

ReDoS攻击(正则表达式拒绝服务攻击(Regular Expression Denial of Service)),攻击者可构造特殊的字符串,导致正则表达式运行会消耗大量的内存和cpu导致服务器资源被耗尽。无法继续响应,那为何不确定的正则表达式会导致redos攻击呢?这得从正则表达式的实现原理说起

原理

目前实现正则表达式引擎的方式有两种

  • DFA自动机(Deterministic Finite Automaton,确定有限状态自动机)

  • NFA自动机(Nondeterministic Finite Automaton,非确定有限状态自动机)

  • DFA自动机的构造代价远大于NFA自动机,但DFA自动机的执行效率高于NFA自动机

  • 假设一个字符串的长度为n,如果采用DFA自动机作为正则表达式引擎,则匹配的时间复杂度为O(n)

  • 如果采用NFA自动机作为正则表达式引擎,NFA自动机在匹配过程中存在大量的分支和回溯,假设NFA的状态数为s,

  • 则匹配的时间复杂度为O(ns)

  • NFA自动机的优势是支持更多高级功能,但都是基于子表达式独立进行匹配

  • 因此在编程语言里,使用的正则表达式库都是基于NFA自动机实现的

NFA的特性:

1.一个有限的状态集合S

2.一个输入符号集合sigma,空字符epsilon不属于Sigma

3.状态迁移函数F,对于特定的输入字符和状态,输出对应的变更状态集合

4.s0为初始状态

5.S子集为结束状态集

说明

定义一个正则表达式^(a+)+$来对字符串aaaaX匹配。使用NFA的正则引擎,必须经历2^4=16次尝试失败后才能否定这个匹配。

同理字符串为aaaaaaaaaaX就要经历2^10=1024次尝试。如果我们继续增加a的个数为20个、30个或者更多,那么这里的匹配会变成指数增长

从一次CPU打满到ReDos攻击和防范

常见ReDoS场景

以java为例,有以下几种常见的ReDoS场景:

1、使用javax.validation.constraints.Pattern验证入参是否合理的场景

/**
 * 客户备注
 * */
@ExcelProperty(index = 14)
@Length(min = 11 , max = 11, message = "VAT号必须为11位")
@Pattern(regexp = "^(GB)\\d{9}", message = "VAT号必须以GB开头,9位数字结尾")
private String vatNumber;

2、使用String.matches进行业务数据验证的场景

//发票日期格式yyyy-MM-dd
String regExp = "^[1-9]\\d{3}-(0?[1-9]|1[0-2])-(0?[1-9]|[1-2][0-9]|3[0-1])$";
if (StringUtils.isNotBlank(outstockDto.getInvoiceDate()) && !outstockDto.getInvoiceDate().matches(regExp)){
    totalMsg.add(new ErrorMsgDTO(ResultCodeEnum.OUTSTOCK_INVOICE_DATE_FORMAT_ERROR.getCode()));
}

3、使用String.replaceAll做参数替换的场景

private String getParamName(String str) {
    if (PATTERN_START_END.matcher(str).matches()) {
        String newStr = str.replaceAll("#\\{", "").replaceAll("\\}", "");
        if (StringUtils.isEmpty(newStr)) {
            return "";
        } else if (newStr.contains(".")) {
            return StringUtils.substringAfterLast(newStr, ".");
        }
        return newStr;
    }
    return null;
}

4、配置文件匹配参数的场景

# joybuy登录主域
joybuy.login.domain = .*fop\.joybuy\.com$
# 欧美B账号登录主域
pulsar.login.domain = .*ifop\.jd\.com$

ReDoS检测

1、RegexStaticAnalysis工具

测试方式如下:

使用maven package 打包后执行本地运行,输入需要测试的正则表达式

从一次CPU打满到ReDos攻击和防范

2、在线测试地址:https://regex101.com/

测试方式:

直接在输入框输入正则表达式和需要测试的字符串,既可以看到对饮匹配的步数和结果

从一次CPU打满到ReDos攻击和防范

在dubugger模式下可以查看匹配的详细过程和步数

从一次CPU打满到ReDos攻击和防范

防范手段

防范手段只是为了降低风险而不能百分百消除 ReDoS 这种威胁。当然为了避免这种威胁的最好手段是尽量减少正则在业务中的使用场景或者多做测试, 增加服务器的性能监控等

  • 降低正则表达式的复杂度, 尽量少用分组

  • 严格限制用户输入的字符串长度

  • 使用单元测试、fuzzing 测试保证安全

  • 使用静态代码分析工具

  • 增加性能监控,如ump、pfinder等

解决方法

了解了ReDoS的原理和防范,针对本次CPU的报警代码进行了优化,采用判断请求路径和分割字符串的方式获取访问的域,避免使用正则表达式导致的ReDoS问题

实际修复代码

public static String extractDomain(String url) {
    if(StringUtils.isBlank(url)) {
        return "";
    }
    int index = 0;
    if(url.startsWith(HTTP)) {
        index = HTTP.length();
    } else if(url.startsWith(HTTPS)) {
        index = HTTPS.length();
    } else {
        return "";
    }
    String safeUrl = url.substring(index);
    index = safeUrl.indexOf('/');
    if(index > 0) {
        safeUrl = safeUrl.substring(0, index);
    }
    String[] array = safeUrl.split("\\.");
    if(array.length < 2) {
        return "";
    }
    String part1 = array[array.length - 2];
    String part2 = array[array.length - 1];


    if(StringUtils.isNotBlank(part1) && StringUtils.isNotBlank(part2)) {
        if(!isIn(part2, DOMAINS)) {
            return "";
        }
        return part1 + '.' + part2;
    }
    return "";
}
点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
3年前
PPDB:今晚老齐直播
【今晚老齐直播】今晚(本周三晚)20:0021:00小白开始“用”飞桨(https://www.oschina.net/action/visit/ad?id1185)由PPDE(飞桨(https://www.oschina.net/action/visit/ad?id1185)开发者专家计划)成员老齐,为深度学习小白指点迷津。
Wesley13 Wesley13
3年前
VBox 启动虚拟机失败
在Vbox(5.0.8版本)启动Ubuntu的虚拟机时,遇到错误信息:NtCreateFile(\\Device\\VBoxDrvStub)failed:0xc000000034STATUS\_OBJECT\_NAME\_NOT\_FOUND(0retries) (rc101)Makesurethekern
Wesley13 Wesley13
3年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
PHP创建多级树型结构
<!lang:php<?php$areaarray(array('id'1,'pid'0,'name''中国'),array('id'5,'pid'0,'name''美国'),array('id'2,'pid'1,'name''吉林'),array('id'4,'pid'2,'n
Easter79 Easter79
3年前
SpringBoot整合Redis乱码原因及解决方案
问题描述:springboot使用springdataredis存储数据时乱码rediskey/value出现\\xAC\\xED\\x00\\x05t\\x00\\x05问题分析:查看RedisTemplate类!(https://oscimg.oschina.net/oscnet/0a85565fa
Wesley13 Wesley13
3年前
Java日期时间API系列36
  十二时辰,古代劳动人民把一昼夜划分成十二个时段,每一个时段叫一个时辰。二十四小时和十二时辰对照表:时辰时间24时制子时深夜11:00凌晨01:0023:0001:00丑时上午01:00上午03:0001:0003:00寅时上午03:00上午0
Stella981 Stella981
3年前
Jenkins 插件开发之旅:两天内从 idea 到发布(上篇)
本文首发于:Jenkins中文社区(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fjenkinszh.cn)!huashan(https://oscimg.oschina.net/oscnet/f499d5b4f76f20cf0bce2a00af236d10265.jpg)
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_