Linux 运维故障排查思路,有这篇文章就够了

Stella981
• 阅读 503

点击关注上方“杰哥的IT之旅”,

后台回复“Python自动化”获取精心整理的PDF。

Linux 运维故障排查思路,有这篇文章就够了

1. 背景

有时候会遇到一些疑难杂症,并且监控插件并不能一眼立马发现问题的根源。这时候就需要登录服务器进一步深入分析问题的根源。那么分析问题需要有一定的技术经验积累,并且有些问题涉及到的领域非常广,才能定位到问题。所以,分析问题和踩坑是非常锻炼一个人的成长和提升自我能力。如果我们有一套好的分析工具,那将是事半功倍,能够帮助大家快速定位问题,节省大家很多时间做更深入的事情。

2. 说明

本篇文章主要介绍各种问题定位的工具以及会结合案例分析问题。

3. 分析问题的方法论

套用5W2H方法,可以提出性能分析的几个问题

  • What-现象是什么样的

  • When-什么时候发生

  • Why-为什么会发生

  • Where-哪个地方发生的问题

  • How much-耗费了多少资源

  • How to do-怎么解决问题

4. cpu

4.1 说明

针对应用程序,我们通常关注的是内核CPU调度器功能和性能。

线程的状态分析主要是分析线程的时间用在什么地方,而线程状态的分类一般分为:

  1. on-CPU:执行中,执行中的时间通常又分为用户态时间user和系统态时间sys。

  2. off-CPU:等待下一轮上CPU,或者等待I/O、锁、换页等等,其状态可以细分为可执行、匿名换页、睡眠、锁、空闲等状态。

如果大量时间花在CPU上,对CPU的剖析能够迅速解释原因;如果系统时间大量处于off-cpu状态,定位问题就会费时很多。但是仍然需要清楚一些概念:

  • 处理器

  • 硬件线程

  • CPU内存缓存

  • 时钟频率

  • 每指令周期数CPI和每周期指令数IPC

  • CPU指令

  • 使用率

  • 用户时间/内核时间

  • 调度器

  • 运行队列

  • 抢占

  • 多进程

  • 多线程

  • 字长

4.2 分析工具

Linux 运维故障排查思路,有这篇文章就够了

说明:

  • uptime,vmstat,mpstat,top,pidstat 只能查询到cpu及负载的的使用情况。

  • perf可以跟着到进程内部具体函数耗时情况,并且可以指定内核函数进行统计,指哪打哪。

4.3 使用方式

//查看系统cpu使用情况top

5. 内存

5.1 说明

内存是为提高效率而生,实际分析问题的时候,内存出现问题可能不只是影响性能,而是影响服务或者引起其他问题。同样对于内存有些概念需要清楚:

  • 主存

  • 虚拟内存

  • 常驻内存

  • 地址空间

  • OOM

  • 页缓存

  • 缺页

  • 换页

  • 交换空间

  • 交换

  • 用户分配器libc、glibc、libmalloc和mtmalloc

  • LINUX内核级SLUB分配器

5.2 分析工具

Linux 运维故障排查思路,有这篇文章就够了

说明:

  • free,vmstat,top,pidstat,pmap只能统计内存信息以及进程的内存使用情况。

  • valgrind 可以分析内存泄漏问题。

  • dtrace 动态跟踪。需要对内核函数有很深入的了解,通过D语言编写脚本完成跟踪。

5.3 使用方式

//查看系统内存使用情况free -m

6. 磁盘IO

6.1 说明

磁盘通常是计算机最慢的子系统,也是最容易出现性能瓶颈的地方,因为磁盘离 CPU 距离最远而且 CPU 访问磁盘要涉及到机械操作,比如转轴、寻轨等。访问硬盘和访问内存之间的速度差别是以数量级来计算的,就像1天和1分钟的差别一样。要监测 IO 性能,有必要了解一下基本原理和 Linux 是如何处理硬盘和内存之间的 IO 的。

在理解磁盘IO之前,同样我们需要理解一些概念,例如:

  • 文件系统

  • VFS

  • 文件系统缓存

  • 页缓存page cache

  • 缓冲区高速缓存buffer cache

  • 目录缓存

  • inode

  • inode缓存

  • noop调用策略

6.2 分析工具

Linux 运维故障排查思路,有这篇文章就够了

6.3 使用方式

//查看系统io信息iotop

7. 网络

7.1 说明

网络的监测是所有 Linux 子系统里面最复杂的,有太多的因素在里面,比如:延迟、阻塞、冲突、丢包等,更糟的是与 Linux 主机相连的路由器、交换机、无线信号都会影响到整体网络并且很难判断是因为 Linux 网络子系统的问题还是别的设备的问题,增加了监测和判断的复杂度。现在我们使用的所有网卡都称为自适应网卡,意思是说能根据网络上的不同网络设备导致的不同网络速度和工作模式进行自动调整。

7.2 分析工具

Linux 运维故障排查思路,有这篇文章就够了

7.3 使用方式

//显示网络统计信息netstat -s

8. 系统负载

8.1 说明

Load 就是对计算机干活多少的度量(WikiPedia:the system Load is a measure of the amount of work that a compute system is doing)简单的说是进程队列的长度。Load Average 就是一段时间(1分钟、5分钟、15分钟)内平均Load。

8.2 分析工具

Linux 运维故障排查思路,有这篇文章就够了

8.3 使用方式

//查看负载情况uptimetopvmstat

9. 火焰图

9.1 说明

火焰图(Flame Graph是 Bredan Gregg 创建的一种性能分析图表,因为它的样子近似 ?而得名。

火焰图主要是用来展示 CPU的调用栈。

y 轴表示调用栈,每一层都是一个函数。调用栈越深,火焰就越高,顶部就是正在执行的函数,下方都是它的父函数。

x 轴表示抽样数,如果一个函数在 x 轴占据的宽度越宽,就表示它被抽到的次数多,即执行的时间长。注意,x 轴不代表时间,而是所有的调用栈合并后,按字母顺序排列的。

火焰图就是看顶层的哪个函数占据的宽度最大。只要有”平顶”(plateaus),就表示该函数可能存在性能问题。颜色没有特殊含义,因为火焰图表示的是 CPU 的繁忙程度,所以一般选择暖色调。

常见的火焰图类型有 On-CPU、Off-CPU、Memory、Hot/Cold、Differential等等。

9.2 安装依赖库

//安装systemtap,默认系统已安装yum install systemtap systemtap-runtime

9.3 安装

git clone https://github.com/lidaohang/quick_location.gitcd quick_location

9.4 CPU级别火焰图

cpu占用过高,或者使用率提不上来,你能快速定位到代码的哪块有问题吗?

一般的做法可能就是通过日志等方式去确定问题。现在我们有了火焰图,能够非常清晰的发现哪个函数占用cpu过高,或者过低导致的问题。

9.4.1 on-CPU

cpu占用过高,执行中的时间通常又分为用户态时间user和系统态时间sys。

使用方式:

//on-CPU usersh ngx_on_cpu_u.sh pid

DEMO:

#include <stdio.h>

DEMO火焰图:

Linux 运维故障排查思路,有这篇文章就够了

9.4.2 off-CPU

cpu过低,利用率不高。等待下一轮CPU,或者等待I/O、锁、换页等等,其状态可以细分为可执行、匿名换页、睡眠、锁、空闲等状态。

使用方式:

// off-CPU usersh ngx_off_cpu_u.sh pid

官网DEMO:

Linux 运维故障排查思路,有这篇文章就够了

9.5 内存级别火焰图

如果线上程序出现了内存泄漏,并且只在特定的场景才会出现。这个时候我们怎么办呢?有什么好的方式和工具能快速的发现代码的问题呢?同样内存级别火焰图帮你快速分析问题的根源。

使用方式:

sh ngx_on_memory.sh pid

官网DEMO:

Linux 运维故障排查思路,有这篇文章就够了

9.6 性能回退-红蓝差分火焰图

你能快速定位CPU性能回退的问题么?如果你的工作环境非常复杂且变化快速,那么使用现有的工具是来定位这类问题是很具有挑战性的。当你花掉数周时间把根因找到时,代码已经又变更了好几轮,新的性能问题又冒了出来。主要可以用到每次构建中,每次上线做对比看,如果损失严重可以立马解决修复。

通过抓取了两张普通的火焰图,然后进行对比,并对差异部分进行标色:红色表示上升,蓝色表示下降。差分火焰图是以当前(“修改后”)的profile文件作为基准,形状和大小都保持不变。因此你通过色彩的差异就能够很直观的找到差异部分,且可以看出为什么会有这样的差异。

使用方式:

cd quick_location

DEMO:

//test.c

DEMO红蓝差分火焰图:

Linux 运维故障排查思路,有这篇文章就够了

10. 案例分析

10.1 接入层nginx集群异常现象

通过监控插件发现在 2017.09.25 19 点nginx集群请求流量出现大量的499,5xx状态码。并且发现机器cpu使用率升高,目前一直持续中。

10.2 分析nginx相关指标

a) _**_分析nginx请求流量:

Linux 运维故障排查思路,有这篇文章就够了

结论:

通过上图发现流量并没有突增,反而下降了,跟请求流量突增没关系。

b) _**_分析nginx响应时间
Linux 运维故障排查思路,有这篇文章就够了

结论:

通过上图发现nginx的响应时间有增加可能跟nginx自身有关系或者跟后端upstream响应时间有关系。

c) _**_分析nginx upstream响应时间

Linux 运维故障排查思路,有这篇文章就够了

结论:

通过上图发现nginx upstream 响应时间有增加,目前猜测可能后端upstream响应时间拖住nginx,导致nginx出现请求流量异常。

10.3 分析系统cpu情况

a) _**_通过top观察系统指标

top

Linux 运维故障排查思路,有这篇文章就够了

结论:

发现nginx worker cpu比较高

b) _**_分析nginx进程内部cpu情况

perf top -p pid

结论:

发现主要开销在free,malloc,json解析上面

10.4 火焰图分析cpu
a) _**_生成用户态cpu火焰图

//on-CPU usersh ngx_on_cpu_u.sh pid

Linux 运维故障排查思路,有这篇文章就够了

结论:

发现代码里面有频繁的解析json操作,并且发现这个json库性能不高,占用cpu挺高。

10.5 案例总结

a) 分析请求流量异常,得出nginx upstream后端机器响应时间拉长

b) 分析nginx进程cpu高,得出nginx内部模块代码有耗时的json解析以及内存分配回收操作

10.5.1 深入分析

根据以上两点问题分析的结论,我们进一步深入分析。

后端upstream响应拉长,最多可能影响nginx的处理能力。但是不可能会影响nginx内部模块占用过多的cpu操作。并且当时占用cpu高的模块,是在请求的时候才会走的逻辑。不太可能是upstram后端拖住nginx,从而触发这个cpu的耗时操作。

10.5.2 解决方式

遇到这种问题,我们优先解决已知的,并且非常明确的问题。那就是cpu高的问题。解决方式先降级关闭占用cpu过高的模块,然后进行观察。经过降级关闭该模块cpu降下来了,并且nginx请求流量也正常了。之所以会影响upstream时间拉长,因为upstream后端的服务调用的接口可能是个环路再次走回到nginx。

11.参考资料

作者:Lucien_168
链接:https://www.jianshu.com/p/0bbac570fa4c

- End -

本公众号全部博文已整理成一个目录,请在公众号后台回复「

m

」获取!

          推荐阅读: 
          
          
           
            
             
              
               
               
                 1、 
                超详细!一文带你了解 LVS 负载均衡集群! 
                2、 
                总结 90 条写 Python 程序的建议 
                3、 
                Shell 脚本的 10 个有用的“面试问题和解答” 
                4、 
                为什么老编辑器 Vim 这么难用,却很受欢迎? 
                5、 
                提升系统 10 倍性能的 10 个建议! 
                6、 
                摸鱼神器:在 Linux 命令行下玩斗地主! 
                
               
              
             
            
           
          
            关注微信公众号『 
           杰哥的IT之旅』,后台回复“ 
           1024”查看更多内容,回复“ 
           微信”添加我微信即可加入读者交流群。 
           
           
            
           
          
        
      
        
   
       
       
       
     
       
  
      
      
      
    
      
 
     
     
     
   
     

    
    
    




       
       
       
       
         
 
        
        
        
        
          
  
         
         
         
         
           
   
          
          
          
          
            
    
           
           
            
             
              
               
              
              
              点个[在看],是对杰哥最大的支持! 
              
             
           
         
           
   
          
          
          
        
          
  
         
         
         
       
         
 
        
        
        
      
        

       
       
       

本文分享自微信公众号 - 杰哥的IT之旅(Jake_Internet)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
3个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
VS Code 的 7 个开源替代品!
点击关注上方“杰哥的IT之旅”,后台回复“Python自动化(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzAwMjg1NjY3Nw%3D%3D%26mid%3D2247491317%26id
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
2020年8月程序员工资统计,平均14401元,下跌势头止住了!
点击关注上方“杰哥的IT之旅”,后台回复“Python自动化(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzAwMjg1NjY3Nw%3D%3D%26mid%3D2247491317%26id
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
9个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这