技术文章

服务器CPU飚高排查

爱叨叨的程序狗

An editor at Blogzine


  • 2023-08-21
  • 44天前
  • 4647
  • 35 Views
  • 100

排查思路

当正在运行的Java服务导致服务器的CPU突然飙高时,我们该如何排查定位到哪个接口的哪行代码导致CPU飙高的问题呢?我主要提供两个方案:

  • jstack
  • arthas

准备工作

代码准备

现在需要准备一段可以让服务器CPU飙高的代码以及把代码部署到服务环境。

@RestController
@RequestMapping("/test")
public class TestController {

    @GetMapping("top")
    public void test() {
        while (true) {

        }
    }
}
打包

使用maven打包或者Docker服务将代码部署到服务器。

#整流程
mvn clean

mvn compile

mvn package

在IDEA中为:

简单部署
java -jar demo1-0.0.1-SNAPSHOT.jar > demo.log &

jstack

jstack 是 JDK 提供的一个命令行工具,用于生成 Java 进程的线程转储信息(也称为线程快照)。它可以帮助诊断和调试 Java 应用程序的线程相关问题,如死锁、线程等待、线程占用CPU过高等。

jstack 命令可以在运行中的 Java 进程上执行,它会输出当前 Java 进程中所有线程的堆栈跟踪信息。这些信息包括每个线程的方法调用栈、锁信息、线程状态等。

以下是 jstack 的一些常见用途和作用:

  • 线程分析:jstack 生成的线程转储信息可以显示 Java 进程中所有线程的堆栈跟踪信息。您可以查看每个线程的调用栈,了解线程执行的代码路径和方法调用关系。
  • 死锁检测:通过查看线程的锁信息,jstack 可以帮助您发现是否存在死锁情况。它会显示每个线程当前持有的锁和等待的锁,以及导致死锁的锁依赖关系。
  • 线程等待:jstack 可以显示线程的等待状态,帮助您确定是否存在线程等待某个资源的情况。这对于排查程序在运行时出现的卡死或长时间无响应问题非常有用。
  • CPU 使用分析:通过查看线程的 CPU 使用情况,jstack 可以帮助您确定哪些线程消耗了大量的 CPU 资源,找出可能导致 CPU 占用过高的原因。
  • 线程状态监控:jstack 提供了对线程状态的监控,您可以了解线程的状态,如运行、阻塞、等待等,以便更好地理解应用程序的运行情况。
获取CPU飙高的进程PID

top命令用于监视 Linux 系统的实时进程和系统性能信息。那么我们可以通过top命令来实时定位到那个线程占用大量CPU资源。

输入命令:

top

可以看到PID列中进程id为8066的进程CPU占用率达到了98.7%,那么我们接下来排查的就是这个进程。

定位进程中的问题线程
top -H -p PID 

该命令的作用是在 top 工具中显示指定进程ID(PID)的线程级别信息。它将以线程级别的模式显示指定进程的各个线程的详细信息。

具体解释如下:

  • -H 选项指示 top 以线程级别的模式显示信息。
  • -p pid 选项指定需要显示信息的进程ID(PID)。在这个例子中,PID 为 8066 的进程的线程信息将被显示。

将PID进程号转为16进制

以上已定位具体线程pid导致CPU飙高,那么将指定pid转换为16进制,以便下一步定位具体线程问题使用。

将一个十进制的进程ID(PID)转换为十六进制格式的字符串,可以使用 printf 命令来实现。printf 命令可以根据指定的格式将数据进行格式化输出。

printf '0x%x\n' pid
定位指定线程问题
jstack pid | grep hexadecimal -A N

具体解释如下:

  • jstack pid 用于执行 jstack 命令并生成线程转储信息。
  • | 是管道符号,将 jstack 命令的输出传递给下一个命令。
  • grep hexadecimal 表示使用 grep 命令来匹配包含 "hexadecimal" 的行。
  • -A N 选项指定在匹配到的问题代码行后显示 N 行内容。

那么可以很快定位到是TestController类第20行出现了问题。

那么我们看代码:

arthas

Arthas 是一款线上监控诊断产品,通过全局视角实时查看应用 load、内存、gc、线程的状态信息,并能在不修改应用代码的情况下,对业务问题进行诊断,包括查看方法调用的出入参、异常,监测方法执行耗时,类加载信息等,大大提升线上问题排查效率。

下载
curl -O https://arthas.aliyun.com/arthas-boot.jar
运行
java -jar arthas-boot.jar --repo-mirror aliyun --use-http

运行时arthas会提示用户选择哪个Jar服务,那么我们选择【1】,按1即可。

开始监控。

排查占用最高的线程
thread -n 1

使用arthas可以更快定位问题代码行。

更多使用技巧请参考官方文档:

Arthas

版权声明:

本文为[爱叨叨的程序狗]所创,转载请带上原文链接,感谢

https://blog.csdn.net/weixin_42313773/article/details/132396601


评论数 0



留下回复

如果您是个网络喷子或者键盘侠,那么建议您多看少说。