线上环境 CPU 使用率飙升如何快速排查?

商务办公
这里就不麻烦地建 Web 项目了,用一个最原始的 Java 项目来模拟高 CPU 场景。打开 IDEA,创建一个 Java 项目,里面写一个死循环,循环里面不断地创建对象。

相比于一大堆复杂的 JVM 调优过程,本文介绍的排查步骤还是挺简单的,可以帮助各位小伙伴排查一些简单问题,面试官问起来也好过啥也不会(这个 CPU 打满如何排查我被问过好多次......)。

模拟高 CPU 场景

这里就不麻烦地建 Web 项目了,用一个最原始的 Java 项目来模拟高 CPU 场景。打开 IDEA,创建一个 Java 项目,里面写一个死循环,循环里面不断地创建对象:

图片

然后打成 jar 包,这个没啥难度,懒得敲命令的话直接 IDEA 中点几下就可以,File -> Project Settings -> Artifacts:

图片

执行成功后可以在 /out/artifacts/highCpuTest.jar 文件夹下找到 jar 包:

图片

将这个 jar 包上传到服务器中并运行(我是上传到 /home/test 目录下了)。为了防止把服务器搞崩,我选择利用 Docker 运行,并限制了最大内存 200M。具体步骤如下:

这块不是重点哈,可以直接忽略

首先拉取 JDK 镜像并创建一个名为 high-cpu-test 的容器:

# 拉取镜像
docker pull openjdk:8
# 创建并运行容器(-m 200m,设置最大内存 200m)
docker run -d -it --name high-cpu-test -m 200m openjdk:8

然后将 /home/test/hightCpuTest.jar 复制到 high-cpu-test 容器中的 home 目录下:

# 将 /home/test/hightCpuTest.jar 复制到 high-cpu-test 容器中的 home 目录下
docker cp /home/test/highCpuTest.jar high-cpu-test:/home

这样就可以在 Docker 中执行这个 jar 包了:

# 进入容器内部
docker exec -it high-cpu-test bash

# 执行 jar 包
cd /home
java -jar highCpuTest.jar

排查步骤

你可以选择另开一个终端然后进入 high-cpu-test 容器内部执行以下步骤

1. 找到占用 CPU 最高的进程

首先第一步,利用 top 命令监控 CPU 运行状态,显示进程运行信息,看看到底是哪些进程占用了大量 CPU:

top -c

可以键入大写的 P,使得进程按照 CPU 使用率排序:

图片

可以看到目前占用 CPU 最多的进程的 PID 是 85,遥遥领先于其他进程。

2. 找到占用 CPU 最高的线程

虽然找到了占用 CPU 最高的进程 PID 是 85,但并不能直接就开始定位代码了,因为一个进程中有很多线程,不可能所有线程都占用了大量 CPU,所以我们现在要做的就是找出 PID 85 这个进程中占用 CPU 最高的线程。

执行 top -Hp pid 命令,pid 就是上面我们排查出来的进程 PID:

top -Hp 85

然后同样的,键入大写 P,使得线程按照 CPU 使用率排序:

图片

可以看到目前占用 CPU 最多的进程的 PID 是 95,遥遥领先于其他线程。

3. 打印线程堆栈信息

接下来我们要做的就是打印出 PID 95 这个线程的堆栈信息,然后根据堆栈信息定位代码。

首先,需要通过 printf 命令将 PID 95 转化成 16 进制,因为堆栈里的线程 PID 是用 16 进制表示的

printf "%x\n" 95

图片

得到 16 进制的线程 PID 为 0x5f​。这样,就可以通过 jstack 命令查看堆栈信息了:

# jstack 进程 PID | grep '线程 16 进制 PID' -C20
jstack 85 | grep '0x5f' -C20

-C<显示行数> : 除了显示符合样式的那一行之外,并显示该行之前后的内容

执行结果如下图所示:

图片

如上图打印出了线程的堆栈信息,可以看到,定位到了 highCpuThread 线程中的 lambda 代码,具体在第 15 行。Over~

责任编辑:武晓燕 来源: 飞天小牛肉
相关推荐

2020-10-12 14:18:15

CPU技巧代码

2022-07-23 21:31:24

KubernetesLinux开源

2010-01-18 10:13:08

VB.NET获取CPU

2009-11-16 17:03:20

Oracle优化CPU

2021-11-11 16:46:02

CPU使用率 .NET

2019-01-15 15:04:54

CPU电脑使用率

2021-05-31 15:53:57

CPU Top命令

2020-07-08 07:00:00

LinuxCPU应用程序

2021-08-10 11:45:57

topCPULinux

2015-01-05 14:07:27

云计算虚拟化云环境

2019-07-24 11:52:11

CPU服务器面试官

2014-12-01 13:44:03

cgroupscpulimitlinux

2019-07-31 07:26:16

Linux服务器CPU

2010-04-27 10:32:54

Oracle优化CPU

2009-12-15 15:12:05

Linux限制进程cp

2012-07-03 09:57:11

闰秒Linux 服务器

2013-09-18 11:00:14

JavaCPU

2009-12-22 09:23:59

Linux Sysst

2010-02-04 10:52:54

CentOS CPU

2012-07-02 16:38:22

Linux服务器闰秒
点赞
收藏

51CTO技术栈公众号