社区编辑申请
注册/登录
Java服务化系统线上应急和技术攻关,你必须拥有的那些应用层脚本和Java虚拟机命令
开发 开发工具
无论是技术开发人员还是架构设计人员都是在实践中成长起来的,他们通过实践进行总结,总结后把经验升华并再次应用到实践中去,进一步提供生产效率。

无论是技术开发人员还是架构设计人员都是在实践中成长起来的,他们通过实践进行总结,总结后把经验升华并再次应用到实践中去,进一步提供生产效率。

Java服务化系统线上应急和技术攻关,你必须拥有的那些应用层脚本和Java虚拟机命令

本文介绍笔者在互联网公司里线上应急和技术攻关过程中积累的应用层脚本和Java虚拟机命令,这些脚本和命令在发现问题和定位问题的过程中起到关键作用,在特定的问题环境下,堪称快速定位问题的小倚天剑以及快速解决问题的微屠龙刀。

本文在介绍脚本和命令之前,先给大家介绍笔者的Linux环境以及在Linux环境下搭建的一个原创Java发号器服务,用来向大家演示脚本和命令的使用方法,力争做到让大家拿来即用的效果。另外,在介绍完所有的脚本和命令之后,我会把所有的命令和脚本收集在一个表格中,便于大家随时参考和使用,并推荐大家把这个表格打印出来放在自己的办公桌上,需要的时候看一眼,便可快速发现和解决问题的工具。

脚本和命令系列主题中计划提供两篇文章,这篇文章是脚本和命令系列主题中的其中一篇,本文聚焦在那些“神奇的”应用层脚本和Java虚拟机命令,曾经在不同程度上帮助笔者在线上应急和技术攻关的过程中解决过不小的问题,通过这篇文章把这些脚本和命令推广给读者,让读者也能够应用在实践中,切实有效的帮助读者解决实际问题。

另外一篇文章聚焦在线上应急和技术攻关过程中,你必须学会使用的那些Linux底层基础命令,包括Linux内存、CPU利用率、IO、网络IO等的监控工具、性能测试工具、安全工具、以及其他实用工具等,这篇文章会在后续尽快发布给读者。

1. 环境搭建和示例服务启动

首先,使用的Linux版本为:

  • OS:Ubuntu 14.04.2 LTS
  • 内核:3.16.0-30-generic
  • 硬件架构:x86_64

使用的JDK版本为:

  • jdk1.8.0_20

为了让大家了解使用命令的真实环境,我们在Linux系统中搭建了原创发号器服务Vesta,在介绍下面的每个命令的同时,都会以监控和维护原创发号器服务为例来说明,如果大家对发号器服务的设计、实现和使用方式感兴趣,或者大家想了解如何开发一款专业的开源软件,请参考文章如何设计一款多场景分布式发号器,本文聚焦在如何使用这些高效的脚本和Linux命令来维护一款线上服务。

为了搭建Vesta发号器服务,我们需要从Github地址

https://github.com/robertleepeak/vesta-id-generator.git下载源代码:

  1. robert@robert-ubuntu1410:~/working/workspace$ git clone https://github.com/robertleepeak/vesta-id-generator.git 
  2. 正克隆到 'vesta-id-generator'... 
  3. remote: Counting objects: 944, done. 
  4. remote: Compressing objects: 100% (53/53), done. 
  5. 接收对象中: 100% (944/944), 474.66 KiB | 337.00 KiB/s, done. 
  6. remote: Total 944 (delta 19), reused 0 (delta 0), pack-reused 881 
  7. 处理 delta 中: 100% (221/221), done. 
  8. 检查连接... 完成。 

下载后工作目录为:

  1. robert@robert-ubuntu1410:~/working/workspace$ ll 
  2. 总用量 12 
  3. drwxrwxr-x  3 robert robert 4096  4月  8 18:31 ./ 
  4. drwxr-xr-x  6 robert robert 4096  4月  8 17:33 ../ 
  5. drwxrwxr-x 12 robert robert 4096  4月  8 18:31 vesta-id-generator/ 

进入Vesta发号器项目根目录并列出目录结构:

  1. robert@robert-ubuntu1410:~/working/workspace/vesta-id-generator$ ll 
  2. 总用量 108 
  3. drwxrwxr-x 12 robert robert  4096  4月  8 18:31 ./ 
  4. drwxrwxr-x  3 robert robert  4096  4月  8 18:31 ../ 
  5. -rwxrwxr-x  1 robert robert  3843  4月  8 18:31 assembly.xml* 
  6. -rwxrwxr-x  1 robert robert   494  4月  8 18:31 brief.txt* 
  7. -rwxrwxr-x  1 robert robert    65  4月  8 18:31 deploy-maven.sh* 
  8. -rw-rw-r--  1 robert robert 12292  4月  8 18:31 .DS_Store 
  9. drwxrwxr-x  8 robert robert  4096  4月  8 18:31 .git/ 
  10. -rwxrwxr-x  1 robert robert   231  4月  8 18:31 .gitignore* 
  11. -rwxrwxr-x  1 robert robert 11358  4月  8 18:31 LICENSE* 
  12. -rwxrwxr-x  1 robert robert   902  4月  8 18:31 make-release.sh* 
  13. -rwxrwxr-x  1 robert robert  1985  4月  8 18:31 pom.xml* 
  14. -rwxrwxr-x  1 robert robert  2515  4月  8 18:31 README.md* 
  15. -rwxrwxr-x  1 robert robert  1429  4月  8 18:31 todo.txt* 
  16. drwxrwxr-x  3 robert robert  4096  4月  8 18:31 vesta-client/ 
  17. drwxrwxr-x  2 robert robert  4096  4月  8 18:31 vesta-doc/ 
  18. drwxrwxr-x  3 robert robert  4096  4月  8 18:31 vesta-intf/ 
  19. drwxrwxr-x  3 robert robert  4096  4月  8 18:31 vesta-rest/ 
  20. drwxrwxr-x  3 robert robert  4096  4月  8 18:31 vesta-rest-netty/ 
  21. drwxrwxr-x  4 robert robert  4096  4月  8 18:31 vesta-sample/ 
  22. drwxrwxr-x  3 robert robert  4096  4月  8 18:31 vesta-server/ 
  23. drwxrwxr-x  4 robert robert  4096  4月  8 18:31 vesta-service/ 
  24. drwxrwxr-x  3 robert robert  4096  4月  8 18:31 vesta-theme/ 

然后,直接运行发布脚本make-release.sh进行打包发布:

  1. robert@robert-ubuntu1410:~/working/workspace/vesta-id-generator$ ./make-release.sh  
  2. [INFO] Scanning for projects... 
  3. [INFO] ------------------------------------------------------------------------ 
  4. [INFO] Reactor Build Order: 
  5. [INFO]  
  6. [INFO] vesta-id-generator 
  7. [INFO] vesta-intf 
  8. [INFO] vesta-service 
  9. [INFO] vesta-rest 
  10. [INFO] vesta-rest-netty 
  11. [INFO] vesta-client 
  12. [INFO] vesta-server 
  13. [INFO] vesta-sample 
  14. [INFO] vesta-sample-embed 
  15. [INFO] vesta-sample-client 
  16. ...... 
  17. [INFO] ------------------------------------------------------------------------ 
  18. [INFO] Reactor Summary: 
  19. [INFO]  
  20. [INFO] vesta-id-generator ................................. SUCCESS [ 11.630 s] 
  21. [INFO] vesta-intf ......................................... SUCCESS [  3.489 s] 
  22. [INFO] vesta-service ...................................... SUCCESS [  1.140 s] 
  23. [INFO] vesta-rest ......................................... SUCCESS [  4.749 s] 
  24. [INFO] vesta-rest-netty ................................... SUCCESS [  2.482 s] 
  25. [INFO] vesta-client ....................................... SUCCESS [  0.111 s] 
  26. [INFO] vesta-server ....................................... SUCCESS [  1.879 s] 
  27. [INFO] vesta-sample ....................................... SUCCESS [  0.005 s] 
  28. [INFO] vesta-sample-embed ................................. SUCCESS [  0.475 s] 
  29. [INFO] vesta-sample-client ................................ SUCCESS [  0.200 s] 
  30. [INFO] ------------------------------------------------------------------------ 
  31. [INFO] BUILD SUCCESS 
  32. [INFO] ------------------------------------------------------------------------ 
  33. [INFO] Total time: 27.026 s 
  34. [INFO] Finished at: 2017-04-08T21:31:34+08:00 
  35. [INFO] Final Memory: 42M/616M 
  36. [INFO] ------------------------------------------------------------------------ 

最后,启动发号器REST服务:

  1. robert@robert-ubuntu1410:~/working/workspace/vesta-id-generator/releases/vesta-id-generator-0.0.1-release/bin$ ll 
  2. 总用量 110968 
  3. drwxrwxr-x 2 robert robert     4096  4月  8 21:34 ./ 
  4. drwxrwxr-x 6 robert robert     4096  4月  8 21:34 ../ 
  5. -rw-rw-r-- 1 robert robert 47117221  4月  8 21:34 vesta-all-src-0.0.1.tar.gz 
  6. -rw-rw-r-- 1 robert robert 34524462  4月  8 21:34 vesta-lib-0.0.1.tar.gz 
  7. -rw-rw-r-- 1 robert robert 14745549  4月  8 21:33 vesta-rest-0.0.1-bin.tar.gz 
  8. -rw-rw-r-- 1 robert robert  8656473  4月  8 21:33 vesta-rest-netty-0.0.1-bin.tar.gz 
  9. -rw-rw-r-- 1 robert robert  8539966  4月  8 21:33 vesta-server-0.0.1-bin.tar.gz 
  10. -rw-rw-r-- 1 robert robert    27079  4月  8 21:34 vesta-src-0.0.1.tar.gz 
  11. robert@robert-ubuntu1410:~/working/workspace/vesta-id-generator/releases/vesta-id-generator-0.0.1-release/bin$ tar xzvf vesta-rest-0.0.1-bin.tar.gz 
  12. vesta-rest-0.0.1/bin/ 
  13. vesta-rest-0.0.1/bin/server.sh 
  14. vesta-rest-0.0.1/bin/start.sh 
  15. vesta-rest-0.0.1/bin/check.sh 
  16. vesta-rest-0.0.1/bin/stop.sh 
  17. vesta-rest-0.0.1/lib/vesta-rest-0.0.1.jar 
  18. vesta-rest-0.0.1/lib/vesta-rest-0.0.1-sources.jar 
  19.  
  20. robert@robert-ubuntu1410:~/working/workspace/vesta-id-generator/releases/vesta-id-generator-0.0.1-release/bin/vesta-rest-0.0.1/bin$ ./start.sh 
  21. apppath: /home/robert/working/workspace/vesta-id-generator/releases/vesta-id-generator-0.0.1-release/bin/vesta-rest-0.0.1 
  22. Vesta Rest Server is started. 

然后,使用curl语句测试发号器服务是否正常运行:

  1. robert@robert-ubuntu1410:~/working/workspace/vesta-id-generator/releases/vesta-id-generator-0.0.1-release/bin/vesta-rest-0.0.1/bin$ curl "http://localhost:8080/genid" 
  2. 2382742310220727293 
  3.  
  4. robert@robert-ubuntu1410:~/working/workspace/vesta-id-generator/releases/vesta-id-generator-0.0.1-release/bin/vesta-rest-0.0.1/bin$ curl "http://localhost:8080/expid?id=2382742310220727293
  5. {"machine":1021,"seq":0,"time":71618055,"genMethod":2,"type":0,"version":0} 

看见发号器正确产生ID=2382742310220727293,并能反解成JSON字符串:

  1. {"machine":1021,"seq":0,"time":71618055,"genMethod":2,"type":0,"version":0} 

这说明发号器服务启动正常,然后使用Linux命令查看服务进程,确保服务进程运行正常:

  1. robert@robert-ubuntu1410:~$ ps -elf | grep java 
  2. 0 S robert    8244  1847  2  80   0 - 231991 futex_ 21:54 pts/7   00:00:23 java -server -Xms512m -Xmx512m -Xmn128m -XX:PermSize=128m -Xss256k -XX:+DisableExplicitGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=60 -verbose:gc -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+PrintGCDetails -Xloggc:./logs/gc.log -cp /home/robert/working/workspace/vesta-id-generator/releases/vesta-id-generator-0.0.1-release/bin/vesta-rest-0.0.1/extlib -jar ./lib/vesta-rest-0.0.1.jar 

接下来的章节我们围绕这个服务来介绍后续的每个脚本和命令。

2. 神奇的脚本解决不可思议的问题

本章介绍那些“神奇的”脚本,这些“神奇的”脚本伴我度过了多少个日日夜夜已经不记得了,凡是线上有紧急问题的时候,或者做一个疑难问题的技术攻关的时候,我都会与他们并肩作战,同时也为多个同事解决了不少“不可思议的”问题,因此,这里我希望能够把这些脚本分享给每一个奋斗在一线的技术人员,帮助他们解决手头上的棘手问题。

如果大家对脚本开发感兴趣,可以加入我的开源项目wizard-scripts,我们把实践过程中使用的脚本逐渐的汇总,最后形成一个专业的开源项目,来帮助更多的同行们,欢迎大家加入开源队伍。

2.1 show-busiest-java-threads

此命令通过结合Linux操作系统的ps命令和jvm自带的jstack命令,查找Java进程内CPU利用率最高的线程,一般适用于服务器负载较高的场景,并需要快速定位导致负载高的原因。

本脚本来自一个叫候鸟树(笔者在互联网行业入行前的引路人)的网友,原作者不详,这里保留原作者名为了表示对技术人的尊重。

命令格式:

  1. ./show-busiest-java-threads -p 进程号 -c 显示条数 
  2.  
  3. ./show-busiest-java-threads -h 

使用示例:

  1. ./show-busiest-java-threads -p 8244 -c 3 

示例输出:

  1. robert@robert-ubuntu1410:~/working/scripts$ ./show-busiest-java-threads -p 8244 -c 3 
  2. The stack of busy(0.3%) thread(8257/0x2041) of java process(8244) of user(robert): 
  3. "C2 CompilerThread1" #7 daemon prio=9 os_prio=0 tid=0xc545d400 nid=0x2041 waiting on condition [0x00000000] 
  4.    java.lang.Thread.State: RUNNABLE 
  5.  
  6. The stack of busy(0.3%) thread(8256/0x2040) of java process(8244) of user(robert): 
  7. "C2 CompilerThread0" #6 daemon prio=9 os_prio=0 tid=0xc545bc00 nid=0x2040 waiting on condition [0x00000000] 
  8.    java.lang.Thread.State: RUNNABLE 
  9.  
  10. The stack of busy(0.1%) thread(8260/0x2044) of java process(8244) of user(robert): 
  11. "VM Periodic Task Thread" os_prio=0 tid=0xc5463c00 nid=0x2044 waiting on condition 

脚本源码:

  1. #!/bin/bash 
  2. # @Function 
  3. # Find out the highest cpu consumed threads of java, and print the stack of these threads. 
  4. # @Usage 
  5. #   $ ./show-busy-java-threads 
  6. # @author Jerry Lee 
  7.  
  8. PROG=`basename $0` 
  9.  
  10. usage() { 
  11.     cat < /dev/null; then 
  12.     [ -n "$JAVA_HOME" ] && [ -f "$JAVA_HOME/bin/jstack" ] && [ -x "$JAVA_HOME/bin/jstack" ] && { 
  13.         export PATH="$JAVA_HOME/bin:$PATH" 
  14.     } || { 
  15.         redEcho "Error: jstack not found on PATH and JAVA_HOME!" 
  16.         exit 1 
  17.     } 
  18. fi 
  19.  
  20. uuid=`date +%s`_${RANDOM}_$$ 
  21.  
  22. cleanupWhenExit() { 
  23.     rm /tmp/${uuid}_* &> /dev/null 
  24. trap "cleanupWhenExit" EXIT 
  25.  
  26. printStackOfThread() { 
  27.     while read threadLine ; do 
  28.         pid=`echo ${threadLine} | awk '{print $1}'` 
  29.         threadId=`echo ${threadLine} | awk '{print $2}'` 
  30.         threadId0x=`printf %x ${threadId}` 
  31.         user=`echo ${threadLine} | awk '{print $3}'` 
  32.         pcpu=`echo ${threadLine} | awk '{print $5}'` 
  33.  
  34.         jstackFile=/tmp/${uuid}_${pid} 
  35.  
  36.         [ ! -f "${jstackFile}" ] && { 
  37.             jstack ${pid} > ${jstackFile} || { 
  38.                 redEcho "Fail to jstack java process ${pid}!" 
  39.                 rm ${jstackFile} 
  40.                 continue 
  41.             } 
  42.         } 
  43.  
  44.         redEcho "The stack of busy(${pcpu}%) thread(${threadId}/0x${threadId0x}) of java process(${pid}) of user(${user}):" 
  45.         sed "/nid=0x${threadId0x}/,/^$/p" -n ${jstackFile} 
  46.     done 
  47.  
  48. [ -z "${pid}" ] && { 
  49.     ps -Leo pid,lwp,user,comm,pcpu --no-headers | awk '$4=="java"{print $0}' | 
  50.     sort -k5 -r -n | head --lines "${count}" | printStackOfThread 
  51. } || { 
  52.     ps -Leo pid,lwp,user,comm,pcpu --no-headers | awk -v "pid=${pid}" '$1==pid,$4=="java"{print $0}' | 
  53.     sort -k5 -r -n | head --lines "${count}" | printStackOfThread 

2.2 find-in-jar

此脚本在Jar包中的包名和类名中查找某一关键字,并高亮显示匹配的Jar包名称和路径,多用于定位java.lang.NoClassDefFoundError和java.lang.ClassNotFoundException的问题,以及类版本重复或者冲突的问题等。

此脚本是笔者的原创,在不同的公司里帮助很多同事解决了大项目中类版本重复和冲突的问题。

命令格式:

  1. find-in-jar 关键字或者类名 路径 

使用示例:

  1. find-in-jar ByteBufferHolder . 

示例输出:

  1. robert@robert-ubuntu1410:~/working/workspace/vesta-id-generator$ find-in-jar ByteBufferHolder . 
  2. ./releases/vesta-id-generator-0.0.1-release/lib/tomcat-embed-core-8.0.20.jar 
  3.      1165  2015-02-15 18:11   org/apache/coyote/ByteBufferHolder.class 
  4. ./target/vesta-id-generator-0.0.1-release/lib/tomcat-embed-core-8.0.20.jar 
  5.      1165  2015-02-15 18:11   org/apache/coyote/ByteBufferHolder.class 

脚本源码:

  1. #!/bin/bash 
  2.  
  3. find . -name "*.jar" > /tmp/find_in_jar_temp 
  4.  
  5. while read line 
  6. do 
  7.   if unzip -l $line | grep $1 &> /tmp/find_in_jar_temp_second 
  8.   then 
  9.     echo $line | sed 's#\(.*\)#\x1b[1;31m\1\x1b[00m#' 
  10.     cat /tmp/find_in_jar_temp_second 
  11.   fi 
  12. done < /tmp/find_in_jar_temp 

2.3 grep-in-jar

次脚本在Jar包中进行二进制内容查找,通常会解决一些线上出现的“不可思议”的问题,例如:某些功能上线没有生效、某些日志没有打印等,通常是上线工具或者上线过程出现了问题,把线上的二进制包拉下来并查找特定的关键字来定位问题。

此脚本最初来自于微博同事Axb,后来进行了些许修改,在很多棘手的问题上表现了强大的战斗力。

命令格式:

  1. grep-in-jar 关键字 路径 

使用示例:

  1. grep-in-jar "vesta" . 

示例输出:

  1. robert@robert-ubuntu1410:~/working/workspace/vesta-id-generator$ grep-in-jar "vesta" . 
  2. find 'vesta' in .  
  3. ==> Found "vesta" in ./vesta-sample/vesta-sample-embed/target/vesta-sample-embed-0.0.1.jar 
  4. ==> Found "vesta" in ./vesta-sample/vesta-sample-embed/target/vesta-sample-embed-0.0.1-sources.jar 
  5. ==> Found "vesta" in ./vesta-sample/vesta-sample-client/target/vesta-sample-client-0.0.1.jar 
  6. ==> Found "vesta" in ./vesta-sample/vesta-sample-client/target/vesta-sample-client-0.0.1-sources.jar 
  7. ==> Found "vesta" in ./vesta-rest-netty/target/vesta-rest-netty-0.0.1-sources.jar 
  8. ==> Found "vesta" in ./vesta-rest-netty/target/vesta-rest-netty-0.0.1.jar 

脚本源码:

  1. #!/bin/bash 
  2. ### grep text in jars 
  3.  
  4. if [ $# -lt 2 ];then 
  5.     echo 'Usage : jargrep text path' 
  6.     exit 1; 
  7. fi 
  8.  
  9. LOOK_FOR=$1 
  10. LOOK_FOR=`echo ${LOOK_FOR//\./\/}` 
  11. folder=$2 
  12. echo "find '$LOOK_FOR' in $folder " 
  13. for i in `find $2 -name "*jar"` 
  14. do 
  15.     unzip -p $i | grep "$LOOK_FOR" > /dev/null 
  16.     if [ $? = 0   ] 
  17.     then 
  18.         echo "==> Found \"$LOOK_FOR\" in $i" 
  19.     fi 
  20. done 

2.4 jar-conflict-detect

此脚本用于识别冲突的Jar包,可以在一个根目录下找到所有包含相同类的Jar包,并且根据相同类的多少来判断Jar包的相似度,常常用于某些功能上线不可用或者没有按照预期起到作用,使用此脚本分析是否存在两个版本的类,而老版本的类被Java虚拟机加载,其实,JVM规范并没有规定类路径下相同类的加载顺序,实现JVM规范的虚拟机的实现机制也各不相同,因此无法判断相同的类中哪个版本的类会被先加载,因此Jar包冲突是个非常讨厌的问题。

此脚本最初来自于作者hongjiang,为了能够在我的Linux版本上正常运行,后来进行了些许修改,它在很多棘手的问题上表现了强大的战斗力。

命令格式:

  1. jar-conflict-detect 路径 

使用示例:

  1. jar-conflict-detect . 

示例输出:

  1. robert@robert-ubuntu1410:~/working/workspace/vesta-id-generator/target/vesta-id-generator-0.0.1-release/lib$ jar-conflict-detect . 
  2. Similarity  DuplicateClasses  File1                        File2 
  3. %21         6                 commons-logging-1.1.3.jar    jcl-over-slf4j-1.7.11.jar 
  4. %02         10                commons-beanutils-1.8.0.jar  commons-collections-3.2.1.jar 
  5. See /tmp/cp-verbose.log for more details. 

脚本源码:

  1. #!/bin/bash 
  2. if [ $# -eq 0 ];then 
  3.     echo "please enter classpath dir" 
  4.     exit -1 
  5. fi 
  6.  
  7. if [ ! -d "$1" ]; then 
  8.     echo "not a directory" 
  9.     exit -2 
  10. fi 
  11.  
  12. tmpfile="/tmp/.cp$(date +%s)" 
  13. tmphash="/tmp/.hash$(date +%s)" 
  14. verbose="/tmp/cp-verbose.log" 
  15.  
  16. declare -a files=(`find "$1" -name "*.jar"`) 
  17. for ((i=0; i < ${#files[@]}; i++)); do 
  18.     jarName=`basename ${files[$i]}` 
  19.     list=`unzip -l ${files[$i]} | awk -v fn=$jarName '/\.class$/{print $NF,fn}'` 
  20.     size=`echo "$list" | wc -l` 
  21.     echo $jarName $size >> $tmphash 
  22.     echo "$list" 
  23. done | sort | awk 'NF{ 
  24.     a[$1]++;m[$1]=m[$1]","$2}END{for(i in a) if(a[i] > 1) print i,substr(m[i],2) 
  25. }' > $tmpfile 
  26.  
  27. awk '{print $2}' $tmpfile | 
  28. awk -F',' '{i=1;for(;i<=NF;i++) for(j=i+1;j<=NF;j++) print $i,$j}' | 
  29. sort | uniq -c | sort -nrk1 | while read line; do 
  30.     dup=${line%% *} 
  31.     jars=${line#* } 
  32.     jar1=${jars% *} 
  33.     jar2=${jars#* } 
  34.     len_jar1=`grep -F "$jar1" $tmphash | grep ^"$jar1" | awk '{print $2}'` 
  35.     len_jar2=`grep -F "$jar2" $tmphash | grep ^"$jar2" | awk '{print $2}'` 
  36.     # Modified by Robert 2017.4.9 
  37.     #len=$(($len_jar1 > $len_jar2 ? $len_jar1 : $len_jar2)) 
  38.     len_jar1=`echo $len_jar1 | awk -F' ' '{print $1}'` 
  39.     len_jar2=`echo $len_jar2 | awk -F' ' '{print $1}'` 
  40.     if [ $len_jar1 -gt $len_jar2 ] 
  41.     then 
  42.       len=$len_jar1 
  43.     else 
  44.       len=$len_jar2 
  45.     fi 
  46.     per=$(echo "scale=2; $dup/$len" | bc -l) 
  47.     echo ${per/./} $dup $jar1 $jar2 
  48. done | sort -nr -k1 -k2 | 
  49. awk 'NR==1{print "Similarity DuplicateClasses File1 File2"}{print "%"$0}'| column -t 
  50.  
  51. sort $tmpfile | awk '{print $1,"\n\t\t",$2}' > $verbose 
  52. echo "See $verbose for more details." 
  53.  
  54. rm -f $tmpfile 
  55. rm -f $tmphash 

2.5 http-spy

此脚本利用Linux命令nc检查HTTP请求参数、请求头和请求体等信息,常常用于调试基于HTTP协议的服务调用,如果一次HTTP调用没有的达到预期的效果,首先检查传递的参数是否正确,这包括请求参数、请求头、请求体等信息,这种场景正式此脚本的用武之地。

命令格式:

  1. http-spy 

使用示例:

  1. http-spy 

示例输出:

  1. robert@robert-ubuntu1410:~/working/workspace/vesta-id-generator/target/vesta-id-generator-0.0.1-release/lib$ curl "http://localhost:8888?abc=def
  1. robert@robert-ubuntu1410:~/working/scripts$ ./http-spy  
  2. GET /?abc=def HTTP/1.1 
  3. User-Agent: curl/7.35.0 
  4. Host: localhost:8888 
  5. Accept: */* 

脚本源码:

  1. #!/bin/bash 
  2.  
  3. while true; do nc -l 8888; done 

2.6 show-mysql-qps

此脚本可以用于快速查看Mysql实例的负载情况,包括QPS、TPS、提交数、回滚数、并发线程、执行线程等。

命令格式:

  1. show-mysql-qps 用户名 密码 

使用示例:

  1. show-mysql-qps root ** 

示例输出:

  1. robert@robert-ubuntu1410:~/working/scripts$ show-mysql-qps.sh root ****** 
  2. QPS Commit Rollback TPS Threads_con Threads_run  
  3. -------------------------------------------------------  
  4. 1      0        0       0        1          1  
  5. 1      0        0       0        1          1  
  6. 1      0        0       0        1          1  
  7. 1      0        0       0        1          1 

脚本源码:

  1. #!/bin/bash 
  2. mysqladmin -uroot extended-status -i1 | 
  3. awk 'BEGIN{local_switch=0;print "QPS Commit Rollback TPS Threads_con Threads_run \n------------------------------------------------------- "} 
  4. $2 ~ /Queries$/ {q=$4-lq;lq=$4;} 
  5. $2 ~ /Com_commit$/ {c=$4-lc;lc=$4;} 
  6. $2 ~ /Com_rollback$/ {r=$4-lr;lr=$4; 
  7. $2 ~ /Threads_connected$/ {tc=$4;} 
  8. $2 ~ /Threads_running$/ {tr=$4; 
  9.         if(local_switch==0){ 
  10.           local_switch=1;  
  11.           count=0 
  12.         } else { 
  13.           if(count>10) { 
  14.             count=0
  15.             print "------------------------------------------------------- \nQPS Commit Rollback TPS Threads_con Threads_run \n------------------------------------------------------- "; 
  16.           } else { 
  17.             count+=1; 
  18.             printf "%-6d %-8d %-7d %-8d %-10d %d \n", q,c,r,c+r,tc,tr; 
  19.           } 
  20.         } 
  21. }' 

3. Java虚拟机相关的命令

本节介绍Java世界里那些有用的虚拟机命令,有了他们的伴随,你会感觉到解决Java世界里面的问题事半功倍。

本章并不会介绍所有的JDK自带的工具命令,而是结合实践给读者介绍那些最常用最重要的Java虚拟机相关的命令,以及一些开源的Java虚拟机工具,目的是帮助大家在现实中解决问题。

如果想全面了解JDK各种命令,请参考JDK官方文档

3.1 jad

jad反编译工具可以将字节码的二进制类反编译回Java源代码,常常用于遇到问题但是无法在源代码中定位的场景,通过反编译字节码可以分析程序事实上执行的流程,从而定位深层次的问题。

由于历史原因或者其他原因,有些时候项目依赖了没有源代码的jar包,如果出现问题需要定位,那么jad命令可是个小倚天剑。

jad下载地址:JAD

如果不习惯使用命令行,可以下载界面版本jd-gui,可以一次反编译一个JAR包,并在类之间有简单的导航操作。

界面版本jd-gui下载地址:JD-GUI

如果开发者对字节码进行了混淆,反编译的源代码将很难读懂,混淆的代码只能通过混淆后给出的摘要文件进行分析,这种场景下使用反编译工具作用不大。

使用示例:

  1. jad AbstractIdServiceImpl.class 

示例输出:

  1. robert@robert-ubuntu1410:~/working/workspace/vesta-id-generator/target/vesta-id-generator-0.0.1-release/lib/com/robert/vesta/service/impl$ jad AbstractIdServiceImpl.class 
  2. Parsing AbstractIdServiceImpl.class...The class file version is 49.0 (only 45.3, 46.0 and 47.0 are supported) 
  3.  Generating AbstractIdServiceImpl.jad 
  1. robert@robert-ubuntu1410:~/working/workspace/vesta-id-generator/target/vesta-id-generator-0.0.1-release/lib/com/robert/vesta/service/impl$ ll 
  2. 总用量 40 
  3. -rw-rw-r-- 1 robert robert 5375  4月  8 21:33 AbstractIdServiceImpl.class 
  4. -rw-rw-r-- 1 robert robert 5197  4月  9 10:01 AbstractIdServiceImpl.jad 
  5. -rw-rw-r-- 1 robert robert 2965  4月  8 21:33 IdServiceImpl.class 

3.2 btrace

java应用服务在生产环境中可能会出现各种各样的问题,有些问题在找到根源原因之前看似很“不可思议”,有些时候并没有产生异常或者错误消息,这时我们无法根据已有的日志来定位问题,那么我们需要更多的信息,例如:参数、返回值、程序逻辑判断、循环次数等信息,来追踪问题,如果临时增加日志,需要重新上线,成本较高,使用远程调试(后续会在专用文章中介绍gdb等远程调试工具)又会影响线上流量甚至导致客户程序超时,这个时候btrace应运而生,btrace可以动态地跟踪java运行时程序,将定制化的跟踪字节码切面注入到运行类中,对运行代码无侵入,根据官方信息判断对性能上的影响也可以忽略不计。

了解和下载btrace:BTRACE下载主页

btrace源代码:BTRACE Github主页

下面介绍btrace的使用方法:

命令格式:

  1. btrace [-p port] [-cp classpath] pid btrace-script 

参数解析:

  • port指定btrace agent的服务端监听端口号,供客户端连接
  • classpath用来指定依赖的类加载路径
  • pid表示进程号,可通过jps或者ps命令获取
  • btrace-script即为btrace跟踪切面脚本

在运行命令之前,我们需要编写btrace的跟踪脚本:

  1. import java.util.Date; 
  2.  
  3. import com.sun.btrace.BTraceUtils; 
  4. import static com.sun.btrace.BTraceUtils.*; 
  5. import com.sun.btrace.annotations.*; 
  6.  
  7. @BTrace 
  8. public class Btrace { 
  9.  
  10.    @OnMethod( 
  11.        clazz = "com.cloudate.controller.AdminController"
  12.        method = "sayHello"
  13.        location = @Location(Kind.RETURN) 
  14.    ) 
  15.    public static void sayHello(@Duration long duration) {//单位是纳秒,要转为毫秒 
  16.        println(strcat("duration(ms): ", str(duration / 1000000))); 
  17.    } 
  18.  

这个跟踪脚本对业务代码的方法进行拦截,并打印方法执行时间:

  1. package com.cloudate.controller; 
  2.  
  3. public class AdminController { 
  4.     public String sayHello(String name, int age) { 
  5.        return "hello everyone"; 
  6.     } 

使用示例:

  1. btrace -p 2020 -cp ~/servlet-api.jar 1507 ~/BTrace.java 

当AdminController类的sayHello被调用的时候,控制台就会打印方法执行时间,这对定位线上的棘手问题有非常大的帮助。

3.3 jmap

生产中java应用服务发生OutOfMemoryError那是家常便饭,发生了OutOfMemoryError或者发现内存不足报警,我们经常需要找到是什么原因造成的,要找到内存都去哪儿了,jmap在这个场景是用来定位问题的主要工具,它主要用来查看Java进程内存的使用情况。

jmap是JDK自带的监控工具,在JDK的根目录里可以找到。

使用示例1:

按照占用空间大小打印程序中类的列表,从这个列表中可以分析哪些类占用了比较多的内存,再结合代码找到问题的所在。

  1. jmap -histo:live 2743 

示例输出:

  1. num     #instances         #bytes  class name 
  2. --------------------------------------------- 
  3.   1:         44398        7206296  [C 
  4.   2:         23166        2789688  [B 
  5.   3:         14511        1276968  java.lang.reflect.Method 
  6.   4:         43256         692096  java.lang.String 
  7.   5:         22102         530448  org.springframework.boot.loader.util.AsciiBytes 
  8.   6:         11047         530256  org.springframework.boot.loader.jar.JarEntryData 
  9.   7:          5800         510592  java.lang.Class 
  10.   8:         18088         434112  java.util.HashMap$Node 
  11.   9:          6465         356336  [Ljava.lang.Object; 
  12.  10:         14582         349968  java.util.concurrent.ConcurrentHashMap$Node 
  13.  11:          2914         319928  [Ljava.util.HashMap$Node; 
  14.  12:          6920         221440  java.util.LinkedHashMap$Entry 
  15.  13:          2008         192768  org.springframework.boot.loader.jar.JarEntry 
  16.  14:          5691         182112  java.lang.ref.SoftReference 
  17.  15:          7467         179208  java.lang.ref.WeakReference 
  18.  16:          9410         166712  [Ljava.lang.Class; 
  19.  17:          2786         156016  java.util.LinkedHashMap 
  20.  18:           101         136256  [Ljava.util.concurrent.ConcurrentHashMap$Node; 
  21.  19:          1761         112704  java.lang.reflect.Field 
  22.  20:          3081         105056  [Ljava.lang.String; 
  23.  21:          4357         104568  java.beans.MethodRef 
  24.  ...... 

使用示例2:

按照占用空间大小打印程序中加载的动态链接库的列表,其实,Java进程在操作系统中会加载多个动态链接库,Java进程本身和动态链接库都会在其占用的虚拟地址空间上分配内存,Java堆和栈等内存空间分配在Java进程本身,Java直接内存会分配在Java进程堆内存外或者依赖的动态链接库上,因此,此命令帮助大家定位是Java进程本身占用内存较大,还是哪个动态链接库占用内存较多,在定位直接内导致的内存泄露的场景有很大的作用。

  1. jmap 2743 

示例输出:

  1. robert@robert-ubuntu1410:~$ jmap 2743 
  2. Attaching to process ID 2743, please wait... 
  3. Debugger attached successfully. 
  4. Server compiler detected. 
  5. JVM version is 25.20-b23 
  6. 0x08048000    5K    /home/robert/working/softwares/jdk1.8.0_20/bin/java 
  7. 0xe6b2e000    78K    /home/robert/working/softwares/jdk1.8.0_20/jre/lib/i386/libnio.so 
  8. 0xe6d06000    100K    /home/robert/working/softwares/jdk1.8.0_20/jre/lib/i386/libnet.so 
  9. 0xf65b5000    113K    /home/robert/working/softwares/jdk1.8.0_20/jre/lib/i386/libzip.so 
  10. 0xf65cf000    41K    /lib32/libnss_files-2.19.so 
  11. 0xf65db000    41K    /lib32/libnss_nis-2.19.so 
  12. 0xf65e7000    89K    /lib32/libnsl-2.19.so 
  13. 0xf6705000    42K    /home/robert/working/softwares/jdk1.8.0_20/jre/lib/i386/libmanagement.so 
  14. 0xf671a000    183K    /home/robert/working/softwares/jdk1.8.0_20/jre/lib/i386/libjava.so 
  15. 0xf673f000    29K    /lib32/librt-2.19.so 
  16. 0xf6789000    273K    /lib32/libm-2.19.so 
  17. 0xf67cf000    12213K    /home/robert/working/softwares/jdk1.8.0_20/jre/lib/i386/server/libjvm.so 
  18. 0xf759b000    1709K    /lib32/libc-2.19.so 
  19. 0xf7748000    13K    /lib32/libdl-2.19.so 
  20. 0xf774d000    91K    /home/robert/working/softwares/jdk1.8.0_20/lib/i386/jli/libjli.so 
  21. 0xf7762000    687K    /lib32/libpthread-2.19.so 
  22. 0xf777e000    29K    /lib32/libnss_compat-2.19.so 
  23. 0xf7789000    54K    /home/robert/working/softwares/jdk1.8.0_20/jre/lib/i386/libverify.so 
  24. 0xf779a000    131K    /lib32/ld-2.19.so 

使用示例3:

java堆的内存结构很复杂,包括新生代、老年代、持久代、直接内存等,jmap命令可以查看堆的概要信息。

  1. jmap -heap 38574 

示例输出:

  1. robert@robert-ubuntu1410:~$ jmap -heap 38574 
  2. Attaching to process ID 38574, please wait... 
  3. Debugger attached successfully. 
  4. Server compiler detected. 
  5. JVM version is 25.65-b01 
  6.  
  7. using parallel threads in the new generation. 
  8. using thread-local object allocation. 
  9. Concurrent Mark-Sweep GC 
  10.  
  11. Heap Configuration: 
  12.    MinHeapFreeRatio         = 40 
  13.    MaxHeapFreeRatio         = 70 
  14.    MaxHeapSize              = 536870912 (512.0MB) 
  15.    NewSize                  = 134217728 (128.0MB) 
  16.    MaxNewSize               = 134217728 (128.0MB) 
  17.    OldSize                  = 402653184 (384.0MB) 
  18.    NewRatio                 = 2 
  19.    SurvivorRatio            = 8 
  20.    MetaspaceSize            = 21807104 (20.796875MB) 
  21.    CompressedClassSpaceSize = 1073741824 (1024.0MB) 
  22.    MaxMetaspaceSize         = 17592186044415 MB 
  23.    G1HeapRegionSize         = 0 (0.0MB) 
  24.  
  25. Heap Usage: 
  26. New Generation (Eden + 1 Survivor Space): 
  27.    capacity = 120848384 (115.25MB) 
  28.    used     = 111727304 (106.55146026611328MB) 
  29.    free     = 9121080 (8.698539733886719MB) 
  30.    92.45246010074905% used 
  31. Eden Space: 
  32.    capacity = 107479040 (102.5MB) 
  33.    used     = 104015920 (99.19731140136719MB) 
  34.    free     = 3463120 (3.3026885986328125MB) 
  35.    96.77786478182165% used 
  36. From Space: 
  37.    capacity = 13369344 (12.75MB) 
  38.    used     = 7711384 (7.354148864746094MB) 
  39.    free     = 5657960 (5.395851135253906MB) 
  40.    57.67959893918505% used 
  41. To Space: 
  42.    capacity = 13369344 (12.75MB) 
  43.    used     = 0 (0.0MB) 
  44.    free     = 13369344 (12.75MB) 
  45.    0.0% used 
  46. concurrent mark-sweep generation: 
  47.    capacity = 402653184 (384.0MB) 
  48.    used     = 15998072 (15.256950378417969MB) 
  49.    free     = 386655112 (368.74304962158203MB) 
  50.    3.973164161046346% used 
  51.  
  52. 15700 interned Strings occupying 2047808 bytes. 

使用示例4:

有些Java内存问题不是显而易见的,从类、动态链接库、堆的概要信息的角度上,无法定位具体产生的原因,我们需要对Java堆的内部结构进行剖析才能进一步分析问题的根源原因,这通常通过jmap命令导出Java堆的快照,然后通过其他工具或者甚至可视化内存分析工具(例如:JHAT、JMAT、JProfiler、Jconsole、JVisualVM)等进行详细分析。

  1. jmap -dump:format=b,file=./heap.hprof 2743 

示例输出:

  1. robert@robert-ubuntu1410:~$ jmap -dump:format=b,file=./heap.hprof 2743 
  2. Dumping heap to /home/robert/heap.hprof ... 
  3. Heap dump file created 
  1. robert@robert-ubuntu1410:~$ ll 
  2. 总用量 27184 
  3. ...... 
  4. -rw-------  1 robert robert 27632924  4月  9 11:15 heap.hprof 

3.4 jstat

jstat利用了JVM内建的指令对Java应用程序的资源和性能进行实时的命令行的监控,包括了对堆大小和垃圾回收状况的监控等等,与jmap对比,jstat更倾向于输出积累的信息与打印GC等的统计信息等。

jstat是JDK自带的监控工具,在JDK的根目录里可以找到。

使用示例:

  1. jstat -gcutil 2743 5000 10 

示例输出:

  1. robert@robert-ubuntu1410:~$ jstat -gcutil 2743 5000 10 
  2.   S0     S1     E      O      M     CCS    YGC     YGCT    FGC    FGCT     GCT    
  3.   0.00   0.00   0.75   4.82  98.92      -      8    0.174     6    0.332    0.506 
  4.   0.00   0.00   0.75   4.82  98.92      -      8    0.174     6    0.332    0.506 

名词解析:

  • S0C:年轻代中第一个survivor(幸存区)的容量 (字节)
  • S1C:年轻代中第二个survivor(幸存区)的容量 (字节)
  • S0U:年轻代中第一个survivor(幸存区)目前已使用空间 (字节)
  • S1U:年轻代中第二个survivor(幸存区)目前已使用空间 (字节)
  • EC:年轻代中Eden(伊甸园)的容量 (字节)
  • EU:年轻代中Eden(伊甸园)目前已使用空间 (字节)
  • OC:Old代的容量 (字节)
  • OU:Old代目前已使用空间 (字节)
  • PC:Perm(持久代)的容量 (字节)
  • PU:Perm(持久代)目前已使用空间 (字节)
  • YGC:从应用程序启动到采样时年轻代中gc次数
  • YGCT:从应用程序启动到采样时年轻代中gc所用时间(s)
  • FGC:从应用程序启动到采样时old代(全gc)gc次数
  • FGCT:从应用程序启动到采样时old代(全gc)gc所用时间(s)
  • GCT:从应用程序启动到采样时gc用的总时间(s)
  • NGCMN:年轻代(young)中初始化(最小)的大小 (字节)
  • NGCMX:年轻代(young)的最大容量 (字节)
  • NGC:年轻代(young)中当前的容量 (字节)
  • OGCMN:old代中初始化(最小)的大小 (字节)
  • OGCMX:old代的最大容量 (字节)
  • OGC:old代当前新生成的容量 (字节)
  • PGCMN:perm代中初始化(最小)的大小 (字节)
  • PGCMX:perm代的最大容量 (字节)
  • PGC:perm代当前新生成的容量 (字节)
  • S0:年轻代中第一个survivor(幸存区)已使用的占当前容量百分比
  • S1:年轻代中第二个survivor(幸存区)已使用的占当前容量百分比
  • E:年轻代中Eden(伊甸园)已使用的占当前容量百分比
  • O:old代已使用的占当前容量百分比
  • P:perm代已使用的占当前容量百分比
  • S0CMX:年轻代中第一个survivor(幸存区)的最大容量 (字节)
  • S1CMX :年轻代中第二个survivor(幸存区)的最大容量 (字节)
  • ECMX:年轻代中Eden(伊甸园)的最大容量 (字节)
  • DSS:当前需要survivor(幸存区)的容量 (字节)(Eden区已满)
  • TT: 持有次数限制
  • MTT : 最大持有次数限制

3.5 jstack

jstack命令用于打印出给定的java进程ID的线程堆栈快照信息,从而可以看到Java进程内线程的执行状态、这个你在执行的任务等等,可以据此分析线程等待、死锁等问题。

jstack也是JDK自带的命令,在JDK的根目录里可以找到。本文第二章“神奇的”脚本中的show-busiest-java-threads脚本也是基于此命令实现的。

使用示例:

  1. jstack 2743 

示例输出:

  1. robert@robert-ubuntu1410:~$ jstack 2743 
  2. 2017-04-09 12:06:51 
  3. Full thread dump Java HotSpot(TM) Server VM (25.20-b23 mixed mode): 
  4.  
  5. "Attach Listener" #23 daemon prio=9 os_prio=0 tid=0xc09adc00 nid=0xb4c waiting on condition [0x00000000] 
  6.    java.lang.Thread.State: RUNNABLE 
  7.  
  8. "http-nio-8080-Acceptor-0" #22 daemon prio=5 os_prio=0 tid=0xc3341000 nid=0xb02 runnable [0xbf1bd000] 
  9.    java.lang.Thread.State: RUNNABLE 
  10.     at sun.nio.ch.ServerSocketChannelImpl.accept0(Native Method) 
  11.     at sun.nio.ch.ServerSocketChannelImpl.accept(ServerSocketChannelImpl.java:241) 
  12.     - locked <0xcf8938d8> (a java.lang.Object) 
  13.     at org.apache.tomcat.util.net.NioEndpoint$Acceptor.run(NioEndpoint.java:688) 
  14.     at java.lang.Thread.run(Thread.java:745) 
  15.  
  16. "http-nio-8080-ClientPoller-1" #21 daemon prio=5 os_prio=0 tid=0xc35bc400 nid=0xb01 runnable [0xbf1fe000] 
  17.    java.lang.Thread.State: RUNNABLE 
  18.     at sun.nio.ch.EPollArrayWrapper.epollWait(Native Method) 
  19.     at sun.nio.ch.EPollArrayWrapper.poll(EPollArrayWrapper.java:269) 
  20.     at sun.nio.ch.EPollSelectorImpl.doSelect(EPollSelectorImpl.java:79) 
  21.     at sun.nio.ch.SelectorImpl.lockAndDoSelect(SelectorImpl.java:86) 
  22.     - locked <0xcf99b100> (a sun.nio.ch.Util$2) 
  23.     - locked <0xcf99b0f0> (a java.util.Collections$UnmodifiableSet) 
  24.     - locked <0xcf99aff8> (a sun.nio.ch.EPollSelectorImpl) 
  25.     at sun.nio.ch.SelectorImpl.select(SelectorImpl.java:97) 
  26.     at org.apache.tomcat.util.net.NioEndpoint$Poller.run(NioEndpoint.java:1052) 
  27.     at java.lang.Thread.run(Thread.java:745) 
  28. ...... 

3.6 jinfo

jinfo可以输出并修改运行时的java进程的环境变量和虚拟机参数。

使用示例:

  1. jinfo 38574 

示例输出:

  1. $ jinfo 38574 
  2.  
  3. Attaching to process ID 38574, please wait... 
  4. Debugger attached successfully. 
  5. Server compiler detected. 
  6. JVM version is 25.65-b01 
  7. Java System Properties: 
  8.  
  9. java.runtime.name = Java(TM) SE Runtime Environment 
  10. java.vm.version = 25.65-b01 
  11. sun.boot.library.path = /Library/Java/JavaVirtualMachines/jdk1.8.0_65.jdk/Contents/Home/jre/lib 
  12. java.protocol.handler.pkgs = null|org.springframework.boot.loader 
  13. user.country.format = CN 
  14. gopherProxySet = false 
  15. java.vendor.url = http://java.oracle.com/ 
  16.  
  17. ...... 
  18.  
  19. VM Flags: 
  20. Non-default VM flags: -XX:CICompilerCount=3 -XX:CMSInitiatingOccupancyFraction=60 -XX:+CMSParallelRemarkEnabled -XX:+DisableExplicitGC -XX:InitialHeapSize=536870912 -XX:MaxHeapSize=536870912 -XX:MaxNewSize=134217728 -XX:MaxTenuringThreshold=6 -XX:MinHeapDeltaBytes=196608 -XX:NewSize=134217728 -XX:OldPLABSize=16 -XX:OldSize=402653184 -XX:+PrintGC -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintTenuringDistribution -XX:ThreadStackSize=256 -XX:+UseCMSCompactAtFullCollection -XX:+UseCMSInitiatingOccupancyOnly -XX:+UseCompressedClassPointers -XX:+UseCompressedOops -XX:+UseConcMarkSweepGC -XX:+UseFastUnorderedTimeStamps -XX:+UseParNewGC  
  21. Command line:  -Xms512m -Xmx512m -Xmn128m -XX:PermSize=128m -Xss256k -XX:+DisableExplicitGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=60 -verbose:gc -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+PrintGCDetails -Xloggc:./logs/gc.lo 

3.7 其他命令

除了上面介绍的常用Java虚拟机相关命令以外,我们还有两类工具,这节只会做功能介绍,不做详细的展开。

基本命令:

  • javah:生成java类的C头文件,一般用于开发JNI库
  • jps:用来查找Java进程,通常使用ps命令代替
  • jhat:用来分析内存堆快照文件
  • jdb:远程调试,用于线上定位问题
  • jstatd:jstat的服务器版本

Java虚拟机图形界面分析工具:

  • JConsole:JDK自带的可以查看Java内存和线程堆栈的工具,已经过时
  • JVisualVM:JDK自带的可以查看Java内存和线程堆栈的工具,是JConsole的替代版本
  • JMAT:Eclipse组织开发的全功能的开源Java性能跟踪、分析和定位工具
  • JProfiler:全功能的商业化Java性能跟踪、分析和定位工具

4. 一次OOM定位与修复过程中与监控同事现场编写的脚本

本节提供一个笔者在实践过程中解决OOM问题的一个简单脚本,这个脚本是为了解决OOM(unable to create native thread)的问题而在问题机器上临时编写,并临时使用的,脚本并没有写的很专业,只是为了抓取需要的信息并解决问题,但是在线上问题十分火急的情况下,这个脚本会有大用处。

  1. #!/bin/bash 
  2.  
  3. ps -Leo pid,lwp,user,pcpu,pmem,cmd >> /tmp/pthreads.log 
  4. echo "ps -Leo pid,lwp,user,pcpu,pmem,cmd >> /tmp/pthreads.log" >> /tmp/pthreads.log 
  5. echo `date` >> /tmp/pthreads.log 
  6. echo 1 
  7.  
  8. pid=`ps aux|grep tomcat|grep cwh|awk -F ' ' '{print $2}'` 
  9. echo 2 
  10.  
  11. echo "pstack $pid >> /tmp/pstack.log" >> /tmp/pstack.log 
  12. pstack $pid >> /tmp/pstack.log 
  13. echo `date` >> /tmp/pstack.log 
  14. echo 3 
  15.  
  16. echo "lsof >> /tmp/sys-o-files.log" >> /tmp/sys-o-files.log 
  17. lsof >> /tmp/sys-o-files.log 
  18. echo `date` >> /tmp/sys-o-files.log 
  19. echo 4 
  20.  
  21. echo "lsof -p $pid >> /tmp/service-o-files.log" >> /tmp/service-o-files.log 
  22. lsof -p $pid >> /tmp/service-o-files.log 
  23. echo `date` >> /tmp/service-o-files.log 
  24. echo 5 
  25.  
  26. echo "jstack -l $pid  >> /tmp/js.log" >> /tmp/js.log 
  27. jstack -l -F $pid  >> /tmp/js.log 
  28. echo `date` >> /tmp/js.log 
  29. echo 6  
  30.  
  31. echo "free -m >> /tmp/free.log" >> /tmp/free.log 
  32. free -m >> /tmp/free.log 
  33. echo `date` >> /tmp/free.log 
  34. echo 7 
  35.  
  36. echo "vmstat 2 1 >> /tmp/vm.log" >> /tmp/vm.log 
  37. vmstat 2 1 >> /tmp/vm.log 
  38. echo `date` >> /tmp/vm.log 
  39. echo 8 
  40.  
  41. echo "jmap -dump:format=b,file=/tmp/heap.hprof 2743" >> /tmp/jmap.log 
  42. jmap -dump:format=b,file=/tmp/heap.hprof >> /tmp/jmap.log 
  43. echo `date` >> /tmp/jmap.log 
  44. echo 9 
  45.  
  46. echo end 

对于这次线上产生的OOM问题,与运维和监控部们的同事奋斗了几天几夜,终于通过在线上抓取信息、分析问题、在性能压测部门同事的帮助下,最小化重现问题并找到问题的根源原因,最后,针对问题产生的根源提供了有效的方案,随后,会在新的一篇文章中专门讨论如何解决线上的OutOfMemeoryError的问题,这篇新文章将会包括OutOfMemoryError的种类,对于每种OutOfMemoryError产生的原因,以及解决的办法等。

而本节只给读者介绍这个看似简陋而又信息满满的Java服务的监控脚本,如果读者在线上已经遇到了OOM的问题,可以顺着这个脚本的思路,利用本文提供的各种脚本和命令来深挖问题的根本原因。

5. 场景与命令汇总表

正如文章开始提到,我会把所有的命令和脚本收集在一个表格中,称为“场景与命令汇总表”,便于大家随时参考和使用,并推荐大家把这个表格打印出来放在自己的办公桌上,需要的时候看一眼,便可快速发现和解决问题的工具。

场景与命令汇总表

场景与命令汇总表

6. 总结经验

本文开始介绍了学习那些高效应用层脚本和Java虚拟机命令的示例服务Vesta的配置和上线,然后,在以Vesta服务运行为背景下重点介绍了笔者积累的高效的应用层脚本,可以帮助读者解决服务负载高、JAR包冲突、验证线上服务代码、动态添加线上日志的问题,然后给读者介绍了关键的几个Java虚拟机命令,帮助大家查看Java虚拟机运行状态、线程堆栈、内存使用情况、GC频率等,能够帮助大家对自己的服务保驾护航。

点击《Java服务化系统线上应急和技术攻关,你必须拥有的那些应用层脚本和Java虚拟机命令》阅读原文。

 【本文为51CTO专栏作者“李艳鹏”的原创稿件,转载可通过作者简书号(李艳鹏)或51CTO专栏获取联系】

戳这里,看该作者更多好文

责任编辑:赵宁宁 来源: 51CTO专栏
相关推荐

2022-05-18 23:42:08

网络安全安全分析工具

2022-05-09 15:08:56

存储厂商NFV领域华为

2022-05-20 14:54:33

数据安全数字化转型企业

2022-05-10 16:04:40

编程语言PythonC语言

2022-05-16 13:37:12

Sysrv僵尸网络微软

2022-05-23 10:55:19

华为数字化转型架构蓝图

2022-05-25 16:52:55

数据智能瑞数信息API

2022-05-17 15:51:32

数据中心运维能力基础设施

2022-05-24 10:27:39

博云容器云运维

2022-05-09 11:57:39

云原生实践安全

2022-05-26 10:13:22

C/C++GCC插件单元测试

2022-05-11 14:05:11

区块链网络安全存储

2022-05-26 10:57:51

机器人人工智能

2022-05-25 10:49:02

云存储云计算

2022-05-20 18:04:53

新华三

2022-05-11 08:23:54

自动化测试软件测试

2022-05-26 11:37:58

亚马逊云科技C7g实例

2022-05-24 12:05:36

Testin云测试

2022-05-24 14:26:11

云原生数据库云架构

2022-05-07 15:31:19

物联网5G智慧城市

同话题下的热门内容

Python 编程的好搭档—VSCode 详细指南用不同的测试模型来构建测试套件实用!一款开源的 JSON 可视化管理工具吐血推荐17个提升开发效率的“轮子”我常用的五款效率小工具,你用过哪几个?想要控制好权限,这八个注解你必须知道!Vue新一代状态管理插件PiniaGithub Actions 那些事儿,你知道吗?

编辑推荐

终于有人把Elasticsearch原理讲透了!花了一个星期,我终于把RPC框架整明白了!这可能是把ZooKeeper概念讲的最清楚的一篇文章论如何下载一个在线的m3u8文件到本地成为一个mp4!拜托!面试不要再问我Spring Cloud底层原理
我收藏的内容
点赞
收藏

51CTO技术栈公众号