线上操作与线上问题排查实战

开发 开发工具
技术同学需要经常登录线上的服务器进行操作,于是我们进行了一次线上操作与线上问题排查实战演练,同学们反馈有收获,特将实战演练的问题和答案公布出来,希望对大家也有帮助。

一、了解机器连接数情况

问题:1.2.3.4的sshd的监听端口是22,如何统计1.2.3.4的sshd服务各种连接状态(TIME_WAIT/ CLOSE_WAIT/ ESTABLISHED)的连接数。

参考答案:

  • netstat -n | grep 1.2.3.4:22 | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’ 
  • netstat -lnpta | grep ssh | egrep “TIME_WAIT | CLOSE_WAIT | ESTABLISHED” 
  • n [仅限于阿里云] 

 

说明:netstat是追查网络连接问题常用工具,和grep/awk结合更是神器,当然如果在阿里云上,还有更方便的方法。

[[200742]]

二、从已经备份好的日志中查询数据

问题:从已备份的suyun.2017-06-26.log.bz2日志中,找出包含关键字1.2.3.4的日志有多少条。

参考答案:

  • bzcat suyun.2017-06-26.log.bz2 | grep '1.2.3.4' | wc -l 
  • bzgrep '1.2.3.4' suyun.2017-06-26.log.bz2 | wc -l 
  • less suyun.2017-06-26.log.bz2 | grep '10.37.9.11' | wc -l 

说明:线上日志文件一般以bz2 压缩之后保留,如果解压查询,非常耗空间与时间,bzcat和bzgrep是研发同学必须掌握的工具。

三、备份服务的技巧

问题:打包备份/opt/web/suyun_web目录,排除掉目录中的logs和目录,打包好的文件存放在/opt/backup目录下。

参考答案:

  1. tar -zcvf /opt/backup/shenjian.tar.gz \ 
  2.     -exclude /opt/web/suyun_web/logs \ 
  3.     /opt/web/suyun_web 

说明:这个命令线上应用较为频繁,在项目需要打包迁移时,常常需要排除掉日志目录,exclude是需要掌握的参数。

四、查询线程数

问题:查询服务器运行服务的总线程数,当机器线程数超报警阀值时,能快速查出相关进程及线程信息。

参考答案:

  • ps -eLf | wc -l 
  • pstree -p | wc -l 

五、磁盘报警,清空***文件

问题:找出服务器上,某个正在运行的tomcat产生的大量异常日志,找出该文件,并释放空间。不妨设该文件包含log关键字,并且大于1G。

参考答案:

***步,找到该文件

  • find / -type f -name "*log*" | xargs ls -lSh | more  
  • du -a / | sort -rn | grep log | more 
  • find / -name '*log*' -size +1000M -exec du -h {} \; 

第二步,将文件清空

假设找到的文件为a.log

正确的情况方式应该为:echo "">a.log,文件空间会立刻释放。

很多同学:rm -rf a.log,这样文件虽然删除,但是因tomcat服务仍在运行,空间不会立刻释放,需要重启tomcat才能将空间释放。

六、显示文件,过滤注释

问题:显示server.conf 文件,屏蔽掉#号开头的注释行

参考答案:

  • sed -n '/^[#]/!p' server.conf 
  • sed -e '/^#/d' server.conf 
  • grep -v "^#" server.conf 

七、磁盘IO异常排查

问题:磁盘IO异常如何排查,类似写入慢或当前使用率较高,请查出导致磁盘IO异常高的进程ID。

参考答案:

  • ***步:iotop -o 查看当前正在写磁盘操作的所有进程ID信息。
  • 第二步:如果此时各项写入指标都很低,基本没有大的写入操作,则需要排查磁盘自身。可以查看系统dmesg或cat /var/log/message 看看是否有相关的磁盘异常报错,同时可以在写入慢的磁盘上touch 一个空文件看看,是否磁盘故障导致无法写入。

【本文为51CTO专栏作者“58沈剑”原创稿件,转载请联系原作者】

戳这里,看该作者更多好文

责任编辑:赵宁宁 来源: 51CTO专栏
相关推荐

2016-09-14 16:21:06

DBA线上操作

2011-03-28 10:03:46

Btrace

2020-04-28 09:46:34

线上问题排查

2018-08-10 15:00:42

服务器内存排查

2021-07-14 13:50:51

Linux命令文件

2020-12-16 10:34:51

Linux 命令运维

2023-12-05 07:12:39

优化排查性能

2017-08-21 23:50:45

线上内存OOM

2017-08-19 23:21:14

线上CPU定位

2019-11-12 08:53:00

线上命令日志

2021-11-23 21:21:07

线上排查服务

2022-11-16 11:55:22

网络连接命令

2023-11-10 07:23:57

Kubernetes集群网络

2024-03-18 09:24:00

索引失效SQL

2010-10-12 10:04:30

无法无线上网

2019-03-29 10:22:08

Linux系统故障技巧

2020-05-18 07:50:47

线上故障排查

2023-12-11 06:27:39

MySQL线上业务优化后台上传文件

2021-07-04 22:29:12

MySQL死锁云日志

2019-05-08 08:37:08

高可用问题排查
点赞
收藏

51CTO技术栈公众号