云主机间歇性 CPU 100%，怎么排查？

This topic created in 1257 days ago, the information mentioned may be changed or developed.

云主机偶尔会 CPU 100%，导致接口响应特别慢，一天大概两三次，持续时间几十秒

时间不固定，和请求量也没有关系

只部署了 Tomcat 跑 java8 服务，还有其他监控客户端之类的。

有什么方法能抓到是哪个进程导致的吗？

难点主要是偶发性强，持续时间短，不方便在线分析。

12 replies • 2022-12-02 10:51:32 +08:00

dogsHappyDay

Dec 1, 2022

找主机厂商提工单

57L49t45Jo9IJvge

Dec 1, 2022

top 命令输出到文件然后 grep 简单粗暴

57L49t45Jo9IJvge

Dec 1, 2022

一般云监控上有进程级别的监控找一下当时 100%那个点的进程 pid

corningsun

Dec 1, 2022

@youzi0516 谢谢。

问了，用的云主机的没有这种监控。有啥开源的监控工具能做这个吗，自己抓实在太麻烦了？

wu00

Dec 1, 2022

自己装个系统监控存起来第二天分析呗，比如 prometheus + grafana
如果不是机器中毒有可疑进程，那么大概率是这个 java 服务中的某些功能(线程)导致

lhx2008

Dec 1, 2022

atop 可以抓历史的所有进程，要配一下 systemd ，然后就可以看到是哪个进程有问题

pipapa

Dec 1, 2022

zhengjianyang

Dec 1, 2022

同样的问题、同求排查方案

40EaE5uJO3Xt1VVa

Dec 1, 2022

排查不出来也没关系，毕竟母鸡 CPU 突然跑高也会在你的 VPS 上体现出现。

我的意思是，可能不是你的程序问题。是物理机 CPU 因为莫名原因突然跑高，连累了你的小鸡。

sparkssssssss

Dec 2, 2022

跑一段时间,记录下
while true;do top -b -n 1 >> /tmp/top;sleep 1;done

yestodayHadRain

Dec 2, 2022 via iPhone

看下 crontab 吧

corningsun

Dec 2, 2022

@lhx2008 非常感谢，atop 很适合我，可以设置采集间隔，然后回溯到任意时间。