was가 응답이 없을 때, Thread Dump 확인 방법

WAS 에서 응답이 없을 때 java stack dump 를 떠서 분석을 진행하는 경우가 종종 있는데요...

많은 분들이 stack 을 떠서 vi 로 열고 앞뒤로 왔다리 갔다가 하다가 결국  stack 을 분석하는 tool 을 찾는 모습을 보고... 

리눅스 터미널상에서 grep, uniq, sort 명령어로 스택 덤프를 간단히 확인할 수 있는 방법을 공유 드리고자 합니다. 

[root ~]$ jstack 11561 > 1.stack  #스택DUMP 
[root ~]$ more 1.stack | grep locked | sort -i | uniq -c | sort -i

    덤프 생성 후 more 로 시작해 각 명령어를 파이프로 전달 했습니다. 

    more 1.stack | grep locked -> 스택 덤프에서 "locked" 갖는 라인을  골라내고  

    sort -i                                -> lock object 의 id 로 sorting 

    uniq -c                              -> lock object 의 id 중복을 제거하면서 카운팅  

    sort -i                                -> 카운팅된 숫자로 다시 sorting  

문제가 있는 스택 덤프라면 위의 명령어로 아래와 유사한 결과를 얻을 수 있습니다.  

 "77db72cf8" lock 에 현재 111개의 Thread 가 WAITING 된 상태로 볼 수 있는데요.  

실제 stack 을  vi 로 까서 77db72cf8 를 찾아보면 어떤 메서드 호출에서 WAITED 상태가 되었는지 알 수가 있습니다. 

위의 스택에서는 org.apache.activemq.usage.Usage.waitForSpace 로 인해 111 개의 Thread 가 WAITED 가 되어 WAS 가 행이 걸린 상태이네요....  

(스택 덤프 하나에 대해서만 체크하지 마시고 초간격으로 스택 덤프를 생성해 비교하시면 더 확실한 원인을 알 수 있습니다.)

more 스택덤프파일명 | grep locked  | sort -i | uniq -c | sort -i