[인프라 운영] "죽지 않는 좀비 프로세스와 4GB의 사투: 강제 종료(kill)의 결단" (시즌 2-56편)

[지난 이야기] 긴급 증설로도 막지 못한 1분당 4GB의 폭격. 장애공유방의 침묵 속에 팀장님의 "응용팀 출근하시죠"라는 서슬 퍼런 한마디가 떨어졌습니다. 응용팀은 뒤늦게 출근 의사를 밝혔지만, 그들이 오는 사이에도 NAS의 생명줄은 타 들어가고 있었습니다.

👉 [[시즌 2-55편] "증설된 공간조차 집어삼키는 유령 데이터: 팀장의 한마디" 다시보기]

---

1. "일단 재기동해 보시죠" – 가이드만 던지는 AA

응용팀이 현장으로 출발했다는 메시지가 올라왔지만, 당장 1분 1초가 급했습니다. 원인을 찾지 못한 AA는 결국 **"솔루션을 재기동해 보자"**는 카드를 꺼냈습니다. 역시나 그 작업도 제 몫이었습니다. 현장에는 저 말고는 서버에 접속해 물리적인 조치를 할 사람이 아무도 없었기 때문입니다. 인프라 아키텍트는 때로 응용의 손발이 되어야만 합니다. 일단 서비스를 살려야 하니까요.

2. 명령어를 거부하는 유령 프로세스

AA가 알려준 정상적인 정지 명령어를 입력했습니다. "프로세스를 죽였습니다"라고 공유방에 보고한 뒤, 다시 용량을 체크했습니다. 하지만 기괴한 일이 벌어졌습니다. 프로세스를 죽였음에도 용량은 여전히 1분마다 4GB씩 늘어나고 있었습니다. 팀장님의 날카로운 질문이 올라옵니다. "분명히 죽였다면서요? 왜 용량은 계속 늘어나는 거죠?" 등 줄기에 식은땀이 흘렀습니다. 급히 프로세스 상태를 다시 확인해보니, 분명히 종료 명령을 내렸음에도 프로세스가 좀비처럼 살아 있었습니다. 소프트웨어적인 종료 명령이 먹히지 않는 상태, 즉 **'프로세스 고착'**이었습니다.

3. 'kill -9'의 침묵, 그리고 찾아온 평화

상황을 공유하자 그제야 AA가 다급하게 요청합니다. "안 죽으면 kill로 강제 종료해 주세요!" 주저 없이 kill 명령어를 날렸습니다. 그제야 좀비 같던 프로세스가 메모리에서 사라졌습니다. 숨을 죽이고 NAS 용량을 모니터링했습니다. 10초, 30초, 1분... 더 이상 숫자가 올라가지 않았습니다. 4GB의 폭격이 멈춘 것입니다. 재기동 후에도 용량은 평소처럼 평온한 상태를 유지했습니다. 범인은 바로 **'비정상적으로 고착되어 무한 루프를 돌며 쓰레기 데이터를 쏟아내던 그 프로세스'**였습니다.

4. 폭격이 멈춘 뒤에야 도착한 '뒷북' 지원군

kill 명령어로 좀비 프로세스를 잠재우고, 재기동 후 데이터 유입량이 정상 수치로 돌아오는 것을 확인했습니다. 1분마다 4GB씩 차오르던 그 지옥 같은 숫자들이 멈추고, 다시 평화로운 그래프가 그려지기 시작한 지 한참이 지났을 무렵... 드디어 사무실 문이 열렸습니다.

 

"지금 상황 어떤가요? 저희 도착했습니다!"

 

팀장님의 호출에 마지못해 집을 나섰던 응용팀이었습니다. 하지만 그들이 마주한 건 긴박한 장애 현장이 아니라, 이미 모든 상황을 정리하고 차분하게 로그를 갈무리하고 있는 저의 뒷모습이었습니다. 제가 현장에서 30분의 사투를 벌이고 1시간 넘게 독박 분석을 하는 동안, 그들은 길 위에서 시간을 보냈고 상황이 다 끝난 뒤에야 '출근 확인 도장'을 찍은 셈입니다.

---

📖 오늘의 인프라 묵상

"매를 아끼는 자는 그의 자식을 미워함이라 자식을 사랑하는 자는 근실히 징계하느니라" (잠언 13:24)

 

때로는 부드러운 명령보다 강한 매 한 대가 문제를 해결합니다. 시스템이 비정상적으로 폭주하며 말을 듣지 않을 때, 아키텍트의 결단력 있는 kill 한 번이 99%의 파국을 막아내는 최고의 선처가 됩니다.

 

[다음 이야기 예고!]

"짐작은 재앙을 부른다: grep 한 줄로 잡아낸 솔루션의 민낯" (시즌 2-57편)

 

"명령어 내렸으니 죽었겠지"라는 안일함이 시스템을 죽입니다. 내 담당도 아닌 프로세스를 끝까지 추적해 "정확히 무엇을 확인해야 하는가"라고 캐물었던 아키텍트의 집요함.

 

결국 드러난 1분당 4GB 폭격의 진실은, 인프라 설정 오류가 아닌 '솔루션 자체의 심각한 버그'였습니다. 그 치밀했던 히스토리를 공개합니다.