[인프라 운영] "1분마다 4GB의 폭격: 30분의 사투와 술 취한 엔지니어" (시즌 2-54편)

[지난 이야기] Write Latency가 평소보다 100배 폭증했음에도 "수치가 낮으니 껌이다"라며 망언을 뱉었던 네트워크 담당자. 그리고 그 안일한 판단을 방관했던 팀장. 그들의 오만 속에 특정 서비스의 NAS 볼륨은 어느덧 99%라는 임계치를 향해 달리고 있었습니다.

👉 [[시즌 2-53편] "Latency 100배가 불러온 나비효과: 99%의 임계치" 다시보기]

---

1. "1분마다 4GB씩 사라지는 공간"

관제 화면을 통해 실시간으로 확인되는 수치는 경악스러웠습니다. NAS 용량이 1분마다 4GB씩 무서운 속도로 차오르고 있었죠. 이 속도라면 99%에서 100%가 되어 서비스가 완전히 멈춰버리는 건 시간문제였습니다. 저는 주저 없이 택시를 잡아타고 회사로 향했습니다. 다행히 업무 효율을 위해 회사 근처로 거처를 옮긴 지 얼마 되지 않아, 30분 안에 도착할 수 있다는 사실이 유일한 위안이었습니다.

2. "뭐 별일 있겠어요?" – 술기운에 섞인 엔지니어의 오만

회사로 달려가며 담당 엔지니어에게 긴급하게 전화를 걸었습니다. 하지만 수화기 너머로 들려오는 건 왁자지껄한 소음과 술기운이 역력한 목소리였습니다.

 

"운영자님, 뭐 별일 있겠어요? 대충 보고 내일 아침에 봐도 될 것 같은데... 전 지금 술자리라 못 갑니다."

 

그는 현장에 올 의지가 전혀 없었습니다. 네트워크 담당자가 "껌"이라며 방치했던 그 Latency가 NAS를 갉아먹는 재앙이 되었음에도, 그는 여전히 술잔을 기울이며 안일함에 취해 있었습니다. 아키텍트의 다급한 경고보다 자신의 술자리가 더 중요했던 것입니다.

3. 증거 없는 범죄 현장, 그리고 긴급 증설

회사에 도착하자마자 터미널을 열었습니다. 평상시와는 비교도 안 될 만큼 빠른 속도로 용량이 차고 있었지만, 이상하게도 로그상에서는 뚜렷한 원인을 찾을 수 없었습니다. 데이터는 계속 들어오는데 흔적은 묘연한 기묘한 상황.

 

일단 터지기 일보 직전인 NAS를 살려야 했습니다. 저는 로그 분석을 잠시 뒤로 미루고, **NAS 볼륨의 용량을 긴급하게 증설(Expansion)**했습니다. 범인을 잡기 위한 시간을 벌기 위해, 일단 숨통부터 틔워놓아야 했기 때문입니다.

---

📖 오늘의 인프라 묵상

"지혜로운 자는 두려워하여 악을 떠나나 어리석은 자는 방자하여 스스로 믿느니라" (잠언 14:16)

 

술잔을 기울이며 "별일 있겠냐"고 말하는 방자함은 시스템을 지키지 못합니다. 수치의 두려움을 알고 현장으로 달려가는 엔지니어의 발걸음만이, 99%의 절벽에서 서비스를 구해낼 수 있습니다.

 

[다음 이야기 예고!]

"증설된 공간조차 집어삼키는 유령 데이터: 팀장의 한마디" (시즌 2-55편)

 

1시간 넘게 홀로 로그를 분석해 공유했지만, 장애공유방의 누구도 현장으로 올 생각을 하지 않습니다. 99.9%를 향해 다시 차오르는 데이터 폭격 속에서 던져진 팀장의 묵직한 한마디.

 

"이 정도면... 응용팀도 이제 그만 출근하시죠."