인프라 생존기 : 무너진 성벽의 기록

[인프라 운영] "증설된 공간조차 집어삼키는 유령 데이터: 팀장의 한마디" (시즌 2-55편)

[지난 이야기] 1분마다 4GB씩 차오르는 NAS. 99%의 절벽에서 저는 택시를 잡아타고 현장으로 달려갔습니다. 술에 취해 "별일 있겠냐"던 엔지니어를 뒤로하고, 일단 터지기 일보 직전인 볼륨을 긴급 증설하며 간신히 숨통을 틔워놓았습니다. 하지만 재앙은 이제 시작이었습니다. 👉 [[시즌 2-54편] "1분마다 4GB의 폭격: 30분의 사투와 술 취한 엔지니어" 다시보기]1. 뚫려버린 방어선, 멈추지 않는 폭격긴급 증설로 확보한 여유 공간은 불과 몇 분 만에 의미를 잃어가고 있었습니다. 여전히 1분마다 4GB라는 무시무시한 속도로 용량이 차오르고 있었죠. 마치 밑 빠진 독에 물을 붓는 기분이었습니다. 터미널 창을 가득 채우는 숫자들은 비웃기라도 하듯 100%를 향해 다시 달리기 시작했습니다.2. 장애공..

[인프라 운영] "1분마다 4GB의 폭격: 30분의 사투와 술 취한 엔지니어" (시즌 2-54편)

[지난 이야기] Write Latency가 평소보다 100배 폭증했음에도 "수치가 낮으니 껌이다"라며 망언을 뱉었던 네트워크 담당자. 그리고 그 안일한 판단을 방관했던 팀장. 그들의 오만 속에 특정 서비스의 NAS 볼륨은 어느덧 99%라는 임계치를 향해 달리고 있었습니다. 👉 [[시즌 2-53편] "Latency 100배가 불러온 나비효과: 99%의 임계치" 다시보기]1. "1분마다 4GB씩 사라지는 공간"관제 화면을 통해 실시간으로 확인되는 수치는 경악스러웠습니다. NAS 용량이 1분마다 4GB씩 무서운 속도로 차오르고 있었죠. 이 속도라면 99%에서 100%가 되어 서비스가 완전히 멈춰버리는 건 시간문제였습니다. 저는 주저 없이 택시를 잡아타고 회사로 향했습니다. 다행히 업무 효율을 위해 회사 근처..

[인프라 운영] "Latency 100배가 불러온 나비효과: 특정 서비스 NAS의 비명" (시즌 2-53편)

[지난 이야기] Write Latency가 평소보다 100배 폭증했음에도 "수치가 낮으니 껌이다"라며 무시하던 네트워크 담당자. 대역폭과 지연 시간조차 구분 못 하는 그의 오만함은 우리 시스템을 서서히 벼랑 끝으로 밀어넣고 있었습니다. 👉 [[시즌 2-52편] "Latency 100배가 껌이라고?" – 네트워크 담당자의 위험한 '수치' 망언 다시보기]1. "이상하긴 한데, 결국 스토리지 문제 아냐?"네트워크 담당자의 "껌" 발언에 이어 팀장님께 보고를 올렸지만, 돌아온 반응은 예상보다 훨씬 더 무거웠습니다. 아키텍트로서 100배 폭증한 지연 시간의 위험성을 경고했음에도, 팀장님은 근본 원인을 분석하기보다 **"결국 스토리지 자체에 결함이 있는 거 아니냐"**며 화살을 엉뚱한 곳으로 돌렸습니다. 전문가들..