[인프라 장애 대응] "그냥 켜볼까요?" – 전문가의 무지가 부르는 대참사: 인프라 생존기 시즌2-22편

 

이전 글 보기: [인프라 장애 대응] NVDIMM 교체와 현장 소통의 부재: 인프라 생존기 시즌2-21편

 

지난 21편에서 메모리 교체 당시 현장 관리자의 '침묵'이 주는 답답함을 다뤘다면, 이번 22편은 그보다 더 아찔한 **'잘못된 판단력'**이 인프라를 얼마나 위험하게 만드는지에 대한 기록이다.

1. 주말 새벽의 긴급 호출과 폐쇄망의 벽

주말 새벽, 정적을 깨는 진동은 엔지니어에게 언제나 '불길한 예감'을 동반한다. 네트워크 어드민에게서 온 긴급 연락. 스토리지와 연결된 스위치에서 'Port Down' 알람이 발생했다는 소식이었다. 하필 보안이 철저한 폐쇄망 환경이라 원격 VPN 접속조차 불가능했다. 나는 상황 파악을 위해 즉시 데이터센터로 출동했다.
 
이동 중에 협력사 엔지니어에게 지원 요청을 했다. 새벽 시간이라 비협조적인 태도를 보였지만, 스토리지 장애의 심각성을 주지시키며 끝내 설득해 현장으로 불러냈다. 하지만 진짜 문제는 협력사 엔지니어가 아니라, 현장에 상주하던 하드웨어 어드민에게서 터져 나왔다.

2. "강제로 켤까요?" – 귀를 의심케 한 질문

현장에 도착하기 전, 하드웨어 어드민에게 노드 상태 확인을 요청했다. 그는 스토리지 노드 1대가 다운되었고, 장애 알람(Fault LED)이 점등되었다고 보고했다. 그리고는 내게 도저히 믿기지 않는 질문을 던졌다.

"관리자님, 지금 다운된 노드... 그냥 강제로 한번 켜볼까요? 아니면 그냥 놔둘까요?"

순간 정신이 번쩍 들었다. 서버 엔지니어로 오랜 경력을 쌓았고, 현재는 하드웨어 어드민 자리에 있는 사람의 입에서 나올 말이 아니었기 때문이다. 21편에서 언급한 NVDIMM 같은 비휘발성 데이터를 다루는 장비에서, 원인 분석 없는 **'강제 재부팅(Hard Reset)'**은 그야말로 도박이다.

3. '도박'은 대응이 아니다

인프라 엔지니어에게 강제 전원 인가는 최후의 수단이어야 한다. 로그 분석 없이 성급하게 전원을 켤 경우 다음과 같은 치명적인 리스크가 발생한다.

• 데이터 커럽션(Corruption): 캐시에 남아있던 데이터가 정상적으로 디스크에 쓰이지 못한 채 엉킬 위험.
• 장애 원인 은폐: 휘발성 로그가 사라져 하드웨어 결함의 근본 원인(Root Cause)을 찾지 못할 위험.
• 연쇄 장애: 하드웨어 쇼트나 컨트롤러 결함 시 전원 인가가 시스템 전체의 붕괴를 초래할 위험.

4. 에필로그: 똥오줌 못 가리는 '경력직'의 위험성

내 대답은 단호했다. "일단 제조사에 장애 접수부터 하세요. 함부로 손대지 마시고요."
 
하드웨어 어드민은 장애 발생 시 **'무엇을 해야 할지'**보다 **'무엇을 하지 말아야 할지'**를 먼저 판단할 줄 알아야 한다. 하지만 그는 상황을 빨리 모면하려는 마음에 매뉴얼을 무시한 '무지의 용기'를 보였다.
 
나는 현장으로 향하며 생각했다. 과연 이 새벽의 소동은 어떻게 마무리될 것인가. 제조사 엔지니어가 도착하기 전까지, 이 긴장감은 가라앉지 않을 것 같았다.
 
"지혜로운 자의 혀는 지식을 선히 베풀고 미련한 자의 입은 미련한 것을 쏟느니라" (잠언 15:2)
 
전문가라는 이름 뒤에 숨은 무지함이 얼마나 위험한지, 다시금 뼈아프게 새긴 새벽이었다.
 
[다음 이야기] "그냥 켜보자"던 무모한 시도 끝에 마주한 결과는? 원격지 거점에서 밤을 지새우며 목격한, HW 엔지니어의 상상 초월 '모르쇠'와 무책임한 방관...
 
🚀 [23편] "살아났으니 켜진 거죠" – 복구 뒤에 숨은 엔지니어의 무책임한 방관