[인프라 장애 대응] "살아났으니 켜진 거죠" – 복구 뒤에 숨은 엔지니어의 무책임한 방관: 인프라 생존기 시즌2-23편

[지난 줄거리]

장애가 난 노드를 앞에 두고 "그냥 강제로 한번 켜볼까요?"라며 위험천만한 제안을 던졌던 하드웨어 어드민. 인프라 운영의 기본인 '로그 분석'보다 '운'에 기댄 무모한 시도가 시작되려 하고 있었다. 👉 [22편] "그냥 켜볼까요?" 전문가의 무지 다시보기

---

1. 결국 터진 '빨간불', 원격지로 향하는 SW 팀

상황에 밀려 강행한 노드 재기동은 역시나 '기동 실패'로 끝났다. 장비 전면 패널에는 어제보다 더 선명하고 불길한 빨간불이 들어왔다. 나는 우리 측 SW 엔지니어와 한 팀이 되어, 실시간 서비스 상태를 모니터링하고 복구 과정을 정밀하게 감독하기 위해 스토리지 접속이 가능한 원격지 거점으로 향했다. 직접 장비를 만질 순 없지만, 터미널 너머로 들려오는 현장의 소식에 온 신경을 곤두세워야 했다.

2. 현장 상황 보고: 서비스는 살았지만, 장비는 죽어 있었다

데이터센터(IDC) 현장에 도착한 HW 엔지니어로부터 연락이 왔다. 우리 SW 팀이 가장 먼저 확인한 것은 서비스 영향도. 천만다행으로 장애 노드의 리소스는 정상 노드로 Failover(장애 극복) 되어 서비스는 유지되고 있었다. 원격지에서 터미널로 "서비스 이상 무"를 최종 확인하고 팀장에게 보고를 올렸을 때, 비로소 안도의 한숨이 나왔다.

3. '보드 교체'와 연쇄 장애의 늪

현장의 HW 엔지니어가 로그를 분석한 결과, 범인은 '메인보드 불량'. 부품 수급 후 교체 작업이 시작됐다. 하지만 보드 교체 후 전원을 올리자마자 이번에는 다른 파트(Part)에서 연쇄 장애가 발생했다는 소식이 들려왔다. 수리가 끝날 줄 알았던 현장은 다시 '재작업 계획 수립'이라는 늪에 빠졌고, 결국 완벽한 복구를 보지 못한 채 현장 작업자들과 우리 SW 팀은 각자의 위치에서 철수했다.

4. 다음 날 아침, 눈을 의심케 한 '유령 기동'

다음 날 아침, 원격지에서 서버 상태를 체크하던 나는 경악했다. 아직 수리가 완료되지 않아 격리(Isolation)해 두었어야 할 장애 노드에서 서비스가 제멋대로 기동되어 있었기 때문이다. 현장 작업자들이 철수한 뒤, 검증되지 않은 '시한폭탄' 노드가 실제 서비스 데이터를 물고 돌아가고 있는 상황. SW 운영자 입장에선 데이터 커럽션(Corruption)이 발생할 수 있는 가장 아찔한 순간이었다.

5. "당연히 올라오는 거죠" – 거리만큼이나 먼 책임감

나는 즉시 현장에 있었던 센터 관리자와 HW 엔지니어에게 전화를 걸어 따져 물었다. "장애 노드가 수리 중인데 서비스 자동 기동(Auto-start)이 안 되게 막았어야 하는 거 아닙니까? 왜 서비스가 올라가 있나요?"

 

돌아온 HW 엔지니어의 답변은 내 귀를 의심케 했다. "아니, 노드 전원을 살렸으니까 전원 들어오면 당연히 서비스도 자동으로 올라오는 거죠. 그걸 왜 저한테 말씀하세요?"

 

하드웨어 불만 들어오면 제 할 일 다 했다는 식의 모르쇠. 멀리 떨어진 원격지에서 서비스 안정성을 위해 SW 엔지니어와 밤을 지새운 나의 노력이 무색해지는 순간이었다. 자기가 만지는 장비가 SW 서비스에 어떤 치명적인 영향을 줄 수 있는지 전혀 고민하지 않는 그들의 무책임한 방관 앞에, 나는 깊은 무력감을 느꼈다.

---

[에필로그]

엔지니어의 "당연히"라는 말 뒤에는 수많은 위험이 숨어 있습니다. HW가 살아나는 것은 반가운 일이지만, SW 서비스가 준비되지 않은 상태에서의 '부활'은 때로 재앙이 되기도 합니다. 데이터센터와 원격지 사이의 물리적 거리만큼이나, HW와 SW 팀 사이의 '책임감의 거리' 또한 멀게만 느껴지는 새벽입니다.

 

📖 오늘의 인프라 묵상

"지혜로운 자의 입술은 지식을 전파하여도 미련한 자의 마음은 정함이 없느니라" (잠언 15:7)

새로운 프로젝트의 시작점에서 가장 경계해야 할 것은 흔들리는 논리다. 엔지니어의 입술은 유행이나 분위기가 아닌, 검증된 지식과 데이터를 전파할 때 비로소 권위를 갖는다.

 

[다음 이야기]

"HW 엔지니어 탓이죠. 원래 서비스는 자동으로 올라오는 거니까요."

 

같이 원격지에 들어와 상황을 지켜봤던 SW 엔지니어의 황당한 유체이탈 화법. 책임 전가 속에 가려진 엔지니어의 기본기 부재, 그리고 그 사이에서 독박을 쓴 운영자의 비애...

 

🚀 [24편] "누구 탓인가요?" – 책임 전가 속에 가려진 엔지니어의 기본기