웹서비스 메시징 서비스 프로젝트 완료

오늘은 오랜만에 120%의 집중력, 평균의 2,3배에 달하는 생산성 그리고 평소에는 하지 않는 최악의 실수를 한 날이다. 오전 7시 30분에 출근하자마자 여느 때와 같이 설록차를 마시고 정신부터 차렸다. S사의 상용망이 어제 저녁 8시 30분에 열렸고, L사는 오늘 아침에 열리기로 예정되어 있었다. 이제 막 상용망에서 테스트하게 된 참인데, 최종 고객사에서는 오늘 저녁 7시부터 본격적으로 서비스를 이용해야 한다고 통보해왔다. 테스트망에서는 충분히 검증된 서비스지만, 상용망에서도 잘 된다는 보장은 없었다.

S사의 사용망이 열렸으니 우리쪽에서도 상용서비스를 위한 Deployment 작업을 해야 했다. 12시간이 채 남지 않은 상황이고, 상용에서의 성능 테스트 등을 위한 시간이 부족했다. 자연히 마음이 급해져서 엄청난 실수를 하고 말았다. 개발 DB에 개발된 데이터베이스 구성요소를 상용 DB로 복사하는 과정에서 기존 데이터 일부를 삭제한 것이다. 그 사실을 알아채고 눈 앞이 캄캄해졌지만, 바보같이 겁먹고 있을 수만은 없었다. 바로 DBA에게 사실을 보고하고, 복구를 부탁했다. 다행히 새벽녁에 백업 받은 데이터가 있어서 짧은 시간에 복구가 가능했다. 한가지 더 다행이었던 것은 비교적 덜 중요한 데이터가 지워졌다는 사실이었다. 물론 그렇다고 해서 내 잘못이 가려지는 것은 아니지만 말이다. 어찌됐든 침울한 기분에 젖어있기에는 시간이 넉넉치 않았다.

한바탕 소동이 끝나고 나니 L사에서 상용망을 열었다는 전화가 왔다. 바로 테스트해보니 L사는 테스트망에서와 마찬가지로 정상적으로 서비스가 됐다. 이제 S사의 테스트만 남아서 약간 마음이 가벼웠다. 그러나 막상 테스트를 해보니 뭔가 이상했다. 재빨리 로그를 확인해보니, S사에서 제공한 테스트 서비스를 통해 받은 데이터와 메시지 포맷이 전혀 달랐다. 조금도 아니고 전혀 달랐다. 난감하기 이를 데 없었다. 서비스 시각까지 약 10시간 남아있었고, 최종 연동 테스트 등을 감안하면 그보다 훨씬 주어진 시간이 적었다.

사실 S사의 프로토콜은 관련회사 3군데 중 가장 복잡했지만, 그에 비해 형편없이 조잡했다. 사실 1년여전에 S사 프로토콜의 근본적인 문제점을 담당자에게 말해서, 금년에는 고치겠다는 대답까지 들었었다. 그러나 1년이 지난 지금도 문제는 여전했다. 다른 사업에 비해 수익이 적게 나는 서비스라 사실 담당자가 덜 신경을 쓰는데다가, 서비스 담당자가 비교적 자주 교체되는 편이다. 그런 탓에 오랜 시간이 지났음에도 별달리 나아진 것이 없었던 것이다.

120%의 집중력을 발휘해서 화장실조차 안 가고 문제를 다 해결하고 나니 오후 5시 30분이었다. 늦은 감이 없지 않았지만 최소한 연동 테스트를 할 시간은 남았다는 사실에 안도했다. 고객사에 연락하고 연동 테스트를 무사히 마치고 나니 오후 6시 30분이었다. 이제 서비스 시작까지 30분 가량이 남았고, 7시부터 8시 사이가 트랜잭션이 가장 많은 때라 남아서 모니터링하기로 했다.

이렇게 뼈 빠지게 프로젝트를 종료시켰지만, 마지막은 사실 허무했다. 연동 테스트는 끝냈다고 하더라도 시스템 검증을 위한 시간이 충분치 않았기에 최종 고객사측에서 다음주부터 서비스를 사용하기로 결정했다. 그 소식을 전해 듣지 못한 나는 7시 30분까지만 해도 이상하다고 생각하며 자리에 꼼짝않고 있었다. 7시 40분이 되도 트랜잭션이 없다는 사실에 어떻게 된 일인지 파악한 나로서는 허탈하지 않을 수 없었다. 잠시 다른 프로젝트를 같이 진행하고 있는 동료가 부닥친 문제를 해결해주고 오후 8시 15분 무렵에 회사를 나왔다. 허탈함을 떨치기는 힘들지만, 커다란 프로젝트 하나가 마무리되고 곧 운영 단계로 들어가기에 한편으론 기분 좋다.

최 재훈

블로그, 페이스북, 트위터 고성능 서버 엔진, 데이터베이스, 지속적인 통합 등 다양한 주제에 관심이 많다.
Close Menu