Challenge
출시 직후에는 동작하지만, 인증서·디스크·느린 쿼리·서드파티 장애를 볼 사람이 없으면 장애가 고객 문의로 들어옵니다.
Solution
컨테이너 배포, 헬스체크, 롤백, 백업, 인증서, 로그 보관, 지표와 알림을 표준으로 둡니다. 신규 기능은 운영 시간과 분리합니다.
Technology
AWS, Docker, GitHub Actions, Prometheus, Grafana, PostgreSQL. 비밀 값과 배포 태그를 코드와 분리합니다.
Deliverables
- 배포 파이프라인
- 헬스체크와 롤백
- 대시보드와 알림
- 백업
- 인수인계 문서
AWS Architecture
퍼블릭 홈페이지에 표기된 클라우드 기준으로 배포 단위를 나눕니다.
Cloud Migration
계정, 데이터, 도메인, 인증서를 운영 주체가 갖도록 옮깁니다.
Docker
컨테이너 이미지로 스테이징과 프로덕션의 실행 단위를 맞춥니다.
CI/CD
GitHub Actions가 이미지를 올리고, 서버는 지정된 태그만 받게 합니다.
Monitoring
요청 지연과 오류 비율을 보고, 임계치를 넘으면 메신저로 알립니다.
Prometheus / Grafana
기본 지표와, 장애 때 볼 로그 위치를 인수인계 문서에 적습니다.
Database
PostgreSQL 백업과 복구 절차를 배포와 따로 둡니다.
Backup
백업이 실제로 복구되는지를 절차로 남깁니다.
Security
비밀 값은 저장소에 넣지 않고 서버의 환경과 시크릿에만 둡니다.
Performance
느린 쿼리와 디스크, 외부 API 지연을 운영 항목으로 봅니다.
High Availability
헬스체크와 롤백이 있어야 배포가 야간 장애로 이어지지 않습니다.