AWS MSK 3.8 마이그레이션
기간 —
운영 중인 MSK 3.5의 지원이 2025.10에 끝날 예정이었습니다. 3.8 신규 클러스터를 KRaft 메타데이터로 구성하고 기존 토픽을 다시 만들었습니다.
토픽 약 160개의 설정을 새 클러스터에 자동으로 재생성
인증 방식 선정
- 문제
- 신규 클러스터에는 서버 인증을 새로 추가해야 했습니다. MSK는 IAM, TLS, SASL 등을 지원해, 사내 환경과의 호환성과 운영 복잡도를 함께 따져야 했습니다.
- 해결
- 검토 끝에 SASL/SCRAM 방식을 택했습니다. 사용자 계정은 AWS Secrets Manager에 저장했습니다. 각 서버에 Secrets Manager 정보를 연동해, 서버가 계정을 읽어 인증하게 했습니다.
토픽 설정 재생성 자동화
- 문제
- 기존 클러스터에서 운영하던 토픽 전체를 새 클러스터에 같은 설정으로 만들어야 했습니다. 토픽마다 파티션 수, 복제본, 옵션이 달라 손으로 옮기면 누락과 오류의 위험이 컸습니다.
- 해결
- 기존 클러스터의 토픽 설정을 CSV 파일로 일괄 추출하고, 수정이 필요한 토픽은 복제본 구성을 다시 잡았습니다. 이 CSV를 읽어 신규 클러스터에 토픽 전체를 만드는 스크립트를 썼습니다. 토픽명, 파티션 수, 복제본, 옵션이 그대로 반영되어 손으로 옮기는 시간을 크게 줄였습니다.