[MLS-C01] ML 워크로드 마이그레이션 핵심 전략: 데이터와 애플리케이션을 AWS로 완벽 전환하는 비법 (DMS, SCT, ADS, Migration Hub)

AWS MLS-C01 | Specialty 과정

🤖 [MLS-C01] ML 워크로드 마이그레이션 핵심 전략: 데이터와 애플리케이션을 AWS로 완벽 전환하는 비법 (DMS, SCT, ADS, Migration Hub)

AWS 머신러닝 워크로드의 성공적인 마이그레이션을 위한 필수 서비스 이해와 활용 전략

🎓 학습 안내: AWS Machine Learning – Specialty (MLS-C01) 자격증 시험은 머신러닝 모델 구축 및 배포에 중점을 두지만, 실제 머신러닝 프로젝트에서는 기존 온프레미스(On-premise) 환경의 데이터나 애플리케이션을 AWS 클라우드로 안전하고 효율적으로 옮기는 과정이 매우 중요합니다. 대규모 데이터셋, 복잡한 데이터 파이프라인, 그리고 기존 머신러닝 애플리케이션의 클라우드 전환은 ML 성공의 필수 전제 조건이기 때문입니다. 본 강의에서는 이러한 마이그레이션 과정을 지원하는 AWS의 핵심 서비스들을 깊이 있게 다루며, MLS-C01 시험 대비뿐 아니라 실제 ML 엔지니어링 실무에서도 유용하게 활용할 수 있는 지식을 제공합니다.

1. AWS Database Migration Service (DMS): 데이터베이스 마이그레이션의 핵심

AWS Database Migration Service (DMS)는 데이터베이스를 온프레미스에서 AWS 클라우드로, 또는 AWS 내의 다른 데이터베이스 서비스로 쉽고 안전하게 마이그레이션할 수 있도록 돕는 서비스입니다. MLS-C01 시험과 관련하여 DMS는 특히 머신러닝 모델 학습에 필요한 대규모 데이터셋(예: 피처 스토어, 원시 데이터 저장소)이 저장된 관계형 데이터베이스(Relational Databases)나 NoSQL 데이터베이스를 AWS의 Amazon RDS, Aurora, DynamoDB 등으로 옮길 때 핵심적인 역할을 합니다.

• 동종(Homogeneous) 및 이종(Heterogeneous) 마이그레이션 지원: Oracle to Oracle (동종), Oracle to PostgreSQL (이종)과 같이 다양한 조합을 지원하여 유연성을 제공합니다.
• 지속적인 복제(Continuous Replication): 데이터베이스를 가동 중단 없이(Minimal Downtime) 마이그레이션할 수 있도록 변경 데이터 캡처(Change Data Capture, CDC) 기능을 제공하여 원본 데이터베이스와 대상 데이터베이스를 동기화 상태로 유지합니다. 이는 실시간 또는 거의 실시간으로 업데이트되는 ML 데이터 소스를 마이그레이션할 때 특히 중요합니다.
• 데이터 웨어하우스 마이그레이션: 기존 데이터 웨어하우스 데이터를 Amazon Redshift 등으로 마이그레이션하여 ML 모델 학습을 위한 분석 기반을 마련할 수 있습니다.

2. AWS Schema Conversion Tool (SCT): 스키마 및 코드 변환의 동반자

AWS Schema Conversion Tool (SCT)는 DMS와 함께 사용되는 경우가 많습니다. 특히 이종(Heterogeneous) 데이터베이스 마이그레이션 시, 소스 데이터베이스의 스키마(Schema), 저장 프로시저(Stored Procedures), 함수(Functions), 트리거(Triggers) 등을 대상 데이터베이스와 호환되도록 자동으로 변환해줍니다. 머신러닝 관점에서는 복잡한 데이터 처리 로직이나 ETL(Extract, Transform, Load) 스크립트가 데이터베이스 내에 내장되어 있는 경우, SCT를 통해 이를 AWS 환경에 맞는 형태로 전환하여 Amazon S3 기반의 데이터 레이크(Data Lake)나 AWS Glue 같은 서비스로 옮겨 ML 데이터 전처리 파이프라인을 구축하는 데 기여할 수 있습니다.

• 스키마 및 코드 자동 변환: 수동 변환에 드는 시간과 노력을 절감하고 오류 발생 가능성을 줄입니다.
• 변환 보고서 제공: 자동 변환이 어려운 항목에 대한 상세 보고서를 제공하여 수동 작업의 범위를 명확히 합니다.

3. AWS Application Discovery Service: 마이그레이션 계획의 첫걸음

성공적인 마이그레이션은 철저한 계획에서 시작됩니다. AWS Application Discovery Service는 온프레미스 데이터 센터의 서버, 애플리케이션, 데이터베이스 등의 정보를 자동으로 수집하여 마이그레이션 계획 수립을 돕는 서비스입니다. MLS-C01 관점에서는 기존에 온프레미스에서 운영되던 ML 워크로드, GPU 서버, 데이터 저장소, 또는 ML 모델을 서빙(Serving)하던 애플리케이션의 의존성(Dependencies)과 성능 데이터를 파악하여, 이를 AWS의 Amazon EC2, Amazon SageMaker 등으로 어떻게 옮길지 결정하는 데 중요한 정보를 제공합니다.

• 인프라 및 애플리케이션 정보 수집: 서버 구성, 네트워크 연결, 실행 중인 프로세스 등 상세 정보를 제공합니다.
• 의존성 매핑: 애플리케이션 간의 통신 관계를 시각화하여 마이그레이션 순서 결정에 도움을 줍니다.
• TCO 분석 지원: 수집된 데이터를 바탕으로 AWS 클라우드에서의 총 소유 비용(Total Cost of Ownership, TCO) 분석을 위한 정보를 제공합니다.

4. AWS Migration Hub: 마이그레이션 진행 상황 중앙 관리

다양한 서비스와 도구를 사용하여 마이그레이션을 진행할 때, 전체 진행 상황을 한눈에 파악하고 관리하는 것은 매우 중요합니다. AWS Migration Hub는 마이그레이션 프로젝트의 진행 상황을 중앙에서 추적하고 모니터링하는 대시보드 역할을 합니다. Application Discovery Service에서 수집된 정보와 DMS, AWS Server Migration Service (SMS) 등 다양한 마이그레이션 도구의 상태를 통합하여 보여주므로, ML 워크로드 마이그레이션 시 수많은 데이터베이스, 애플리케이션 서버, 분석 환경 등이 동시에 이동하는 복잡한 상황에서도 전체적인 가시성(Visibility)을 확보하고 효율적으로 프로젝트를 관리할 수 있습니다.

• 통합 대시보드: 모든 마이그레이션 도구의 진행 상황을 한곳에서 볼 수 있습니다.
• 애플리케이션 그룹핑: 관련 서버와 데이터베이스를 하나의 애플리케이션으로 묶어 관리하여 마이그레이션 단위를 명확히 합니다.

핵심 서비스 간의 연동 및 워크플로우

이 서비스들은 단독으로 사용되기보다는 서로 유기적으로 연동되어 마이그레이션의 전 과정을 지원합니다. 일반적인 워크플로우는 다음과 같습니다:

• 탐색 및 계획: Application Discovery Service를 사용하여 온프레미스 환경의 ML 관련 인프라(데이터 서버, 컴퓨팅 자원 등)를 분석하고, Migration Hub에서 이 정보를 바탕으로 마이그레이션 계획을 수립합니다.
• 데이터베이스 및 데이터셋 마이그레이션: ML 모델 학습 및 서빙에 필요한 데이터베이스(예: 피처 스토어, 메타데이터 DB)는 DMS를 통해 AWS로 옮깁니다. 이때 이종 데이터베이스의 경우 SCT가 스키마 및 코드 변환을 지원합니다.
• 전체 진행 상황 모니터링: Migration Hub는 DMS 및 기타 마이그레이션 도구들의 진행 상황을 실시간으로 추적하고, 전체 프로젝트의 가시성을 제공합니다.

AWS Database Migration Service (DMS)AWS Schema Conversion Tool (SCT)AWS Application Discovery ServiceAWS Migration Hub