[MLS-C01] 이론 강의: ML 워크로드를 위한 AWS 모니터링 & 관리 서비스 완벽 가이드 (CloudWatch, CloudTrail 등)

1. Amazon CloudWatch: ML 인프라 및 애플리케이션의 성능 모니터링

Amazon CloudWatch는 AWS 리소스 및 고객이 실행하는 애플리케이션을 위한 모니터링 및 관찰 서비스입니다. ML 워크로드에서는 특히 다음과 같은 측면에서 중요하게 활용됩니다.

• 메트릭 (Metrics): CPU 사용률, 네트워크 I/O와 같은 표준 인프라 메트릭 외에도, SageMaker와 같은 ML 서비스는 모델 추론 시간 (inference latency), 오류율 (error rate) 등의 ML 관련 메트릭을 CloudWatch에 자동으로 게시합니다. 사용자는 커스텀 메트릭 (Custom Metrics)을 사용하여 모델 정확도, F1-Score 등 ML 애플리케이션 고유의 성능 지표를 모니터링할 수도 있습니다.
• 로그 (Logs): ML 학습 스크립트, 추론 엔드포인트 로그, 배치 추론 작업 로그 등을 CloudWatch Logs로 중앙 집중화하여 저장하고 분석할 수 있습니다. 이를 통해 문제 진단 및 디버깅을 효과적으로 수행할 수 있습니다.
• 경보 (Alarms): 특정 메트릭이 임계값을 초과하거나, 로그 패턴이 감지될 때 SNS (Simple Notification Service)를 통해 관리자에게 알림을 보내거나, Auto Scaling Group의 인스턴스를 추가/제거하는 등의 자동화된 작업을 트리거할 수 있습니다. ML 모델의 성능 저하나 리소스 고갈을 사전에 감지하는 데 필수적입니다.
• 대시보드 (Dashboards): ML 워크로드의 핵심 메트릭과 로그를 한눈에 볼 수 있도록 시각화하여 운영 팀의 상황 인지 능력을 향상시킵니다.

2. AWS CloudTrail: ML 리소스에 대한 활동 감사

AWS CloudTrail은 AWS 계정의 거버넌스, 규정 준수, 운영 및 위험 감사를 지원하는 서비스입니다. 이는 계정 활동에 대한 기록을 제공합니다. ML 환경에서는 다음과 같은 용도로 활용됩니다.

• API 호출 기록: 누가 언제 어떤 AWS 서비스 (예: Amazon S3, Amazon SageMaker, Amazon EC2)에 대해 어떤 API 호출을 수행했는지 기록합니다. ML 모델을 저장하는 S3 버킷의 접근 권한 변경, SageMaker 엔드포인트의 삭제와 같은 중요한 변경 사항을 추적할 수 있습니다.
• 보안 분석 및 문제 해결: 무단 접근 시도나 구성 변경으로 인한 ML 워크로드 중단 발생 시, CloudTrail 로그를 분석하여 원인을 파악하고 보안 사고를 조사할 수 있습니다.
• 규정 준수 (Compliance): 특정 규제 요건을 충족하기 위해 모든 AWS API 호출 활동을 감사하고 기록해야 하는 경우 CloudTrail이 핵심적인 역할을 합니다.

3. AWS Config: ML 리소스 구성 관리 및 규정 준수

AWS Config는 AWS 리소스의 구성 변경 사항을 지속적으로 기록하고, 원하는 구성 기준으로 리소스 구성을 평가하여 규정 준수 여부를 확인하는 서비스입니다. ML 환경에서 Config는 다음과 같은 역할을 수행합니다.

• 리소스 구성 기록 (Resource Configuration History): SageMaker 엔드포인트의 보안 그룹 (Security Group) 변경, S3 버킷의 퍼블릭 접근 설정 변경 등 ML 관련 리소스의 모든 구성 변경 이력을 기록합니다.
• 규칙 기반 평가 (Rule-based Evaluation): 미리 정의된 또는 사용자 지정된 규칙 (AWS Config Rules)을 사용하여 ML 데이터가 저장된 S3 버킷이 암호화되어 있는지, SageMaker 노트북 인스턴스에 퍼블릭 IP가 할당되지 않았는지 등을 자동으로 평가하고 비준수 리소스를 식별합니다.
• 변경 알림 (Change Notifications): 비준수 변경이 감지되면 SNS를 통해 알림을 보내거나, AWS Lambda 함수를 트리거하여 자동으로 수정 조치를 취할 수 있습니다.

4. AWS Systems Manager: ML 인프라 운영 및 자동화

AWS Systems Manager는 AWS 리소스의 운영 효율성을 높이는 통합된 관리 서비스 모음입니다. ML 워크로드에서 EC2 인스턴스를 활용하는 경우 특히 유용합니다.

• 패치 관리자 (Patch Manager): ML 학습 서버나 추론 인스턴스의 운영 체제 및 애플리케이션에 대한 패치 적용을 자동화하여 보안 취약점을 줄입니다.
• 세션 관리자 (Session Manager): ML 개발자나 운영자가 SSH 키 없이도 EC2 인스턴스에 보안적으로 접속하여 ML 모델 학습 환경을 설정하거나 문제를 진단할 수 있도록 합니다.
• 실행 명령 (Run Command): 여러 EC2 인스턴스에서 ML 관련 스크립트 (예: 데이터 전처리, 모델 배포 스크립트)를 원격으로 실행하고 그 결과를 수집할 수 있습니다.
• 유지 관리 기간 (Maintenance Windows): ML 서비스 중단 시간을 최소화하면서 시스템 업데이트나 유지 보수 작업을 예약하고 실행할 수 있습니다.

5. AWS Trusted Advisor: ML 워크로드 최적화 추천

AWS Trusted Advisor는 AWS 환경을 검사하여 비용 절감, 시스템 성능 향상, 보안 강화, 내결함성 개선, 서비스 한도 준수에 대한 권장 사항을 제공하는 서비스입니다. ML 워크로드 최적화에 기여하는 부분은 다음과 같습니다.

• 비용 최적화 (Cost Optimization): 사용되지 않는 SageMaker 인스턴스나 EC2 인스턴스, 비용 효율적이지 않은 스토리지 (S3) 사용 등에 대한 권장 사항을 제공하여 ML 운영 비용을 절감합니다.
• 성능 (Performance): ML 학습 또는 추론에 사용되는 리소스의 병목 현상을 식별하고 성능 향상 방안을 제시합니다.
• 보안 (Security): ML 데이터가 저장된 S3 버킷의 접근 권한, 네트워크 구성의 보안 취약점 등을 식별하여 보안 강화를 돕습니다.
• 서비스 한도 (Service Limits): AWS 계정의 서비스 한도가 ML 워크로드의 확장을 저해할 수 있는 경우 이를 사전에 경고하여 운영 중단을 방지합니다.