1장에서는 기업이 운영 환경에서 여러분의 Machine Learning 모델을 왜 모니터링해야 하는지 설명해요. 이상적인 모니터링 워크플로와 그에 포함되는 단계들을 배우고, 운영 중의 모니터링 시스템이 직면할 수 있는 몇 가지 과제도 살펴봐요.

왜 모델을 모니터링해야 하나요

모델이 실패하는 이유는 무엇일까요?

모니터링 시스템의 이점

이상적인 모니터링 워크플로

KPI 모니터링의 중요성

현실 시나리오에서의 모니터링 워크플로

ML 모델 모니터링의 과제

지연되는 ground truth

Covariate shift vs concept drift

ML 모니터링이란 무엇인가

2장에서는 신뢰할 수 있는 모니터링 시스템에서 성능 모니터링이 왜 근본적으로 중요한지 알아봐요. 실제 운영 환경에서 흔히 겪는 과제, 예를 들어 정답(ground truth)의 가용성 문제를 다룰 거예요. 장이 끝나면 정답 데이터가 지연되거나 없을 때 성능 추정 알고리즘을 사용해 어떻게 대응할 수 있는지 알게 돼요.

기술적 성능을 직접 모니터링하기

왜 성능이 우선일까요?

다양한 공변량 변동

정답(ground truth)의 가용성

성능 추정이 필요할까요?

운영 환경에서의 성능 모니터링

성능 추정

CBPE 고려사항

운영 환경에서의 성능 추정

성능 추정을 위한 알고리즘

모니터링의 이론적 개념

운영 환경에서의 covariate shift와 concept drift의 기본을 이해했으니, 이제 조금 더 깊이 들어가 볼게요. 이 장이 끝나면 실제 시나리오에서 이를 탐지하고 대응하는 다양한 방법을 알게 될 거예요.

공변량 시프트란 무엇인가요?

바뀐(스왑된) 특성

드리프트 탐지 방법

공변량 시프트를 어떻게 탐지할까요?

미묘한 변화

Options

True

False

다양한 방법

Concept drift란 무엇인가요?

개념 드리프트의 유형

컨셉 드리프트와 공변량 시프트의 상호작용

개념 드리프트는 어떻게 대응하나요?

실시간 적응

Concept drift 감지와 해결

마무리

Covariate Shift와 Concept Drift 탐지

Machine Learning 모델의 장기적인 성공을 위해서는, 운영 환경에서 모델을 효과적으로 모니터링하는 방법을 이해하는 것이 중요해요. 비즈니스 현장에서 Machine Learning의 도입이 확대되면서, 배포 이후의 데이터 사이언스가 중요한 분야로 떠오르고 있어요. 이 강의는 운영 환경에서 Machine Learning 시스템을 모니터링할 때 필요한 핵심 개념을 다루며, 비즈니스 가치를 유지하고 실패 위험을 줄이며 가시성을 높이는 방법을 알려드려요.

MLOps Concepts

Supervised Learning with scikit-learn

머신러닝 모델의 데이터 및 개념 변화 모니터링과 성능 저하 해결 방법을 알아보세요.

Monitoring Machine Learning 개념

프로덕션 환경의 머신러닝 모델 모니터링 과제(데이터·컨셉 드리프트)와 모델 성능 저하를 해결하는 방법을 학습합니다.

머신 러닝 엔지니어

프로덕션에서의 머신 러닝 in Python

대규모 모델과 빅데이터 환경에서 concept drift를 처리하기 위한 모델 재학습은 비용이 큰 해결책이에요

주기적인 재학습은 최신 패턴을 반영해 모델을 최신 상태로 유지해 줘요

블랙프라이데이나 크리스마스 같은 이벤트 기간에는 반복적 concept drift가 발생할 수 있어요

Online Learning은 잡음이 많은 데이터에 민감하며, 이는 모델 성능 향상으로 이어질 수 있어요

오류 기반 방법은 정답(ground truth)을 필요로 하지 않아요

테스트 및 운영 데이터로 학습한 새 모델을 사용해 concept drift를 감지하는 것은 저렴한 해결책이에요

Concept drift 감지와 해결

Monitoring Machine Learning 개념

실습형 인터랙티브 연습문제