1장에서는 기업이 운영 환경에서 여러분의 Machine Learning 모델을 왜 모니터링해야 하는지 설명해요. 이상적인 모니터링 워크플로와 그에 포함되는 단계들을 배우고, 운영 중의 모니터링 시스템이 직면할 수 있는 몇 가지 과제도 살펴봐요.

왜 모델을 모니터링해야 하나요

모델이 실패하는 이유는 무엇일까요?

모니터링 시스템의 이점

이상적인 모니터링 워크플로

KPI 모니터링의 중요성

현실 시나리오에서의 모니터링 워크플로

ML 모델 모니터링의 과제

지연되는 ground truth

Covariate shift vs concept drift

ML 모니터링이란 무엇인가

2장에서는 신뢰할 수 있는 모니터링 시스템에서 성능 모니터링이 왜 근본적으로 중요한지 알아봐요. 실제 운영 환경에서 흔히 겪는 과제, 예를 들어 정답(ground truth)의 가용성 문제를 다룰 거예요. 장이 끝나면 정답 데이터가 지연되거나 없을 때 성능 추정 알고리즘을 사용해 어떻게 대응할 수 있는지 알게 돼요.

기술적 성능을 직접 모니터링하기

왜 성능이 우선일까요?

다양한 공변량 변동

정답(ground truth)의 가용성

성능 추정이 필요할까요?

운영 환경에서의 성능 모니터링

성능 추정

CBPE 고려사항

운영 환경에서의 성능 추정

성능 추정을 위한 알고리즘

모니터링의 이론적 개념

운영 환경에서의 covariate shift와 concept drift의 기본을 이해했으니, 이제 조금 더 깊이 들어가 볼게요. 이 장이 끝나면 실제 시나리오에서 이를 탐지하고 대응하는 다양한 방법을 알게 될 거예요.

공변량 시프트란 무엇인가요?

바뀐(스왑된) 특성

드리프트 탐지 방법

공변량 시프트를 어떻게 탐지할까요?

미묘한 변화

Options

True

False

다양한 방법

Concept drift란 무엇인가요?

개념 드리프트의 유형

컨셉 드리프트와 공변량 시프트의 상호작용

개념 드리프트는 어떻게 대응하나요?

실시간 적응

Concept drift 감지와 해결

마무리

Covariate Shift와 Concept Drift 탐지

Machine Learning 모델의 장기적인 성공을 위해서는, 운영 환경에서 모델을 효과적으로 모니터링하는 방법을 이해하는 것이 중요해요. 비즈니스 현장에서 Machine Learning의 도입이 확대되면서, 배포 이후의 데이터 사이언스가 중요한 분야로 떠오르고 있어요. 이 강의는 운영 환경에서 Machine Learning 시스템을 모니터링할 때 필요한 핵심 개념을 다루며, 비즈니스 가치를 유지하고 실패 위험을 줄이며 가시성을 높이는 방법을 알려드려요.

MLOps Concepts

Supervised Learning with scikit-learn

머신러닝 모델의 데이터 및 개념 변화 모니터링과 성능 저하 해결 방법을 알아보세요.

Monitoring Machine Learning 개념

프로덕션 환경의 머신러닝 모델 모니터링 과제(데이터·컨셉 드리프트)와 모델 성능 저하를 해결하는 방법을 학습합니다.

머신 러닝 엔지니어

프로덕션에서의 머신 러닝 in Python

다변량 드리프트 탐지 방법은 결합 분포의 변화를 측정하여 공변량 변화를 식별합니다

Jensen–Shannon 거리(JSD)는 KL 발산을 활용해 유사도를 측정합니다

Kolmogorov–Smirnov 방법은 거짓 양성 알림을 생성할 수 있습니다

카이제곱 검정과 L-infinity 방법은 연속형과 범주형 특성 모두에 사용할 수 있습니다

다변량 드리프트 탐지에 사용되는 PCA 알고리즘은 더 나은 분석을 위해 데이터를 더 높은 차원으로 확장합니다

다양한 방법

Monitoring Machine Learning 개념

실습형 인터랙티브 연습문제