이 단원에서는 NannyML 라이브러리와 핵심 기능을 소개합니다. 먼저, 원시 데이터를 준비해 운영 환경 모니터링에 사용할 기준(reference) 세트와 분석 세트를 만드는 과정을 배웁니다. 실습 예제로는 New York 택시 승차에서 팁 금액을 예측하는 문제를 다룹니다. 단원 마지막에는 NannyML을 사용해 팁 예측 모델의 성능을 추정하는 방법도 알아봅니다.

NannyML이란 무엇인가요?

NannyML의 핵심 기능

데이터셋 로드하기

NannyML을 위한 데이터 준비

Options

Reference 기간

Analysis 기간

Reference 또는 Analysis 기간?

데이터 불러오기와 분할하기

참조 세트와 분석 세트 만들기

성능 추정

알고리즘과 문제 유형 지정하기

결과 해석하기

CBPE와 DLE 워크플로

팁 예측을 위한 성능 추정

데이터 준비와 성능 추정

이 단원에서는 실제 정답 레이블이 제공될 때 사용하는 실현 성능(realized performance) 계산기를 소개합니다. 결과를 다루는 고급 방법인 필터링, 시각화, 데이터 프레임 변환, 청킹(chunking), 사용자 지정 임계값 설정에 대해 배웁니다. 마지막으로, 호텔 예약 데이터셋으로 학습한 모델의 비즈니스 가치를 계산하는 데 이 지식을 적용해 봅니다.

레이블을 사용할 수 있을 때

성능 추정이 빗나갈 때

추정 성능과 실현 성능 비교하기

계산된 결과와 추정된 결과 다루기

다양한 청크 방식

임계값 수정하기

결과와 상호작용하기

비즈니스 가치 계산과 추정

비즈니스 가치 계산

금전적 가치 하락

Hotel Booking 데이터셋의 비즈니스 가치 계산

성능 모니터링과 비즈니스 가치

호텔 예약 모델에서 성능 저하를 발견했다면, 이제 그 원인이 되는 근본 문제를 파악하는 방법을 배웁니다. 이 단원에서는 다변량 및 단변량 드리프트 감지 방법을 소개합니다. 또한 데이터 품질 문제를 식별하는 방법과, 발견한 근본 문제를 해결하는 방법도 학습합니다.

다변량 드리프트 탐지

호텔 예약 데이터셋의 드리프트

단변량 드리프트 탐지

호텔 예약 데이터셋의 단변량 드리프트 탐지

단변량 결과 순위 매기기

드리프트가 발생한 특성 시각화

데이터 품질 및 통계 점검

데이터 품질 점검

요약 통계

문제 해결

어떻게 해결할 수 있을까요?

아무것도 하지 않아야 할까요, 아닐까요?

모니터링 워크플로 구현하기

축하합니다

근본 원인 분석과 이슈 해결

Hotel Booking Reference Dataset

Hotel Booking Analysis Dataset

Green Taxi Dataset

Machine Learning 모델을 모니터링하면 프로젝트의 장기적인 성공을 보장할 수 있어요. 모니터링은 매우 복잡할 수 있지만, Python 패키지를 활용하면 모델의 성능이 어떤지, 어떤 데이터 변화가 성능 저하를 초래했는지, 그리고 모델을 다시 정상 궤도로 올리기 위해 무엇을 해야 하는지 파악할 수 있습니다. 이 강의에서는 널리 사용되는 모니터링 패키지인 nannyml을 활용해, Python에서 기본적인 모니터링 시스템을 구축하는 데 필요한 모든 내용을 다룹니다.


<h2>Python에서 ML 모델을 모니터링하는 방법을 배워보세요</h2>

머신 러닝 모델을 모니터링하면 머신 러닝 프로젝트의 장기적인 성공을 보장할 수 있습니다. 모니터링은 매우 복잡할 수 있지만, 모델의 성능이 어떤지 이해하고, 성능 저하로 이어졌을 수 있는 데이터의 변화를 파악하며, 모델을 다시 정상 궤도로 되돌리기 위해 무엇을 해야 하는지에 대한 단서를 제공하는 Python 패키지들이 있습니다. 이 강의는 인기 있는 모니터링 패키지인 nannyml을 사용하여 Python으로 기본 모니터링 시스템을 구축하는 데 필요한 모든 내용을 다룹니다.

<h2>최적의 모니터링 워크플로를 이해하세요</h2>

모델 모니터링은 단순히 프로덕션에서 모델 성능을 계산하는 것만이 아닙니다. 안타깝게도 그렇게 간단하지는 않습니다. 특히 레이블을 구하기 어려울 때. 이 강의는 최적의 모니터링 워크플로에 대해 알려드립니다. 모델 실패를 항상 포착하고, 알림 피로를 피하며, 문제의 근본 원인을 빠르게 파악할 수 있도록 해줍니다.

<h2>모델 성능 문제의 근본 원인을 찾는 방법을 배워보세요</h2>

모델 모니터링의 또 다른 중요한 요소는 근본 원인 분석입니다. 이 강의에서는 데이터 드리프트 탐지 기법을 활용해 모델 성능 문제의 근본 원인을 파악하는 방법을 살펴봅니다. 단변량 및 다변량 데이터 드리프트 탐지 기법을 모두 활용하여 모델 문제의 잠재적 근본 원인을 찾아내는 방법을 배우게 됩니다.



Monitoring Machine Learning Concepts

이 과정은 Python으로 기본 머신 러닝 모니터링 시스템을 구축하는 데 필요한 모든 것을 다룹니다.

Python으로 Machine Learning 모니터링

이 과정은 Python으로 기본 머신 러닝 모니터링 시스템을 구축하는 데 필요한 모든 내용을 다룹니다.

머신 러닝 엔지니어

프로덕션에서의 머신 러닝 in Python

이전 세트에서 얻은 지식을 활용함

가장 최근의 입력 데이터와 모델 예측으로 생성됨

Reference 또는 Analysis 기간?

Python으로 Machine Learning 모니터링

실습형 인터랙티브 연습문제