모델 모니터링 사례 연구

이 마지막 연습 문제에서는 Model Monitoring 섹션에서 다룬 여러 요소가 얽힌 복합 시나리오를 살펴봅니다. 주어진 상황을 분석하고, 올바른 조치를 식별한 뒤, 올바른 순서로 배열해 이번 장에서 소개한 개념을 이해했음을 보여 주세요.

제시된 시나리오를 읽고 아래 단계를 올바른 순서로 정렬하세요. 이 연습 문제는 실제에 가까운 복잡한 상황을 분석하고, 이 장에서 배운 지식을 적용하는 능력을 평가하도록 설계되었습니다.

시나리오: 당신은 한 헬스테크 회사에서 machine learning 엔지니어로 일하고 있습니다. 팀은 최근 심장 질환 예측을 위한 이진 분류 모델의 개념 증명(PoC)을 프로덕션 환경에 배포하고, 최종 사용자에게 제공하기 시작했어요. 몇 주가 지나자 예측에 일관되지 않은 점이 보이고 시스템 성능이 저하된 듯합니다. 일부 사용자는 최근 데이터에서 부정확한 결과가 나왔다고 신고하기도 했어요. 당신에게 모델을 모니터링해 계속해서 정확하고 유의미한 추천을 제공하도록 보장하라는 요청이 내려왔습니다.