Casestudy modelmonitoring

In deze laatste oefening krijg je een complexe situatie voorgeschoteld met verschillende aspecten uit deze sectie over Model Monitoring. Je taak is om de situatie te analyseren, de juiste stappen te bepalen en ze in de juiste volgorde te zetten om te laten zien dat je de geïntroduceerde concepten begrijpt.

Lees het scenario en zet de onderstaande stappen in de juiste volgorde. Deze oefening test je vermogen om een complexe, realistische situatie te analyseren en de kennis toe te passen die je in dit hoofdstuk hebt opgedaan.

Scenario: Je werkt als machine learning engineer bij een healthtech-bedrijf. Je team heeft recent een proof-of-concept binaire classificatiemodel voor hartziektevoorspelling in de productieomgeving uitgerold en beschikbaar gemaakt voor eindgebruikers. Na een paar weken merk je inconsistenties in de voorspellingen en lijkt de systeemprestatie te zijn verslechterd; enkele gebruikers hebben ook onnauwkeurige resultaten gemeld voor recente data. Jij krijgt de taak om het model te monitoren en ervoor te zorgen dat het nauwkeurige en relevante aanbevelingen blijft geven.