In dit eerste hoofdstuk leer je waarom bedrijven je Machine Learning-modellen in productie moeten monitoren. Je ontdekt de ideale monitoringworkflow en de bijbehorende stappen, evenals enkele uitdagingen waarmee monitoringsystemen in productie te maken kunnen krijgen.

Waarom je je model moet monitoren

Waarom falen modellen?

De voordelen van monitoringsystemen

De ideale monitoringworkflow

Het belang van het monitoren van KPI’s

Ideale monitoringworkflow

Monitoring-workflow in een praktijkscenario

Uitdagingen bij het monitoren van ML-modellen

Vertraagde ground truth

Covariate shift vs concept drift

Wat is ML-monitoring

In hoofdstuk 2 ontdek je het fundamentele belang van prestatimonitoring in een betrouwbaar monitoringsysteem. We verkennen veelvoorkomende uitdagingen in productieomgevingen, zoals de beschikbaarheid van ground truth. Aan het einde van het hoofdstuk weet je hoe je situaties aanpakt waarin ground-truthgegevens vertraagd zijn of ontbreken, met behulp van algoritmen voor prestatie-inschatting.

Technische performance direct monitoren

Waarom eerst performance?

Verschillende covariaatverschuivingen

Beschikbaarheid van ground truth

Is prestatie-inschatting nodig?

Opties

Waar

Onwaar

Prestatiemonitoring in productie

Prestatie-inschatting

Overwegingen bij CBPE

Prestatie-inschatting in productie

CBPE

Algoritmen voor prestatieschatting

Theoretische concepten van monitoring

Nu je de basis kent van covariate shift en concept drift in productie, gaan we iets dieper. Aan het einde van dit hoofdstuk ken je de verschillende manieren om ze te detecteren en te behandelen in praktijkscenario's.

Wat is covariate shift?

Verwisselde features

Methode voor driftdetectie

Covariate shift detecteren: hoe pak je dat aan?

Subtiele veranderingen

Verschillende methoden

Wat is concept drift?

Type concept drift

Interactie tussen concept drift en covariate shift

Hoe ga je om met concept drift?

Realtime aanpassing

Concept drift detecteren en oplossen

Afronding

Detectie van covariate shift en concept drift

Om het langetermijnsucces van Machine Learning-modellen te waarborgen, is het essentieel te begrijpen hoe je ze effectief monitort in productie. Nu Machine Learning steeds vaker wordt ingezet in het bedrijfsleven, ontstaat post-deployment data science als een belangrijk vakgebied. Deze cursus behandelt alle essentiële concepten rond het monitoren van Machine Learning-systemen in productie, om bedrijfswaarde te behouden, het risico op falen te verkleinen en de zichtbaarheid te vergroten.

<h2> Concepten voor het monitoren van machine learning</h2>
Machine learning-modellen beïnvloeden steeds meer beslissingen in de echte wereld. Deze modellen moeten in de gaten worden gehouden om problemen te voorkomen en ervoor te zorgen dat ze je bedrijf echt iets opleveren. Deze cursus laat je kennismaken met de basisideeën voor het maken van een sterk monitoringsysteem voor je modellen in productie.
<br><br>
<h2>Ontdek de ideale monitoringworkflow</h2>
De cursus begint met een plan voor waar je moet beginnen met monitoring in de productie en hoe je de processen daaromheen kunt opzetten. We laten je zien hoe je problemen kunt ontdekken, de oorzaken kunt achterhalen en ze kunt oplossen met voorbeelden uit de praktijk.
<br><br>
<h2>Ontdek de uitdagingen van monitoringmodellen in productie</h2>
Het inzetten van een model in productie is maar het begin van de levenscyclus van het model. Zelfs als het tijdens de ontwikkeling goed werkt, kan het door steeds veranderende productiegegevens misgaan. In deze cursus ga je kijken naar de uitdagingen bij het monitoren van de prestaties van een model, vooral als er geen grondwaarheid is.
<br><br>
<h2> Begrijp in detail covariate shift en concept drift</h2>
Het laatste deel van deze cursus gaat over twee soorten stille modelstoringen. Je leert precies wat de verschillende soorten covariate shifts en concept drift zijn, hoe ze de prestaties van het model beïnvloeden en hoe je ze kunt opsporen en voorkomen.

MLOps Concepts

Supervised Learning with scikit-learn

Ontdek de uitdagingen van het monitoren van ML-modellen, zoals data- en conceptdrift en degradatie.

Monitoring Machine Learning-concepten

Ontdek de uitdagingen van het monitoren van machine learning-modellen in productie, zoals data- en conceptdrift, en aanpak van modeldegradatie.

Machine Learning Engineer

Machine learning in productie in Python

Prestatiemonitoring staat centraal in de monitoringsworkflow

Voorspellen wanneer een auto aankomt is een voorbeeld waarbij de ground truth direct beschikbaar is

Gerealiseerde performance wordt berekend met behulp van ground truth

Verzekeringspricing is een voorbeeld waarbij de ground truth direct beschikbaar is

Shifts dicht bij de beslissingsgrens hebben geen negatief effect op de performance

Als de ground truth in productie ontbreekt, is prestatiemonitoring niet nodig

Prestatiemonitoring in productie

Monitoring Machine Learning-concepten

Interactieve oefening met praktijkervaring