The first chapter will explain why businesses need to monitor your machine  learning models in production. You will learn about the ideal monitoring  workflow and the steps involved, as well as some of the challenges that  monitoring systems can face in production.

Why you need to monitor your model

Why models fail?

The benefits of monitoring systems

The ideal monitoring workflow

The importance of monitoring KPIs

Ideal monitoring workflow

Monitoring workflow in real-life scenario

Challenges of monitoring ML models

Delayed ground truth

Covariate shift vs concept drift

What is ML Monitoring 

In Chapter 2, you'll discover the fundamental importance of performance  monitoring in a reliable monitoring system. We'll explore the common challenges faced in real-world production environments, such as the availability of ground truth. By the end of the chapter, you'll know how to handle situations when ground truth data is delayed or absent , using performance estimation algorithms.

Monitoring technical performance directly

Why performance first?

Different covariate shifts

Availability of ground truth

Is performance estimation required?

Performance monitoring in production

Performance estimation

CBPE considerations

Performance estimation in production

Algorithms for performance estimation

Theoretical Concepts of monitoring 

Now that you know the basics of covariate shift and concept drift in production, let''s dive a little bit deeper. At the end of this chapter, you will know the different ways to detect and handle them in real-world scenarios.

Wat is covariate shift?

Verwisselde features

Methode voor driftdetectie

Covariate shift detecteren: hoe pak je dat aan?

Subtiele veranderingen

Opties

Waar

Onwaar

Verschillende methoden

Wat is concept drift?

Type concept drift

Interactie tussen concept drift en covariate shift

Hoe ga je om met concept drift?

Realtime aanpassing

Concept drift detecteren en oplossen

Afronding

Covariate Shift and Concept Drift Detection

Om het langetermijnsucces van Machine Learning-modellen te waarborgen, is het essentieel te begrijpen hoe je ze effectief monitort in productie. Nu Machine Learning steeds vaker wordt ingezet in het bedrijfsleven, ontstaat post-deployment data science als een belangrijk vakgebied. Deze cursus behandelt alle essentiële concepten rond het monitoren van Machine Learning-systemen in productie, om bedrijfswaarde te behouden, het risico op falen te verkleinen en de zichtbaarheid te vergroten.

<h2> Concepten voor het monitoren van machine learning</h2>
Machine learning-modellen beïnvloeden steeds meer beslissingen in de echte wereld. Deze modellen moeten in de gaten worden gehouden om problemen te voorkomen en ervoor te zorgen dat ze je bedrijf echt iets opleveren. Deze cursus laat je kennismaken met de basisideeën voor het maken van een sterk monitoringsysteem voor je modellen in productie.
<br><br>
<h2>Ontdek de ideale monitoringworkflow</h2>
De cursus begint met een plan voor waar je moet beginnen met monitoring in de productie en hoe je de processen daaromheen kunt opzetten. We laten je zien hoe je problemen kunt ontdekken, de oorzaken kunt achterhalen en ze kunt oplossen met voorbeelden uit de praktijk.
<br><br>
<h2>Ontdek de uitdagingen van monitoringmodellen in productie</h2>
Het inzetten van een model in productie is maar het begin van de levenscyclus van het model. Zelfs als het tijdens de ontwikkeling goed werkt, kan het door steeds veranderende productiegegevens misgaan. In deze cursus ga je kijken naar de uitdagingen bij het monitoren van de prestaties van een model, vooral als er geen grondwaarheid is.
<br><br>
<h2> Begrijp in detail covariate shift en concept drift</h2>
Het laatste deel van deze cursus gaat over twee soorten stille modelstoringen. Je leert precies wat de verschillende soorten covariate shifts en concept drift zijn, hoe ze de prestaties van het model beïnvloeden en hoe je ze kunt opsporen en voorkomen.

MLOps Concepts

Supervised Learning with scikit-learn

Ontdek de uitdagingen van het monitoren van ML-modellen, zoals data- en conceptdrift en degradatie.

Monitoring Machine Learning-concepten

Machine Learning Engineer

Machine learning in productie in Python

Model retraining is een dure oplossing om concept drift aan te pakken bij grote modellen en big data

Periodiek retrainen zorgt ervoor dat het model up-to-date blijft met recente patronen

Terugkerende concept drift kan optreden tijdens events zoals Black Friday of Kerstmis

Online Learning is gevoelig voor ruisachtige data, wat kan leiden tot modelverbetering

Foutgebaseerde methoden hebben geen ground truth nodig

Concept drift detecteren met een nieuw model getraind op test- en productiedata is een goedkope oplossing

Concept drift detecteren en oplossen

Monitoring Machine Learning-concepten

Praktische interactieve oefening