In dit hoofdstuk maak je kennis met de NannyML-bibliotheek en de basisfuncties. Je leert eerst hoe je ruwe data voorbereidt om referentie- en analysemappen te maken die klaar zijn voor monitoring in productie. Als praktisch voorbeeld onderzoek je hoe je het fooibedrag voor taxiritten in New York kunt voorspellen. Aan het einde van het hoofdstuk ontdek je ook hoe je met NannyML de prestaties van het fooi-voorspellingsmodel kunt schatten.

Wat is NannyML?

Belangrijkste functies van NannyML

Laad de gegevensset

Gegevens voorbereiden voor NannyML

Opties

Referentieperiode 

Analyseperiode

Referentie- of analyseperiode?

De data laden en splitsen

Referentie- en analyseset maken

Prestatie-inschatting

Specificeer het algoritme en het probleemtype

Resultaten interpreteren

Prestatieschatting

CBPE- en DLE-workflow

Prestatie-inschatting voor tipvoorspelling

Datavoorbereiding en prestatieschatting

In dit hoofdstuk maak je kennis met gerealiseerde prestatiecalculators die je gebruikt zodra de grondwaarheid beschikbaar komt. Je leert meer geavanceerde methoden om met resultaten te werken, waaronder filteren, plotten, omzetten naar dataframes, chunking en het instellen van aangepaste drempels. Tot slot pas je dit toe om de bedrijfswaarde te berekenen van een model dat is getraind op de hotelboekingsgegevensset.

Wanneer labels beschikbaar zijn

Als prestatieschattingen niet kloppen

Geschatte en gerealiseerde performance vergelijken

Werken met berekende en geschatte resultaten

Verschillende chunking-methoden

Drempelwaarden aanpassen

Werken met resultaten

Zakelijke waarde: berekening en schatting

Businesswaarde berekenen

Daling in geldwaarde

Bedrijfsberekening voor hotelboekingsgegevensset

Prestaties en bedrijfswaarde monitoren

Nu de prestatieverslechtering in het hotelboekingsmodel is gedetecteerd, leer je hoe je het onderliggende probleem identificeert dat dit veroorzaakt. In dit hoofdstuk maak je kennis met multivariate en univariate driftdetectiemethoden. Je leert ook hoe je datakwaliteitsproblemen herkent en hoe je de onderliggende oorzaken die je ontdekt aanpakt.

Multivariate driftdetectie

Relevante drifts identificeren

Drift in de hotelreserveringsgegevensset

Univariate driftdetectie

Univariate driftdetectie voor de hotelboekingen-gegevensset

De univariate resultaten rangschikken

Driftende features visualiseren

Datakwaliteit en statistische controles

Controles op datakwaliteit

Samenvattende statistieken

Probleemoplossing

Wat is de oplossing?

Moet je niets doen of niet?

Een monitoringworkflow implementeren

Gefeliciteerd

Oorzaakanalyse en probleemoplossing

Green Taxi Dataset

Hotel Booking Analysis Dataset

Hotel Booking Reference Dataset

Het monitoren van Machine Learning-modellen zorgt voor het langetermijnsucces van je Machine Learning-projecten. Monitoring kan behoorlijk complex zijn. Gelukkig zijn er Python-pakketten die helpen te begrijpen hoe je modellen presteren, welke data is veranderd die tot een prestatieverlies kan hebben geleid, en die aanwijzingen geven over wat je kunt doen om je modellen weer op niveau te krijgen. In deze cursus leer je alles wat je nodig hebt om een eenvoudig monitoringsysteem in Python te bouwen met het populaire monitorpakket nannyml.


<h2>Leer hoe je je ML-modellen in Python kunt monitoren</h2>

Het monitoren van machine learning-modellen zorgt ervoor dat je machine learning-projecten op de lange termijn blijven slagen. Monitoring kan best ingewikkeld zijn, maar er zijn Python-pakketten die ons helpen begrijpen hoe onze modellen presteren, welke gegevens zijn veranderd waardoor de prestaties misschien zijn gedaald, en die ons tips geven over wat we moeten doen om onze modellen weer op de rails te krijgen. Deze cursus behandelt alles wat je moet weten om een eenvoudig monitoringsysteem in Python te bouwen, met behulp van het populaire monitorpakket nannyml.

<h2>Begrijp de beste manier om dingen in de gaten te houden</h2>

Modelmonitoring gaat niet alleen over het simpelweg berekenen van de prestaties van een model in productie. Helaas is het niet zo simpel. Vooral als labels moeilijk te vinden zijn. In deze cursus leer je alles over de beste manier om je monitoring te regelen. Het zorgt ervoor dat je altijd modelstoringen opmerkt, waarschuwingsmoeheid voorkomt en snel de oorzaak van het probleem vindt.

<h2>Ontdek hoe je de echte oorzaak van problemen met modelprestaties kunt vinden.</h2>

Een ander belangrijk onderdeel van modelmonitoring is het achterhalen van de echte oorzaak. In deze cursus gaan we dieper in op hoe je technieken voor het spotten van datadrift kunt gebruiken om de echte oorzaak van problemen met modelprestaties te vinden. Je leert hoe je zowel univariate als multivariate technieken voor het opsporen van gegevensafwijkingen kunt gebruiken om mogelijke oorzaken van modelproblemen te ontdekken.




Monitoring Machine Learning Concepts

Deze cursus behandelt alles wat je moet weten om een basis ML-monitoringssysteem in Python te bouwen.

Monitoring Machine Learning in Python

Deze cursus behandelt alles wat je moet weten om een eenvoudig monitoringsysteem voor machine learning te bouwen in Python.

Machine Learning Engineer

Machine learning in productie in Python

CBPE- en DLE-workflow

Monitoring Machine Learning in Python

Interactieve oefening met praktijkervaring