This chapter gives a high-level overview of MLOps principles and framework components important for deployment and life cycling.

The modern MLOps framework

ML workflows

MLOps benefits

Life-cycling stages

App vs. model

Decommissioning

The model life cycle: recap

MLOps components

Automated sequence

Stores and registries

DevOps or MLOps?

MLOps in a Nutshell

This chapter is dedicated to all the considerations we need to make already in the development phase, in order to ensure a smooth ride when we reach the operations.

Our ultimate goal is to explain how to train the model using MLOps best practices and build a model package that enables smooth deployment, reproducibility and post-deployment monitoring.

Deployment-driven development

Testing your machine learning model

Best time to start deploying

Profiling, versioning, and feature stores

Feature store properties

Profiling and feature store benefits

Ensuring reproducibility

Model build pipelines in CI/CD

Different pipelines

Model build pipeline properties

CI/CD integration

Model packaging

Model formats

Full package

Develop for Deployment

This chapter deals with critical model operations questions such as:
- What are the different ways in which we can serve our models?
- What is an API, and what are its key functionalities?
- How do we thoroughly test our service before making it available to the end users?
- How do we update models in production without service disturbance?

You will learn about batch prediction, real-time prediction, input and output data validation, unit testing, integration testing, canary deployment, and much more.

Serving modes

Offline or online?

When time matters - a bit

Building the API

Client-server

API functionalities

Deployment progression and testing

Which test is it?

Progression through environments

Tests per environment

Model deployment strategies

A fitting deployment strategy

Order of risk

Shadow of the shadow

Deploy and Run

This final chapter is dedicated to monitoring and maintaining ML services after they are deployed, as well as to model governance.

You will cover crucial concepts such as verification latency, covariate shift, concept drift, human-in-the-loop systems, and more.


ML-services monitoren

Opties

Waar

Onwaar

Shift versus drift

Latentie

Nu al?

Monitoring en alertering

Het monitoringsysteem

Waarschuwen

Modelonderhoud

Datagerichte aanpak

Modelgerichte aanpak

Data-centric vs Model-centric

Human-in-the-Loop

Model governance

Binnen de scope van model governance

Niet binnen de scope van model governance

Elementen van governance

Ontwerp

Ontwikkeling

Operations

Fasen van governance

Risicoclassificatie

Afronding

Monitor and Maintain

Ontdek het moderne MLOps-framework, inclusief de levenscyclus en deployment van Machine Learning-modellen. In deze cursus leer je ML-code schrijven die technische schulden minimaliseert, ontdek je de tools die je nodig hebt om je modellen te deployen en te monitoren, en bekijk je de verschillende typen omgevingen en analyses die je tegenkomt.

Nadat je je data hebt verzameld, voorbereid en gelabeld, talloze experimenten op verschillende modellen hebt uitgevoerd en je concept hebt bewezen met een champion-model, is het tijd voor de volgende stappen. Bouwen. Deployen. Monitoren. Onderhouden. Dat is de levenscyclus van je model zodra het richting productie gaat. Dat is het Ops-gedeelte van MLOps.

Deze cursus laat je zien hoe je het tweede hoofdstuk van de reis van je model richting waardecreatie doorkomt, en daarmee de standaard zet voor de vele die volgen.

<h2>MLOps-implementatie en levenscyclusbeheer</h2>

Ontdek het moderne MLOps-framework, inclusief de levenscyclus en implementatie van machine learning-modellen. In deze cursus leer je ML-code schrijven die technische schulden minimaliseert, ontdek je de tools die je nodig hebt om je modellen te implementeren en te monitoren, en bekijk je de verschillende soorten omgevingen en analyses die je tegenkomt.

<h2>Meer info over de MLOps-levenscyclus</h2>
Nadat je je gegevens hebt verzameld, voorbereid en gelabeld, verschillende experimenten op verschillende modellen hebt uitgevoerd en je concept met een kampioensmodel hebt bewezen, is het tijd voor de volgende stappen. Bouwen Inzetten. Monitor. Onderhoud. Dat is de levenscyclus van je model zodra het klaar is voor productie. Dat is het Ops-gedeelte van MLOps.

Deze cursus laat je zien hoe je het tweede hoofdstuk van je model naar waardecreatie kunt doorlopen, waarmee je de lat legt voor nog veel meer toekomstige projecten. Je begint met het verkennen van de MLOps-levenscyclus, waarbij je het belang van MLOps en de belangrijkste functionele componenten voor modelontwikkeling, implementatie, monitoring en onderhoud ontdekt.
<h2>ML-code ontwikkelen voor implementatie</h2>
Vervolgens leer je hoe je modellen kunt ontwikkelen voor implementatie en hoe je effectieve ML-code kunt schrijven, tools kunt gebruiken en ML-pijplijnen kunt trainen. Naarmate je vordert, leer je hoe je je modellen kunt implementeren, verschillende implementatieomgevingen kunt verkennen en wanneer je deze kunt gebruiken. Je gaat ook strategieën bedenken om bestaande productiemodellen te vervangen en API's bekijken.
<h2>Leer hoe je je modellen kunt monitoren</h2>
Tijdens de cursus leer je de belangrijke prestatiestatistieken kennen die belangrijk zijn voor het monitoren en onderhouden van je ML-modellen. Je leert over driftmonitoring in productie, maar ook over modelfeedback, updates en governance.

Als je klaar bent, snap je hoe je de MLOps-levenscyclus kunt gebruiken om je eigen modellen in productie te zetten.


MLOps Concepts

In deze cursus verken je het moderne MLOps-framework en de levenscyclus van machine learning-modellen.

MLOps-deployments en levenscyclus

In deze cursus ga je aan de slag met het moderne MLOps-framework en leer je meer over de levenscyclus en implementatie van machine learning-modellen. 

Machine Learning Engineer

MLOps Fundamentals

Het monitoren van invoergegevens is voldoende om covariate shift te detecteren

Concept drift kan alleen worden bevestigd met de ground truth

Concept drift is een maat voor hoeveel het echte, gemodelleerde proces is veranderd sinds we ons model hebben getraind

Als covariate shift wordt gedetecteerd, is het zeker dat er ook concept drift heeft plaatsgevonden

Als er geen covariate shift is, kan er geen concept drift zijn

Modellen verslechteren doordat ze andere outputs gaan produceren voor dezelfde invoergegevens

Shift versus drift

MLOps-deployments en levenscyclus

Praktische interactieve oefening