Het monitoringsysteem

Intussen is duidelijk dat een ML-toepassing veel meer is dan alleen het model en dat elk onderdeel een mogelijk faalpunt kan zijn.

Daarom is een uitgebreid monitoringsysteem van het grootste belang om problemen in productie snel te signaleren en op te lossen.

Welke fundamentele functies zou zo’n systeem moeten hebben?

Deze oefening maakt deel uit van de cursus

MLOps-deployments en levenscyclus

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Deze oefening maakt deel uit van de cursus

MLOps-deployments en levenscyclus

SkillTag.level.advancedSkillTag.label

4.8+

Begin gratis met de cursus

Dit hoofdstuk geeft een overzicht op hoofdlijnen van MLOps-principes en frameworkcomponenten die belangrijk zijn voor deployment en de levenscyclus.

Exercise 1: Het moderne MLOps-framework Exercise 2: ML-workflows Exercise 3: Voordelen van MLOps Exercise 4: Fasen van de life cycle Exercise 5: App vs. model Exercise 6: Uitfaseren Exercise 7: De levenscyclus van het model: samenvatting Exercise 8: MLOps-componenten Exercise 9: Geautomatiseerde reeks Exercise 10: Stores en registries Exercise 11: DevOps of MLOps?

Dit hoofdstuk is gewijd aan alle overwegingen die we al in de ontwikkelfase moeten maken om te zorgen voor een soepele overgang zodra we in de operatie belanden. Ons uiteindelijke doel is uit te leggen hoe je het model traint volgens MLOps best practices en een modelpakket bouwt dat soepele deployment, reproduceerbaarheid en monitoring na deployment mogelijk maakt.

Exercise 1: Deployment-gedreven ontwikkeling Exercise 2: Je machine learning-model testen Exercise 3: Beste moment om te beginnen met deployen Exercise 4: Profiling, versiebeheer en feature stores Exercise 5: Eigenschappen van feature stores Exercise 6: Voordelen van profilering en feature stores Exercise 7: Reproduceerbaarheid waarborgen Exercise 8: Model-buildpijplijnen in CI/CD Exercise 9: Verschillende pijplijnen Exercise 10: Eigenschappen van de model-buildpijplijn Exercise 11: CI/CD-integratie Exercise 12: Modelverpakking Exercise 13: Modelformats Exercise 14: Volledig pakket

Dit hoofdstuk behandelt kritieke vragen over modeloperaties, zoals: - Op welke verschillende manieren kunnen we onze modellen aanbieden? - Wat is een API en wat zijn de belangrijkste functies ervan? - Hoe testen we onze service grondig voordat we die beschikbaar maken voor eindgebruikers? - Hoe werken we modellen in productie bij zonder de service te verstoren? Je leert over batchvoorspelling, realtime voorspelling, validatie van input- en outputdata, unit testing, integratietesten, canary deployment en nog veel meer.

Exercise 1: Servicemodi Exercise 2: Offline of online?Exercise 3: Als tijd telt - een beetje Exercise 4: De API bouwen Exercise 5: Client-server Exercise 6: API-functionaliteiten Exercise 7: Uitrolfasen en testen Exercise 8: Welke test is het?Exercise 9: Voortgang door omgevingen Exercise 10: Tests per omgeving Exercise 11: Strategieën voor modeldeployment Exercise 12: Een passende deploymentstrategie Exercise 13: Volgorde van risico Exercise 14: Schaduw van de schaduw

Dit laatste hoofdstuk is gericht op het monitoren en onderhouden van ML-services nadat ze zijn gedeployed, en op modelgovernance. Je behandelt cruciale concepten zoals verification latency, covariate shift, concept drift, human-in-the-loop-systemen en meer.

Exercise 1: ML-services monitoren Exercise 2: Shift versus drift Exercise 3: Latentie Exercise 4: Nu al?Exercise 5: Monitoring en alertering Exercise 6: Het monitoringsysteem

Huidige oefening

Exercise 7: Waarschuwen Exercise 8: Modelonderhoud Exercise 9: Data-centric vs Model-centric Exercise 10: Human-in-the-Loop Exercise 11: Model governance Exercise 12: Elementen van governance Exercise 13: Fasen van governance Exercise 14: Risicoclassificatie Exercise 15: Afronding