Testen: Data vs. model vs. pipeline

Top gedaan met de vorige oefeningen. Voordat je naar de volgende video gaat, gaan we oefenen met de concepten rond het testen van MLOps-systemen. We gaan specifiek het verschil oefenen tussen:

Datatests
Modeltests
Pipelinestests

Deze oefening maakt deel uit van de cursus

Volledig geautomatiseerde MLOps

Bekijk cursus

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Begin oefening

Deze oefening maakt deel uit van de cursus

Volledig geautomatiseerde MLOps

SkillTag.level.intermediateSkillTag.label

4.8+

323 reviews

Begin gratis met de cursus

In dit eerste hoofdstuk motiveren we het gebruik van MLOps in een industriële omgeving. Je leert waarom het belangrijk is om waardecreatie in bedrijven te ondersteunen. Je frist ook de ML-fasen op, met de focus op hoe MLOps deze versterkt. Aan het einde van het hoofdstuk verken je een referentie-architectuur voor een volledig geautomatiseerd MLOps-systeem. Die architectuur gebruik je vervolgens om componenten te onderzoeken die belangrijk zijn voor elk MLOps-systeem en als startpunt voor de rest van de cursus.

Exercise 1: Introductie tot volledig geautomatiseerde MLOps Exercise 2: Verborgen technische schuld moet worden afgelost Exercise 3: Verborgen technische schuld in ML is anders Exercise 4: Fasen van de MLOps-levenscyclus Exercise 5: Volledig geautomatiseerde MLOps Exercise 6: Automatiseren of niet automatiseren...Exercise 7: Schaalbaar bouwen Exercise 8: Referentiearchitectuur: volledig geautomatiseerde MLOps Exercise 9: Referentiearchitecturen in IT en MLOps Exercise 10: MLOps-architectuurcomponenten

In dit hoofdstuk ga je verder met het verkennen van de cruciale componenten van een volledig geautomatiseerd MLOps-systeem. Eerst bekijk je het belang van orkestratie in MLOps en hoe dit helpt om de efficiëntie en schaalbaarheid van ML-pijplijnen te waarborgen. Daarna onderzoek je de verschillende deploymentstrategieën in MLOps en leer je hoe je de juiste strategie voor jouw systeem kiest. Tot slot leer je over CI/CD/CT/CM en hoe dit orkestratie en best practices aanvult om volledige automatisering in MLOps-systemen te bereiken. Met deze lessen op zak ben je beter in staat een volledig geautomatiseerd MLOps-systeem te bouwen dat efficiënt, nauwkeurig en betrouwbaar is.

Exercise 1: Geautomatiseerde experimenttracking Exercise 2: Wat moeten we bijhouden?Exercise 3: Het grote debat over experimenttracking: aan welke kant sta jij?Exercise 4: Wat houden we hier bij?Exercise 5: Het modelregister Exercise 6: Gooi het model niet over de schutting!Exercise 7: De levenscyclus van het ML-model Exercise 8: Dit is een klus voor de model registry!Exercise 9: De feature store in een geautomatiseerde MLOps-architectuur Exercise 10: Een voordeel van het gebruik van een feature store Exercise 11: De rollen van de feature store Exercise 12: De metadata store Exercise 13: Metadata in MLOps Exercise 14: Model retraining met de metadata store Exercise 15: De rol van de metadata store bij monitoring in MLOps

In dit hoofdstuk duik je in de wereld van automatisering en leer je hoe je veerkrachtigere en efficiëntere ML-systemen ontwerpt. Je begint met de basis van automatisering in MLOps-systemen en ontdekt daarna de kracht van ontwerppatronen en failsafes. Je leert ook hoe je geautomatiseerd testen in MLOps-systemen implementeert en hoe je hyperparameter tuning inzet om je modellen en workflows te optimaliseren. Aan het einde van dit hoofdstuk beschik je over de vaardigheden en kennis om volledig geautomatiseerde MLOps-systemen te bouwen en te beheren die zowel efficiënt als betrouwbaar zijn.

Exercise 1: Volledige automatisering en best practices voor MLOps introduceren Exercise 2: Automatisering in MLOps-workflows Exercise 3: Graden van automatisering in MLOps Exercise 4: Het patroon voor automatisering, monitoring en incidentrespons Exercise 5: Is dit een design pattern?Exercise 6: Opnieuw trainen, terugdraaien of imputeren?Exercise 7: Geautomatiseerd testen in MLOps Exercise 8: Garbage in - garbage out... Voer datatests uit!Exercise 9: Testen: traditioneel vs. MLOps Exercise 10: Testen: Data vs. model vs. pipeline

Huidige oefening

Exercise 11: Geautomatiseerde hyperparameterafstemming Exercise 12: Parameter of hyperparameter?Exercise 13: De rol van hyperparameter tuning in MLOps Exercise 14: Hyperparametertuning automatiseren

In dit laatste hoofdstuk ga je in op de cruciale componenten van een geautomatiseerde MLOps-architectuur. Van geautomatiseerde experimenttracking en de model registry tot het verkennen van de feature store en de rol van de metadata store: dit hoofdstuk geeft je een volledig beeld van de finesses van een volledig geautomatiseerd MLOps-systeem. Of je nu een ervaren ML-practitioner bent of net begint, dit hoofdstuk biedt je de kennis en vaardigheden om geautomatiseerde MLOps-workflows te ontwerpen.

Exercise 1: Orchestratie in MLOps Exercise 2: Waarom zouden we modulariseren?Exercise 3: Orkestratie: dev vs. prod Exercise 4: DAG's in MLOps-workflows Exercise 5: Aspecten van orkestratie in MLOps Exercise 6: Automatisering in MLOps-implementatiestrategieën Exercise 7: Wat voor soort deployment is dit?Exercise 8: Is dit de juiste deploymentstrategie?Exercise 9: Zonder downtime blijven met een blue/green-deployment Exercise 10: CI/CD/CT/CM in volledig geautomatiseerde MLOps Exercise 11: Hoe dragen CI/CD/CT/CM bij aan MLOps?Exercise 12: Continuous monitoring & continuous training Exercise 13: CI/CD/CT/CM in MLOps Exercise 14: Samenvatting