Een workflow met meerdere stappen maken: Model Evaluation

In deze oefening maak je de Model Evaluation-stap van onze meerstapsworkflow om een deel van de ML-lifecycle te beheren. Je gebruikt de run()-methode uit de MLflow Projects-module en stelt het entrypoint in op model_evaluation. Vervolgens neem je de model_engineering_run_id als parameter, die als output in de vorige oefening is gegenereerd, en geef je die door aan het commando.

Het MLproject dat in de vorige stap is gemaakt, is beschikbaar in de IPython-shell met print(MLproject).

De mlflow-module is geïmporteerd.

Deze oefening maakt deel uit van de cursus

Introductie tot MLflow

Oefeninstructies

Ken de run()-methode uit de MLflow Projects-module toe aan model_evaluation.
Stel het entrypoint-argument in op "model_evaluation".
Stel een parameter in met de naam "run_id" met de waarde model_engineering_run_id.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Set the MLflow Projects run method
model_evaluation = ____.____.____(
    uri="./",
    # Set the entry point to model_evaluation
    ____="____",
  	# Set the parameter run_id to the run_id output of previous step
    parameters={
        "____": ____,
    },
    env_manager="local"
)

print(model_evaluation.get_status())

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Introductie tot MLflow

SkillTag.level.advancedSkillTag.label

4.8+

Begin gratis met de cursus

In dit hoofdstuk maak je kennis met MLflow en hoe het helpt bij enkele uitdagingen in de Machine Learning-levenscyclus. Je maakt kennis met de vier hoofdconcepten van MLflow, met de nadruk op MLflow Tracking. Je leert experimenten en runs aan te maken en hoe je metrics, parameters en artifacts bijhoudt. Tot slot zoek je in MLflow via code naar experiment-runs die aan bepaalde criteria voldoen.

Exercise 1: Wat is MLflow?Exercise 2: Componenten van MLflow Exercise 3: MLflow-experiments Exercise 4: MLflow Tracking Exercise 5: Een run starten Exercise 6: Een run loggen Exercise 7: Hoe haal je gegevens van de actieve run op?Exercise 8: Runs opvragen Exercise 9: Zoekopties voor runs Exercise 10: Runs zoeken

In dit hoofdstuk maak je kennis met MLflow Models. De MLflow Models-component speelt een essentiële rol in de stappen Model Evaluation en Model Engineering van de Machine Learning-levenscyclus. Je leert hoe MLflow Models de verpakking van ML-modellen standaardiseert en hoe je ze opslaat, logt en laadt. Je leert ook hoe je aangepaste MLflow Models maakt voor meer flexibiliteit in je use-cases en hoe je modelprestaties evalueert. Je gebruikt het krachtige concept van “Flavors” en zet ten slotte het MLflow-opdrachtregelprogramma in voor modeldeployment.

Exercise 1: Introductie tot MLflow Models Exercise 2: Verpak een Machine Learning-model Exercise 3: Opslagformaat Exercise 4: Wat staat er in een MLmodel-bestand?Exercise 5: Model-API Exercise 6: Een model opslaan en laden Exercise 7: Een model loggen en laden Exercise 8: Aangepaste modellen Exercise 9: Een aangepaste Python-klasse maken Exercise 10: Aangepast scikit-learn-model Exercise 11: Scikit-learn flavor en evaluatie Exercise 12: Model serving Exercise 13: Een model serveren Exercise 14: Score ophalen van een geserveerd model

Dit hoofdstuk introduceert het MLflow-concept Model Registry. Je ziet hoe de Model Registry wordt gebruikt om de levenscyclus van ML-modellen te beheren. Je leert hoe je modellen maakt en zoekt in de Model Registry. Vervolgens leer je hoe je modellen registreert in de Model Registry en hoe je modellen overzet tussen vooraf gedefinieerde stadia. Tot slot leer je ook hoe je modellen vanuit de Model Registry uitrolt.

Exercise 1: Introductie tot de MLflow Model Registry Exercise 2: Maak een model Exercise 3: Modellen zoeken Exercise 4: Modellen registreren Exercise 5: Bestaande modellen registreren Exercise 6: Nieuwe modellen registreren Exercise 7: Modelstadia Exercise 8: Modelfases in de Model Registry Exercise 9: Modelstages wijzigen Exercise 10: Modelimplementatie Exercise 11: Modellen serveren vanuit de Model Registry Exercise 12: Modellen laden uit de Model Registry

In dit hoofdstuk leer je hoe je je data science-code herbruikbaar en reproduceerbaar maakt met MLflow Projects. We starten met een introductie van MLflow Projects en het aanmaken van een MLproject-bestand. Daarna leer je MLflow Projects te draaien via zowel de command-line als de MLflow Projects-module, en ontdek je hoe parameters extra flexibiliteit in je code geven. Tot slot leer je stappen in de Machine Learning-levenscyclus te beheren door een workflow met meerdere stappen te bouwen met MLflow Projects.

Exercise 1: Introductie tot MLflow Projects Exercise 2: Structuur van een MLproject-bestand Exercise 3: Een MLproject maken Exercise 4: MLflow Projects uitvoeren Exercise 5: MLflow run-opdracht Exercise 6: Module MLflow projects Exercise 7: Parameters opgeven Exercise 8: Parameters toevoegen aan MLproject Exercise 9: Parameters toevoegen aan project-run Exercise 10: Workflows Exercise 11: Een MLproject maken voor de ML-levenscyclus: Model Engineering Exercise 12: Een MLproject maken voor de ML-levenscyclus: Modelbeoordeling Exercise 13: Een workflow met meerdere stappen maken: Model engineering Exercise 14: Een workflow met meerdere stappen maken: Model Evaluation

Huidige oefening

Exercise 15: Afronding