Vytvoření vícekrokového workflow: vyhodnocení modelu

V tomto cvičení vytvoříš krok vyhodnocení modelu (Model Evaluation) jako součást vícekrokového workflow pro řízení části ML lifecyclu. Použiješ metodu run() z modulu MLflow Projects a nastavíš vstupní bod na model_evaluation. Poté vezmeš model_engineering_run_id – parametr vygenerovaný jako výstup v předchozím cvičení – a předáš ho příkazu.

MLproject vytvořený v předchozím kroku je dostupný v IPython Shellu pomocí print(MLproject).

Modul mlflow je již naimportován.

Toto cvičení je součástí kurzu

Úvod do MLflow

Pokyny k cvičení

Přiřaď metodu run() z modulu MLflow Projects do proměnné model_evaluation.
Nastav argument vstupního bodu na "model_evaluation".
Nastav parametr "run_id" s hodnotou model_engineering_run_id.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Set the MLflow Projects run method
model_evaluation = ____.____.____(
    uri="./",
    # Set the entry point to model_evaluation
    ____="____",
  	# Set the parameter run_id to the run_id output of previous step
    parameters={
        "____": ____,
    },
    env_manager="local"
)

print(model_evaluation.get_status())

Upravit a spustit kód

Toto cvičení je součástí kurzu

Úvod do MLflow

SkillTag.level.advancedSkillTag.label

4.8+

Začněte kurz zdarma

V této kapitole se seznámíš s MLflow a s tím, jak pomáhá řešit některé výzvy životního cyklu strojového učení. Představíme ti čtyři hlavní koncepty, ze kterých se MLflow skládá, přičemž hlavní pozornost věnujeme MLflow Tracking. Naučíš se vytvářet experimenty a běhy a také sledovat metriky, parametry a artefakty. Na závěr se naučíš programově prohledávat MLflow a vyhledávat běhy experimentů splňující zadaná kritéria.

Exercise 1: Co je MLflow?Exercise 2: Komponenty MLflow Exercise 3: Experimenty v MLflow Exercise 4: MLflow Tracking Exercise 5: Spuštění runu Exercise 6: Zaznamenání běhu Exercise 7: Jak získat data o aktivním runu?Exercise 8: Dotazování na běhy Exercise 9: Možnosti dotazování při hledání runů Exercise 10: Vyhledávání runů

V této kapitole se seznámíš s modely v MLflow. Komponenta MLflow Models hraje klíčovou roli ve fázích vyhodnocování a tvorby modelů v životním cyklu strojového učení. Dozvíš se, jak MLflow Models standardizuje balíčkování modelů strojového učení a jak je ukládat, logovat a načítat. Naučíš se vytvářet vlastní modely v MLflow pro větší flexibilitu ve svých projektech a také vyhodnocovat výkon modelů. Využiješ výkonný koncept „Flavors" a nakonec použiješ nástroj příkazové řádky MLflow pro nasazení modelů.

Exercise 1: Úvod do MLflow Models Exercise 2: Zabalení modelu strojového učení Exercise 3: Formát uložení Exercise 4: Co obsahuje soubor MLmodel?Exercise 5: Model API Exercise 6: Ukládání a načítání modelu Exercise 7: Logování a načítání modelu Exercise 8: Vlastní modely Exercise 9: Vytvoření vlastní Python třídy Exercise 10: Vlastní scikit-learn model Exercise 11: Scikit-learn flavor a vyhodnocení modelu Exercise 12: Nasazení modelu Exercise 13: Nasazení modelu Exercise 14: Získání skóre ze spuštěného modelu

Tato kapitola představuje koncept MLflow zvaný Registr modelů. Dozvíš se, jak se Registr modelů používá ke správě životního cyklu modelů strojového učení. Naučíš se vytvářet modely v Registru modelů a vyhledávat je. Dále se naučíš, jak modely do Registru zaregistrovat a jak je přesouvat mezi předdefinovanými fázemi. Na závěr se naučíš, jak modely z Registru nasadit.

Exercise 1: Úvod do MLflow Model Registry Exercise 2: Vytvoření modelu Exercise 3: Vyhledávání modelů Exercise 4: Registrování modelů Exercise 5: Registrace existujících modelů Exercise 6: Registrace nových modelů Exercise 7: Fáze modelu Exercise 8: Fáze modelů v Model Registry Exercise 9: Přechody mezi fázemi modelu Exercise 10: Nasazení modelu Exercise 11: Nasazení modelů z Model Registry Exercise 12: Načítání modelů z Model Registry

V této kapitole získáš cenné znalosti o tom, jak zefektivnit svůj kód pro datovou vědu z hlediska znovupoužitelnosti a reprodukovatelnosti pomocí MLflow Projects. Kapitola začíná představením konceptu MLflow Projects a provede tě vytvořením souboru MLproject. Poté se naučíš spouštět projekty MLflow Projects z příkazové řádky i přes modul MLflow Projects a objevíš, jak využít parametry pro větší flexibilitu kódu. Na závěr se naučíš řídit jednotlivé kroky životního cyklu strojového učení pomocí víceúrovňového workflow v MLflow Projects.

Exercise 1: Úvod do MLflow Projects Exercise 2: Struktura souboru MLproject Exercise 3: Vytvoření MLproject souboru Exercise 4: Spouštění MLflow Projects Exercise 5: Příkaz mlflow run Exercise 6: Modul mlflow projects Exercise 7: Zadávání parametrů Exercise 8: Přidání parametrů do MLproject Exercise 9: Přidání parametrů ke spuštění projektu Exercise 10: Workflows Exercise 11: Vytváření MLproject souboru pro ML Lifecycle: Model Engineering Exercise 12: Vytvoření MLproject pro životní cyklus ML: Vyhodnocení modelu Exercise 13: Vytvoření vícekrokového workflow: Model Engineering Exercise 14: Vytvoření vícekrokového workflow: vyhodnocení modelu

Aktuální cvičení

Exercise 15: Závěr