Vytvoření MLproject pro životní cyklus ML: Vyhodnocení modelu

V tomto cvičení budeš pokračovat ve vytváření souboru MLproject pro správu kroků životního cyklu ML. Vytvoříš další vstupní bod s názvem model_evaluation. Tento krok v pracovním postupu přijímá výstup run_id z kroku model_engineering a spouští vyhodnocení modelu pomocí trénovacích dat z našeho datasetu Insurance.

Aktuální soubor MLproject si můžeš vypsat v IPython Shellu příkazem print(MLproject).

Toto cvičení je součástí kurzu

Úvod do MLflow

Pokyny k cvičení

Vytvoř vstupní bod s názvem model_evaluation.
Nastav parametry pro run_id.
Umísti parametr do příkazu.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

"""
  # Set the model_evaluation entry point
  ____:
    parameters:
      # Set run_id parameter
      ____:
        type: str 
        default: None
    # Set the parameters in the command
    command: "python3.9 evaluate.py {____}"
"""

Upravit a spustit kód

Toto cvičení je součástí kurzu

Úvod do MLflow

SkillTag.level.advancedSkillTag.label

4.8+

Začněte kurz zdarma

V této kapitole se seznámíš s MLflow a s tím, jak pomáhá řešit některé výzvy životního cyklu strojového učení. Představíme ti čtyři hlavní koncepty, ze kterých se MLflow skládá, přičemž hlavní pozornost věnujeme MLflow Tracking. Naučíš se vytvářet experimenty a běhy a také sledovat metriky, parametry a artefakty. Na závěr se naučíš programově prohledávat MLflow a vyhledávat běhy experimentů splňující zadaná kritéria.

Exercise 1: Co je MLflow?Exercise 2: Komponenty MLflow Exercise 3: Experimenty v MLflow Exercise 4: MLflow Tracking Exercise 5: Spuštění runu Exercise 6: Zaznamenání běhu Exercise 7: Jak získat data o aktivním runu?Exercise 8: Dotazování na běhy Exercise 9: Možnosti dotazování při hledání runů Exercise 10: Vyhledávání runů

V této kapitole se seznámíš s modely v MLflow. Komponenta MLflow Models hraje klíčovou roli ve fázích vyhodnocování a tvorby modelů v životním cyklu strojového učení. Dozvíš se, jak MLflow Models standardizuje balíčkování modelů strojového učení a jak je ukládat, logovat a načítat. Naučíš se vytvářet vlastní modely v MLflow pro větší flexibilitu ve svých projektech a také vyhodnocovat výkon modelů. Využiješ výkonný koncept „Flavors" a nakonec použiješ nástroj příkazové řádky MLflow pro nasazení modelů.

Exercise 1: Úvod do MLflow Models Exercise 2: Zabalení modelu strojového učení Exercise 3: Formát uložení Exercise 4: Co obsahuje soubor MLmodel?Exercise 5: Model API Exercise 6: Ukládání a načítání modelu Exercise 7: Logování a načítání modelu Exercise 8: Vlastní modely Exercise 9: Vytvoření vlastní Python třídy Exercise 10: Vlastní scikit-learn model Exercise 11: Scikit-learn flavor a vyhodnocení modelu Exercise 12: Nasazení modelu Exercise 13: Nasazení modelu Exercise 14: Získání skóre ze spuštěného modelu

Tato kapitola představuje koncept MLflow zvaný Registr modelů. Dozvíš se, jak se Registr modelů používá ke správě životního cyklu modelů strojového učení. Naučíš se vytvářet modely v Registru modelů a vyhledávat je. Dále se naučíš, jak modely do Registru zaregistrovat a jak je přesouvat mezi předdefinovanými fázemi. Na závěr se naučíš, jak modely z Registru nasadit.

Exercise 1: Úvod do MLflow Model Registry Exercise 2: Vytvoření modelu Exercise 3: Vyhledávání modelů Exercise 4: Registrování modelů Exercise 5: Registrace existujících modelů Exercise 6: Registrace nových modelů Exercise 7: Fáze modelu Exercise 8: Fáze modelů v Model Registry Exercise 9: Přechody mezi fázemi modelu Exercise 10: Nasazení modelu Exercise 11: Nasazení modelů z Model Registry Exercise 12: Načítání modelů z Model Registry

V této kapitole získáš cenné znalosti o tom, jak zefektivnit svůj kód pro datovou vědu z hlediska znovupoužitelnosti a reprodukovatelnosti pomocí MLflow Projects. Kapitola začíná představením konceptu MLflow Projects a provede tě vytvořením souboru MLproject. Poté se naučíš spouštět projekty MLflow Projects z příkazové řádky i přes modul MLflow Projects a objevíš, jak využít parametry pro větší flexibilitu kódu. Na závěr se naučíš řídit jednotlivé kroky životního cyklu strojového učení pomocí víceúrovňového workflow v MLflow Projects.

Exercise 1: Úvod do MLflow Projects Exercise 2: Struktura souboru MLproject Exercise 3: Vytvoření MLproject souboru Exercise 4: Spouštění MLflow Projects Exercise 5: Příkaz mlflow run Exercise 6: Modul mlflow projects Exercise 7: Zadávání parametrů Exercise 8: Přidání parametrů do MLproject Exercise 9: Přidání parametrů ke spuštění projektu Exercise 10: Workflows Exercise 11: Vytváření MLproject souboru pro ML Lifecycle: Model Engineering Exercise 12: Vytvoření MLproject pro životní cyklus ML: Vyhodnocení modelu

Aktuální cvičení

Exercise 13: Vytvoření vícekrokového workflow: Model Engineering Exercise 14: Vytvoření vícekrokového workflow: vyhodnocení modelu Exercise 15: Závěr