Smak scikit-learn i ewaluacja modelu

W tym ćwiczeniu wytrenujemy model klasyfikacyjny i ocenimy jego działanie. Model korzysta ze zbioru danych Insurance Charges, aby sklasyfikować, czy dane dotyczą kobiety, czy mężczyzny.

Zaczniemy od zalogowania modelu do MLflow Tracking przy użyciu smaku scikit-learn, a następnie ocenimy model na zbiorze eval_data.

Zbiór ewaluacyjny jest dostępny jako eval_data, a wytrenowany model nosi nazwę lr_class. Zbiór eval_data składa się z X_test i y_test, ponieważ dane treningowe zostały podzielone za pomocą funkcji train_test_split() z biblioteki sklearn.

# Model
lr_class = LogisticRegression()
lr_class.fit(X_train, y_train)

Moduł mlflow jest już zaimportowany.

To ćwiczenie jest częścią kursu

Wprowadzenie do MLflow

Instrukcje do ćwiczenia

Zaloguj model lr_class przy użyciu wbudowanego smaku scikit-learn.
Wywołaj funkcję evaluate() z modułu mlflow.
Oceń zbiór danych eval_data, wskazując kolumnę "sex" jako wartości docelowe.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Eval Data
eval_data = X_test
eval_data["sex"] = y_test
# Log the lr_class model using Scikit-Learn Flavor
___.___.___(____, "model")

# Get run id
run = mlflow.last_active_run()
run_id = run.info.run_id

# Evaluate the logged model with eval_data data
___.___(f"runs:/{run_id}/model", 
        ____=____, 
        ____="____",
        model_type="classifier"
)

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Wprowadzenie do MLflow

SkillTag.level.advancedSkillTag.label

4.8+

Rozpocznij kurs za darmo

W tym rozdziale poznasz MLflow i dowiesz się, jak pomaga rozwiązywać typowe trudności związane z cyklem życia modeli uczenia maszynowego. Zapoznasz się z czterema głównymi koncepcjami składającymi się na MLflow, ze szczególnym naciskiem na MLflow Tracking. Nauczysz się tworzyć eksperymenty i uruchomienia, a także śledzić metryki, parametry i artefakty. Na koniec nauczysz się programowo przeszukiwać MLflow w celu znajdowania uruchomień eksperymentów spełniających określone kryteria.

Exercise 1: Czym jest MLflow?Exercise 2: Komponenty MLflow Exercise 3: Eksperymenty w MLflow Exercise 4: MLflow Tracking Exercise 5: Uruchamianie przebiegu Exercise 6: Rejestrowanie przebiegu Exercise 7: Jak pobrać dane aktywnego uruchomienia?Exercise 8: Wyszukiwanie przebiegów Exercise 9: Opcje zapytań do przebiegów Exercise 10: Wyszukiwanie przebiegów

W tym rozdziale poznasz modele MLflow. Komponent MLflow Models odgrywa kluczową rolę w etapach oceny i inżynierii modeli w cyklu życia uczenia maszynowego. Dowiesz się, jak MLflow Models standaryzuje pakowanie modeli ML oraz jak je zapisywać, rejestrować i wczytywać. Nauczysz się tworzyć własne modele MLflow, aby uzyskać większą elastyczność w swoich projektach, a także jak oceniać wydajność modeli. Skorzystasz z potężnej koncepcji „Flavors" i na koniec użyjesz narzędzia wiersza poleceń MLflow do wdrożenia modelu.

Exercise 1: Wprowadzenie do MLflow Models Exercise 2: Pakowanie modelu uczenia maszynowego Exercise 3: Format przechowywania Exercise 4: Co zawiera plik MLmodel?Exercise 5: Model API Exercise 6: Zapisywanie i wczytywanie modelu Exercise 7: Rejestrowanie i ładowanie modelu Exercise 8: Modele niestandardowe Exercise 9: Tworzenie niestandardowej klasy Pythona Exercise 10: Niestandardowy model scikit-learn Exercise 11: Smak scikit-learn i ewaluacja modelu

Bieżące ćwiczenie

Exercise 12: Serwowanie modeli Exercise 13: Serwowanie modelu Exercise 14: Pobieranie wyniku z obsługiwanego modelu

Ten rozdział wprowadza koncepcję rejestru modeli MLflow (Model Registry). Dowiesz się, jak rejestr modeli służy do zarządzania cyklem życia modeli ML. Nauczysz się tworzyć modele w rejestrze i wyszukiwać je. Następnie poznasz sposób rejestrowania modeli oraz przenoszenia ich między predefiniowanymi etapami. Na koniec dowiesz się również, jak wdrażać modele z rejestru modeli.

Exercise 1: Wprowadzenie do MLflow Model Registry Exercise 2: Tworzenie modelu Exercise 3: Wyszukiwanie modeli Exercise 4: Rejestrowanie modeli Exercise 5: Rejestrowanie istniejących modeli Exercise 6: Rejestrowanie nowych modeli Exercise 7: Etapy modelu Exercise 8: Etapy modeli w Rejestrze Modeli Exercise 9: Przechodzenie między etapami modelu Exercise 10: Wdrażanie modelu Exercise 11: Serwowanie modeli z Model Registry Exercise 12: Wczytywanie modeli z Model Registry

W tym rozdziale zdobędziesz praktyczną wiedzę na temat tego, jak usprawnić kod do analizy danych pod kątem wielokrotnego użytku i odtwarzalności, korzystając z projektów MLflow. Rozdział zaczyna się od omówienia koncepcji MLflow Projects i przeprowadzi cię przez proces tworzenia pliku MLproject. Następnie dowiesz się, jak uruchamiać projekty MLflow zarówno z poziomu wiersza poleceń, jak i modułu MLflow Projects, a także odkryjesz możliwości, jakie daje stosowanie parametrów. Na koniec nauczysz się zarządzać etapami cyklu życia modelu, tworząc wieloetapowy przepływ pracy z użyciem MLflow Projects.

Exercise 1: Wprowadzenie do MLflow Projects Exercise 2: Struktura pliku MLproject Exercise 3: Tworzenie pliku MLproject Exercise 4: Uruchamianie projektów MLflow Exercise 5: Polecenie mlflow run Exercise 6: Moduł mlflow projects Exercise 7: Określanie parametrów Exercise 8: Dodawanie parametrów do MLproject Exercise 9: Dodawanie parametrów do uruchomienia projektu Exercise 10: Przepływy pracy Exercise 11: Tworzenie pliku MLproject dla cyklu życia modelu: inżynieria modelu Exercise 12: Tworzenie pliku MLproject dla cyklu życia ML: Ocena modelu Exercise 13: Tworzenie wieloetapowego przepływu pracy: inżynieria modelu Exercise 14: Tworzenie wieloetapowego przepływu pracy: ocena modelu Exercise 15: Podsumowanie