Oceń optymalne drzewo

W tym ćwiczeniu ocenisz wartość ROC AUC na zbiorze testowym dla optymalnego modelu grid_dt.

Aby to zrobić, najpierw wyznaczysz prawdopodobieństwo uzyskania etykiety pozytywnej dla każdej obserwacji ze zbioru testowego. Możesz skorzystać z metody predict_proba() klasyfikatora sklearn, która zwraca dwuwymiarową tablicę zawierającą prawdopodobieństwa klasy negatywnej i pozytywnej – odpowiednio w kolejnych kolumnach.

Zbiór danych jest już wczytany i przetworzony (cechy numeryczne zostały wystandaryzowane); jest podzielony na 80% danych treningowych i 20% testowych. W środowisku pracy dostępne są X_test oraz y_test. Dodatkowo wczytano wytrenowany obiekt GridSearchCV o nazwie grid_dt, który został utworzony w poprzednim ćwiczeniu. Zwróć uwagę, że grid_dt był trenowany w następujący sposób:

grid_dt.fit(X_train, y_train)

To ćwiczenie jest częścią kursu

Uczenie maszynowe z modelami drzewiastymi w Pythonie

Instrukcje do ćwiczenia

Zaimportuj roc_auc_score z sklearn.metrics.
Wyodrębnij atrybut .best_estimator_ z grid_dt i przypisz go do zmiennej best_model.
Przewidź prawdopodobieństwa uzyskania klasy pozytywnej na zbiorze testowym i zapisz je jako y_pred_proba.
Oblicz wartość ROC AUC na zbiorze testowym (test_roc_auc) dla modelu best_model.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Import roc_auc_score from sklearn.metrics
____

# Extract the best estimator
best_model = ____

# Predict the test set probabilities of the positive class
y_pred_proba = ____

# Compute test_roc_auc
test_roc_auc = ____

# Print test_roc_auc
print('Test set ROC AUC score: {:.3f}'.format(test_roc_auc))

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Uczenie maszynowe z modelami drzewiastymi w Pythonie

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

Drzewa klasyfikacyjne i regresyjne (CART) to zbiór nadzorowanych modeli uczenia maszynowego stosowanych w zadaniach klasyfikacji i regresji. W tym rozdziale poznasz algorytm CART.

Exercise 1: Drzewo decyzyjne do klasyfikacji Exercise 2: Wytrenuj swoje pierwsze drzewo klasyfikacyjne Exercise 3: Oceń drzewo klasyfikacji Exercise 4: Regresja logistyczna a drzewo klasyfikacyjne Exercise 5: Uczenie drzewa klasyfikacyjnego Exercise 6: Rozwijanie drzewa klasyfikacyjnego Exercise 7: Entropia jako kryterium podziału Exercise 8: Entropia a indeks Giniego Exercise 9: Drzewo decyzyjne do regresji Exercise 10: Trenowanie pierwszego drzewa regresji Exercise 11: Ocena drzewa regresji Exercise 12: Regresja liniowa a drzewo regresji

Kompromis między obciążeniem a wariancją to jedno z podstawowych pojęć w nadzorowanym uczeniu maszynowym. W tym rozdziale nauczysz się diagnozować problemy przeuczenia i niedouczenia. Poznasz też koncepcję metod zespołowych, w których przewidywania kilku modeli są agregowane w celu uzyskania bardziej trafnych wyników.

Exercise 1: Błąd generalizacji Exercise 2: Złożoność, obciążenie i wariancja Exercise 3: Przeuczenie i niedouczenie Exercise 4: Diagnose problemy obciążenia i wariancji Exercise 5: Utwórz instancję modelu Exercise 6: Oceń błąd 10-krotnej walidacji krzyżowej Exercise 7: Oceń błąd treningowy Exercise 8: Wysokie odchylenie czy wysoka wariancja?Exercise 9: Uczenie zespołowe Exercise 10: Zdefiniuj zespół klasyfikatorów Exercise 11: Ocena poszczególnych klasyfikatorów Exercise 12: Lepsza wydajność dzięki klasyfikatorowi głosującemu

Bagging to metoda zespołowa polegająca na wielokrotnym trenowaniu tego samego algorytmu na różnych podzbiorach próbkowanych ze zbioru treningowego. W tym rozdziale zrozumiesz, jak bagging może służyć do tworzenia zespołów drzew. Dowiesz się też, jak algorytm lasów losowych zwiększa różnorodność zespołu dzięki losowości wprowadzanej na poziomie każdego podziału w drzewach tworzących ten zespół.

Exercise 1: Bagging Exercise 2: Definiowanie klasyfikatora bagging Exercise 3: Ocena skuteczności baggingu Exercise 4: Ocena na danych out-of-bag Exercise 5: Przygotowanie gruntu Exercise 6: Wynik OOB a wynik na zbiorze testowym Exercise 7: Lasy losowe (RF)Exercise 8: Trenowanie regresora lasu losowego Exercise 9: Ocena regresora lasu losowego Exercise 10: Wizualizacja ważności cech

Boosting to metoda zespołowa, w której kolejne modele są trenowane sekwencyjnie – każdy uczy się na błędach poprzednika. W tym rozdziale poznasz dwie metody boostingu: AdaBoost i Gradient Boosting.

Exercise 1: AdaBoost Exercise 2: Definiowanie klasyfikatora AdaBoost Exercise 3: Trenowanie klasyfikatora AdaBoost Exercise 4: Oceń klasyfikator AdaBoost Exercise 5: Gradient Boosting (GB)Exercise 6: Zdefiniuj regresor GB Exercise 7: Trenowanie regresora GB Exercise 8: Ocena regresora GB Exercise 9: Stochastyczny Gradient Boosting (SGB)Exercise 10: Regresja z SGB Exercise 11: Trenowanie regresor SGBR Exercise 12: Oceń regresor SGB

Hiperparametry modelu uczenia maszynowego to parametry, których model nie uczy się z danych – należy je ustawić przed dopasowaniem modelu do zbioru treningowego. W tym rozdziale nauczysz się dostrajać hiperparametry modelu drzewiastego przy użyciu kroswalidacji z przeszukiwaniem siatki.

Exercise 1: Strojenie hiperparametrów CART Exercise 2: Hiperparametry drzewa Exercise 3: Definiowanie siatki hiperparametrów drzewa Exercise 4: Szukaj optymalnego drzewa Exercise 5: Oceń optymalne drzewo

Bieżące ćwiczenie

Exercise 6: Dostrajanie hiperparametrów modelu RF Exercise 7: Hiperparametry lasów losowych Exercise 8: Definiowanie siatki hiperparametrów modelu RF Exercise 9: Szukaj optymalnego lasu Exercise 10: Ocena optymalnego lasu Exercise 11: Gratulacje!