Trenowanie klasyfikatora AdaBoost

Skoro masz już gotowy klasyfikator ada, czas go wytrenować. Obliczysz też prawdopodobieństwa przynależności do klasy pozytywnej w zbiorze testowym. Oto jak to zrobić:

Po wytrenowaniu klasyfikatora ada wywołaj metodę .predict_proba(), przekazując X_test jako argument, a następnie wyodrębnij te prawdopodobieństwa, wybierając wszystkie wartości z drugiej kolumny:

ada.predict_proba(X_test)[:,1]

Indyjski zbiór danych dotyczący wątroby został już przetworzony i podzielony na 80% danych treningowych oraz 20% testowych. Macierze cech X_train i X_test, a także tablice etykiet y_train i y_test są dostępne w twoim środowisku pracy. Dodatkowo załadowaliśmy już wstępnie skonfigurowany model ada z poprzedniego ćwiczenia.

To ćwiczenie jest częścią kursu

Uczenie maszynowe z modelami drzewiastymi w Pythonie

Instrukcje do ćwiczenia

Dopasuj ada do zbioru treningowego.
Oblicz prawdopodobieństwa przynależności do klasy pozytywnej w zbiorze testowym.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Fit ada to the training set
____

# Compute the probabilities of obtaining the positive class
y_pred_proba = ____.____(____)[____]

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Uczenie maszynowe z modelami drzewiastymi w Pythonie

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

Drzewa klasyfikacyjne i regresyjne (CART) to zbiór nadzorowanych modeli uczenia maszynowego stosowanych w zadaniach klasyfikacji i regresji. W tym rozdziale poznasz algorytm CART.

Exercise 1: Drzewo decyzyjne do klasyfikacji Exercise 2: Wytrenuj swoje pierwsze drzewo klasyfikacyjne Exercise 3: Oceń drzewo klasyfikacji Exercise 4: Regresja logistyczna a drzewo klasyfikacyjne Exercise 5: Uczenie drzewa klasyfikacyjnego Exercise 6: Rozwijanie drzewa klasyfikacyjnego Exercise 7: Entropia jako kryterium podziału Exercise 8: Entropia a indeks Giniego Exercise 9: Drzewo decyzyjne do regresji Exercise 10: Trenowanie pierwszego drzewa regresji Exercise 11: Ocena drzewa regresji Exercise 12: Regresja liniowa a drzewo regresji

Kompromis między obciążeniem a wariancją to jedno z podstawowych pojęć w nadzorowanym uczeniu maszynowym. W tym rozdziale nauczysz się diagnozować problemy przeuczenia i niedouczenia. Poznasz też koncepcję metod zespołowych, w których przewidywania kilku modeli są agregowane w celu uzyskania bardziej trafnych wyników.

Exercise 1: Błąd generalizacji Exercise 2: Złożoność, obciążenie i wariancja Exercise 3: Przeuczenie i niedouczenie Exercise 4: Diagnose problemy obciążenia i wariancji Exercise 5: Utwórz instancję modelu Exercise 6: Oceń błąd 10-krotnej walidacji krzyżowej Exercise 7: Oceń błąd treningowy Exercise 8: Wysokie odchylenie czy wysoka wariancja?Exercise 9: Uczenie zespołowe Exercise 10: Zdefiniuj zespół klasyfikatorów Exercise 11: Ocena poszczególnych klasyfikatorów Exercise 12: Lepsza wydajność dzięki klasyfikatorowi głosującemu

Bagging to metoda zespołowa polegająca na wielokrotnym trenowaniu tego samego algorytmu na różnych podzbiorach próbkowanych ze zbioru treningowego. W tym rozdziale zrozumiesz, jak bagging może służyć do tworzenia zespołów drzew. Dowiesz się też, jak algorytm lasów losowych zwiększa różnorodność zespołu dzięki losowości wprowadzanej na poziomie każdego podziału w drzewach tworzących ten zespół.

Exercise 1: Bagging Exercise 2: Definiowanie klasyfikatora bagging Exercise 3: Ocena skuteczności baggingu Exercise 4: Ocena na danych out-of-bag Exercise 5: Przygotowanie gruntu Exercise 6: Wynik OOB a wynik na zbiorze testowym Exercise 7: Lasy losowe (RF)Exercise 8: Trenowanie regresora lasu losowego Exercise 9: Ocena regresora lasu losowego Exercise 10: Wizualizacja ważności cech

Boosting to metoda zespołowa, w której kolejne modele są trenowane sekwencyjnie – każdy uczy się na błędach poprzednika. W tym rozdziale poznasz dwie metody boostingu: AdaBoost i Gradient Boosting.

Exercise 1: AdaBoost Exercise 2: Definiowanie klasyfikatora AdaBoost Exercise 3: Trenowanie klasyfikatora AdaBoost

Bieżące ćwiczenie

Exercise 4: Oceń klasyfikator AdaBoost Exercise 5: Gradient Boosting (GB)Exercise 6: Zdefiniuj regresor GB Exercise 7: Trenowanie regresora GB Exercise 8: Ocena regresora GB Exercise 9: Stochastyczny Gradient Boosting (SGB)Exercise 10: Regresja z SGB Exercise 11: Trenowanie regresor SGBR Exercise 12: Oceń regresor SGB

Hiperparametry modelu uczenia maszynowego to parametry, których model nie uczy się z danych – należy je ustawić przed dopasowaniem modelu do zbioru treningowego. W tym rozdziale nauczysz się dostrajać hiperparametry modelu drzewiastego przy użyciu kroswalidacji z przeszukiwaniem siatki.

Exercise 1: Strojenie hiperparametrów CART Exercise 2: Hiperparametry drzewa Exercise 3: Definiowanie siatki hiperparametrów drzewa Exercise 4: Szukaj optymalnego drzewa Exercise 5: Oceń optymalne drzewo Exercise 6: Dostrajanie hiperparametrów modelu RF Exercise 7: Hiperparametry lasów losowych Exercise 8: Definiowanie siatki hiperparametrów modelu RF Exercise 9: Szukaj optymalnego lasu Exercise 10: Ocena optymalnego lasu Exercise 11: Gratulacje!