Przygotowanie gruntu

W kolejnych ćwiczeniach porównasz dokładność OOB z dokładnością na zbiorze testowym klasyfikatora baggingowego wytrenowanego na zbiorze danych Indian Liver Patient.

W bibliotece sklearn możesz ocenić dokładność OOB klasyfikatora ensemble, ustawiając parametr oob_score na True podczas tworzenia instancji. Po wytrenowaniu klasyfikatora dokładność OOB odczytasz, korzystając z atrybutu .oob_score_ odpowiedniej instancji.

W twoim środowisku udostępniliśmy klasę DecisionTreeClassifier z modułu sklearn.tree.

To ćwiczenie jest częścią kursu

Uczenie maszynowe z modelami drzewiastymi w Pythonie

Instrukcje do ćwiczenia

Zaimportuj BaggingClassifier z sklearn.ensemble.
Utwórz instancję DecisionTreeClassifier z parametrem min_samples_leaf ustawionym na 8.
Utwórz instancję BaggingClassifier składającą się z 50 drzew i ustaw oob_score na True.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Import DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier

# Import BaggingClassifier
____

# Instantiate dt
dt = ____(min_samples_leaf=____, random_state=1)

# Instantiate bc
bc = ____(base_estimator=____, 
            n_estimators=____,
            oob_score=____,
            random_state=1)

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Uczenie maszynowe z modelami drzewiastymi w Pythonie

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

Drzewa klasyfikacyjne i regresyjne (CART) to zbiór nadzorowanych modeli uczenia maszynowego stosowanych w zadaniach klasyfikacji i regresji. W tym rozdziale poznasz algorytm CART.

Exercise 1: Drzewo decyzyjne do klasyfikacji Exercise 2: Wytrenuj swoje pierwsze drzewo klasyfikacyjne Exercise 3: Oceń drzewo klasyfikacji Exercise 4: Regresja logistyczna a drzewo klasyfikacyjne Exercise 5: Uczenie drzewa klasyfikacyjnego Exercise 6: Rozwijanie drzewa klasyfikacyjnego Exercise 7: Entropia jako kryterium podziału Exercise 8: Entropia a indeks Giniego Exercise 9: Drzewo decyzyjne do regresji Exercise 10: Trenowanie pierwszego drzewa regresji Exercise 11: Ocena drzewa regresji Exercise 12: Regresja liniowa a drzewo regresji

Kompromis między obciążeniem a wariancją to jedno z podstawowych pojęć w nadzorowanym uczeniu maszynowym. W tym rozdziale nauczysz się diagnozować problemy przeuczenia i niedouczenia. Poznasz też koncepcję metod zespołowych, w których przewidywania kilku modeli są agregowane w celu uzyskania bardziej trafnych wyników.

Exercise 1: Błąd generalizacji Exercise 2: Złożoność, obciążenie i wariancja Exercise 3: Przeuczenie i niedouczenie Exercise 4: Diagnose problemy obciążenia i wariancji Exercise 5: Utwórz instancję modelu Exercise 6: Oceń błąd 10-krotnej walidacji krzyżowej Exercise 7: Oceń błąd treningowy Exercise 8: Wysokie odchylenie czy wysoka wariancja?Exercise 9: Uczenie zespołowe Exercise 10: Zdefiniuj zespół klasyfikatorów Exercise 11: Ocena poszczególnych klasyfikatorów Exercise 12: Lepsza wydajność dzięki klasyfikatorowi głosującemu

Bagging to metoda zespołowa polegająca na wielokrotnym trenowaniu tego samego algorytmu na różnych podzbiorach próbkowanych ze zbioru treningowego. W tym rozdziale zrozumiesz, jak bagging może służyć do tworzenia zespołów drzew. Dowiesz się też, jak algorytm lasów losowych zwiększa różnorodność zespołu dzięki losowości wprowadzanej na poziomie każdego podziału w drzewach tworzących ten zespół.

Exercise 1: Bagging Exercise 2: Definiowanie klasyfikatora bagging Exercise 3: Ocena skuteczności baggingu Exercise 4: Ocena na danych out-of-bag Exercise 5: Przygotowanie gruntu

Bieżące ćwiczenie

Exercise 6: Wynik OOB a wynik na zbiorze testowym Exercise 7: Lasy losowe (RF)Exercise 8: Trenowanie regresora lasu losowego Exercise 9: Ocena regresora lasu losowego Exercise 10: Wizualizacja ważności cech

Boosting to metoda zespołowa, w której kolejne modele są trenowane sekwencyjnie – każdy uczy się na błędach poprzednika. W tym rozdziale poznasz dwie metody boostingu: AdaBoost i Gradient Boosting.

Exercise 1: AdaBoost Exercise 2: Definiowanie klasyfikatora AdaBoost Exercise 3: Trenowanie klasyfikatora AdaBoost Exercise 4: Oceń klasyfikator AdaBoost Exercise 5: Gradient Boosting (GB)Exercise 6: Zdefiniuj regresor GB Exercise 7: Trenowanie regresora GB Exercise 8: Ocena regresora GB Exercise 9: Stochastyczny Gradient Boosting (SGB)Exercise 10: Regresja z SGB Exercise 11: Trenowanie regresor SGBR Exercise 12: Oceń regresor SGB

Hiperparametry modelu uczenia maszynowego to parametry, których model nie uczy się z danych – należy je ustawić przed dopasowaniem modelu do zbioru treningowego. W tym rozdziale nauczysz się dostrajać hiperparametry modelu drzewiastego przy użyciu kroswalidacji z przeszukiwaniem siatki.

Exercise 1: Strojenie hiperparametrów CART Exercise 2: Hiperparametry drzewa Exercise 3: Definiowanie siatki hiperparametrów drzewa Exercise 4: Szukaj optymalnego drzewa Exercise 5: Oceń optymalne drzewo Exercise 6: Dostrajanie hiperparametrów modelu RF Exercise 7: Hiperparametry lasów losowych Exercise 8: Definiowanie siatki hiperparametrów modelu RF Exercise 9: Szukaj optymalnego lasu Exercise 10: Ocena optymalnego lasu Exercise 11: Gratulacje!