Regresja z SGB

Podobnie jak w ćwiczeniach z poprzedniej lekcji, będziesz pracować z zbiorem danych Bike Sharing Demand. W kolejnych ćwiczeniach rozwiążesz problem regresji liczby wypożyczeń rowerów za pomocą stochastycznego gradient boostingu.

To ćwiczenie jest częścią kursu

Uczenie maszynowe z modelami drzewiastymi w Pythonie

Instrukcje do ćwiczenia

Utwórz instancję Stochastycznego Regresora Gradient Boosting (SGBR) i ustaw:
- max_depth na 4 oraz n_estimators na 200,
- subsample na 0,9, i
- max_features na 0,75.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Import GradientBoostingRegressor
from sklearn.ensemble import GradientBoostingRegressor

# Instantiate sgbr
sgbr = ____(max_depth=____, 
            subsample=____,
            max_features=____,
            n_estimators=____,
            random_state=2)

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Uczenie maszynowe z modelami drzewiastymi w Pythonie

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

Drzewa klasyfikacyjne i regresyjne (CART) to zbiór nadzorowanych modeli uczenia maszynowego stosowanych w zadaniach klasyfikacji i regresji. W tym rozdziale poznasz algorytm CART.

Exercise 1: Drzewo decyzyjne do klasyfikacji Exercise 2: Wytrenuj swoje pierwsze drzewo klasyfikacyjne Exercise 3: Oceń drzewo klasyfikacji Exercise 4: Regresja logistyczna a drzewo klasyfikacyjne Exercise 5: Uczenie drzewa klasyfikacyjnego Exercise 6: Rozwijanie drzewa klasyfikacyjnego Exercise 7: Entropia jako kryterium podziału Exercise 8: Entropia a indeks Giniego Exercise 9: Drzewo decyzyjne do regresji Exercise 10: Trenowanie pierwszego drzewa regresji Exercise 11: Ocena drzewa regresji Exercise 12: Regresja liniowa a drzewo regresji

Kompromis między obciążeniem a wariancją to jedno z podstawowych pojęć w nadzorowanym uczeniu maszynowym. W tym rozdziale nauczysz się diagnozować problemy przeuczenia i niedouczenia. Poznasz też koncepcję metod zespołowych, w których przewidywania kilku modeli są agregowane w celu uzyskania bardziej trafnych wyników.

Exercise 1: Błąd generalizacji Exercise 2: Złożoność, obciążenie i wariancja Exercise 3: Przeuczenie i niedouczenie Exercise 4: Diagnose problemy obciążenia i wariancji Exercise 5: Utwórz instancję modelu Exercise 6: Oceń błąd 10-krotnej walidacji krzyżowej Exercise 7: Oceń błąd treningowy Exercise 8: Wysokie odchylenie czy wysoka wariancja?Exercise 9: Uczenie zespołowe Exercise 10: Zdefiniuj zespół klasyfikatorów Exercise 11: Ocena poszczególnych klasyfikatorów Exercise 12: Lepsza wydajność dzięki klasyfikatorowi głosującemu

Bagging to metoda zespołowa polegająca na wielokrotnym trenowaniu tego samego algorytmu na różnych podzbiorach próbkowanych ze zbioru treningowego. W tym rozdziale zrozumiesz, jak bagging może służyć do tworzenia zespołów drzew. Dowiesz się też, jak algorytm lasów losowych zwiększa różnorodność zespołu dzięki losowości wprowadzanej na poziomie każdego podziału w drzewach tworzących ten zespół.

Exercise 1: Bagging Exercise 2: Definiowanie klasyfikatora bagging Exercise 3: Ocena skuteczności baggingu Exercise 4: Ocena na danych out-of-bag Exercise 5: Przygotowanie gruntu Exercise 6: Wynik OOB a wynik na zbiorze testowym Exercise 7: Lasy losowe (RF)Exercise 8: Trenowanie regresora lasu losowego Exercise 9: Ocena regresora lasu losowego Exercise 10: Wizualizacja ważności cech

Boosting to metoda zespołowa, w której kolejne modele są trenowane sekwencyjnie – każdy uczy się na błędach poprzednika. W tym rozdziale poznasz dwie metody boostingu: AdaBoost i Gradient Boosting.

Exercise 1: AdaBoost Exercise 2: Definiowanie klasyfikatora AdaBoost Exercise 3: Trenowanie klasyfikatora AdaBoost Exercise 4: Oceń klasyfikator AdaBoost Exercise 5: Gradient Boosting (GB)Exercise 6: Zdefiniuj regresor GB Exercise 7: Trenowanie regresora GB Exercise 8: Ocena regresora GB Exercise 9: Stochastyczny Gradient Boosting (SGB)Exercise 10: Regresja z SGB

Bieżące ćwiczenie

Exercise 11: Trenowanie regresor SGBR Exercise 12: Oceń regresor SGB

Hiperparametry modelu uczenia maszynowego to parametry, których model nie uczy się z danych – należy je ustawić przed dopasowaniem modelu do zbioru treningowego. W tym rozdziale nauczysz się dostrajać hiperparametry modelu drzewiastego przy użyciu kroswalidacji z przeszukiwaniem siatki.

Exercise 1: Strojenie hiperparametrów CART Exercise 2: Hiperparametry drzewa Exercise 3: Definiowanie siatki hiperparametrów drzewa Exercise 4: Szukaj optymalnego drzewa Exercise 5: Oceń optymalne drzewo Exercise 6: Dostrajanie hiperparametrów modelu RF Exercise 7: Hiperparametry lasów losowych Exercise 8: Definiowanie siatki hiperparametrów modelu RF Exercise 9: Szukaj optymalnego lasu Exercise 10: Ocena optymalnego lasu Exercise 11: Gratulacje!