Błąd wynikający z niedouczenia/przeuczenia

Zbiór danych o cukierkach jest wyjątkowo podatny na przeuczenie. Mając zaledwie 85 obserwacji, przeznaczenie 20% na zbiór testowy oznacza utratę sporej ilości cennych danych, które mogłyby posłużyć do budowy modelu. Wyobraź sobie sytuację, w której większość czekoladowych cukierków trafia do zbioru treningowego, a tylko nieliczne do zbioru walidacyjnego. Model mógłby jedynie wychwycić, że czekolada jest istotnym czynnikiem, nie dostrzegając, że inne atrybuty są równie ważne. W tym ćwiczeniu sprawdzisz, jak użycie zbyt wielu cech (kolumn) w modelu lasów losowych może prowadzić do przeuczenia.

Cecha określa, które kolumny zbioru danych są używane w drzewie decyzyjnym. Parametr max_features ogranicza liczbę dostępnych cech.

To ćwiczenie jest częścią kursu

Walidacja modeli w Pythonie

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Update the rfr model
rfr = RandomForestRegressor(____=25,
                            ____=1111,
                            ____=2)
rfr.fit(X_train, y_train)

# Print the training and testing accuracies 
print('The training error is {0:.2f}'.format(
  mae(y_train, rfr.predict(X_train))))
print('The testing error is {0:.2f}'.format(
  mae(y_test, rfr.predict(X_test))))

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Walidacja modeli w Pythonie

SkillTag.level.intermediateSkillTag.label

4.9+

Rozpocznij kurs za darmo

Zanim przejdziemy do walidacji modeli, musimy zrozumieć, jak je tworzyć i z nimi pracować. Ten rozdział to wprowadzenie do budowania modeli regresji i klasyfikacji w scikit-learn. Wypracowane tu podstawy będziemy wykorzystywać przez cały pozostały kurs.

Exercise 1: Wprowadzenie do walidacji modeli Exercise 2: Etapy tworzenia modelu Exercise 3: Dane widziane i niewidziane Exercise 4: Modele regresji Exercise 5: Ustaw parametry i dopasuj model Exercise 6: Ważność cech Exercise 7: Modele klasyfikacji Exercise 8: Predykcje klasyfikacyjne Exercise 9: Ponowne wykorzystanie parametrów modelu Exercise 10: Klasyfikator Random Forest

Ten rozdział skupia się na podstawach walidacji modeli. Zaczniemy od podziału danych na zbiory treningowy, walidacyjny i testowy, a następnie omówimy kompromis między obciążeniem a wariancją. W ten sposób zbudujemy fundament pod techniki walidacji K-Fold i Leave-One-Out, które ćwiczymy w rozdziale trzecim.

Exercise 1: Tworzenie zbiorów: treningowego, testowego i walidacyjnego Exercise 2: Tworzenie zbioru walidacyjnego Exercise 3: Tworzenie dwóch zbiorów walidacyjnych Exercise 4: Po co używać zbiorów wydzielonych Exercise 5: Metryki dokładności: modele regresji Exercise 6: Średni błąd bezwzględny Exercise 7: Błąd średniokwadratowy Exercise 8: Wyniki na podzbiorach danych Exercise 9: Metryki klasyfikacji Exercise 10: Macierze pomyłek Exercise 11: Macierze pomyłek – raz jeszcze Exercise 12: Precyzja a czułość Exercise 13: Kompromis między obciążeniem a wariancją Exercise 14: Błąd wynikający z niedouczenia/przeuczenia

Bieżące ćwiczenie

Exercise 15: Czy mój model jest niedouczony?

Zbiory testowe to dobry punkt wyjścia do walidacji modeli, ale opieranie się na jednym podziale na zbiór treningowy i testowy często nie wystarczy. Walidacja krzyżowa jest uważana za złoty standard oceny wydajności modelu i niemal zawsze stosuje się ją przy strojeniu hiperparametrów. Ten rozdział koncentruje się na przeprowadzaniu walidacji krzyżowej.

Exercise 1: Wady metody holdout Exercise 2: Dwie próbki Exercise 3: Potencjalne problemy Exercise 4: Walidacja krzyżowa Exercise 5: KFold() z scikit-learn Exercise 6: Korzystanie z indeksów KFold Exercise 7: Funkcja `cross_val_score()` z biblioteki sklearn Exercise 8: Metody biblioteki scikit-learn Exercise 9: Implementacja cross_val_score()Exercise 10: Kroswalidacja leave-one-out (LOOCV)Exercise 11: Kiedy używać LOOCV Exercise 12: Walidacja krzyżowa leave-one-out

Pierwsze trzy rozdziały dotyczyły technik walidacji modeli. W rozdziale czwartym stosujemy te techniki – w szczególności walidację krzyżową – ucząc się jednocześnie strojenia hiperparametrów. Walidacja modeli umożliwia bowiem skuteczne strojenie i pomaga wybrać najlepszy model spośród wszystkich kandydatów.

Exercise 1: Wprowadzenie do strojenia hiperparametrów Exercise 2: Tworzenie hiperparametrów Exercise 3: Uruchamianie modelu z użyciem zakresów Exercise 4: RandomizedSearchCV Exercise 5: Przygotowanie do RandomizedSearch Exercise 6: Implementacja RandomizedSearchCV Exercise 7: Wybór ostatecznego modelu Exercise 8: Najlepsza dokładność klasyfikacji Exercise 9: Wybór modelu o najlepszej precyzji Exercise 10: Kurs ukończony!