Walidacja krzyżowa leave-one-out

Załóżmy, że twój ulubiony cukierek nie znajduje się w zbiorze danych, a ty chcesz przewidzieć jego popularność. Walidacja krzyżowa 5-krotna trenuje model na zaledwie 80% danych naraz. Zbiór danych o cukierkach ma tylko 85 wierszy, więc pominięcie 20% danych mogłoby negatywnie wpłynąć na nasz model. Walidacja krzyżowa leave-one-out pozwala w pełni wykorzystać ograniczony zbiór danych i da najlepsze oszacowanie popularności twojego ulubionego cukierka!

W tym ćwiczeniu użyjesz cross_val_score(), aby przeprowadzić LOOCV.

To ćwiczenie jest częścią kursu

Walidacja modeli w Pythonie

Instrukcje do ćwiczenia

Utwórz scorer, używając mean_absolute_error, który będzie stosowany przez cross_val_score().
Uzupełnij cross_val_score() tak, aby korzystało z modelu rfr, nowo zdefiniowanego mae_scorer oraz LOOCV.
Wyświetl średnią i odchylenie standardowe scores przy użyciu biblioteki numpy (zaimportowanej jako np).

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

from sklearn.metrics import mean_absolute_error, make_scorer

# Create scorer
mae_scorer = ____(____)

rfr = RandomForestRegressor(n_estimators=15, random_state=1111)

# Implement LOOCV
scores = cross_val_score(____, X=X, y=y, cv=____, scoring=____)

# Print the mean and standard deviation
print("The mean of the errors is: %s." % np.____(____))
print("The standard deviation of the errors is: %s." % np.____(____))

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Walidacja modeli w Pythonie

SkillTag.level.intermediateSkillTag.label

4.9+

Rozpocznij kurs za darmo

Zanim przejdziemy do walidacji modeli, musimy zrozumieć, jak je tworzyć i z nimi pracować. Ten rozdział to wprowadzenie do budowania modeli regresji i klasyfikacji w scikit-learn. Wypracowane tu podstawy będziemy wykorzystywać przez cały pozostały kurs.

Exercise 1: Wprowadzenie do walidacji modeli Exercise 2: Etapy tworzenia modelu Exercise 3: Dane widziane i niewidziane Exercise 4: Modele regresji Exercise 5: Ustaw parametry i dopasuj model Exercise 6: Ważność cech Exercise 7: Modele klasyfikacji Exercise 8: Predykcje klasyfikacyjne Exercise 9: Ponowne wykorzystanie parametrów modelu Exercise 10: Klasyfikator Random Forest

Ten rozdział skupia się na podstawach walidacji modeli. Zaczniemy od podziału danych na zbiory treningowy, walidacyjny i testowy, a następnie omówimy kompromis między obciążeniem a wariancją. W ten sposób zbudujemy fundament pod techniki walidacji K-Fold i Leave-One-Out, które ćwiczymy w rozdziale trzecim.

Exercise 1: Tworzenie zbiorów: treningowego, testowego i walidacyjnego Exercise 2: Tworzenie zbioru walidacyjnego Exercise 3: Tworzenie dwóch zbiorów walidacyjnych Exercise 4: Po co używać zbiorów wydzielonych Exercise 5: Metryki dokładności: modele regresji Exercise 6: Średni błąd bezwzględny Exercise 7: Błąd średniokwadratowy Exercise 8: Wyniki na podzbiorach danych Exercise 9: Metryki klasyfikacji Exercise 10: Macierze pomyłek Exercise 11: Macierze pomyłek – raz jeszcze Exercise 12: Precyzja a czułość Exercise 13: Kompromis między obciążeniem a wariancją Exercise 14: Błąd wynikający z niedouczenia/przeuczenia Exercise 15: Czy mój model jest niedouczony?

Zbiory testowe to dobry punkt wyjścia do walidacji modeli, ale opieranie się na jednym podziale na zbiór treningowy i testowy często nie wystarczy. Walidacja krzyżowa jest uważana za złoty standard oceny wydajności modelu i niemal zawsze stosuje się ją przy strojeniu hiperparametrów. Ten rozdział koncentruje się na przeprowadzaniu walidacji krzyżowej.

Exercise 1: Wady metody holdout Exercise 2: Dwie próbki Exercise 3: Potencjalne problemy Exercise 4: Walidacja krzyżowa Exercise 5: KFold() z scikit-learn Exercise 6: Korzystanie z indeksów KFold Exercise 7: Funkcja `cross_val_score()` z biblioteki sklearn Exercise 8: Metody biblioteki scikit-learn Exercise 9: Implementacja cross_val_score()Exercise 10: Kroswalidacja leave-one-out (LOOCV)Exercise 11: Kiedy używać LOOCV Exercise 12: Walidacja krzyżowa leave-one-out

Bieżące ćwiczenie

Pierwsze trzy rozdziały dotyczyły technik walidacji modeli. W rozdziale czwartym stosujemy te techniki – w szczególności walidację krzyżową – ucząc się jednocześnie strojenia hiperparametrów. Walidacja modeli umożliwia bowiem skuteczne strojenie i pomaga wybrać najlepszy model spośród wszystkich kandydatów.

Exercise 1: Wprowadzenie do strojenia hiperparametrów Exercise 2: Tworzenie hiperparametrów Exercise 3: Uruchamianie modelu z użyciem zakresów Exercise 4: RandomizedSearchCV Exercise 5: Przygotowanie do RandomizedSearch Exercise 6: Implementacja RandomizedSearchCV Exercise 7: Wybór ostatecznego modelu Exercise 8: Najlepsza dokładność klasyfikacji Exercise 9: Wybór modelu o najlepszej precyzji Exercise 10: Kurs ukończony!