Kiedy używać LOOCV

Które z poniższych powodów mogą sprawić, że NIE uruchomisz LOOCV na podanym zbiorze danych X? Dane X są wczytane – możesz je dowolnie eksplorować.

A: Zbiór danych X zawiera 122 624 punkty danych, co może być kosztowne obliczeniowo i powolne.
B: LOOCV nie można stosować do problemów klasyfikacji.
C: Chcesz przetestować różne wartości dla 15 różnych parametrów.

To ćwiczenie jest częścią kursu

Walidacja modeli w Pythonie

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie

To ćwiczenie jest częścią kursu

Walidacja modeli w Pythonie

SkillTag.level.intermediateSkillTag.label

4.9+

Rozpocznij kurs za darmo

Zanim przejdziemy do walidacji modeli, musimy zrozumieć, jak je tworzyć i z nimi pracować. Ten rozdział to wprowadzenie do budowania modeli regresji i klasyfikacji w scikit-learn. Wypracowane tu podstawy będziemy wykorzystywać przez cały pozostały kurs.

Exercise 1: Wprowadzenie do walidacji modeli Exercise 2: Etapy tworzenia modelu Exercise 3: Dane widziane i niewidziane Exercise 4: Modele regresji Exercise 5: Ustaw parametry i dopasuj model Exercise 6: Ważność cech Exercise 7: Modele klasyfikacji Exercise 8: Predykcje klasyfikacyjne Exercise 9: Ponowne wykorzystanie parametrów modelu Exercise 10: Klasyfikator Random Forest

Ten rozdział skupia się na podstawach walidacji modeli. Zaczniemy od podziału danych na zbiory treningowy, walidacyjny i testowy, a następnie omówimy kompromis między obciążeniem a wariancją. W ten sposób zbudujemy fundament pod techniki walidacji K-Fold i Leave-One-Out, które ćwiczymy w rozdziale trzecim.

Exercise 1: Tworzenie zbiorów: treningowego, testowego i walidacyjnego Exercise 2: Tworzenie zbioru walidacyjnego Exercise 3: Tworzenie dwóch zbiorów walidacyjnych Exercise 4: Po co używać zbiorów wydzielonych Exercise 5: Metryki dokładności: modele regresji Exercise 6: Średni błąd bezwzględny Exercise 7: Błąd średniokwadratowy Exercise 8: Wyniki na podzbiorach danych Exercise 9: Metryki klasyfikacji Exercise 10: Macierze pomyłek Exercise 11: Macierze pomyłek – raz jeszcze Exercise 12: Precyzja a czułość Exercise 13: Kompromis między obciążeniem a wariancją Exercise 14: Błąd wynikający z niedouczenia/przeuczenia Exercise 15: Czy mój model jest niedouczony?

Zbiory testowe to dobry punkt wyjścia do walidacji modeli, ale opieranie się na jednym podziale na zbiór treningowy i testowy często nie wystarczy. Walidacja krzyżowa jest uważana za złoty standard oceny wydajności modelu i niemal zawsze stosuje się ją przy strojeniu hiperparametrów. Ten rozdział koncentruje się na przeprowadzaniu walidacji krzyżowej.

Exercise 1: Wady metody holdout Exercise 2: Dwie próbki Exercise 3: Potencjalne problemy Exercise 4: Walidacja krzyżowa Exercise 5: KFold() z scikit-learn Exercise 6: Korzystanie z indeksów KFold Exercise 7: Funkcja `cross_val_score()` z biblioteki sklearn Exercise 8: Metody biblioteki scikit-learn Exercise 9: Implementacja cross_val_score()Exercise 10: Kroswalidacja leave-one-out (LOOCV)Exercise 11: Kiedy używać LOOCV

Bieżące ćwiczenie

Exercise 12: Walidacja krzyżowa leave-one-out

Pierwsze trzy rozdziały dotyczyły technik walidacji modeli. W rozdziale czwartym stosujemy te techniki – w szczególności walidację krzyżową – ucząc się jednocześnie strojenia hiperparametrów. Walidacja modeli umożliwia bowiem skuteczne strojenie i pomaga wybrać najlepszy model spośród wszystkich kandydatów.

Exercise 1: Wprowadzenie do strojenia hiperparametrów Exercise 2: Tworzenie hiperparametrów Exercise 3: Uruchamianie modelu z użyciem zakresów Exercise 4: RandomizedSearchCV Exercise 5: Przygotowanie do RandomizedSearch Exercise 6: Implementacja RandomizedSearchCV Exercise 7: Wybór ostatecznego modelu Exercise 8: Najlepsza dokładność klasyfikacji Exercise 9: Wybór modelu o najlepszej precyzji Exercise 10: Kurs ukończony!