Potencjalne problemy

Które z poniższych stwierdzeń są PRAWDZIWE w kontekście potencjalnych problemów ze zbiorami walidacyjnymi:

A: Użycie różnych metod podziału danych może prowadzić do różnych danych w końcowych zbiorach walidacyjnych.
B: Jeśli masz ograniczoną ilość danych, dokładność na zbiorze walidacyjnym może być myląca.
C: Nie ma żadnych problemów. Stworzenie jednego zbioru treningowego i testowego to jedyny sposób na walidację modeli.
D: Nie należy używać zbiorów walidacyjnych przy ograniczonej ilości danych, ponieważ ogranicza to potencjalne dane treningowe.

To ćwiczenie jest częścią kursu

Walidacja modeli w Pythonie

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie

To ćwiczenie jest częścią kursu

Walidacja modeli w Pythonie

SkillTag.level.intermediateSkillTag.label

4.9+

Rozpocznij kurs za darmo

Zanim przejdziemy do walidacji modeli, musimy zrozumieć, jak je tworzyć i z nimi pracować. Ten rozdział to wprowadzenie do budowania modeli regresji i klasyfikacji w scikit-learn. Wypracowane tu podstawy będziemy wykorzystywać przez cały pozostały kurs.

Exercise 1: Wprowadzenie do walidacji modeli Exercise 2: Etapy tworzenia modelu Exercise 3: Dane widziane i niewidziane Exercise 4: Modele regresji Exercise 5: Ustaw parametry i dopasuj model Exercise 6: Ważność cech Exercise 7: Modele klasyfikacji Exercise 8: Predykcje klasyfikacyjne Exercise 9: Ponowne wykorzystanie parametrów modelu Exercise 10: Klasyfikator Random Forest

Ten rozdział skupia się na podstawach walidacji modeli. Zaczniemy od podziału danych na zbiory treningowy, walidacyjny i testowy, a następnie omówimy kompromis między obciążeniem a wariancją. W ten sposób zbudujemy fundament pod techniki walidacji K-Fold i Leave-One-Out, które ćwiczymy w rozdziale trzecim.

Exercise 1: Tworzenie zbiorów: treningowego, testowego i walidacyjnego Exercise 2: Tworzenie zbioru walidacyjnego Exercise 3: Tworzenie dwóch zbiorów walidacyjnych Exercise 4: Po co używać zbiorów wydzielonych Exercise 5: Metryki dokładności: modele regresji Exercise 6: Średni błąd bezwzględny Exercise 7: Błąd średniokwadratowy Exercise 8: Wyniki na podzbiorach danych Exercise 9: Metryki klasyfikacji Exercise 10: Macierze pomyłek Exercise 11: Macierze pomyłek – raz jeszcze Exercise 12: Precyzja a czułość Exercise 13: Kompromis między obciążeniem a wariancją Exercise 14: Błąd wynikający z niedouczenia/przeuczenia Exercise 15: Czy mój model jest niedouczony?

Zbiory testowe to dobry punkt wyjścia do walidacji modeli, ale opieranie się na jednym podziale na zbiór treningowy i testowy często nie wystarczy. Walidacja krzyżowa jest uważana za złoty standard oceny wydajności modelu i niemal zawsze stosuje się ją przy strojeniu hiperparametrów. Ten rozdział koncentruje się na przeprowadzaniu walidacji krzyżowej.

Exercise 1: Wady metody holdout Exercise 2: Dwie próbki Exercise 3: Potencjalne problemy

Bieżące ćwiczenie

Exercise 4: Walidacja krzyżowa Exercise 5: KFold() z scikit-learn Exercise 6: Korzystanie z indeksów KFold Exercise 7: Funkcja `cross_val_score()` z biblioteki sklearn Exercise 8: Metody biblioteki scikit-learn Exercise 9: Implementacja cross_val_score()Exercise 10: Kroswalidacja leave-one-out (LOOCV)Exercise 11: Kiedy używać LOOCV Exercise 12: Walidacja krzyżowa leave-one-out

Pierwsze trzy rozdziały dotyczyły technik walidacji modeli. W rozdziale czwartym stosujemy te techniki – w szczególności walidację krzyżową – ucząc się jednocześnie strojenia hiperparametrów. Walidacja modeli umożliwia bowiem skuteczne strojenie i pomaga wybrać najlepszy model spośród wszystkich kandydatów.

Exercise 1: Wprowadzenie do strojenia hiperparametrów Exercise 2: Tworzenie hiperparametrów Exercise 3: Uruchamianie modelu z użyciem zakresów Exercise 4: RandomizedSearchCV Exercise 5: Przygotowanie do RandomizedSearch Exercise 6: Implementacja RandomizedSearchCV Exercise 7: Wybór ostatecznego modelu Exercise 8: Najlepsza dokładność klasyfikacji Exercise 9: Wybór modelu o najlepszej precyzji Exercise 10: Kurs ukończony!