Zanim przejdziemy do walidacji modeli, musimy zrozumieć, jak je tworzyć i z nimi pracować. Ten rozdział to wprowadzenie do budowania modeli regresji i klasyfikacji w scikit-learn. Wypracowane tu podstawy będziemy wykorzystywać przez cały pozostały kurs.

Wprowadzenie do walidacji modeli

Etapy tworzenia modelu

Dane widziane i niewidziane

Modele regresji

Ustaw parametry i dopasuj model

Ważność cech

Modele klasyfikacji

Predykcje klasyfikacyjne

Ponowne wykorzystanie parametrów modelu

Klasyfikator Random Forest

Podstawy modelowania w scikit-learn

Ten rozdział skupia się na podstawach walidacji modeli. Zaczniemy od podziału danych na zbiory treningowy, walidacyjny i testowy, a następnie omówimy kompromis między obciążeniem a wariancją. W ten sposób zbudujemy fundament pod techniki walidacji K-Fold i Leave-One-Out, które ćwiczymy w rozdziale trzecim.

Tworzenie zbiorów: treningowego, testowego i walidacyjnego

Tworzenie zbioru walidacyjnego

Tworzenie dwóch zbiorów walidacyjnych

Po co używać zbiorów wydzielonych

Metryki dokładności: modele regresji

Średni błąd bezwzględny

Błąd średniokwadratowy

Wyniki na podzbiorach danych

Metryki klasyfikacji

Macierze pomyłek

Macierze pomyłek – raz jeszcze

Precyzja a czułość

Kompromis między obciążeniem a wariancją

Błąd wynikający z niedouczenia/przeuczenia

Czy mój model jest niedouczony?

Podstawy walidacji

Zbiory testowe to dobry punkt wyjścia do walidacji modeli, ale opieranie się na jednym podziale na zbiór treningowy i testowy często nie wystarczy. Walidacja krzyżowa jest uważana za złoty standard oceny wydajności modelu i niemal zawsze stosuje się ją przy strojeniu hiperparametrów. Ten rozdział koncentruje się na przeprowadzaniu walidacji krzyżowej.

Wady metody holdout

Dwie próbki

Potencjalne problemy

Walidacja krzyżowa

KFold() z scikit-learn

Korzystanie z indeksów KFold

Funkcja `cross_val_score()` z biblioteki sklearn

Metody biblioteki scikit-learn

Implementacja cross_val_score()

Kroswalidacja leave-one-out (LOOCV)

Kiedy używać LOOCV

Walidacja krzyżowa leave-one-out

Pierwsze trzy rozdziały dotyczyły technik walidacji modeli. W rozdziale czwartym stosujemy te techniki – w szczególności walidację krzyżową – ucząc się jednocześnie strojenia hiperparametrów. Walidacja modeli umożliwia bowiem skuteczne strojenie i pomaga wybrać najlepszy model spośród wszystkich kandydatów.

Wprowadzenie do strojenia hiperparametrów

Tworzenie hiperparametrów

Uruchamianie modelu z użyciem zakresów

RandomizedSearchCV

Przygotowanie do RandomizedSearch

Implementacja RandomizedSearchCV

Wybór ostatecznego modelu

Najlepsza dokładność klasyfikacji

Wybór modelu o najlepszej precyzji

Kurs ukończony!

Wybór najlepszego modelu za pomocą strojenia hiperparametrów

Tic-Tac-Toe dataset

Candy dataset

Tworzenie modeli uczenia maszynowego jest dziś łatwiejsze niż kiedykolwiek wcześniej. Bez odpowiedniej walidacji wyniki uzyskane po przepuszczeniu nowych danych przez model mogą okazać się mniej trafne, niż się spodziewasz. Walidacja modeli pozwala analitykom pewnie odpowiedzieć na pytanie: jak dobry jest twój model? Na to pytanie odpowiemy w kontekście modeli klasyfikacji – korzystając z pełnego zestawu scenariuszy końcowych gry w kółko i krzyżyk – oraz modeli regresji, używając zestawu danych fivethirtyeight dotyczącego rankingu słodyczy halloweenowych. W kursie omówimy podstawy walidacji modeli, poznamy różne techniki walidacji i zaczniemy budować narzędzia do tworzenia zwalidowanych, wysokowydajnych modeli.

Supervised Learning with scikit-learn

Poznaj podstawy walidacji modeli, techniki walidacji i twórz wydajne modele.

Walidacja modeli w Pythonie

Poznaj podstawy walidacji modeli, technik walidacji i zacznij tworzyć zwalidowane, wydajne modele.

Naukowiec ds. uczenia maszynowego w Pythonie

Data Scientist

cross_val_score() w sklearn

cross_val_score()

Użycie scoring i make_scorer

Pełny przykład

Analiza wyników

Czas na ćwiczenia!

Walidacja krzyżowa - Funkcja `cross_val_score()` z biblioteki sklearn

Funkcja `cross_val_score()` z biblioteki sklearn

Create Your Free Account