Macierze pomyłek – raz jeszcze

Tworzenie macierzy pomyłek w Pythonie jest proste. Największym wyzwaniem jest zrozumienie orientacji tej macierzy. Ćwiczenie to sprawdza, czy rozumiesz implementację macierzy pomyłek w bibliotece sklearn. Masz tu do dyspozycji model lasu losowego rfc wytrenowany na zbiorze danych tic_tac_toe, który przewiduje wyniki: 0 (przegrana) lub 1 (wygrana) dla gracza pierwszego.

Uwaga: Jeśli czytałeś o macierzach pomyłek na innych stronach lub w kontekście innego języka programowania, wartości mogą być ułożone w odwrotnej kolejności.

To ćwiczenie jest częścią kursu

Walidacja modeli w Pythonie

Instrukcje do ćwiczenia

Zaimportuj funkcję biblioteki sklearn służącą do tworzenia macierzy pomyłek.
Korzystając z modelu rfc, utwórz predykcje kategorii dla zbioru testowego X_test.
Utwórz macierz pomyłek za pomocą biblioteki sklearn.
Wyświetl wartość z macierzy cm reprezentującą rzeczywiste wartości 1, które zostały przewidziane jako 1 (prawdziwe pozytywy).

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

from sklearn.metrics import ____

# Create predictions
test_predictions = rfc.____(____)

# Create and print the confusion matrix
cm = ____(____, ____)
print(cm)

# Print the true positives (actual 1s that were predicted 1s)
print("The number of true positives is: {}".format(cm[____, ____]))

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Walidacja modeli w Pythonie

SkillTag.level.intermediateSkillTag.label

4.9+

Rozpocznij kurs za darmo

Zanim przejdziemy do walidacji modeli, musimy zrozumieć, jak je tworzyć i z nimi pracować. Ten rozdział to wprowadzenie do budowania modeli regresji i klasyfikacji w scikit-learn. Wypracowane tu podstawy będziemy wykorzystywać przez cały pozostały kurs.

Exercise 1: Wprowadzenie do walidacji modeli Exercise 2: Etapy tworzenia modelu Exercise 3: Dane widziane i niewidziane Exercise 4: Modele regresji Exercise 5: Ustaw parametry i dopasuj model Exercise 6: Ważność cech Exercise 7: Modele klasyfikacji Exercise 8: Predykcje klasyfikacyjne Exercise 9: Ponowne wykorzystanie parametrów modelu Exercise 10: Klasyfikator Random Forest

Ten rozdział skupia się na podstawach walidacji modeli. Zaczniemy od podziału danych na zbiory treningowy, walidacyjny i testowy, a następnie omówimy kompromis między obciążeniem a wariancją. W ten sposób zbudujemy fundament pod techniki walidacji K-Fold i Leave-One-Out, które ćwiczymy w rozdziale trzecim.

Exercise 1: Tworzenie zbiorów: treningowego, testowego i walidacyjnego Exercise 2: Tworzenie zbioru walidacyjnego Exercise 3: Tworzenie dwóch zbiorów walidacyjnych Exercise 4: Po co używać zbiorów wydzielonych Exercise 5: Metryki dokładności: modele regresji Exercise 6: Średni błąd bezwzględny Exercise 7: Błąd średniokwadratowy Exercise 8: Wyniki na podzbiorach danych Exercise 9: Metryki klasyfikacji Exercise 10: Macierze pomyłek Exercise 11: Macierze pomyłek – raz jeszcze

Bieżące ćwiczenie

Exercise 12: Precyzja a czułość Exercise 13: Kompromis między obciążeniem a wariancją Exercise 14: Błąd wynikający z niedouczenia/przeuczenia Exercise 15: Czy mój model jest niedouczony?

Zbiory testowe to dobry punkt wyjścia do walidacji modeli, ale opieranie się na jednym podziale na zbiór treningowy i testowy często nie wystarczy. Walidacja krzyżowa jest uważana za złoty standard oceny wydajności modelu i niemal zawsze stosuje się ją przy strojeniu hiperparametrów. Ten rozdział koncentruje się na przeprowadzaniu walidacji krzyżowej.

Exercise 1: Wady metody holdout Exercise 2: Dwie próbki Exercise 3: Potencjalne problemy Exercise 4: Walidacja krzyżowa Exercise 5: KFold() z scikit-learn Exercise 6: Korzystanie z indeksów KFold Exercise 7: Funkcja `cross_val_score()` z biblioteki sklearn Exercise 8: Metody biblioteki scikit-learn Exercise 9: Implementacja cross_val_score()Exercise 10: Kroswalidacja leave-one-out (LOOCV)Exercise 11: Kiedy używać LOOCV Exercise 12: Walidacja krzyżowa leave-one-out

Pierwsze trzy rozdziały dotyczyły technik walidacji modeli. W rozdziale czwartym stosujemy te techniki – w szczególności walidację krzyżową – ucząc się jednocześnie strojenia hiperparametrów. Walidacja modeli umożliwia bowiem skuteczne strojenie i pomaga wybrać najlepszy model spośród wszystkich kandydatów.

Exercise 1: Wprowadzenie do strojenia hiperparametrów Exercise 2: Tworzenie hiperparametrów Exercise 3: Uruchamianie modelu z użyciem zakresów Exercise 4: RandomizedSearchCV Exercise 5: Przygotowanie do RandomizedSearch Exercise 6: Implementacja RandomizedSearchCV Exercise 7: Wybór ostatecznego modelu Exercise 8: Najlepsza dokładność klasyfikacji Exercise 9: Wybór modelu o najlepszej precyzji Exercise 10: Kurs ukończony!