Oblicz macierz pomyłek

Jak widziałeś(-aś) w filmie, macierz pomyłek to bardzo przydatne narzędzie do kalibracji wyników modelu i analizy wszystkich możliwych rezultatów predykcji (prawdziwie pozytywny, prawdziwie negatywny, fałszywie pozytywny, fałszywie negatywny).

Zanim utworzysz macierz pomyłek, musisz „odciąć" przewidywane prawdopodobieństwa przy określonym progu, aby zamienić je na czynnik z klasami predykcji. Połącz ifelse() z factor() w następujący sposób:

pos_or_neg <- ifelse(probability_prediction > threshold, positive_class, negative_class)
p_class <- factor(pos_or_neg, levels = levels(test_values))

Funkcja confusionMatrix() z pakietu caret rozszerza możliwości funkcji table() z bazowego R, dodając wiele przydatnych statystyk uzupełniających. Możesz obliczyć macierz pomyłek (wraz z powiązanymi statystykami) na podstawie przewidywanych i rzeczywistych wyników, np.:

confusionMatrix(p_class, test_values)

To ćwiczenie jest częścią kursu

Uczenie maszynowe z caret w R

Zobacz kurs

Instrukcje do ćwiczenia

Użyj ifelse(), aby utworzyć wektor znakowy m_or_r, który przyjmuje wartość klasy pozytywnej "M", gdy p jest większe od 0,5, a w przeciwnym razie – klasy negatywnej "R".
Przekształć m_or_r na czynnik p_class z poziomami takimi samymi jak poziomy test[["Class"]].
Utwórz macierz pomyłek za pomocą confusionMatrix(), przekazując p_class oraz kolumnę "Class" ze zbioru danych test.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# If p exceeds threshold of 0.5, M else R: m_or_r


# Convert to factor: p_class


# Create confusion matrix

Edytuj i uruchom kod