Obliczanie krzywych ROC i AUC

Poprzednie ćwiczenia pokazały, że dokładność (accuracy) jest bardzo mylącą miarą wydajności modelu w przypadku niezrównoważonych zbiorów danych. Wizualizacja wyników modelu lepiej ilustruje kompromis między modelem zbyt agresywnym a zbyt zachowawczym.

W tym ćwiczeniu utworzysz krzywą ROC i obliczysz pole pod krzywą (AUC), aby ocenić zbudowany wcześniej model regresji logistycznej dla darowizn.

Zbiór danych donors z kolumną przewidywanych prawdopodobieństw donation_prob został już wczytany.

To ćwiczenie jest częścią kursu

Nadzorowane uczenie maszynowe w R: Klasyfikacja

Zobacz kurs

Instrukcje do ćwiczenia

Wczytaj pakiet pROC.
Utwórz krzywą ROC za pomocą funkcji roc(), korzystając z kolumn rzeczywistych i przewidywanych darowizn. Zapisz wynik jako ROC.
Użyj funkcji plot(), aby narysować obiekt ROC. Ustaw col = "blue", aby krzywa była niebieska.
Oblicz pole pod krzywą za pomocą funkcji auc().

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Load the pROC package


# Create a ROC curve
ROC <- roc(___, ___)

# Plot the ROC curve
plot(___, col = ___)

# Calculate the area under the curve (AUC)
auc(___)

Edytuj i uruchom kod