Wynik F-beta
Wynik F-beta to ważona średnia harmoniczna precyzji i czułości, która pozwala nadać im różne wagi. Często zależy nam bardziej na precyzji niż na czułości – można to osiągnąć, ustawiając niższe beta w przedziale od 0 do 1. W tym ćwiczeniu obliczysz precyzję i czułość klasyfikatora MLP, a także wynik F-beta przy beta = 0.5.
W twoim środowisku dostępne są zmienne X_train, y_train, X_test, y_test, a cechy zostały już wystandaryzowane. Dostępne są również pandas jako pd oraz sklearn. Funkcja fbeta_score() z modułu sklearn.metrics jest również gotowa do użycia.
To ćwiczenie jest częścią kursu
Przewidywanie CTR z użyciem uczenia maszynowego w Pythonie
Instrukcje do ćwiczenia
- Podziel dane na zbiór treningowy i testowy.
- Zdefiniuj klasyfikator MLP, wytrenuj go metodą
.fit()i dokonaj predykcji za pomocą.predict(). - Użyj implementacji z
sklearn, aby uzyskać wyniki precyzji, czułości oraz F-beta.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Set up MLP classifier, train and predict
X_train, X_test, y_train, y_test = ____(
____, ____, test_size = .2, random_state = 0)
clf = ____(hidden_layer_sizes = (16, ),
max_iter = 10, random_state = 0)
y_pred = clf.____(____, _____).____(X_test)
# Evaluate precision and recall
prec = ____(y_test, ____, average = 'weighted')
recall = ____(y_test, ____, average = 'weighted')
fbeta = ____(y_test, ____, ____ = 0.5, average = 'weighted')
print("Precision: %s, Recall: %s, F-beta score: %s" %(prec, recall, fbeta))