F-бета
Оцінка F-бета — це зважене гармонійне середнє між точністю (precision) і повнотою (recall), яке дає змогу по-різному зважувати ці метрики. Часто важливіше підсилити внесок точності над повнотою — цього можна досягти нижчим значенням beta між 0 і 1. У цій вправі ви обчислите точність і повноту класифікатора MLP, а також оцінку F-бета зі значенням beta = 0.5.
X_train, y_train, X_test, y_test доступні у вашому середовищі, і ознаки вже стандартизовано. pandas як pd і sklearn також доступні. Функція fbeta_score() з sklearn.metrics теж доступна.
Ця вправа є частиною курсу
Прогнозування CTR за допомогою машинного навчання в Python
Інструкції до вправи
- Розбийте дані на тренувальну та тестову вибірки.
- Задайте класифікатор MLP, натренуйте його за допомогою
.fit()і зробіть передбачення за допомогою.predict(). - Скористайтеся реалізаціями зі
sklearn, щоб отримати значення точності, повноти та F-бета.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Set up MLP classifier, train and predict
X_train, X_test, y_train, y_test = ____(
____, ____, test_size = .2, random_state = 0)
clf = ____(hidden_layer_sizes = (16, ),
max_iter = 10, random_state = 0)
y_pred = clf.____(____, _____).____(X_test)
# Evaluate precision and recall
prec = ____(y_test, ____, average = 'weighted')
recall = ____(y_test, ____, average = 'weighted')
fbeta = ____(y_test, ____, ____ = 0.5, average = 'weighted')
print("Precision: %s, Recall: %s, F-beta score: %s" %(prec, recall, fbeta))