НачатьНачать бесплатно

Точность, ROI и AUC

Рентабельность инвестиций (ROI) можно разложить на произведение точности (precision) и отношения дохода к затратам. Как уже обсуждалось, точность модели может быть низкой даже при высоком значении AUC кривой ROC. Если точность невысока, то и ROI будет низким. В этом упражнении вы воспользуетесь многослойным персептроном (MLP), чтобы вычислить примерный ROI при фиксированных значениях r — дохода с клика на количество показов — и cost — стоимости на количество показов. Вместе с этим вы рассчитаете точность и AUC кривой ROC, чтобы проследить, как меняются все три показателя.

В рабочей области доступны X_train, y_train, X_test, y_test, классификатор MLP clf, вероятностные оценки в y_score и предсказанные метки в y_pred. Также доступны pandas как pd и библиотека sklearn.

Это упражнение является частью курса

Прогнозирование CTR с помощью машинного обучения на Python

Посмотреть курс

Инструкции к упражнению

  • Вычислите точность prec классификатора MLP.
  • Рассчитайте итоговый ROI на основе точности prec.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Get precision and total ROI
prec = ____(y_test, ____, average = 'weighted')
r = 0.2
cost = 0.05 
roi = ____ * r / cost

# Get AUC
roc_auc = roc_auc_score(y_test, y_score[:, 1])

print("Total ROI: %s, Precision: %s, AUC of ROC curve: %s" %(
  roi, prec, roc_auc))
Редактировать и запускать код