ПочатиПочніть безкоштовно

Precision, ROI та AUC

Повернення інвестицій (ROI) можна подати як добуток точності (precision) на співвідношення доходу до вартості. Як ми обговорювали, можлива ситуація, коли точність моделі низька, навіть якщо AUC кривої ROC високий. Якщо точність низька, то й ROI буде низьким. У цій вправі ви використаєте MLP, щоб обчислити прикладний ROI за фіксованих r — доходу від кліку на певну кількість показів — і cost — вартості за таку саму кількість показів, а також за заданих значень точності та AUC ROC-кривої, щоб перевірити, як змінюються ці три показники.

X_train, y_train, X_test, y_test доступні у вашому середовищі, так само як і clf як класифікатор MLP, імовірнісні бали в y_score та передбачені мітки в y_pred. pandas як pd і sklearn також доступні у вашому середовищі.

Ця вправа є частиною курсу

Прогнозування CTR за допомогою машинного навчання в Python

Переглянути курс

Інструкції до вправи

  • Обчисліть точність prec класифікатора MLP.
  • Обчисліть загальний ROI на основі точності prec.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Get precision and total ROI
prec = ____(y_test, ____, average = 'weighted')
r = 0.2
cost = 0.05 
roi = ____ * r / cost

# Get AUC
roc_auc = roc_auc_score(y_test, y_score[:, 1])

print("Total ROI: %s, Precision: %s, AUC of ROC curve: %s" %(
  roi, prec, roc_auc))
Редагувати та запускати код