Bắt đầu ngayBắt đầu miễn phí

Precision, ROI và AUC

Tỷ suất hoàn vốn (ROI) có thể được phân rã thành precision nhân với tỷ lệ giữa lợi nhuận và chi phí. Như đã thảo luận, precision của mô hình có thể thấp ngay cả khi AUC của đường cong ROC cao. Nếu precision thấp, ROI cũng sẽ thấp. Trong bài tập này, bạn sẽ dùng một MLP để tính ROI mẫu với giả định r cố định (lợi nhuận trên mỗi lượt nhấp theo số lần hiển thị) và cost (chi phí trên mỗi số lần hiển thị), cùng với precision và AUC của đường cong ROC để xem ba giá trị này biến thiên thế nào.

X_train, y_train, X_test, y_test đã có sẵn trong không gian làm việc của bạn, cùng clf là một bộ phân loại MLP, điểm xác suất lưu trong y_score và nhãn dự đoán trong y_pred. pandas dưới tên pd và sklearn cũng đã sẵn sàng trong không gian làm việc của bạn.

Bài tập này là một phần của khóa học

Dự đoán CTR với Machine Learning trong Python

Xem khóa học

Hướng dẫn bài tập

  • Tính precision prec của bộ phân loại MLP.
  • Tính tổng ROI dựa trên precision prec.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Get precision and total ROI
prec = ____(y_test, ____, average = 'weighted')
r = 0.2
cost = 0.05 
roi = ____ * r / cost

# Get AUC
roc_auc = roc_auc_score(y_test, y_score[:, 1])

print("Total ROI: %s, Precision: %s, AUC of ROC curve: %s" %(
  roi, prec, roc_auc))
Chỉnh sửa và Chạy Mã