เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การประเมินโมเดลสินเชื่อด้วยการแสดงผลแบบภาพ

ตอนนี้เราจะมาแสดงผลประสิทธิภาพของโมเดลในรูปแบบภาพ ในกราฟ ROC แกน X และแกน Y คือค่าวัดสองตัวที่เคยดูไปแล้ว ได้แก่ อัตราผลบวกเทียม (fall-out) และอัตราผลบวกจริง (sensitivity)

สร้างกราฟ ROC เพื่อแสดงประสิทธิภาพของโมเดลได้ด้วยโค้ดต่อไปนี้:

fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)

ในการคำนวณคะแนน AUC ให้ใช้ roc_auc_score()

ข้อมูลสินเชื่อ cr_loan_prep พร้อมด้วยชุดข้อมูล X_test และ y_test ถูกโหลดไว้ใน workspace แล้ว รวมถึงโมเดล LogisticRegression() ที่เทรนแล้วชื่อ clf_logistic ก็ถูกโหลดไว้เรียบร้อยแล้วเช่นกัน

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การสร้างโมเดลความเสี่ยงด้านเครดิตด้วย Python

ดูคอร์ส

คำแนะนำการฝึกหัด

  • สร้างชุดการพยากรณ์ความน่าจะเป็นของการผิดนัดชำระ แล้วเก็บไว้ใน preds
  • แสดงคะแนนความแม่นยำของโมเดลบนชุดข้อมูลทดสอบ X และ y
  • ใช้ roc_curve() กับข้อมูลทดสอบและความน่าจะเป็นของการผิดนัดชำระ เพื่อสร้าง fallout และ sensitivity จากนั้นสร้างกราฟ ROC curve โดยให้ fallout อยู่บนแกน x
  • คำนวณค่า AUC ของโมเดลโดยใช้ข้อมูลทดสอบและความน่าจะเป็นของการผิดนัดชำระ แล้วเก็บไว้ใน auc

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Create predictions and store them in a variable
____ = clf_logistic.____(____)

# Print the accuracy score the model
print(clf_logistic.____(____, ____))

# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()

# Compute the AUC and store it in a variable
____ = ____(____, ____)
แก้ไขและรันโค้ด