สร้าง Evaluator

สิ่งแรกที่ต้องมีเมื่อทำ cross validation เพื่อเลือกโมเดล คือวิธีเปรียบเทียบโมเดลต่าง ๆ กัน โชคดีที่ submodule pyspark.ml.evaluation มีคลาสสำหรับประเมินโมเดลหลายประเภท โมเดลที่ใช้อยู่เป็นโมเดล binary classification จึงต้องใช้ BinaryClassificationEvaluator จาก module pyspark.ml.evaluation

Evaluator นี้คำนวณพื้นที่ใต้เส้นโค้ง ROC ซึ่งเป็นเมตริกที่รวมข้อผิดพลาด 2 ประเภทของ binary classifier (false positives และ false negatives) ให้เป็นตัวเลขเดียว จะได้เรียนรู้เพิ่มเติมเกี่ยวกับเรื่องนี้ในช่วงท้ายของบทนี้

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

พื้นฐาน PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

Import submodule pyspark.ml.evaluation ในชื่อ evals
สร้าง evaluator โดยเรียก evals.BinaryClassificationEvaluator() พร้อมอาร์กิวเมนต์ metricName="areaUnderROC"

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Import the evaluation submodule
import ____ as evals

# Create a BinaryClassificationEvaluator
evaluator = ____

แก้ไขและรันโค้ด