สร้างโมเดล Logistic Regression

ได้สร้างโมเดล Decision Tree จากข้อมูลเที่ยวบินไปแล้ว คราวนี้จะมาสร้างโมเดล Logistic Regression จากข้อมูลชุดเดียวกัน

เป้าหมายคือการทำนายว่าเที่ยวบินมีแนวโน้มที่จะล่าช้าอย่างน้อย 15 นาทีหรือไม่ (label 1 = ล่าช้า, label 0 = ไม่ล่าช้า)

แม้จะมีตัวแปรพยากรณ์หลายตัวให้เลือกใช้ แต่ในตอนนี้จะใช้เพียงคอลัมน์ mon, depart และ duration เท่านั้น เนื่องจากเป็น feature เชิงตัวเลขที่นำมาใช้กับโมเดล Logistic Regression ได้ทันที ส่วน feature เชิงหมวดหมู่จะต้องผ่านขั้นตอนเพิ่มเติมก่อน ติดตามได้ในบทถัดไป!

ข้อมูลถูกแบ่งเป็นชุด training และ testing แล้ว โดยเก็บไว้ในตัวแปร flights_train และ flights_test

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Machine Learning with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

Import คลาสที่ใช้สร้างตัวแบ่งประเภท Logistic Regression
สร้าง object ของตัวแบ่งประเภทและ train โมเดลด้วยข้อมูล training
สร้างการทำนายสำหรับข้อมูล testing และสร้าง confusion matrix

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Import the logistic regression class
from pyspark.ml.____ import ____

# Create a classifier object and train on training data
logistic = ____().____(____)

# Create predictions for the testing data and show confusion matrix
prediction = ____.____(____)
prediction.groupBy(____, ____).____().show()

แก้ไขและรันโค้ด