Tạo một Boolean
Giả sử bạn đang xây dựng mô hình cho một câu hỏi có/không: chuyến bay có đến muộn không? Tuy nhiên, dữ liệu của bạn chứa số phút đến muộn cho mỗi chuyến bay. Vì vậy, bạn cần tạo một cột boolean cho biết chuyến bay có đến muộn hay không!
Bài tập này là một phần của khóa học
Nền tảng về PySpark
Hướng dẫn bài tập
- Dùng phương thức
.withColumn()để tạo cộtis_late. Cột này bằngmodel_data.arr_delay > 0. - Chuyển cột này sang kiểu số nguyên để có thể dùng trong mô hình và đặt tên là
label(đây là tên mặc định cho biến phản hồi trong các routine Machine Learning của Spark). - Lọc bỏ các giá trị thiếu (đã được làm sẵn cho bạn).
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Create is_late
model_data = model_data.withColumn("is_late", ____)
# Convert to an integer
model_data = model_data.withColumn("label", ____)
# Remove missing values
model_data = model_data.filter("arr_delay is not NULL and dep_delay is not NULL and air_time is not NULL and plane_year is not NULL")