Mô hình thời lượng chuyến bay: Nhiều đặc trưng hơn!
Hãy thêm nhiều đặc trưng hơn vào mô hình. Điều này không nhất thiết tạo ra mô hình tốt hơn. Thêm một số đặc trưng có thể cải thiện mô hình, nhưng những đặc trưng khác có thể làm nó tệ đi.
Nhiều đặc trưng hơn sẽ luôn luôn khiến mô hình phức tạp hơn và khó diễn giải hơn.
Đây là các đặc trưng bạn sẽ đưa vào mô hình tiếp theo:
kmorg(sân bay xuất phát, one-hot encoded, 8 mức)depart(giờ cất cánh, chia theo khoảng 3 giờ, one-hot encoded, 8 mức)dow(ngày trong tuần của chuyến bay, one-hot encoded, 7 mức) vàmon(tháng khởi hành, one-hot encoded, 12 mức).
Các đặc trưng này đã được gộp vào cột features, là dạng thưa (sparse) của 32 cột (nhớ rằng one-hot encoding tạo ra số cột ít hơn số mức một đơn vị).
Dữ liệu có sẵn dưới tên flights, được chia ngẫu nhiên thành flights_train và flights_test.
Bài tập này dựa trên một tập con nhỏ của dữ liệu chuyến bay.
Bài tập này là một phần của khóa học
Machine Learning với PySpark
Hướng dẫn bài tập
- Huấn luyện một mô hình hồi quy tuyến tính trên dữ liệu huấn luyện.
- Tạo dự đoán cho dữ liệu kiểm tra.
- Tính RMSE trên dữ liệu kiểm tra.
- Xem các hệ số của mô hình. Có hệ số nào bằng 0 không?
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
from pyspark.ml.regression import ____
from pyspark.ml.evaluation import ____
# Fit linear regression model to training data
regression = ____(____).____(____)
# Make predictions on testing data
predictions = regression.____(____)
# Calculate the RMSE on testing data
rmse = ____(____).____(____)
print("The test RMSE is", rmse)
# Look at the model coefficients
coeffs = regression.____
print(coeffs)