1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Machine Learning với PySpark
Connected

Bài tập

Mô hình thời lượng chuyến bay: Regularization!

Trong bài trước, bạn đã thêm nhiều biến dự báo vào mô hình dự đoán thời lượng chuyến bay. Mô hình cho kết quả tốt trên dữ liệu kiểm tra, nhưng với quá nhiều hệ số thì rất khó diễn giải.

Trong bài này, bạn sẽ dùng hồi quy Lasso (regularization với phạt L1) để tạo một mô hình gọn hơn. Nhiều hệ số trong mô hình kết quả sẽ được đặt về 0. Điều này có nghĩa là chỉ một phần các biến dự báo thực sự đóng góp vào mô hình. Dù đơn giản hơn, mô hình vẫn cho RMSE tốt trên dữ liệu kiểm tra.

Bạn sẽ dùng một giá trị cụ thể cho độ mạnh regularization. Sau này bạn sẽ học cách tìm giá trị tốt nhất bằng cross validation.

Dữ liệu (giống bài trước) có trong flights, được chia ngẫu nhiên thành flights_train và flights_test.

Có hai tham số cho mô hình này, λ (regParam) và α (elasticNetParam), trong đó α quyết định loại regularization và λ thể hiện độ mạnh regularization.

Hướng dẫn

100 XP
  • Khớp một mô hình hồi quy tuyến tính trên dữ liệu huấn luyện. Đặt độ mạnh regularization là 1.
  • Tính RMSE trên dữ liệu kiểm tra.
  • Xem các hệ số của mô hình.
  • Có bao nhiêu hệ số bằng không?