1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Machine Learning với PySpark
Connected

Bài tập

Mô hình thời lượng chuyến bay: Mô hình Pipeline

Giờ bạn đã sẵn sàng ghép các stage đó lại trong một pipeline.

Bạn sẽ tạo pipeline rồi huấn luyện pipeline trên dữ liệu huấn luyện. Việc này sẽ áp dụng lần lượt từng stage trong pipeline lên dữ liệu huấn luyện. Không stage nào được “nhìn thấy” dữ liệu kiểm tra: hoàn toàn không có rò rỉ!

Khi toàn bộ pipeline đã được huấn luyện, nó sẽ được dùng để dự đoán trên dữ liệu kiểm tra.

Dữ liệu có trong flights, và đã được chia ngẫu nhiên thành flights_train và flights_test.

Hướng dẫn

100 XP
  • Import lớp để tạo pipeline.
  • Tạo một đối tượng pipeline và chỉ định các stage indexer, onehot, assembler và regression, theo đúng thứ tự này.
  • Huấn luyện pipeline trên dữ liệu huấn luyện.
  • Tạo dự đoán trên dữ liệu kiểm tra.