1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Machine Learning với PySpark
Connected

Bài tập

Mã hóa nơi khởi hành của chuyến bay

Cột org trong dữ liệu flights là một biến phân loại cho biết sân bay nơi chuyến bay khởi hành.

  • ORD — Sân bay Quốc tế O'Hare (Chicago)
  • SFO — Sân bay Quốc tế San Francisco
  • JFK — Sân bay Quốc tế John F Kennedy (New York)
  • LGA — Sân bay La Guardia (New York)
  • SMF — Sacramento
  • SJC — San Jose
  • OGG — Kahului (Hawaii)

Rõ ràng đây chỉ là một tập con nhỏ của các sân bay. Tuy vậy, vì đây là biến phân loại nên cần được one-hot encode trước khi dùng trong mô hình hồi quy.

Dữ liệu nằm trong biến flights. Bạn đã dùng string indexer để tạo một cột giá trị chỉ số tương ứng với các chuỗi trong org.

Bạn có thể xem lại các slide từ bài học trong bảng Các slide bên cạnh IPython Shell nếu cần.

Hướng dẫn

100 XP
  • Import lớp one-hot encoder.
  • Tạo một instance one-hot encoder, đặt cột đầu vào là org_idx và cột đầu ra là org_dummy.
  • Áp dụng one-hot encoder lên dữ liệu flights.
  • Tạo bản tóm tắt ánh xạ từ giá trị phân loại sang các biến giả mã hóa nhị phân. Chỉ lấy các giá trị duy nhất và sắp xếp theo org_idx.