Xóa cột và hàng
Trước đó bạn đã nạp dữ liệu chuyến bay hãng hàng không từ một tệp CSV. Bạn sẽ phát triển một mô hình dự đoán liệu một chuyến bay bất kỳ có bị trễ hay không.
Trong bài tập này, bạn cần rút gọn dữ liệu bằng cách:
- xóa một cột không mang thông tin và
- xóa các hàng không có thông tin về việc chuyến bay có bị trễ hay không.
Dữ liệu có sẵn dưới tên flights.
Lưu ý:: Bạn có thể muốn xem lại các slide từ bài học trong bảng điều khiển Slides cạnh IPython Shell.
Bài tập này là một phần của khóa học
Machine Learning với PySpark
Hướng dẫn bài tập
- Xóa cột
flight. - Tìm xem có bao nhiêu bản ghi bị thiếu giá trị ở cột
delay. - Xóa các bản ghi bị thiếu giá trị ở cột
delay. - Xóa các bản ghi bị thiếu giá trị ở bất kỳ cột nào và lấy số hàng còn lại.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())