Xóa cột và hàng
Trước đó bạn đã nạp dữ liệu chuyến bay từ tệp CSV. Bạn sẽ xây dựng một mô hình dự đoán xem một chuyến bay có bị trễ hay không.
Trong bài này, bạn cần tinh gọn dữ liệu bằng cách:
- xóa một cột không cung cấp thông tin và
- xóa các hàng không có thông tin về việc chuyến bay có bị trễ hay không.
Dữ liệu có sẵn trong flights.
Lưu ý: Bạn có thể muốn xem lại các slide từ bài học trong bảng Slides bên cạnh IPython Shell.
Bài tập này là một phần của khóa học
Machine Learning với PySpark
Hướng dẫn bài tập
- Xóa cột
flight. - Tìm xem có bao nhiêu bản ghi bị thiếu giá trị ở cột
delay. - Xóa các bản ghi bị thiếu giá trị ở cột
delay. - Xóa các bản ghi thiếu giá trị ở bất kỳ cột nào và lấy số hàng còn lại.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())