열과 행 제거하기
앞서 CSV 파일에서 항공편 데이터를 불러왔습니다. 이번에는 특정 항공편의 지연 여부를 예측하는 모델을 만들어 볼 것입니다.
이 연습 문제에서는 다음 두 가지 작업을 통해 데이터를 정리합니다.
- 불필요한 열 제거
- 항공편 지연 여부 정보가 없는 행 제거
데이터는 flights로 제공됩니다.
참고: IPython Shell 옆 슬라이드 패널에서 강의 슬라이드를 다시 확인하면 도움이 될 수 있습니다.
이 연습은 강의의 일부입니다
PySpark로 하는 Machine Learning
연습 안내
flight열을 제거하세요.delay열에 결측값이 있는 레코드가 몇 개인지 확인하세요.delay열에 결측값이 있는 레코드를 제거하세요.- 모든 열에서 결측값이 있는 레코드를 제거한 후, 남은 행의 수를 구하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())