列と行の削除
以前、CSV ファイルから航空フライトのデータを読み込みました。ここでは、フライトが遅延するかどうかを予測するモデルを構築していきます。
この演習では、以下の手順でデータを整理します。
- 不要な列を削除する
- フライトの遅延有無に関する情報が欠けている行を削除する
データは flights として利用できます。
注: IPython Shell の隣にある スライド パネルで、レッスンのスライドを復習すると役立つかもしれません。
この演習はコースの一部です
Machine Learning with PySpark
演習の手順
flight列を削除します。delay列に欠損値があるレコードの件数を確認します。delay列に欠損値があるレコードを削除します。- いずれかの列に欠損値があるレコードをすべて削除し、残った行数を確認します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())