列の操作
米国連邦航空局（FAA）では、フライトが予定時刻より15分以上遅れて到着した場合を「遅延」と定義しています。
フライトデータの前処理の次のステップは、以下の2つの作業で構成されています。
- 距離の単位を変換し、
mile列をkm列に置き換える。 - フライトが遅延したかどうかを示すブール値の列を作成する。
この演習はコースの一部です
Machine Learning with PySpark
演習の手順
- 数値を指定した小数点以下の桁数に丸めるための関数をインポートしましょう。
mile列をもとに新しいkm列を作成し、小数点以下を0桁に丸めます。1マイルは1.60934kmです。mile列を削除しましょう。- 遅延が15分以上の場合は1、それ以外は0となる
label列を作成しましょう。論理条件をよく考えてください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Import the required function
from pyspark.sql.functions import ____
# Convert 'mile' to 'km' and drop 'mile' column (1 mile is equivalent to 1.60934 km)
flights_km = flights.____('km', ____(____ * ____, 0)) \
.____('mile')
# Create 'label' column indicating whether flight delayed (1) or not (0)
flights_km = flights_km.____('label', (____).cast('integer'))
# Check first five records
flights_km.show(5)