フライト所要時間モデル：出発空港の追加
空港によって混雑度や規模が異なります。大規模または混雑した空港から出発するフライトは、滑走路での待機時間や離陸順番の待ち時間が長くなりがちです。つまり、フライトの所要時間は移動距離だけでなく、出発する空港にも左右されると考えられます。
ここでは、出発空港を予測因子として追加し、回帰モデルを少し高度にします。
データは学習用とテスト用に分割され、flights_train と flights_test として利用できます。org 列にある出発空港は org_idx にインデックス化され、さらにワンホットエンコードされて org_dummy に変換されています。先頭の数件はターミナルに表示されています。
この演習はコースの一部です
Machine Learning with PySpark
演習の手順
- 学習データに対して線形回帰モデルを学習させます。
- テストデータに対して予測を行います。
- テストデータでの予測について RMSE を計算します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
from pyspark.ml.regression import LinearRegression
from pyspark.ml.evaluation import RegressionEvaluator
# Create a regression object and train on training data
regression = ____(____).____(____)
# Create predictions for the testing data
predictions = ____.____(____)
# Calculate the RMSE on testing data
____(____).____(____)