シンプルなフライト所要時間モデルの交差検証
これまでにフライトの所要時間を予測するモデルをいくつか作成し、単純な学習用／テスト用の分割で評価してきました。しかし、交差検証を使うとモデル性能をより適切に評価できます。
この演習では、交差検証を用いてフライト所要時間のシンプルなモデルを学習します。移動時間は通常、距離と強く相関するため、km 列だけでも十分に良いモデルが期待できます。
データはランダムに flights_train と flights_test に分割されています。
次のクラスはすでにインポート済みです: LinearRegression、RegressionEvaluator、ParamGridBuilder、CrossValidator。
この演習はコースの一部です
Machine Learning with PySpark
演習の手順
- 空のパラメータグリッドを作成します。
- 線形回帰モデルの作成と評価用のオブジェクトを作成します。モデルは "duration" フィールドを予測するようにしてください。
- 交差検証用のオブジェクトを作成します。
estimator、estimatorParamMaps、evaluator引数に値を指定し、5 分割交差検証を選択します。 - 学習データの複数のフォールドにわたってモデルを学習・評価します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create an empty parameter grid
params = ____().____()
# Create objects for building and evaluating a regression model
regression = ____(____)
evaluator = ____(____)
# Create a cross validator
cv = ____(estimator=____, estimatorParamMaps=____, evaluator=____, ____)
# Train and test model on multiple folds of the training data
cv = cv.____(____)
# NOTE: Since cross-validation builds multiple models, the fit() method can take a little while to complete.