パイプラインを作成する
いよいよ Pipeline を作成します！
Pipeline は pyspark.ml モジュールのクラスで、これまでに作成したすべての Estimator と Transformer をひとつにまとめます。これにより、モデリングの手順をシンプルなオブジェクトに包んで何度でも再利用できるようになります。便利ですね。
この演習はコースの一部です
PySpark入門
演習の手順
pyspark.mlからPipelineをインポートします。- キーワード引数
stagesを指定してPipeline()コンストラクタを呼び出し、flights_pipeというPipelineを作成します。stagesには、パイプラインでデータを通したい全ステージを格納したリストを渡します。ここでは次のとおりです:[dest_indexer, dest_encoder, carr_indexer, carr_encoder, vec_assembler]
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Import Pipeline
from ____ import ____
# Make the pipeline
flights_pipe = Pipeline(stages=____)