データを分割する
ここまでで前処理は完了しました。モデリングの前の最後のステップとして、データを分割しましょう。
この演習はコースの一部です
PySpark入門
演習の手順
- DataFrame メソッド
.randomSplit()を使って、piped_dataを 2 つに分割します。リスト[.6, .4]を.randomSplit()に渡し、データの 60% を含むtrainingと、40% を含むtestに分けてください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Split the data into training and test sets
training, test = piped_data.randomSplit(____)