交差検証

次のいくつかの演習では、k-分割交差検証と呼ばれる手法を使ってロジスティック回帰モデルをチューニングします。これは、未知データ（たとえば test DataFrame）の上でのモデル性能を推定する方法です。

やり方は、学習データを複数の分割に分けることから始まります。分割数は任意ですが、このコースでは PySpark のデフォルト値である 3 を使います。分割したら、そのうち 1 つを取り分け、残りの分割でモデルを学習します。次に、取り分けた分割に対して誤差を測定します。これをすべての分割について繰り返し、各ブロックがちょうど 1 回ずつテストセットとして使われるようにします。最後に、各分割での誤差の平均をとります。これがモデルの交差検証誤差で、ホールドアウトデータでの実際の誤差の良い推定になります。

交差検証では、elasticNetParam と regParam の 2 つのハイパーパラメータについて、取り得る値の組み合わせのグリッドを作成し、交差検証誤差で各モデルを比較して、最良のものを選びます！