モデルのパフォーマンスを比較する
グラフを描くと、モデルがうまく機能している箇所とそうでない箇所を直感的に把握できます。一方で、モデルの良さを数値で表せると便利な場面もあります。数値化することで、モデルの精度を定量的に評価し、複数のモデルを比較しやすくなります。よく使われる指標に、二乗平均平方根誤差（RMSE：Root Mean Square Error）があります。これは残差を二乗して平均を取り、その平方根を求めたものです。同じデータセット上では、RMSE が小さいほど予測精度が高いことを示します（デフォルトでは異なるデータセット間での比較はできません。ただし、データセットを正規化すれば比較が可能になる場合もあります）。
ここでは、勾配ブースティング木とランダムフォレストの2つのモデルを比較しましょう。
この演習はコースの一部です
sparklyr を使った Spark 入門（R）
演習の手順
both_responses は、2つのモデルによるトラックの予測年と実際の年を含むローカルな tibble として事前に定義されています。
- 残差の平方和データセットを作成しましょう。
- 予測値から実際の値を引いた
residual列を追加します。 - データを
modelでグループ化します。 residualの二乗の平均の平方根をrmseという要約統計量として計算します。
- 予測値から実際の値を引いた
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# both_responses has been pre-defined
both_responses
# Create a residual sum of squares dataset
___