色による情報利得を計算する
ルートノードと子ノードのエントロピーがわかったので、色がもたらす情報利得を計算できます。
これまでの演習で、entropy_root、entropy_left、entropy_right を計算しました。これらはコンソールで利用できます。
子ノードのエントロピーの加重平均を取ることを思い出してください。そのため、元の観測値のうち、分割後に左側・右側に入った割合を計算する必要があります。これらをそれぞれ p_left と p_right に保存します。
この演習はコースの一部です
Rによる次元削減
演習の手順
- 分割の重み（分割後に各側にある観測値の割合）を計算します。
- その重みとエントロピーを使って情報利得を計算します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Calculate the split weights
p_left <- ___/12
p_right <- ___/___
# Calculate the information gain
info_gain <- ___ -
(___ * entropy_left +
p_right * ___)
info_gain