子ノードのエントロピーを計算する
色がもたらす情報利得を測る最初のステップとして、ルートノードの無秩序度を計算できました。次は子ノードのエントロピーを測定し、子ノード全体の無秩序度が親ノードの無秩序度より小さいかを判断します。もし小さければ、色という情報からローンのデフォルト状況について何らかの情報を得られたことになります。
この演習はコースの一部です
Rによる次元削減
演習の手順
- 左側の分割（青側）のクラス確率を計算します。
- そのクラス確率を使って左側分割のエントロピーを計算します。
- 右側の分割（緑側）のクラス確率を計算します。
- そのクラス確率を使って右側分割のエントロピーを計算します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Calculate the class probabilities in the left split
p_left_yes <- ___
p_left_no <- ___
# Calculate the entropy of the left split
entropy_left <- -(___ * ___(___)) +
-(___ * ___(___))
# Calculate the class probabilities in the right split
p_right_yes <- ___
p_right_no <- ___
# Calculate the entropy of the right split
entropy_right <- -(___ * ___(___)) +
-(___ * ___(___))