計算顏色的資訊增益
現在你已經知道根節點與子節點的熵,可以計算「顏色」這個特徵所帶來的資訊增益。
在前面的練習中,你已計算出 entropy_root、entropy_left 和 entropy_right。它們已可在主控台使用。
記得要對子節點的熵做加權平均。因此,你需要計算原始觀測中,分割後落在左、右兩側的比例。分別將它們存入 p_left 與 p_right。

本練習屬於課程
R 的降維
練習說明
- 計算分割權重,也就是分割後兩側觀測數的比例。
- 使用這些權重與熵來計算資訊增益。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Calculate the split weights
p_left <- ___/12
p_right <- ___/___
# Calculate the information gain
info_gain <- ___ -
(___ * entropy_left +
p_right * ___)
info_gain