Entropie van kindknopen berekenen
Je hebt de eerste stap gezet om de information gain van kleur te meten: je hebt de wanorde van de wortelknoop berekend. Nu moet je de entropie van de kindknopen bepalen om te kunnen beoordelen of de gezamenlijke wanorde van de kindknopen kleiner is dan de wanorde van de ouderknoop. Als dat zo is, heb je extra informatie over de lening-in-gebreke-status verkregen uit de eigenschap kleur.
Deze oefening maakt deel uit van de cursus
Dimensionality Reduction in R
Oefeninstructies
- Bereken de klassekansen voor de linker splitsing (blauwe kant).
- Bereken de entropie van de linker splitsing met behulp van de klassekansen.
- Bereken de klassekansen voor de rechter splitsing (groene kant).
- Bereken de entropie van de rechter splitsing met behulp van de klassekansen.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Calculate the class probabilities in the left split
p_left_yes <- ___
p_left_no <- ___
# Calculate the entropy of the left split
entropy_left <- -(___ * ___(___)) +
-(___ * ___(___))
# Calculate the class probabilities in the right split
p_right_yes <- ___
p_right_no <- ___
# Calculate the entropy of the right split
entropy_right <- -(___ * ___(___)) +
-(___ * ___(___))