Informatiewinst van kleur berekenen
Nu je de entropieën van de wortel- en kindknooppunten kent, kun je de informatiewinst berekenen die kleur oplevert.
In de vorige oefeningen heb je entropy_root, entropy_left en entropy_right berekend. Ze zijn beschikbaar in de console.
Onthoud dat je het gewogen gemiddelde van de entropieën van de kindknooppunten neemt. Je moet dus berekenen welk deel van de oorspronkelijke observaties aan de linker- en rechterkant van de splitsing is terechtgekomen. Sla die respectievelijk op in p_left en p_right.
Deze oefening maakt deel uit van de cursus
Dimensionality Reduction in R
Oefeninstructies
- Bereken de wegingen van de splitsing — dus het aandeel observaties aan elke kant van de splitsing.
- Bereken de informatiewinst met behulp van de wegingen en de entropieën.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Calculate the split weights
p_left <- ___/12
p_right <- ___/___
# Calculate the information gain
info_gain <- ___ -
(___ * entropy_left +
p_right * ___)
info_gain