Obliczanie przyrostu informacji dla koloru
Teraz, gdy znasz entropie węzła korzenia i węzłów potomnych, możesz obliczyć przyrost informacji uzyskany dzięki cesze koloru.
W poprzednich ćwiczeniach wyliczyłeś zmienne entropy_root, entropy_left i entropy_right. Są one dostępne w konsoli.
Pamiętaj, że obliczasz ważoną średnią entropii węzłów potomnych. Musisz zatem ustalić, jaka część obserwacji trafiła odpowiednio do lewej i prawej gałęzi podziału. Zapisz te wartości w zmiennych p_left i p_right.
To ćwiczenie jest częścią kursu
Redukcja wymiarowości w R
Instrukcje do ćwiczenia
- Oblicz wagi podziału, czyli proporcję obserwacji po każdej stronie podziału.
- Korzystając z wag i entropii, oblicz przyrost informacji.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Calculate the split weights
p_left <- ___/12
p_right <- ___/___
# Calculate the information gain
info_gain <- ___ -
(___ * entropy_left +
p_right * ___)
info_gain