Вычисление информационного прироста по цвету
Теперь, когда вы знаете энтропии корневого и дочерних узлов, можно вычислить информационный прирост, который даёт признак цвета.
В предыдущих упражнениях вы рассчитали entropy_root, entropy_left и entropy_right. Эти значения доступны в консоли.
Помните, что нужно взять взвешенное среднее энтропий дочерних узлов. Для этого вычислите, какая доля исходных наблюдений попала в левую и правую части разбиения. Сохраните эти значения в p_left и p_right соответственно.
Это упражнение является частью курса
Снижение размерности в R
Инструкции к упражнению
- Вычислите веса разбиения — то есть долю наблюдений в каждой части разбиения.
- Рассчитайте информационный прирост, используя полученные веса и значения энтропий.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Calculate the split weights
p_left <- ___/12
p_right <- ___/___
# Calculate the information gain
info_gain <- ___ -
(___ * entropy_left +
p_right * ___)
info_gain