Вычисление энтропий дочерних узлов
Вы выполнили первый шаг для измерения прироста информации, который даёт признак цвета, — вычислили неупорядоченность корневого узла. Теперь нужно измерить энтропию дочерних узлов, чтобы оценить, меньше ли их совокупная неупорядоченность по сравнению с родительским узлом. Если да, значит, признак цвета дал нам некоторую информацию о вероятности дефолта по кредиту.
Это упражнение является частью курса
Снижение размерности в R
Инструкции к упражнению
- Вычислите вероятности классов для левого разбиения (синяя сторона).
- Вычислите энтропию левого разбиения, используя полученные вероятности классов.
- Вычислите вероятности классов для правого разбиения (зелёная сторона).
- Вычислите энтропию правого разбиения, используя полученные вероятности классов.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Calculate the class probabilities in the left split
p_left_yes <- ___
p_left_no <- ___
# Calculate the entropy of the left split
entropy_left <- -(___ * ___(___)) +
-(___ * ___(___))
# Calculate the class probabilities in the right split
p_right_yes <- ___
p_right_no <- ___
# Calculate the entropy of the right split
entropy_right <- -(___ * ___(___)) +
-(___ * ___(___))