计算子节点的熵
您已经完成了衡量颜色所提供信息增益的第一步——计算根节点的无序度。现在,您需要计算子节点的熵,以评估子节点的总体无序度是否小于父节点的无序度。如果更小,那么从颜色这一特征中,您就获得了关于贷款是否违约的一些信息。

本练习是课程的一部分
R 中的降维
练习说明
- 计算左侧划分(蓝色一侧)的类别概率。
- 使用该类别概率计算左侧划分的熵。
- 计算右侧划分(绿色一侧)的类别概率。
- 使用该类别概率计算右侧划分的熵。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Calculate the class probabilities in the left split
p_left_yes <- ___
p_left_no <- ___
# Calculate the entropy of the left split
entropy_left <- -(___ * ___(___)) +
-(___ * ___(___))
# Calculate the class probabilities in the right split
p_right_yes <- ___
p_right_no <- ___
# Calculate the entropy of the right split
entropy_right <- -(___ * ___(___)) +
-(___ * ___(___))