按颜色计算信息增益
现在您已经知道了根节点和子节点的熵，可以计算颜色这一特征所带来的信息增益。
在前面的练习中，您已经计算了 entropy_root、entropy_left 和 entropy_right。它们已在控制台中可用。
请记住，您需要对子节点熵做加权平均。因此，您需要计算原始观测中有多少比例落在切分的左侧和右侧。分别将它们存入 p_left 和 p_right。
本练习是课程的一部分
R 中的降维
练习说明
- 计算切分权重——也就是切分两侧观测所占的比例。
- 使用这些权重和各节点的熵来计算信息增益。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Calculate the split weights
p_left <- ___/12
p_right <- ___/___
# Calculate the information gain
info_gain <- ___ -
(___ * entropy_left +
p_right * ___)
info_gain