个人笔记：实用机器学习（b站李沐）3.2

3.2决策树模型分类和决策问题决策树示例决策树的优缺点好处1可以解释可以让人看到对数据处理的过程2可以处理数值类和类别类的特征坏处1不稳定数据产生一定的噪音之后整棵树构建出的样子可能会不一样*使用集成学习 (ensemble learning)可以解决2数据过于复杂会生成过于复杂的树会导致过拟合*把决策树的枝剪掉一些在训练时觉得太复杂了就停下来或在训练之后把特往下的节点给剪掉3大量的判断语句太顺序化不太好并行*在性能上会吃亏随机森林Random Forest让决策树变得更稳定目的训练多棵决策树提升模型鲁棒性抗噪声、抗过拟合能力样本随机Bagging自助采样 每棵树用一套独立采样数据集样本可重复抽取约 37% 原始样本不会被抽到袋外样本 OOB可用于无验证集时评估模型泛化误差。特征随机特征子空间采样 单棵树节点分裂时不使用全部特征仅随机挑选少量特征寻找最优分割大幅降低树之间相关性进一步抑制过拟合Gradient Boosting Decision Trees 梯度提升决策树简称 GBDT多棵决策树串行依次训练无法并行必须等前一棵树训练完成才能训练下一棵【补充】熵选择熵小的分支进行分裂信息增益越大分支熵越小越优