决策树是一种直观且易于解释的监督学习算法，广泛应用于分类和回归任务。它通过模拟人类决策过程，将复杂问题拆解为一系列简单的判断规则，最终形成类似 “树” 状的结构。以下从基础概念、原理、算法类型、优缺点及应用场景等方面展开详细介绍。
概念
决策树通过对训练样本的学习，并建立分类规则，然后依据分类规则，对新样本数据进行分类预测，属于有监督学习
核心
所有数据从根节点一步一步落到叶子节点
根节点：第一个节点
非叶子节点：中间节点
叶子节点：最终结果节点
需要考虑的问题：
1.哪个节点作为根节点？哪些节点作为中间节点？哪些节点作为叶子节点？
2.节点如何分裂？
3.节点分裂标准的依据？
决策树的分类标准
1.ID3算法
衡量标准：
熵值：表示随机变量不确定性的度量，或者说是物体内部的混乱程度
熵值计算公式：
举例说明（数据如下图）：
熵：熵值越小，该节点越“纯”。
第一遍遍历：
1.标签（结果是否外出打球）的熵（类别熵）：
14天中，9天打球，5天不打球，熵为：
计算对数的Python程序：
import math
result = -9/14*math.log(9/14, 2) - 5/14*math.log(5/14, 2)
2.基于天气的划分
属性熵：
晴天【5天】的熵：
Overcast（阴天）【4天】的熵：
雨天【5天】的熵：
那么，天气对应标签结果的熵为：
熵值计算：
5/14*0.971+4/14*0+5/14*0.971=0.693
则信息增益为：0.940-0.693=0.247
在决策树算法中，信息增益（information gain）是特征选择的一个重要指标。它描述的是一个特征能够为整个系统带来多少信息量（熵），用于度量信息不确定性减少的程度。
如果一个特征能够为系统带来最大的信息量，则该特征最重要，将会被选作划分数据集的特征。
3.基于温度的划分
Hot【4天】的熵：
Mild【6天】的熵：
Cool【4天】的熵：
熵值计算：4/14*1+6/14*0.918+4/14*0.811=0.911
信息增益为：0.940 – 0.911 = 0.029
4.基于湿度的划分
High【7天】的熵：
Normal【7天】的熵：
熵值计算：7/14*0.985+7/14*0.592=0.789
信息增益：0.940 – 0.789 =0.151
5.基于有风的划分
False【8天】的熵值：
True【6天】的熵值：
熵值计算：8/14*0.811 + 6/14*1 = 0.892
信息增益：0.940 - 0.892 = 0.048
综上：信息增益的大小：
天气：0.247
温度：0.029
湿度：0.151
有风：0.048
显然，信息增益最大的是： 天气 > 湿度 > 有风 > 温度
2.C4.5算法（解决稀疏向量的问题，例如编号）
衡量标准：信息增益率
C4.5算法是一种决策树生成算法，它使用信息增益比（gain ratio）来选择最优分裂属性，具体步骤如下：
1、计算所有样本的类别熵（H）。
2、对于每一个属性，计算该属性的熵【也为自身熵】（Hi）。
3、对于每一个属性，计算该属性对于分类所能够带来的信息增益（Gi = H - Hi）。
4、计算每个属性的信息增益比（gain ratio = Gi / Hi），即信息增益与类别自身熵的比值。
选择具有最大信息增益比的属性作为分裂属性。
3.CART决策树（用Gini指数最小化准则来进行特征选择。）
衡量标注：基尼系数
决策树剪枝
为什么要剪枝：
防止过拟合
如何剪枝：
预剪枝和后剪枝
通常进行预剪枝，因为后剪枝虽然精确度高，但是速度慢
预剪枝策略：
1.限制树的深度
2.限制叶子节点的个数以及叶子节点的样本树
3.基尼系数
决策树的优缺点
优点
简单直观，容易理解
不需要特征标准化
可处理离散和连续特征
对缺失值不敏感
可用于分类与回归
缺点
容易过拟合
对小样本数据不稳定
对类别不平衡敏感
可解释性好但精度可能不如集成方法（如随机森林、XGBoost）
