内容：
1.算法概述
1.1 决策树（DT）是一种基本的分类和回归方法。在分类问题中它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布，学习思想包括ID3,C4.5,CART（摘自《统计学习方法》）。
1.2 Bagging :基于数据随机重抽样的集成方法（Ensemble methods），也称为自举汇聚法（boostrap aggregating）,整个数据集是通过在原始数据集中随机选择一个样本进行替换得到的。进而得到S个基预测器（ base estimators），选择estimators投票最多的类别作为分类结果，estimators的平均值作为回归结果。（摘自《统计学习方法》和scikit集成方法介绍）
1.3 随机森林（RF）：基于boostrap重抽样和随机选取特征，基预测器是决策树的集成方法（Ensemble methods）
1.4 Boosting :通过改变样本的权重（误分样本权重扩大）学习多个基预测器，并将这些预测器进行线性加权的集成方法 （摘自《统计学习方法》）
1.5 梯度提升决策树（GBDT）:基于boosting方法，提升方向是梯度方向的决策树的集成方法（Ensemble methods）
1.6 XGBDT:基于GBDT的一种升级版本，对目标函数做了二阶导数，主要改进是使用了正则化和特征分块存储并行处理（参考大杀器xgboost指南）
1.7 回归/分类树树模型函数：
，这里数据集被划分为R1,...,Rm个区域，每一个区域对应一个预测值Cm;其中I()是指示函数，当满足条件时返回1，否则为0
1.8 决策树常见的损失函数：
用于分类的损失函数：01损失，LR的对数损失，softmax的mlogloss
用于回归的损失函数：线性回归的MSE
2.算法推导
2.1 决策树生成过程就是一个递归的过程，如果满足某种停止条件（样本都是同一类别，迭代次数或者其他预剪枝参数）则返回多数投票的类作为叶结点标识；否则选择最佳划分特征和特征值生成|T|个子节点，对子节点数据进行划分；所以划分属性的计算方式是DT的精髓，以下总结各种划分属性的计算方法（附一个java实现决策树的demo）：
ID3与C4.5中使用的信息增益和信息增益率：
延伸阅读
学习是年轻人改变自己的最好方式