特征工程
归一化 (Normalization)
常用方法有两种：
当然这是针对单个特征而言的，采用batch训练的归一化还有Batch Normalization、Layer Normalization、Weight Normalization等。
为什么需要归一化？
在使用梯度下降算法的场景下，归一化将可以加速收敛。
这仅仅对使用梯度下降的优化算法适用，决策树等模型则不适用。因为决策树进行节点时主要依据数据集D关于特征x的信息增益比，信息增益比跟是否归一化无关。
特征组合
可以将一阶特征两两组合，构成高维特征。
进一步扩展这一概念，可以将高维特征缩放到较低维度，来降低对高维参数的需求（高维参数一般很难学习，甚至学习不到）。
如何找到有效的组合特征？
利用决策树。决策树怎么来，可以采用梯度提升决策树，核心思想是每次在之前构建的决策树的残差上构建下一颗决策树。
