梯度增强决策树

本文是介绍基本机器学习算法的系列文章中的第五篇。每个帖子将被分成两部分。

理念和关键概念-大多数人应该能够阅读本节内容并了解算法是如何工作的。

数学-这是为感兴趣的读者准备的，将包括详细的数学推导，然后用Python实现。

在上一篇文章中，我们谈到了不适应、过度适应、偏见和变异。我们解释了随机森林如何使用多棵树的平均输出来减少过度拟合的机会，而不会通过过度简化而引入偏差(例如只使用一棵树，但限制深度)。

梯度增强是一种用于回归和分类的机器学习技术，其中多个模型被顺序训练，每个模型试图从以前的模型中学习错误。个体模型被称为弱学习器，并且在梯度增强决策树的情况下，个体模型是决策树。

为了给人直观的感觉，首先考虑回归的情况是最容易的。想象一下，我们再次试图预测伦敦北部一个令人向往的地区的房价。训练数据如下所示