GBase UP算法介绍——梯度提升树(Gradient-Boosted Trees)

梯度提升树(Gradient-Boosted Trees)

梯度提升树（Gradient Tree Boosting）是一种组合算法，它的基分类器是决策树，既可以用来回归，也可以用作分类。在分类性能上，能够和随机森林媲美，甚至在有的数据集上表现的有过之而无不及。

梯度提升树和随机森林一样，都具备决策树的一些优点：可以处理类别特征和连续特征；不需要对数据进行标准化预处理；可以分析特征之间的相互影响。

如今在数据挖掘领域，此类算法得到广泛的应用。例如，中国乃至全球最大的电商之一，阿里巴巴，2014年开展的大数据应用，在基于天猫海量用户真实的访问数据，通过分析用户过去4个月的访问日志，发现用户的爱好，进而为用户推荐商品。由于电子商务系统中商品种类众多，用户访问过的商品只占商品总数的很小一部分，导致用户对商品的评分十分稀疏，使得使用协同过滤计算的商品相似度准确率较低,因而推荐效果较差。因此引入了两种基于回归的方法，即逻辑回归和梯度提升回归树通过预测用户将来购买商品的概率来为用户实现推荐。另外，梯度提升树已经广泛的运用在Web搜索排行榜以及生态学上。