LightGBM简要.pdf
100墨值下载
LightGBM
1. 综述
微软在 2017 年的时候在 nips 上发表了⼀篇论⽂，并开源了相关⼯具，也就是出名
的 LGB 。下⾯有三个链接⾮常的重要，是 LGB 重要的参考⼯具。
lgb官⽅⽂档 lgb-github lgb论⽂
lgb 模型是经典的 GBDT 模型的⾼效实现⽅式，lgb 模型可以针对机器学习中的
classfication 问题，regression 问题和 ranking 问题进⾏建模。
⾸先我们从名字上对相关模型做⼀些释义。
GBDT(Gradient Boosting Decision Tree)即梯度提升决策树。它还有另外⼀个名字
MART(Multiple Additive Regression Tree)。GBDT 有时候⼜会叫做 GBRT(Gradient
Boosting Regression Tree)。更准确点说 GBDT 应该是 MART 的⼀种实现⽅式。⼀
般我们也将这三者等价，他们都是迭代的决策树算法，通过将多棵决策树组合，所
有决策树的结果加起来得到最终的答案。（这⾥的决策树⼀般指 CART 决策树）
那是不是⼀定要⽤ Decision Tree 作为基模型呢？答案是否定的。如果我们将
Decision Tree 推⼴到⼀般的基模型，就能得到⼀类通⽤的提升⽅法，这类⽅法称为
GBM ⽅法（Gradient Boosting Method）。
那是不是⼀定要⽤梯度来解决 Boosting 模型(前向加法模型)呢？答案也是否定的，
解决 Boosting 模型的⽅案有很多，⽤ Gradient 来解决是较好和较⾼效的⼀种。
最后我们再回到 GBDT，GBDT 的实现⽅式有很多，有⽐较原始的 GBDT 的实现，有
在 GBDT 上进⾏改进，得到的 XGB 的实现。XGB 的实现其实和 GBDT 已经有很⼤
的不同了。这个不同体现在树的分裂⽅式和叶⼦结点值的确定⽅式。核⼼思想是对
GBDT 待拟合的损失函数做⼆阶泰勒展开，并巧妙引⼊树的正则项。使得可以对⼆阶
泰勒展开的公式进⾏化简和解析求解。从⽽推导出了新的树分裂⽅式和叶⼦节点值
确定⽅式。
of 24
100墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论