Kaggle Chahhou：拿金牌其实很简单！

• 标题：Gold is easy: Kaggle tips and tricks

• 简介：Kaggle中特征工程和比赛案例

• 链接：https://www.youtube.com/watch?v=XBJ2f68LuO4

个人简介

Chahhou Mohamed 在摩洛哥哈桑I大学获得计算机科学博士学位。5年前开始了他的旅程Kaggle，目标以简单而优雅的方法解决数据科学问题。

常规建议

1. 心态很重要，任何时间都要保持开放心态，同时也需要不仅对知识，对比赛也是要如此。
2. 在比赛期间如果你有自己的机器，可以优先使用自己的机器完成分析和建模。
3. 比赛思路和方法要尽可能的简单，不要过于复杂，增加犯错成本。
4. 多思考多沟通，但在组队期间竟可能保存各自想法的多样性。

特征工程

比赛初期不要关注重要性较低的特征，因为其重要性波动很大，也很容易受到影响。

特征工程的关键是识别出过拟合的特征，并将其删除。当加入的特征对分数影响很小时，或加入特征后分数波动很大的情况下都值得注意。

在进行特征工程中，结构化数据非常适合完成聚合特征，即通过特征Y完成分组，并统计特征X与分组均值的差异。通过此种方法可以组合得到一批特征。

此外在结构化数据中，可以考虑NN的词嵌入，也可以将NN作为特征的提取方法。

案例: Mercari Price

Mercari Price赛题需要根据商品的信息对价格进行预测。Chahhou最开始的思路是使用LightGBM，并加入词嵌入，但效果并很好。

后来尝试了很简单的词嵌入+全连接网络，以及TFIDF+线性模型的方法，反而得到了较好的结果。

案例: Quora Insincere Question

Quora Insincere Question赛题需要对问题进行分类，赛题包含了非常多样的文本，所以直接训练文本分类，效果并不好。

最后在单词处理（steam和lemm）和缺失值处理上做了非常多的工作，最后结合LSTM得到了比较的效果。