暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

深入理解推荐系统:评价指标综述

Coggle数据科学 2022-03-09
453

内容来自论文《推荐系统评价指标综述》,是对现有的推荐系统评价指标进行回顾,并对评价指标的优缺点以及适用环境进行总结。

评测方法

推荐系统的评价可分为在线评价
离线评价
两种方式:

  • 在线评价
    :根据用户在线实时反馈或事后问卷调查等结果来衡量推荐系统的表现。
  • 离线评价
    :根据模型在验证集的表现衡量推荐系统的质量。

目前常用的在线测试方法之一是A/B测试,核心思想和控制变量法类似,它的核心思想是:多个方案参与实验,每个方案只有一个变量不同。

评测指标

准确度指标

推荐准确度是评价推荐算法最基本的指标。它衡量的是推荐算法在多大程度上能够准确预测用户对推荐商品的喜欢程度。可将准确度指标分为4类,即预测评分准确度、预测评分关联性、分类准确度和排序准确度。

  • MAE
  • MSE
  • Spearman
  • Pearson
  • Kendall’s Tau
  • AUC
  • F1

排序结果指标

推荐结果的排序指标衡量的是排序结果有效的指标。排序准确度指标来度量算法得到的有序推荐列表和用户对商品排序的统一程度。

  • DCG
  • NDCG
  • Rank score

覆盖率指标

覆盖率指标是指算法向用户推荐的商品能覆盖全部商品的比例。覆盖率尤其适用于那些需要为用户找出所有感兴趣的商品的系统。

  • 预测覆盖率:预测评分的商品占所有商品的比例
  • 推荐覆盖率:为用户推荐的商品占所有商品的比例
  • 种类覆盖率:为用户推荐的商品种类占全部种类的比例

多样性和新颖性

多样性衡量推荐系统对不同用户推荐不同商品的能力,多样性体现在用户间的多样性和是用户内的多样性,可以用汉明距离衡量推荐下列表的相似度。

新颖性衡量推荐系统是向用户推荐非热门非流行商品的能力,最简单的 方法是利用推荐商品的平均度。平均度越小,新颖性就越高。

指标汇总


https://linyuanlab.com/media/fileStroge/%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E8%AF%84%E4%BB%B7%E6%8C%87%E6%A0%87%E7%BB%BC%E8%BF%B0.pdf


中文竞赛社区邀请函 #

△长按添加竞赛小助手
添加Coggle小助手微信(ID : coggle666)


每天Kaggle算法竞赛、干货资讯汇总

10000+来自竞赛爱好者一起交流~


文章转载自Coggle数据科学,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论