【推荐系统工程】主要内容之－核心业务流

推荐的根本目的：帮公司赚钱。 最基本的目的：增加转化率

推荐系统是基于大数据和AI技智能术，在海量数据挖掘上的一种高级智能服务平台，解决物料提供方，平台方，用户的三方需求。技术涵盖如下：

1. 数据采集与上报，具体可参考 【推荐系统工程】之数据采集 

2. 数据加工

3. 智能推荐服务能力输出

整个推荐系统中包括推荐系统核心业务流模块，系统支撑模块。

推荐系统核心业务流模块是支撑整个推荐工作的功能模块，包括用户，物料的特征服务，召回服务，排序服务，频控服务，推荐引擎等。

1.特征服务

—

特征就是一种属性的描述，特征是个性化推荐的基础，特征决定模型上限，而算法优化则逼近这个上限。

常用的特征分为单边特征和多边特征。单边特征是指对象本身的属性描述，如人的性别年龄，物品的颜色尺寸；双边特征是指两个对象交互程度的描述，如某用户最近一小时浏览的物品与候选集中物品的匹配程度。

按照特征生成的场景，可分为离线特征和实时特征。离线特征是通过算法模型提前生成，实时特征是通过实时计算的方式生成的。

特征的质量直接影响推荐的效果、特征计算的性能，同时影响个性化推荐的处理能力。

同时，为了提高算法迭代速度，节省资源，我们在处理过程中会共享和复用特征。

2.召回服务

—

推荐系统中，若存在大量的物料库，是需要召回的。

召回是从海量的候选集进行粗筛，从千万级别找到几千甚至几百的候选物料。若召回的候选集仍然过多，可加入粗排，通过一些简单的排序模型（如按照CTR排序）进行排序。

这个阶段用来提高精排的效率，平衡资源。往往处理数据量大，要求速度要足够快，模型不能太复杂，特征使用较少，保证泛化能力。

常见的召回有基于协同过滤、兴趣召回、内容召回和热门召回等。

多个分支召回后经过人工选定的阈值截断（如1000），去重后1000个候选送给排序模型进行排序。算法和算法之间不需要score，每一个分支产生的score是不一样。算法内部可以有score。如果总的召回数量不够，用热度或者随机召回来补足。

3.排序服务

—

这里的排序指的是精排。使用复杂的模型对少量物料精准排序。

这个阶段往往处理的数据量少（经过召回的粗筛），模型要足够准确，使用复杂的模型，使用较多的特征，以精准为目标。

简单有LR、SVM，树模型有GBDT、RF、XGB等，复杂模型有FM、FTRL、RNN、DNN、LSTM、DeepFM、Wide&Deep等

4. 频控服务

—

频控服务中我们可以控制物料是否下发，下发频率等。

可以设置某一国家、某一用户的物料池，物料的类别等业务进行限制下发。

可以按照一定的策略如有效曝光、曝光、购买、收藏等进行控制。

可以设定频率控制的有效时间，例如1小时，1天等进行配置。

5. 推荐引擎

—

引擎是负责将服务模块的串联，以高效，稳定完成整个推荐服务工作，如整个餐厅的厨师，负责把菜，火，炊具，调料等高效统一的结合，最终将美味佳肴端上桌。

个性化推荐系统是一个复杂系统工程，依赖产品、数据、架构、算法、人机交互等进行场景推荐。推荐的本质是为了促成用户和资源(物料）高效的匹配。

- END -

谁怕，一蓑烟雨任平生