我们在上一章讲解了常用的3种基础排序算法，本章我们接着讲解2种经典的深度学习排序算法，即Google的wide & deep和YouTube的深度学习排序。这2个算法是国外大厂在真实业务场景中得到验证的、有真实业务价值的方法，并且也被中国广大互联网公司应用于自己的业务中，是得到业界一致认可的算法。

13.1 wide & deep排序算法

12.3.1 模型特性分析

12.3.2 模型架构

wide部分是一般线性模型，y是最终的预测值，这里是d个特征，是模型参数，b是bias。这里的特征包含两类特征：

上式中是布尔型变量，如果第 i 个特征是第 k 个变换的一部分，那么=1，否则为0。对于交叉积And(gender=female, language=en)，只有当它的成分特征都为1时(即gender=femal并且language=en时)，，否则。

与上一层进行数据交互。上式中是层数，f 是激活函数(该模型采用了ReLU激活函数)，、是模型需要学习的参数。

这里，是最终的二元分类变量，是sigmoid函数，是前面提到的交叉积特征，和分别是wide模型的权重和deep模型中对应于最后激活（最后一个隐藏层进行激活函数变换后的向量）的权重。

下面图2是最终的wide & deep模型的整体结构，类别特征是嵌入到32维空间的稠密向量，数值特征归一化到0-1之间(本文中归一化采用了该变量的累积分布函数，再通过将累积分布函数分成若干个分位点，用来作为该变量的归一化值，这里是分位点的个数)，数值特征和类别特征拼接起来形成大约1200维的向量再灌入deep模型，而wide模型是APP安装和APP曝光(impression)两类特征通过交叉积变换形成模型需要的特征。最后通过反向传播算法来训练该模型(wide模型采用FTRL优化器，deep模型采用AdaGrad优化器)，并上线到APP推荐业务中做AB测试。

12.3.3 wide & deep的工程实现

13.2 YouTube深度学习排序算法

YouTube深度学习排序模型也非常经典，通过利用加权logistics回归作为输出层进行训练，然后在预测阶段利用指数函数进行预测，可以很好地匹配视频的播放时长这个业务指标。下面来对该模型的架构和特性进行说明。

13.2.1 模型架构

YouTube希望优化的不是点击率而是用户的播放时长，这样可以更好地满足用户需求，提升了时长也会获得更好的广告投放回报(时长增加了，投放广告的可能性也相对增加)，因此在候选集排序阶段希望预测用户下一个视频的播放时长。所以才采用图4的这种输出层的加权logistic激活函数和预测的指数函数：。这里的参数是图4中最后一层隐藏层到输出层的权重矩阵，是最后一个隐藏层激活后的向量，b是bias，参见下面图5，可以更好地理解。

图5： 中的参数的解释说明

13.2.2 加权logistics回归解释

这里的是真实的概率值，是预测的概率值。对于正样本来说，，。对于负样本来说，。不管样本是正负，是模型预测出来的，。

如果对于正样本，我们利用样本的播放时长来进行加权，那么上面的损失函数就是，越大，损失越小，说明越“奖励”这样的正样本。由于负样本的加权参数为1，损失不变，还是。

13.2.3 预测播放时长

下面我们来说明为什么这样的形式刚好是优化了用户的播放时长。模型用加权logistic回归来作为输出层的激活函数，对于正样本，权重是视频的观看时间，对于负样本权重为1。下面我们简单说明一下为什么用加权logistic回归以及serving阶段为什么要用来预测。

左边即是logistic回归的odds(几率)，下面我们说明一下上述加权的logistic回归为什么预测的也是odds。对于正样本 i ，由于用了加权，odds可以计算为

上式中约等于号成立，是因为YouTube视频总量非常大，而正样本是很少的，因此点击率很小，相对于1可以忽略不计。上式计算的结果正好是视频的期望播放时长。因此，通过加权logistic回归来训练模型，并通过来预测，刚好预测的正是视频的期望观看时长，预测的目标跟建模的期望保持一致，这是该模型非常巧妙的地方。

总结

wide & deep中的将记忆和泛化能力结合的模型架构博采众长，非常有现实意义。YouTube深度学习排序中通过加权logistics回归作为输出层来训练模型，在模型服务时利用来预测视频的播放时长，完美地解决了模型与业务目标（希望用户观看更长的时间）的一致性。

参考文献