自注意力网络的提出使得序列POI推荐在过去的几年间蓬勃发展，而为了实现细粒度的用户行为模式建模，最近的研究利用改进的注意力机制或神经网络层来处理时空因素。但是由于模型参数规模和计算量的显著增加，这些方法存在很大的提升空间。本次为大家带来数据库领域顶级会议ICDE 2022的论文《Spatial-Temporal Interval Aware Sequential POI Recommendation》。
一．背景
POI推荐从历史数据中推测用户偏好，为用户提供相应的建议，是业界和学术界共同关注的热点问题。根据用户偏好动态的假设，可以将其分为传统（conventional）POI推荐和序列（sequential）POI推荐。传统POI推荐倾向于从静态的角度进行预测，默认偏好是稳定的；序列POI推荐认为应该考虑用户的历史签到点，认为这可能会给用户当前或未来的偏好带来变化。序列POI推荐背后的思想是始终从历史序列中挖掘依赖关系。由于计算能力和数据质量的极大提高，深度学习在序列POI推荐方面取得了令人满意的表现，而自注意力网络的引入则推动了序列POI推荐更进一步发展。在这些方法中，空间信息和时间信息是序列POI推荐的两个关键和互补因素。空间信息（例如地理间隔Δd）可以描述POI之间的地理接近性，特别是当个体历史移动轨迹通常表现出空间聚类现象时；时间信息（例如时间间隔Δt）可以反映POI之间的相对时间接近性，有助于更个性化的个人偏好建模。如果序列推荐只考虑POI和空间信息，则两个差异较大的用户序列的表示可能高度相似，并且推荐可能会偏离基本事实。研究者们尝试了各种方法来探讨时间因素带来的影响，最直接的方法是将时间戳嵌入序列表示，但其性能并不总是尽如人意。最近的研究试图通过修改网络结构来更合理地整合时间信息，然而，将时间信息映射到高维空间是所有这些方法的前提，其无论是在参数尺度上还是在计算成本上都带来了显著的增加。
基于以上问题，论文分别提出了两个无需额外参数和高额计算负担的方法，时间感知位置编码器（Time Aware Position Encoder，TAPE）和间隔感知注意力模块（Interval Aware Attention Block，IAAB）。TAPE根据相应的时间戳动态调整位置之间的差异，然后通过正弦变换生成位置表示信息，由于生成的位置表示信息能够反映POI之间的相对时间接近性，表示形式得到了增强。IAAB交替使用间隔感知注意层和两层前馈网络，基于历史POI之间的地理位置和时间间隔（Δd， Δt）构建了时空关系矩阵，以反映时间条件约束下的空间相关性。然后，注意层通过逐点相加的方法将关系矩阵作为归纳偏差引入注意图。这样，IAAB促使自注意力网络重视整个序列中所有POI之间的空间相关性，缓解了局部关注不足的问题。
图1时空因素对POI签到活动的影响
二．方法介绍
2.1 总体框架
文章提出的时空间隔感知顺序POI推荐框架STiSAN结构如图2所示。STiSAN遵循经典的编码器-解码器结构，分别捕获序列依赖关系和改进用户的偏好表示。文章提出的两个轻量级模块TAPE和IAAB分别取代了传统的位置编码和自注意机制。STiSAN将整个POI序列作为输入，并输出一个排序的K个推荐POI列表。
图 2 STiSAN框架
2.2 时间感知位置编码器（Time Aware Position Encoder, TAPE）
图 3 时间感知位置编码器
TAPE 的设计来源于 Transformer 中的 Positional Encoding。其核心在于利用用户历史序列中 POI 之间的时间间隔，动态调整 POI 在序列中的位置差。TAPE依次将时间戳t作为输入，并计算第k+1个POI位置，计算公式如下：
以图一中的user 1为例，其位置信息从“1→ 2 → 3 → 4 → 5”转化为“1 → 2.2 → 4.3 → 6.4 → 9”，位置之间的差异能反映时间相关性。然后，TAPE用下面的正弦函数将位置编码到d维空间中：
PE (pos,2i) = sin(pos/10002i/d)
PE (pos,2i+1) = cos(pos/10002i+1/d)
(i=1,2,3…d/2)
2.3间隔感知注意力模块（Interval Aware Attention Block, IAAB）
图 4 间隔感知注意力模块
IAAB的提出是为了使该模型更重视局部POI间的空间信息，并提供更具解释性的推荐。IAAB 与传统 self-attention mechanism 的区别在于，其以驻点相加的方式引入了时空关系矩阵R，并将其作为归纳偏置，使注意力的权重分布可以关注到相邻 POI 之间的空间相关性。如图所示，IAAB交替使用间隔感知注意层（Interval Aware Attention Layer）和前馈网络（feed-forward network）。
1）间隔感知注意层
注意力层以序列表示E和关系矩阵R为输入，首先，它通过三个不同的矩阵WQ, WK, WV将序列表示E转换为query, key, value矩阵
Q =EWQ,K =EWK,V =EWV
然后，该层显式地将注意力映射(即序列依赖)与关系矩阵按点逐位相加
其中
表示注意力映射，A为注意力结果。这样，IAAB利用时空关系为注意力图提供正修正，增强了模型考虑局部POI之间相对空间接近性的能力。相较于将关系嵌入到高维空间，显式结合提高了模型的可解释性。与普通的自我注意机制相比，这种方法既不需要额外的参数，也不需要大量的计算量。
2）前馈网络
文章采用2层point-wise前馈网络编码不同维度之间的交互，它由两个不同的线性层和激活函数ReLU组成
F = max (0, AW1 + b1) W2 + b2
其中
, dh > d, b1, b2是学习的偏置项
3）残差连接和归一化
最近的研究证明了多层神经网络可以帮助模型捕捉输入的层次特征。然而，随着网络的深入，准确率趋于饱和，然后迅速下降，该问题是由更多层的训练误差累积而引起的，而不是过拟合。因此，文中将N = 4个IAAB模块，结合残差连接和层归一化，稳定和加速STiSAN训练过程。
x = x + Layer (LayerNorm (x))
三．实验
论文选择三个公开数据集：Gowalla，Brightkite，Weeplaces和长春真实交通数据集来评估提出的模型。为了保障数据集的质量，文章删除访问少于20个POI的用户和交互少于10次的POI。在划分数据集的过程中，文章取每个用户在整个序列中最近的n + 1个POI进行评估（最后一个之前未访问的POI作为目标，前n个POI作为源输入序列）
为了评估本文提出的STiSAN的有效性，文中将其与各种现有方法进行了比较。参与评估的baselines包括：POP、BPR、FPMC-LR、PRME-G、GRU4Rec、Caser、STGN、SASRec、Bert4Rec、TiSASRec、GeoSAN、STAN。文章采用Hit Rate和Normalized Discounted Cumulative Gain (NDCG)两个评价指标
3.1 推荐性能对比
文章将STiSAN的总体推荐性能与12个baselines进行比较，实验结果如图5所示，最后一行展示了STiSAN相较最优baseline的提升，显而易见的是，本文提出的方法在每个指标上都有更优的性能表现，此外通过实验结果可以观察到：
l传统的流行度或基于矩阵分解的方法，如POP、BPR和FPMC-LR与其他基线相比，性能相对不理想，主要原因是对序列依赖关系或高阶交互信息建模不足
l由于无法处理长序列和对地理信息建模不足，即使考虑了空间和时间间隔，STGN在四个数据集上的表现也很差。GRU4Rec的性能证明了本文的训练策略的有效性，即将长序列划分为子序列，而不是只使用最近的序列POIs
l由于地理因素和评价指标的建模(即，根据最近的POIs对目标进行排序)，PRME-G的性能优于基于CNN/rnn的方法，甚至优于一些基于自我注意的方法
l总体而言，基于自注意的方法具有较强的捕获全局序列信息的能力，具有较稳定和相对较好的性能。然而，由于忽视了地理因素对序列POI推荐的起主导作用的情景，SASRec, TiSASRec，Bert4Rec不如GeoSAN和STAN
l本文的STiSAN始终优于所有baselines，在所有四个数据集上都有很好的表现，并达到比第二名提升HR@5 13.71%， NDCG@5 13.93%， HR@10 11.10%，NDCG@10 13.32%的表现
图 5 推荐性能对比
3.2 消融实验
为了分析各种组件对框架的影响，文章进行了消融实验，探究去除以下组件对结果的影响：1）移除地理编码（GE）；2）移除TAPE；3）移除IAAB；4）移除自注意力机制（SA）；5）移除目标感知注意力解码（TAAD）。实验结果如下表所示。实验结果可以说明：
l时间感知位置编码器被证明有助于增强序列表示。首先，我们发现去除TAPE会导致3.98%，2.58%，和8.03%的NDCG@5性能下降，这证明了TAPE在帮助模型捕获poi之间的相对时间接近性方面的有效性。
l间隔感知注意块可以提供积极的注意结果。比较与Original和III，我们可以看到删除IAAB使 NDCG@5在三个数据集上分别降低了为3.46%，1.38%和6.26%。这表明IAAB可以更加重视空间相关性，即实现更合理的注意权重分配。
lTAPE和IAAB在Weeplaces数据集上的影响更为显著。主要原因在于这三个数据集的特点。数据集平均POI序列长度Weeplaces(325.5)比Gowalla(53.0)和Brightkite(146.0)长得多。POI序列的时空跨度与其长度呈正相关，而TAPE和IAAB在处理较长序列的相对时空接近性方面更胜一筹
图 6消融实验
四．总结
本文提出了两种实用、有意义和轻量级的方法，即时间感知位置编码器(TAPE)和间隔感知注意机制(IAAB)，其不需要额外的参数，也不需要大量的计算负担。一方面，TAPE将时间戳编码为序列表示，可以反映相对时间接近性。另一方面，IAAB将时空关系明确地引入Attention中，推动了对空间相关性的关注。最后文章将这两种方法整合到自注意网络中，提出了一种序列POI推荐算法，并在三个公开数据集和一个真实数据集中验证其有很好的性能表现。
本文作者 李佳俊 |  |
