WWW 2022 丨时间序列（Time Series）论文汇总

本文来自知乎博客 by 贾子钰(Ziyu Jia)

原文地址https://zhuanlan.zhihu.com/p/508825208

“

WWW 2022 （CCF A 类会议） 共收到论文 1822 篇，接受了 323 篇，录用率仅为 17.7%，整理归纳了与时间序列相关的论文，此外，推荐系统是 WWW 上的重要主题，广泛受到了学术界以及工业界的关注，整理内容的后半部分包含了序列推荐的内容。相关论文围绕时间序列预测、分类、异常检测、表示学习、主动学习、推荐等方向。

”

基于外推和插值的神经微分方程

论文标题：EXIT: Extrapolation and Interpolation-based Neural Controlled Differential Equations for Time-series Classification and Forecasting

论文链接：https://dl.acm.org/doi/10.1145/3485447.3512030

作者：Sheo Yon Jhin , Jaehoon Lee , Minju Jo , Seungji Kook , Jinsung Jeon , Jihyeon Hyeong , Jayoung Kim , Noseong Park

研究方向：时间序列分类与预测

一句话总结全文：提出方法受微分方程的启发，不仅提供比循环神经网络 (RNN) 更好的准确性，而且还可以处理不规则的时间序列。在 5 个真实世界数据集和 12 个基线的实验中达到不错的效果。

研究内容：受微分方程启发的深度学习是最近的研究趋势，并标志着许多机器学习任务的最先进性能。其中，神经控制微分方程（NCDE）的时间序列建模被认为是一个突破。在许多情况下，基于 NCDE 的模型不仅提供比循环神经网络 (RNN) 更好的准确性，而且还可以处理不规则的时间序列。在这项工作中，我们通过重新设计核心部分来增强 NCDE，即从离散的时间序列输入生成连续路径。NCDE 通常使用插值算法将离散时间序列样本转换为连续路径。然而，我们建议 i) 使用编码器-解码器架构生成另一个潜在的连续路径，这对应于 NCDE 的插值过程，即我们基于神经网络的插值与现有的显式插值，以及 ii) 利用生成特性解码器，即，如果需要，外推到原始数据的时域之外。因此，我们的 NCDE 设计可以将插值和外插信息用于下游机器学习任务。在我们使用 5 个真实世界数据集和 12 个基线的实验中，我们的基于外推和插值的 NCDE 以非平凡的优势优于现有基线。

CAMul：校准和准确的多视图时间序列预测

论文标题：CAMul: Calibrated and Accurate Multi-view Time-Series Forecasting

论文链接：https://dl.acm.org/doi/10.1145/3485447.3512037

作者：Harshavardhan Kamarthi , Lingkai Kong , Alexander Rodriguez , Chao Zhang , B Aditya Prakash

研究方向：时间序列预测

一句话总结全文：提出了一个通用的概率多视图预测框架 CAMul 进行多视图时间序列预测，在准确性和校准方面优于其他最先进的概率预测模型 25% 以上。

研究内容：概率时间序列预测能够跨多个领域做出可靠的决策。大多数预测问题都有不同的数据来源，包含多种模式和结构。利用来自这些数据源的信息进行准确且经过良好校准的预测是一个重要但具有挑战性的问题。大多数以前的多视图时间序列预测工作都是通过简单的求和或连接从每个数据视图聚合特征，并且没有为每个数据视图显式建模不确定性。我们提出了一个通用的概率多视图预测框架 CAMul，它可以从不同的数据源中学习表示和不确定性。它以动态的特定于上下文的方式整合来自每个数据视图的信息和不确定性，赋予有用的视图更多的重要性，以对经过良好校准的预测分布进行建模。我们将 CAMul 用于具有不同来源和模式的多个领域，并表明 CAMul 在准确性和校准方面优于其他最先进的概率预测模型 25% 以上。

PopNet：具有数据延迟的实时人口级疾病预测

论文标题：PopNet: Real-Time Population-Level Disease Prediction with Data Latency

作者：Junyi Gao , Cao Xiao , Lucas M. Glass , Jimeng Sun

论文链接：https://dl.acm.org/doi/10.1145/3485447.3512127

研究方向：时间序列预测

一句话总结全文：一个实时的人口级疾病预测模型 PopNet ，始终优于所有基线疾病预测和一般时空预测模型，与最佳基线相比提升效果明显。

研究内容：人口水平的疾病预测基于（经常更新的）历史疾病统计数据估计未来某个地点特定疾病的潜在患者数量。现有方法通常假设现有疾病统计数据是可靠的并且不会改变。然而，在实践中，数据收集通常很耗时并且存在时间延迟，历史和当前的疾病统计数据都在不断更新。在这项工作中，我们提出了一个实时的人口级疾病预测模型，该模型捕获数据延迟 (PopNet) 并结合更新的数据以改进预测。为了实现这一目标，PopNet 使用两个独立的系统对实时数据和更新数据进行建模，每个系统都使用混合图注意力网络和循环神经网络来捕获空间和时间效应。然后，PopNet 以端到端的方式使用空间和时间延迟感知注意力来融合这两个系统。我们在真实世界疾病数据集上评估 PopNet，并表明 PopNet 始终优于所有基线疾病预测和一般时空预测模型，与最佳基线相比，均方根误差降低了 47%，平均绝对误差降低了 24%。

在线系统多变量时间序列中基于半监督 VAE 的主动异常检测框架

论文标题：A Semi-Supervised VAE Based Active Anomaly Detection Framework in Multivariate Time Series for Online Systems

论文链接：https://dl.acm.org/doi/10.1145/3485447.3511984

作者：Tao Huang , Pengfei Chen , Ruipeng Li

研究方向：时间序列异常检测

一句话总结全文：本文提出了 SLA-VAE，这是一种使用变分自动编码器的基于半监督学习的主动异常检测框架。采用主动学习通过少量不确定样本更新在线模型，在业务上被应用。

研究内容：如今，大型在线系统都是在微服务架构的基础上构建的。由于故障传播，此架构中的故障可能会导致一系列故障。因此，需要对大型在线系统进行全面监控，以确保服务质量。尽管已经提出了许多异常检测技术，但很少有人可以直接应用于工业环境中的给定微服务或云服务器。为了解决这些挑战，本文提出了 SLA-VAE，这是一种使用变分自动编码器的基于半监督学习的主动异常检测框架。SLA-VAE 首先基于特征提取模块定义异常，引入半监督 VAE 识别多元时间序列中的异常，并采用主动学习通过少量不确定样本更新在线模型。我们对腾讯两种不同类型游戏业务的云服务器数据进行了实验。结果表明，SLA-VAE 显着优于其他最先进的方法，适合在大型在线业务系统中广泛部署。

使用时间关系注意的时间感知实体对齐

论文标题：Time-aware Entity Alignment using Temporal Relational Attention

论文链接：https://dl.acm.org/doi/10.1145/3485447.3511922

作者：Chengjin Xu , Fenglong Su , Bo Xiong , Jens Lehmann

研究方向：知识图实体对齐

研究内容：知识图对齐（KG）是对不同 KG 中的实体进行匹配，对知识融合和集成具有重要意义。时态 KG（TKG）通过将静态三元组与特定时间戳（例如，时态范围或时间点）关联，扩展了传统知识图（KG）。此外，开放世界 KG（OKG）是动态的，有新的新兴实体和时间戳。虽然 KG 之间的实体对齐（EA）已引起研究界越来越多的关注，但 TKG 和 OKG 之间的实体对齐仍有待探索。在这项工作中，我们提出了一种新的时态关系实体对齐方法（TREA），它能够学习面向对齐的 TKG 嵌入并表示新出现的实体。我们首先将实体、关系和时间戳映射到一个嵌入空间中，通过融合其连接关系和时间戳以及相邻实体的嵌入来表示每个实体的初始特征。利用图神经网络（GNN）捕捉图内信息，利用时间关系注意机制整合节点间链接的关系和时间特征。最后，使用基于余量的全多类日志损失进行有效训练，并使用序列时间正则化器对未观测到的时间戳进行建模。我们使用三个成熟的 TKG 数据集，作为评估时态和非时态 EA 方法的参考。实验结果表明，我们的方法优于现有的 EA 方法。

具有置信度估计的多粒度残差学习用于时间序列预测

论文标题：Multi-Granularity Residual Learning with Confidence Estimation for Time Series Prediction

论文链接：https://dl.acm.org/doi/10.1145/3485447.3512056

作者：Min Hou , Chang Xu , Zhi Li , Yang Liu , Weiqing Liu , Enhong Chen , Jiang Bian

研究方向：时间序列预测

一句话总结全文：提出了一种多粒度残差学习框架（MRLF），引入了一个自我监督的置信度估计目标，无需额外的注释工作即可提供更有效的优化，模型表现优于现有方法。

研究内容：时间序列预测在计量经济学和气象学等数据通常由时间模式形成的广泛应用中具有很高的实用价值。大多数先前的工作忽略了动态模式频率的多样性，即不同的粒度，受到信息利用不足的影响。因此，多粒度学习对于时间序列预测的探索仍然不足。在本文中，我们提出了一种多粒度残差学习框架（MRLF），用于更有效的时间序列预测。对于给定的时间序列，直观地说，不同粒度的表示之间存在或多或少的语义重叠和有效性差异。由于信息冗余，利用多粒度数据的直接方法（例如连接或集成）很容易导致模型被冗余粗粒度趋势信息所支配。因此，我们设计了一种新颖的残差学习网络，通过粗粒度模型对细粒度数据分布的先验知识进行建模。然后，通过计算多粒度数据之间的残差，去除冗余信息。此外，为了减轻有效性差异的副作用，我们引入了一个自我监督的置信度估计目标，无需额外的注释工作即可提供更有效的优化。对现实世界数据集的大量实验表明，多粒度信息显着提高了时间序列预测性能，并且我们的模型在捕获此类信息方面具有优势。

在危机时期分配刺激检查

论文标题：Allocating Stimulus Checks in Times of Crisis

论文链接：https://dl.acm.org/doi/10.1145/3485447.3512047

作者：Marios Papachristou , Jon Kleinberg

研究方向：时间序列预测

研究内容：我们研究了个人经历收入冲击的网络中的财政援助问题（救助、刺激支付或补贴分配）。这些问题在政策领域和新的基于 Web 的金融交互形式的设计中都很普遍。我们建立在 Eisenberg 和 Noe 的金融清算框架之上，该框架允许结合基于离线和在线环境中的刺激计划所激发的离散救助的救助政策。我们表明，在金融网络上优化分配此类救助以最大化这种形式的各种社会福利目标是一个计算上难以解决的问题。我们开发了近似算法来优化这些目标并为其近似比率建立保证。然后，我们在优化问题中加入多个公平约束并研究它们的有界性。最后，我们将我们的方法应用于数据，无论是在具有真实世界数据的大型金融机构系统的背景下，还是在我们使用半人工数据派生的人与企业之间的金融互动的现实社会背景下从流动模式。我们的结果表明，我们开发和研究的算法在实践中具有合理的结果，并且优于其他基于网络的启发式算法。我们认为，从社会层面提出的问题可以帮助政策制定者就发放补贴做出明智的决定。

面向目标的会话系统中使用顺序对话行为建模的用户满意度估计

论文标题：User Satisfaction Estimation with Sequential Dialogue Act Modeling in Goal-oriented Conversational Systems

作者：Yang Deng , Wenxuan Zhang , Wai Lam , Hong Cheng , Helen Meng

论文链接：https://dl.acm.org/doi/10.1145/3485447.3512020

研究内容：用户满意度估计（USE）是面向目标的对话系统中一项重要但具有挑战性的任务。用户对系统是否满意，很大程度上取决于用户需求的满足程度，这可以通过用户的对话行为隐含地反映出来。然而，现有的研究在利用对话行为来促进 USE 时，往往忽略对话行为的顺序转换或严重依赖带注释的对话行为标签。在本文中，我们提出了一个新的框架，即 USDA，通过联合学习用户满意度估计和对话行为识别任务来结合对话行为的顺序动态来预测用户满意度。具体来说，我们首先使用分层转换器对整个对话上下文进行编码，并使用两种任务自适应预训练策略作为第二阶段的域内预训练，以增强对话建模能力。在对话行为标签的可用性方面，我们进一步开发了 USDA 的两种变体，以有监督或无监督的方式捕获对话行为信息。最后，USDA 利用对话中内容和行为特征的顺序转换来预测用户满意度。跨不同应用程序的四个面向目标的基准对话数据集的实验结果表明，所提出的方法在 USE 上明显且始终优于现有方法，并验证了对话行为序列在 USE 中的重要作用。

具有潜在混杂因素的无偏顺序推荐

论文标题：Unbiased Sequential Recommendation with Latent Confounders

论文链接：https://dl.acm.org/doi/10.1145/3485447.3512092

作者：Zhenlei Wang , Shiqi Shen , Zhipeng Wang , Bo Chen , Xu Chen , Ji-Rong Wen

研究方向：序列与推荐

研究内容：顺序推荐有望通过捕获连续的行为相关性来理解用户偏好。现有研究的重点是设计不同的模型以更好地拟合离线数据集。然而，观察数据可能已被暴露或选择偏差所污染，这使得学习的顺序模型不可靠。为了解决这个基本问题，在本文中，我们建议使用潜在结果框架重新制定顺序推荐任务，我们能够清楚地理解数据偏差机制并通过使用逆向训练实例重新加权来纠正它倾向评分（IPS）。为了更稳健的建模，将裁剪策略应用于 IPS 估计以减少学习目标的方差。为了使我们的框架更实用，我们设计了一个参数化模型来消除潜在的潜在混杂因素的影响。最后，我们从理论上分析了所提出的框架在 vanilla 和裁剪 IPS 估计下的无偏性。据我们所知，这是第一个关于去偏顺序推荐的工作。我们基于合成和真实世界的数据集进行了广泛的实验，以证明我们框架的有效性。

面向顺序推荐的深度混合网络架构的自动发现

论文标题：Towards Automatic Discovering of Deep Hybrid Network Architecture for Sequential Recommendation

论文链接：https://dl.acm.org/doi/10.1145/3485447.3512066

作者：Mingyue Cheng , Zhiding Liu , Qi Liu , Shenyang Ge , Enhong Chen

研究方向：序列与推荐

研究内容：在这些发现的指导下，设计一个更深层次的混合 SR 模型来集成用于 SR 任务的自注意力和卷积架构的能力是有意义的。在这项工作中，我们旨在在自动算法意义上实现这一目标，并提出 NASR，一种高效的神经架构搜索（NAS）方法，可以自动选择每一层的架构操作。具体来说，我们首先设计了一个类似表格的搜索空间，以灵活的方式涉及自注意力和基于卷积的 SR 架构。在搜索阶段，我们利用权重共享超网络对整个搜索空间进行编码，并进一步提出将整个超网络分解为块，以确保能够充分训练潜在的候选 SR 架构。由于缺乏监督，我们使用自我监督对比优化方案训练每个块状超网，其中训练信号是通过对原始序列行为进行数据增强来构建的。实证研究表明，发现的深度混合网络架构可以比比较的基线表现出实质性的改进，表明在 SR 任务上搜索深度混合网络架构的实用性。值得注意的是，我们展示了发现的架构在不同数据集之间也具有良好的通用性和可转移性。

具有分解项目特征路由的顺序推荐

论文标题：Sequential Recommendation with Decomposed Item Feature Routing

论文链接：https://dl.acm.org/doi/10.1145/3485447.3512101

作者：Kun Lin , Zhenlei Wang , Shiqi Shen , Zhipeng Wang , Bo Chen , Xu Chen

研究方向：序列与推荐

研究内容：顺序推荐基本上旨在捕捉用户不断变化的偏好。直观地说，用户与物品的交互通常是因为某些特定的特征，而用户不断演变的偏好本质上是由沿时间线的一系列重要特征决定的。然而，现有的序列模型通常通过统一的嵌入来表示每个项目，这无法区分项目特征，更不用说对特征序列进行建模了。为了弥补这一差距，在本文中，我们通过学习用户行为背后的关键项目特征序列，提出了一种新颖的顺序推荐模型，这有助于更集中的模型优化和更好的推荐性能。为了实现这一目标，我们首先通过显式或潜在特征来表示每个项目，然后构建软模型和硬模型来路由最优特征序列。更具体地说，在软模型中，我们设计了一个 2D 注意力机制，它同时区分序列中项目的重要性和同一项目的特征。对于硬模型，我们将特征路由问题视为马尔可夫决策过程，并提出了一种强化学习方法来生成特征序列，这可以降低负对数似然。在实验中，我们将我们的模型与基于真实世界数据集的最先进方法进行比较，我们可以在实验中分别证明我们的模型在 NDCG 和 MRR 上的 8.2 和 16.1 改进。

通过随机自注意力的顺序推荐

论文标题：Sequential Recommendation via Stochastic Self-Attention

论文链接：https://dl.acm.org/doi/10.1145/3485447.3512077

作者：Ziwei Fan , Zhiwei Liu , Yu Wang , Alice Wang , Zahra Nazari , Lei Zheng , Hao Peng , Philip S. Yu

研究方向：序列与推荐

研究内容：顺序推荐模型对用户先前行为的动态进行建模以预测下一个项目，并引起了很多关注。基于 Transformer 的方法将项目嵌入为向量并使用点积自注意力来测量项目之间的关系，在现有的顺序方法中展示了卓越的能力。然而，用户在现实世界中的顺序行为是不确定的而不是确定性的，这对目前的技术构成了重大挑战。我们进一步建议基于点积的方法不能完全捕捉协作传递性，这可以从序列内的项目-项目转换中推导出来，并且有利于冷启动项目。我们进一步认为，BPR 损失对正样本和负样本样本没有限制，这会误导优化。我们提出了一种新颖的 STOchastic Self-Attention (STOSA) 来克服这些问题。特别是 STOSA，将每个项目嵌入为随机高斯分布，其协方差编码了不确定性。我们设计了一种新颖的 Wasserstein Self-Attention 模块来表征序列中的 item-item 位置关系，有效地将不确定性纳入模型训练。Wasserstein 注意也启发了协作传递性学习，因为它满足三角不等式。此外，我们在排名损失中引入了一个新的正则化项，它确保了正项和负项之间的差异。对五个真实世界基准数据集的广泛实验证明了所提出的模型优于最先进的基准，尤其是在冷启动项目上。该代码可在 https://github.com/zfan20/STOSA 中找到。

学习过去，发展未来：基于搜索的时间感知推荐与顺序行为数据

论文标题：Learn over Past, Evolve for Future: Search-based Time-aware Recommendation with Sequential Behavior Data

论文链接：https://dl.acm.org/doi/10.1145/3485447.3512117

作者：Jiarui Jin , Xianyu Chen , Weinan Zhang , Junjie Huang , Ziming Feng , Yong Yu

研究方向：序列与推荐

研究内容：个性化推荐是现代电子商务的重要组成部分，用户的需求不仅取决于他们的个人资料，还取决于他们最近的浏览行为以及前一段时间的定期购买。在本文中，我们提出了一个名为基于搜索的时间感知推荐（STARec）的新框架，它通过一个统一的基于搜索的时间感知模型来捕捉用户随时间不断变化的需求。更具体地说，我们首先设计了一个基于搜索的模块来检索用户的相关历史行为，然后将其与她最近的记录混合起来，输入到时间感知序列网络中，以捕捉她的时间敏感需求。除了从她的个人历史中检索相关信息外，我们还建议搜索和检索类似用户的记录作为附加参考。所有这些顺序记录进一步融合以做出最终推荐。除了这个框架，我们还开发了一种新颖的标签技巧，它使用以前的标签（即用户的反馈）作为输入来更好地捕捉用户的浏览模式。我们针对最先进的方法对点击率预测任务的三个真实商业数据集进行了广泛的实验。实验结果证明了我们提出的框架和技术的优越性和效率。此外，在 X 公司日常项目推荐平台上的在线实验结果表明，STARec 在其两个主要项目推荐场景的 CTR 指标上分别获得了约 6% 和 1.5% 的平均性能提升。

顺序推荐的意图对比学习

论文标题：Intent Contrastive Learning for Sequential Recommendation

论文链接：https://dl.acm.org/doi/10.1145/3485447.3512090

作者：Yongjun Chen , Zhiwei Liu , Jia Li , Julian McAuley , Caiming Xiong

研究方向：序列与推荐

研究内容：用户与物品的交互由各种意图驱动（例如，准备节日礼物、购买钓鱼设备等）。然而，用户的潜在意图通常是未被观察到的/潜在的，这使得利用这种潜在意图进行顺序推荐 (SR) 具有挑战性。为了研究潜在意图的好处并有效地利用它们进行推荐，我们提出了意图对比学习 (ICL)，这是一种将潜在意图变量利用到 SR 中的通用学习范式。核心思想是从未标记的用户行为序列中学习用户的意图分布函数，并通过考虑学习到的意图来优化推荐的对比自监督学习（SSL）的 SR 模型。具体来说，我们引入了一个潜在变量来表示用户的意图，并通过聚类学习潜在变量的分布函数。我们建议通过对比 SSL 将学习到的意图利用到 SR 模型中，从而最大化序列视图与其相应意图之间的一致性。训练在广义期望最大化 (EM) 框架内的意图表示学习和 SR 模型优化步骤之间交替进行。将用户意图信息融合到 SR 中也提高了模型的鲁棒性。在四个真实世界数据集上进行的实验证明了所提出的学习范式的优越性，它提高了性能，以及对数据稀疏和嘈杂交互问题的鲁棒性。

过滤器增强的 MLP 是您进行顺序推荐所需的全部

论文标题：Filter-enhanced MLP is All You Need for Sequential Recommendation

论文链接：https://dl.acm.org/doi/10.1145/3485447.3512111

作者：Kun Zhou , Hui Yu , Wayne Xin Zhao , Ji-Rong Wen

研究方向：序列与推荐

研究内容：最近，RNN、CNN 和 Transformer 等深度神经网络已被应用于顺序推荐任务，旨在从记录的用户行为数据中捕获动态偏好特征以进行准确的推荐。然而，在在线平台中，记录的用户行为数据不可避免地包含噪声，深度推荐模型很容易在这些记录的数据上过拟合。为了解决这个问题，我们从信号处理中借鉴了滤波算法的思想，以衰减频域中的噪声。在我们的经验实验中，我们发现过滤算法可以显着改进具有代表性的顺序推荐模型，并且将简单的过滤算法（例如，带阻滤波器）与全 MLP 架构相结合甚至可以胜过基于 Transformer 的竞争模型。受此启发，我们提出了 FMLP-Rec，这是一种具有可学习过滤器的全 MLP 模型，用于顺序推荐任务。全 MLP 架构使我们的模型具有较低的时间复杂度，并且可学习的滤波器可以自适应地衰减频域中的噪声信息。在八个真实世界数据集上进行的大量实验证明了我们提出的方法优于竞争性 RNN、CNN、GNN 和基于 Transformer 的方法。我们的代码和数据可通过以下链接公开获得：https://github.com/RUCAIBox/FMLP-Rec。

高效的在线学习对顺序音乐推荐进行排名

论文标题：Efficient Online Learning to Rank for Sequential Music Recommendation

论文链接：https://dl.acm.org/doi/10.1145/3485447.3512116

作者：Pedro Dalla Vecchia Chaves , Bruno L. Pereira , Rodrygo L. T. Santos

研究方向：序列与推荐

研究内容：音乐流媒体服务严重依赖推荐系统来获取、吸引和留住用户。这些服务的一个值得注意的组件是播放列表，它可以根据用户在收听会话期间的反馈以顺序方式动态生成。最近，在线学习排名方法已被证明可以有效地利用此类反馈来了解用户在歌曲特征空间中的偏好。然而，这些方法可能由于其随机探索组件而收敛缓慢，并且由于其与会话无关的利用组件而陷入局部最小值。为了克服这些限制，我们提出了一种新颖的在线学习排序方法，该方法通过将自身限制在先前表现不佳的探索方向的子空间的正交补充中，有效地探索候选推荐模型的空间。此外，为了帮助克服局部最小值，我们提出了一个会话感知利用组件，该组件在模型更新期间自适应地利用当前最佳模型。我们使用 Last.fm 的模拟听力会话进行的全面评估表明，在早期性能和整体长期收敛方面，与最先进的方法相比有了实质性的改进。