图谱动态｜学苑周刊 NO.249

Miras

本周推荐的是arxiv 2025.04上的论文：It's All Connected: A Journey Through Test-Time Memorization, Attentional Bias, Retention, and Online Optimization

引言

序列建模已成为现代人工智能的基石，Transformer 架构主导着大型语言模型和其他序列处理任务的领域。然而，尽管 Transformer 具有令人印象深刻的能力，但在处理非常长的序列时，由于其二次计算复杂度，它们面临着重大挑战。这导致研究激增，探索高效的替代方案，特别是可以线性复杂度处理扩展上下文的循环模型。

在“一切皆有关联：测试时记忆、注意力偏差、保留和在线优化的旅程”中，来自谷歌研究的研究人员提出了一个综合框架，该框架将神经序列模型重新概念化为具有注意力偏差的关联记忆系统。该论文介绍了 Miras 框架，该框架为 Transformer 和循环神经网络 (RNN) 提供了一个统一的视角，以及三种新型序列模型，这些模型在各种任务中表现出卓越的性能。

Transformer 的局限性

Transformer 彻底改变了自然语言处理和其他序列建模任务，但它们在序列长度方面存在二次时间和空间复杂度的问题。当处理需要广泛的上下文理解的任务时，例如长文档理解或上下文相关的推理，这种限制尤其成问题。

现有的研究已经探索了各种方法来解决这些限制，包括：

1. 有效维护状态信息的线性 RNN

2. 增强记忆容量的深度记忆模块

3. 修改的学习规则，从赫布到 Delta 规则方法

4. 用于管理记忆保留的各种遗忘门机制

然而，这些方法通常缺乏统一的理论基础，而是侧重于特定的组件或架构创新，而没有提供一个全面的框架来理解其基本原理。

论文、讨论和资源链接：https://www.alphaxiv.org/abs/2504.13173，感兴趣的读者可以关注。