[LG]《Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity》L Cabannes, P Mazaré, G Szilvasy, M Douze… [Meta FAIR] (2026)

在长文本处理领域，线性 RNN（如 Mamba）受困于固定大小的隐状态。虽然其推理速度快，但本质原因是其状态容量极小，导致在处理复杂长序列时对关键信息的“回忆”能力远逊于 Transformer；若简单增加状态大小，又会导致计算量（FLOPs）呈平方级爆炸。

本文的核心洞见是：把线性 RNN 的密集状态更新重新看作是对超大规模内存的稀疏寻址操作。由此，引入“稀疏增量内存（SDM）”机制，通过 Product-Key 寻址仅更新极小比例的活跃内存槽位，实现了在计算成本不变的前提下，将模型状态容量提升了三个数量级。

这项工作真正留下的遗产是证明了“稀疏性”是打破线性 RNN 性能瓶颈的普适钥匙，使其在 100 万 token 长度下仍能保持极高的检索精度。它为后来者打开的新门是构建具备超大参数化内存的智能体，但尚未跨过的门槛是稀疏算子在当前硬件上的访存延迟优化，以及在极极端任务下的干扰管理。

arxiv.org/abs/2607.07386 机器学习 人工智能 论文 AI创造营