Recurrent Action Transformer with Memory
AXXX；MIRIAI
本文提出具有记忆的递归动作变换器（RATE），通过引入递归记忆机制提升离线强化学习中对长序列和内存密集型任务的处理能力。
2026-03-04 cs.AI cs.LG
Block-Recurrent Transformers
Google Research（谷歌研究院）；The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；SUPSI（瑞士南方应用科学大学）；USI（瑞士意大利语区大学）
我们介绍了块递归Transformer，它适用于一个Transformer层在一个经常性的方式沿序列，并具有线性复杂度相对于序列长度。我们的循环单元在训练过程中对令牌块而不是单个令牌进行操作，并利用块内的并行计算来有效利用加速器硬件。细胞本身非常简单。它只是一个Transformer层：它使用自我注意力和交叉注意力来有效地计算大量状态向量和令牌上的循环函数。我们的设计部分受到了LSTM单元的启发，它使用了LSTM风格的门，但它将典型的LSTM单元放大了几个数量级。我们的递归实现与传统的Transformer层在计算时间和参数计数方面具有相同的成本，但在非常长的序列上提供了显着改善的语言建模任务的困惑。我们的模型的性能远远超过长距离Transformer XL基线，同时运行速度是其两倍。我们在PG19（书籍），arXiv论文和GitHub源代码上证明了它的有效性。我们的代码已作为开源发布。
2022-11-02 cs.AI cs.LG cs.NE
A Transformer-Based User Satisfaction Prediction for Proactive Interaction Mechanism in DuerOS
Baidu Inc.（百度公司）；Tsinghua University（清华大学）；Macquarie University（麦考瑞大学）
近来，口语对话系统已经被广泛地部署在各种应用中，服务于大量的终端用户。一个常见的问题是，由嘈杂的话语、语义误解或缺乏知识导致的错误使得真实系统难以正确响应，可能导致不令人满意的用户体验。为了避免这种情况下，我们考虑一个积极的互动机制，系统预测用户满意度的候选人的反应之前，给用户。如果根据预测用户不太可能满意，则系统将询问用户合适的问题以确定用户的真实意图，而不是直接提供响应。通过与用户的这种交互，系统可以向用户给出更好的响应。以前预测用户满意度的模型不适用于DuerOS，DuerOS是一个大规模的商业对话系统。它们基于手工制作的特征，因此很难学习数百万次对话背后的复杂模式和多轮对话中的时间依赖性。此外，它们是在具有足够标签的基准数据集上训练和评估的，这在商业对话系统中获得是昂贵的。为了应对这些挑战，我们提出了一个管道来预测用户满意度，以帮助DuerOS决定是否在每个回合中要求澄清。具体来说，我们建议首先生成大量的弱标签，然后训练一个基于transformer的模型来预测用户对这些弱标签的满意度。从经验上讲，我们在DuerOS上部署和评估了我们的模型，并观察到用户满意度预测准确性相对提高了19%，用户体验相对提高了2.3%。
2022-12-05 cs.AI cs.CL cs.LG
Segmented Recurrent Transformer: An Efficient Sequence-to-Sequence Model
Purdue University（普渡大学）
提出分段循环Transformer（SRformer），结合分段局部注意力与循环注意力，在较低计算成本下实现高效序列处理，在多个摘要数据集上显著提升性能。
2023-10-23 cs.AI cs.CL cs.LG
RingFormer: Rethinking Recurrent Transformer with Adaptive Level Signals
UNIST（蔚山国家科学技术研究院）；IMML Lab（IMML实验室）
针对Transformer参数规模大且现有参数共享/循环方法性能不足的问题，提出RingFormer：通过单Transformer层环形重复处理输入并利用低秩矩阵生成输入相关层级信号，实现大幅参数压缩同时保持翻译、图像分类等任务高性能。
2025-02-18 cs.AI cs.LG
Investigating Recurrent Transformers with Dynamic Halt
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本研究系统比较了两种循环Transformer增强方法（深度循环与块状时间循环），提出动态停机机制等新组合，并在LRA等诊断任务上探究归纳偏差。
2025-01-21 cs.AI cs.LG cs.NE
Deep Transformer Q-Networks for Partially Observable Reinforcement Learning
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）
现实世界的强化学习任务通常涉及某种形式的部分可观察性，其中观察仅给出世界真实状态的部分或噪声视图。这些任务通常需要某种形式的记忆，其中代理可以访问多个过去的观察，以便执行良好。一种流行的合并记忆的方法是使用递归神经网络来访问代理的历史。然而，强化学习中的递归神经网络通常是脆弱的，难以训练，易受灾难性遗忘的影响，有时会完全失败。在这项工作中，我们提出了深度Transformer Q-网络（DTQN），一种新的架构，利用Transformers和自我注意编码代理的历史。DTQN是模块化设计的，我们对我们的基础模型的几个修改的结果进行比较。我们的实验表明，Transformer可以解决部分可观察的任务比以前的递归方法更快，更稳定。
2022-11-10 cs.AI cs.LG
A Large Recurrent Action Model: xLSTM enables Fast Inference for Robotics Tasks
NXAI GmbH（NXAI公司）；Google DeepMind（谷歌DeepMind）
本文提出以 xLSTM 为核心的大型循环动作模型 LRAM，解决 Transformer 动作模型推理慢、难以用于实时机器人任务的问题，并在 432 个任务上验证其性能与速度优势。
2025-06-04 cs.AI cs.LG
Temporal Logic Specification-Conditioned Decision Transformer for Offline Safe Reinforcement Learning
Boston University（波士顿大学）
针对离线安全强化学习在复杂时序逻辑任务中的不足，提出时序逻辑规范条件化Decision Transformer（SDT）框架，结合STL表达力与DT序列建模能力，在DSRL基准上实现了更安全、高奖励的策略学习。
2025-01-24 cs.AI cs.LG
Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers
The Ohio State University（俄亥俄州立大学）
本文研究了隐式推理能力，探讨了递归深度变换器在系统泛化和深度扩展中的作用，发现其能有效提升多跳推理能力，但过度递归会导致泛化能力下降。
2026-08-12 cs.AI cs.CL cs.LG
GPU Memory Requirement Prediction for Deep Learning Task Based on Bidirectional Gated Recurrent Unit Optimization Transformer
Rice University（莱斯大学）；Duke University（杜克大学）
针对深度学习GPU内存预测难题，提出BiGRU优化Transformer模型，在MSE、RMSE等指标上优于决策树等基准方法，显著提升预测精度，助力资源调度。
2025-10-23 cs.AI cs.LG
Associative Recurrent Memory Transformer
MIPT（莫斯科物理技术学院）；AIRI（人工智能研究机构）；London Institute for Mathematical Sciences（伦敦数学科学研究所）
本文提出 ARMT 架构，结合局部自注意力与段级循环记忆，实现恒定时间长序列处理，并在联想检索及 BABILong 超 5000 万 token 任务上取得最优结果。
2025-02-13 cs.AI cs.CL cs.LG
Block-Recurrent Dynamics in Vision Transformers
Kempner Institute, Harvard University（哈佛大学凯普纳研究所）；University of Osnabrück（奥斯纳布吕克大学）
本文提出块递归假设，表明训练后的ViT具有块递归深度结构，通过少量块的递归计算可复现原始深度的计算。通过训练Raptor模型恢复DINOv2的准确率，验证了块递归结构的存在，并揭示了模型动态可解释性。
2026-03-17 cs.AI cs.CV cs.LG
Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers
Tsinghua University（清华大学）；Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）；Peking University（北京大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）
针对循环Transformer解码昂贵问题，提出深度异步自推测（DAS），利用值成熟性异步读取前缀，实现4-7倍吞吐提升。
2026-09-29 cs.AI cs.LG
Autoregressive + Chain of Thought = Recurrent: Recurrence's Role in Language Models' Computability and a Revisit of Recurrent Transformer
University of British Columbia（不列颠哥伦比亚大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究探讨了循环结构对神经模型推理与可计算性的影响，指出思维链（CoT）通过模拟循环计算弥补了 Transformer 的局限，并提出“循环完备性”概念重新审视了 Linear Transformer 和 RWKV 等模型的理论缺陷。
2024-09-20 cs.AI cs.CL
READ: Recurrent Adaptation of Large Transformers
Meta
针对大型Transformer全参数微调及现有参数高效迁移学习方法资源消耗高的问题，提出轻量内存高效的READ微调方法，通过旁置小型RNN避免主干网络反向传播，在GLUE基准上显著降低内存与能耗且保持模型质量，具备高可扩展性。
2024-10-03 cs.AI cs.LG
Physics-inspired Energy Transition Neural Network for Sequence Learning
Department of Computer Science and Technology, Nanjing University（南京大学计算机科学与技术系）
本文提出受物理能量跃迁启发的循环神经网络 PETNN，以更低复杂度在多种序列任务上超越 Transformer，展示了纯 RNN 在长期依赖建模中的潜力。
2025-05-06 cs.AI cs.LG
One Model, Two Roles: Emergent Specialization in a Shared Recurrent Transformer
Rice University（里士大学）
该研究探讨了共享权重的递归变压器是否能在未被分割成独立模块的情况下发展出不同的内部角色，通过不对称输入递归（AIR）架构发现，模型内部状态分化出不同的功能角色，并展示了这种分化与模型状态动态的关系。
2026-10-30 cs.AI cs.LG math.OC
Step-resolved data attribution for looped transformers
Hasso Plattner Institute for Digital Engineering, University of Potsdam（波恩大学数字工程研究所）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Harvard University（哈佛大学）；Imperial College London（伦敦帝国理工学院）；Google DeepMind（谷歌DeepMind）
本文提出SDI方法，用于分析循环变换器中每个循环步骤对模型的影响，提升数据归因和可解释性能力。
2026-02-10 cs.AI cs.LG
Memory Caching: RNNs with Growing Memory
Google（谷歌）
本文提出Memory Caching技术，通过缓存RNN的记忆状态以增强其记忆容量，实现与Transformer的平衡性能，在长上下文任务中表现优异。
2026-02-27 cs.AI cs.LG
Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory
Featherless AI；Eleuther AI
KVM提出了一种新的块递归注意力机制，能够处理固定大小或增长状态，通过在强基线变压器中加入KVM注意力层，实现了线性复杂度的RNN，并在长上下文测试中表现出竞争力。
2026-08-04 cs.AI cs.CL cs.LG
A recurrent vision transformer shows signatures of primate visual attention
University of Pittsburgh（匹兹堡大学）；Duolingo（多林戈）
本文提出融合自注意力与循环记忆的Recurrent ViT，仅用稀疏奖励训练后复现了灵长类视觉注意的行为、神经表征及扰动效应。
2025-02-16 cs.AI cs.CV q-bio.NC
Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer
Brown University（布朗大学）；Harvard University（哈佛大学）
本文借助 Logit Lens 与 Coda Lens 探测 Huginn-3.5B 的算术推理过程，发现其缺乏清晰可解释的潜在 CoT，增加循环深度也仅有边际收益。
2025-09-28 cs.AI cs.CL cs.LG
Recurrent Looped Transformer
Princeton University（普林斯顿大学）；University of Pennsylvania（宾夕法尼亚大学）
提出循环循环 Transformer（RLT），通过循环解码器使计算路径随序列长度增长，在算法任务上显著提升状态跟踪泛化能力，超越固定深度 Transformer。
2026-10-14 cs.AI cs.CL cs.LG
Approaching sales forecasting using recurrent neural networks and transformers
University of Valencia（瓦伦西亚大学）
准确、快速的需求预测是供应链中的热门话题之一，可以精确执行相应的下游流程（入站和出站计划、库存放置、网络规划等）。我们开发了三种替代方案，以解决使用深度学习技术和Corporación Favorita数据集（作为Kaggle竞赛的一部分发布）预测日/商店/商品级别的客户销售额的问题。我们的实证结果表明，如何良好的性能可以通过使用一个简单的序列到序列的架构，以最小的数据预处理工作。此外，我们还描述了一个训练技巧，使模型更加独立于时间，从而随着时间的推移提高泛化能力。所提出的解决方案实现了约0.54的RMSLE，这与Kaggle竞赛中提出的问题的其他更具体的解决方案具有竞争力。
2022-04-16 cs.AI cs.LG stat.AP
Forgetting Transformer: Softmax Attention with a Forget Gate
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；MakerMaker AI（MakerMaker人工智能公司）；Google DeepMind（谷歌DeepMind）
本文提出 Forgetting Transformer (FoX)，通过以数据相关方式降低未归一化注意力分数将遗忘门融入 Transformer，在长上下文建模等任务上优于 Transformer 且兼容 FlashAttention，同时保留卓越长上下文能力。
2025-03-31 cs.AI cs.CL cs.LG
Learn To Remember: Transformer with Recurrent Memory for Document-Level Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Transformer架构在机器翻译方面取得了显著的进展。然而，大多数研究只关注文本层面的翻译，而没有考虑文本内部的语境依赖，导致文本层面连贯性不足。最近的一些研究试图通过引入额外的上下文编码器或翻译多个句子甚至整个文档来缓解这个问题。这样的方法可能丢失目标侧的信息，或者随着文档变长而具有增加的计算复杂性。为了解决这些问题，我们引入了一个经常性的记忆单元的香草Transformer，它支持的信息交换之间的句子和以前的上下文。通过从句子中获取信息，并将聚合的知识传递回后续的句子状态，来循环更新存储单元。我们遵循两阶段训练策略，首先在句子级别训练模型，然后针对文档级别的翻译进行微调。我们在三个流行的文档级机器翻译数据集上进行了实验，我们的模型在文档级基线上平均提高了0.91 s-BLEU。我们还在TED和News上取得了最先进的结果，平均比以前的工作高出0.36 s-BLEU和1.49 d-BLEU。
2022-05-03 cs.AI
Modeling Recurrence for Transformer
Florida State University（佛罗里达州立大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Macau（澳门大学）
近年来，基于注意力机制的Transformer模型在各种机器翻译任务上取得了很大的进展。然而，最近的研究表明，缺乏重现阻碍了其翻译能力的进一步提高。为了解决这个问题，我们提出了一个额外的递归编码器直接为Transformer的递归建模。除了标准的递归神经网络之外，我们还引入了一种新的注意递归网络，以利用注意和递归网络的优势。在广泛使用的WMT 14英-德和WMT 17汉英翻译任务上的实验结果证明了该方法的有效性。我们的研究还表明，所提出的模型受益于一个捷径，桥接源和目标序列与一个单一的递归层，这优于其深对应。
2019-04-05 cs.AI cs.CL
Understanding Dynamic Compute Allocation in Recurrent Transformers
Pennsylvania State University（宾夕法尼亚州立大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本研究提出ANIRA框架，通过受控复杂度评估范式，分析令牌级自适应计算在对齐复杂性、泛化和决策时间方面的表现，发现计算分配与任务复杂性一致并不等同于算法泛化。
2026-02-09 cs.AI cs.CL cs.LG
Tensor Memory: Fixed-Size Recurrent State for Long-Horizon Transformers
Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院）；IBM Research, Cambridge, MA, USA（IBM研究院）；University of Toronto, Toronto, Canada（多伦多大学）
提出张量记忆模块，通过固定大小的3D循环张量状态增强Transformer，以解耦状态容量与输入长度，并保持空间归纳偏置，适用于长程视频理解。
2026-05-26 cs.AI cs.CV
Llamba: Scaling Distilled Recurrent Models for Efficient Language Processing
Cartesia AI
Llamba通过跨架构蒸馏将Llama-3.x压缩为Mamba循环模型，在保持性能的同时提升吞吐量并降低内存需求，使高质量语言模型更易部署。
2025-02-23 cs.AI cs.LG
Transformer-Encoder-GRU (T-E-GRU) for Chinese Sentiment Analysis on Chinese Comment Text
Northwest University（西北大学）
中文情感分析由于其复杂性和不确定性一直是自然语言处理的挑战之一。Transformer在捕获语义特征方面取得了成功，但它使用位置编码来捕获序列特征，与递归模型相比有很大的缺点。本文将Transformer编码器和GRU相结合，提出了一种用于中文情感分析的T-E-GRU。我们在三个中文评论数据集上进行了实验。针对中文评论文本中标点符号混乱的现象，我们选择性地保留了部分具有断句能力的标点符号。实验结果表明，T-E-GRU的性能优于经典递归模型和带注意的递归模型。
2021-08-01 cs.AI cs.CL
Distil-xLSTM: Learning Attention Mechanisms through Recurrent Structures
University of Monastir（蒙纳斯蒂尔大学）；University of Sfax（斯法克斯大学）；Qassim University（卡西姆大学）；University of Michigan-Flint（密歇根大学弗林特分校）
本研究针对Transformer主导NLP的现状，提出基于xLSTM的小语言模型Distil-xLSTM，通过大模型知识蒸馏训练，用循环序列混合组件逼近Transformer注意力参数化，在低训练成本下实现良好效果且计算与规模效率高。
2025-03-24 cs.AI cs.CL cs.LG
Investigating Single-Block Recurrence in Vision Transformers for Image Recognition
Samsung AI Center（三星人工智能中心）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）
bViT通过单块递归结构研究视觉变换器中的递归机制，在相同训练条件下实现与标准ViT相似的性能，且参数更少。
2026-09-29 cs.AI cs.CV
CRFT: Consistent-Recurrent Feature Flow Transformer for Cross-Modal Image Registration
Northeastern University, China（东北大学（中国））；National University of Defense Technology, China（国防科技大学（中国））
CRFT提出了一种基于特征流学习的统一粗到细框架，通过特征对齐和流估计实现鲁棒的跨模态图像配准，通过多尺度特征相关性和层次特征融合提升精度和鲁棒性。
2026-04-07 cs.AI cs.CV
Finite-Time Analysis of Gradient Descent for Shallow Transformers
The Ohio State University（俄亥俄州立大学）；RWTH Aachen University（亚琛工业大学）
本文研究了浅层变换器在核域内通过投影梯度下降训练的有限时间性能，发现其宽度需求与样本量呈对数关系，优化误差与序列长度无关，与递归架构形成对比。
2026-04-02 cs.AI cs.LG math.OC
Thinking Deeper, Not Longer: Memory-Efficient Test-Time Reasoning with Depth-Recurrent Transformers for Compositional Generalization
Computer Science and Information Engineering National Central University（计算机科学与信息工程国家中央大学）
本文提出深度递归变压器，通过在潜在空间中迭代应用共享权重的Transformer块，使模型在推理时能通过增加推理步骤来实现更深层次的推理。在三个组合推理领域中，该方法展示了计算前沿和不同泛化行为。
2026-09-16 cs.AI cs.CL cs.LG
Rotate the Loop: Blockwise Conformality for Looped Transformers
dunnolab（邓诺实验室）
该研究针对循环Transformer的状态跟踪问题，提出分块保形注入方法，通过分组旋转残差实现多时间尺度跟踪，在状态跟踪和语言建模任务上提升了性能。
2026-10-14 cs.AI cs.LG stat.ML
A Hybrid Framework of Vision Transformer and Gated Recurrent Unit for Detection of Mosquito Diseases
该研究针对复杂环境下蚊子疾病检测难题，提出YOLO 11M+ViT+ConvGRU的混合框架，经对比多种模型，ConvGRU取得最优性能，为蚊子行为分析提供可靠方案。
2026-08-13 cs.AI cs.CV
Urban Crowdsensing using Social Media: An Empirical Study on Transformer and Recurrent Neural Networks
Singapore University of Technology and Design（新加坡科技设计大学）
城市规划的一个重要方面是了解不同位置的人群水平，这通常需要使用物理传感器。这样的传感器在大规模实施时可能是昂贵且耗时的。为了解决这个问题，我们利用公开的社交媒体数据集，并将其作为两个城市感知问题的基础，即事件检测和人群水平预测。这项工作的一个主要贡献是我们从Twitter和Flickr收集的数据集，以及地面实况事件。我们用两种初步的监督学习方法证明了这个数据集的有用性：首先，一系列神经网络模型来确定社交媒体帖子是否与事件相关，其次是一个回归模型，使用社交媒体帖子计数来预测实际人群水平。我们讨论这些任务的初步结果，并强调一些挑战。
2020-12-05 cs.AI cs.SI
Transformers vs. Recurrent Models for Estimating Forest Gross Primary Production
IEF, Leipzig University（莱比锡大学IEF）；iDiv；MPI PKS（马克斯·普朗克研究所）；IPL, Universitat de València（瓦伦西亚大学IPL）；Bioclimatology, University of Göttingen（哥廷根大学生物气候学系）；GEMA, Universidad de Medellín（梅迪纳大学GEMA）
针对森林总初级生产力估算问题，对比GPT-2与LSTM两种深度学习模型的多模态预测性能，明确二者的精度差异、适用场景及精度-效率权衡，为碳动态监测模型开发提供参考。
2025-11-14 cs.AI cs.CV cs.LG
Recurrent Multi-scale Transformer for High-Resolution Salient Object Detection
Dalian University of Technology（大连理工大学）；Shanghai Jiaotong University（上海交通大学）
提出HRS10K数据集和递归多尺度Transformer（RMFormer），通过递归共享Transformer和多尺度细化，利用低分辨率预测指导生成高分辨率显著图，解决高分辨率显著目标检测中数据集缺失和边界不完整问题。
2023-09-04 cs.AI cs.CV cs.MM
Hierarchical vs. Flat Iteration in Shared-Weight Transformers
Korea University of Technology and Education（韩国技术教育大学）；Biomonster Co.（Biomonster公司）
研究比较了层次化共享权重递归与独立层堆叠在Transformer语言模型中的表现，发现层次化结构在参数匹配下具有更优的表示质量。
2026-04-15 cs.AI cs.CL
RMAAT: Astrocyte-Inspired Memory Compression and Replay for Efficient Long-Context Transformers
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Pennsylvania State University（宾夕法尼亚州立大学）；University Park, PA 16802, USA
RMAAT通过受星形胶质细胞启发的记忆压缩与回放机制，提升长上下文Transformer的计算和内存效率。
2026-02-28 cs.AI cs.ET cs.LG
Intra-Layer Recurrence in Transformers for Language Modeling
Digital Innovation Lab Faculty of Computer Science and Technology Algoma University（阿尔戈马大学计算机科学与技术学院数字创新实验室）
本文提出层内循环（ILR）方法，在单次前向传播中对个别层有选择地应用循环，实验表明将更多迭代分配给较早层可获得最优结果，为优化Transformer循环结构提供了新方向。
2025-05-23 cs.AI cs.CL
ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer
Nanjing University of Science and Technology（南京理工大学）；Beijing Normal University（北京师范大学）；Tsinghua University（清华大学）
ReCoM提出循环嵌入Transformer和迭代重建推理，实现高保真共语动作生成，将FGD从18.70降至2.48，提升86.7%。
2025-03-27 cs.AI cs.GR
Per-Token Fixed-Point Convergence in Depth-Recurrent Transformers
研究深度循环Transformer中每个令牌的计算，发现其循环状态会收敛到逐令牌定点，且收敛不均。展示了逐令牌变化可读，读出优于学习预测，无训练规则可降低平均深度，完整研究在单个RTX 4090上约100 GPU小时完成。
2026-07-17 cs.AI
Space Time Recurrent Memory Network
Oregon State University（俄勒冈州立大学）
Transformers最近在时空域中的学习和推理中很受欢迎。然而，它们的性能依赖于对视频中每个帧的特征张量的存储和关注。因此，它们的空间和时间复杂度随着视频长度的增长而线性增加，这对于长视频来说可能非常昂贵。我们提出了一种新的视觉记忆网络架构的学习和推理问题的时空域。我们在内存网络中保持一组固定的内存插槽，并提出了一种基于Gumbel-Softmax的算法来学习自适应策略来更新此内存。最后，在视频对象分割（VOS）和视频预测问题上对该架构进行了基准测试。我们证明，我们的内存架构实现了最先进的结果，优于基于变换的方法VOS和其他最近的视频预测方法，同时保持恒定的内存容量独立的序列长度。
2022-07-06 cs.AI cs.CV
Pig aggression classification using CNN, Transformers and Recurrent Networks
Universidade Federal de Mato Grosso do Sul（马托格罗索联邦大学）；Universidade Católica Dom Bosco（圣多姆博斯科天主教大学）
本研究利用CNN、Transformer和循环网络对猪的攻击行为视频进行分类，比较多种技术，发现TimeSformer表现最佳，中位准确率达0.729。
2024-03-13 cs.AI cs.CV
Comparing Transformers and Hybrid Models at the Token Level
Allen Institute for AI（艾伦人工智能研究所）
本文通过对比混合模型与纯变换器在词级上的表现，揭示了混合模型在处理开放类词汇时的优势，以及在语义状态利用和n-gram复制任务中的不同表现。
2026-06-23 cs.AI cs.CL
