Geometric Asymmetry in MoE Specialization: Functional Decorrelation and Representational Overlap
研究揭示MoE专业化中功能去相关与表征重叠共存的几何结构，通过实验表明路由稀疏性影响功能分离与子空间分歧。
2026-05-08 cs.LG
Sequential Neural Models with Stochastic Layers
Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）；Google DeepMind（谷歌DeepMind）
我们如何用递归神经网络有效地传播潜在状态表示中的不确定性？本文介绍了随机递归神经网络，它将确定性递归神经网络和状态空间模型粘合在一起，形成一个随机和顺序的神经生成模型。确定性层和随机性层的明确分离允许结构化变分推断网络跟踪模型的后验分布的因子分解。通过保留递归神经网络的非线性递归结构，并对潜在路径中的不确定性进行平均，如状态空间模型，我们大幅提高了Blizzard和TIMIT语音建模数据集的最新结果，同时实现了与复调音乐建模竞争方法相当的性能。
2016-11-13 cs.LG stat.ML
Recurrent Neural Filters: Learning Independent Bayesian Filtering Steps for Time Series Prediction
Oxford-Man Institute of Quantitative Finance（牛津-曼氏定量金融学研究所）
尽管深度生成状态空间模型最近很受欢迎，但网络架构与贝叶斯过滤框架的推理步骤之间的比较很少-大多数模型同时用单个递归神经网络（RNN）近似状态转换和更新步骤。在本文中，我们介绍了递归神经滤波器（RNF），一种新的递归自动编码器架构，它学习由一系列编码器和解码器捕获的每个贝叶斯过滤步骤的不同表示。在三个真实世界的时间序列数据集上进行测试，我们证明了解耦表示学习不仅提高了一步预测的准确性，同时提供了现实的不确定性估计，而且还通过分离编码器阶段促进了多步预测。
2020-09-27 cs.LG eess.SP stat.ML
Comparing Latent Concept Formation in State Space Models and Transformers via Sparse Autoencoders
PES University（PES大学）
本研究通过稀疏自编码器对比Mamba与Transformer的潜在表征，发现两者在语义理解上无系统性差异，仅少数特征在语法边缘处存在分歧。
2026-09-22 cs.LG
Attention is All You Need in Speech Separation
Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；Università Politecnica delle Marche（马尔凯理工大学）；University of Rochester（罗切斯特大学）
递归神经网络（RNN）长期以来一直是序列到序列学习的主导架构。然而，RNN本质上是顺序模型，不允许其计算的并行化。Transformers正在成为标准RNN的自然替代品，用多头注意力机制取代循环计算。在本文中，我们提出了SepFormer，一种用于语音分离的新型无RNN转换器神经网络。SepFormer通过采用Transformers的多尺度方法学习短期和长期依赖关系。该模型在标准WSJ 0 -2/3 mix数据集上实现了最先进的（SOTA）性能。它在WSJ 0 - 2 mix上达到22.3 dB的SI-SNRi，在WSJ 0 - 3 mix上达到19.5 dB的SI-SNRi。SepFormer继承了Transformers的并行化优势，即使在对编码表示进行8倍下采样时也能实现有竞争力的性能。因此，它比最新的语音分离系统具有更快的速度和更少的内存需求。
2021-03-08 cs.LG cs.SD eess.AS
Learning to Dissipate Energy in Oscillatory State-Space Models
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对线性振荡状态空间模型（LinOSS）能量耗散机制与状态演化时间尺度耦合的表征局限，提出可学习任意时间尺度潜状态能量耗散的D-LinOSS，在无额外复杂度下提升长程任务性能、加快收敛并缩减50%超参数搜索空间。
2025-09-30 cs.LG stat.ML
On the Representational Capacity of Recurrent Neural Language Models
ETH Zürich（苏黎世联邦理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究了基于RNN的语言模型的计算表达性，将图灵完备性扩展至概率情况，并分别证明了在无界和实时计算下RLM对概率图灵机的模拟上界与下界。
2024-05-30 cs.CL cs.LG
Adaptive Length Image Tokenization via Recurrent Allocation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
提出一种基于循环分配的图像令牌化方法，通过递归处理将图像压缩为可变数量的令牌（32-256），令牌数随图像熵和任务需求自适应，并展现令牌专业化潜力。
2024-11-04 cs.AI cs.CV cs.LG
Rethinking State Tracking in Recurrent Models Through Error Control Dynamics
Yonsei University（延世大学）
研究指出循环模型中状态跟踪的鲁棒性不仅取决于理论表达能力，更关键的是误差控制能力，通过实验证明误差累积导致状态跟踪失效。
2026-10-28 cs.CL cs.LG
Recurrent Joint Embedding Predictive Architecture with Recurrent Forward Propagation Learning
The City College of New York（纽约城市学院）；Biomedical Engineering Department（生物医学工程系）
针对传统视觉模型依赖深度前馈网络和大量标注数据的问题，本研究受生物视觉启发提出结合递归门控电路的联合嵌入预测架构，通过递归前向传播算法实现自监督学习，从理论和实证上证明其避免表示崩溃且学习高效。
2024-11-10 cs.LG cs.NE
Generalization Challenges for Neural Architectures in Audio Source Separation
Redwood Center for Theoretical Neuroscience（红木理论神经科学中心）；University of California Berkeley（加州大学伯克利分校）
最近的工作表明，可以训练递归神经网络，以高保真度在声音混合中分离单个扬声器。在这里，我们探索卷积神经网络模型作为一种替代方案，并表明它们实现了最先进的结果，参数少了一个数量级。我们还描述和比较了这些不同方法在三种不同测试条件下的鲁棒性和泛化能力：较长的时间序列，添加间歇性噪声，以及在训练过程中看不到的不同数据集。对于最后一个条件，我们创建了一个新的数据集RealTalkLibri，以在真实环境中测试声源分离。我们表明，环境的声学对波形的结构和神经网络模型的整体性能有显着的影响，卷积模型表现出优越的能力，推广到新的环境。我们研究的代码可在https://github.com/ShariqM/source_separation上获取。
2018-05-27 cs.LG cs.SD eess.SP
Representational separation between unitary and channel quantum generative models via shared classical randomness at shallow depth
University of Innsbruck（因斯布鲁克大学）
该研究证明浅深度下通过共享经典随机性可实现量子生成模型中幺正与信道模型的严格可扩展表征分离，MBQC可自然实现所需随机性，数值实验验证了分析结果。
2026-08-06 cs.AI cs.LG quant-ph
Deep Recurrent NMF for Speech Separation by Unfolding Iterative Thresholding
University of Washington（华盛顿大学）；Applied Physics Laboratory, University of Washington（华盛顿大学应用物理实验室）
在本文中，我们提出了一种新的递归神经网络结构的语音分离。这种架构是通过展开的顺序迭代软阈值算法（ISTA），解决了稀疏非负矩阵分解（NMF）的频谱图的优化问题的迭代。我们将这种网络架构命名为深度递归NMF（DR-NMF）。所提出的DR-NMF网络具有三个明显的优点。首先，DR-NMF提供了比其他深度架构更好的可解释性，因为即使在训练之后，权重也对应于NMF模型参数。这种可解释性还提供了原则性的初始化，与传统的随机初始化相比，它能够更快地训练和收敛到更好的解决方案。其次，与许多深度网络一样，DR-NMF在测试时比NMF快一个数量级，因为网络输出的计算只需要在每个时间步评估几层。第三，当训练数据量有限时，与稀疏NMF和最先进的长短期记忆（LSTM）网络相比，DR-NMF表现出更强的泛化和分离性能。当有大量的训练数据可用时，DR-NMF与LSTM网络相比实现了较低但有竞争力的分离性能。
2017-09-21 cs.LG cs.SD stat.ML
When Does Structure Matter in Continual Learning? Dimensionality Controls When Modularity Shapes Representational Geometry
IT University of Copenhagen（丹麦技术大学）
本文研究了网络架构、任务相似性和表征维度如何共同影响持续学习中的学习过程，发现高维情况下架构影响较小，而低维情况下模块化结构对任务子空间的对齐和分离具有关键作用。
2026-04-30 cs.AI cs.LG cs.NE
Joint Optimization of Masks and Deep Recurrent Neural Networks for Monaural Source Separation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Clarifai（Clarifai公司）；Adobe Research（奥多比研究院）
单耳声源分离对于许多现实世界的应用是重要的。它具有挑战性，因为只有一个单一的信息渠道，没有任何限制，无限多的解决方案是可能的。在本文中，我们探索了掩蔽函数和深度递归神经网络的联合优化，用于单声道声源分离任务，包括单声道语音分离，单声道歌声分离和语音去噪。具有额外掩蔽层的深度递归神经网络的联合优化强制执行重构约束。此外，我们还探索了一种判别准则来训练神经网络，以进一步提高分离性能。我们评估所提出的系统的TSP，MIR-1K，和TIMIT数据集的语音分离，歌声分离，语音去噪任务，分别。在语音分离任务中，与NMF模型相比，我们的方法实现了2.30 - 4.98 dB SDR增益，在歌声分离任务中，与现有模型相比，我们的方法实现了2.30 - 2.48 dB GNSDR增益和4.32 - 5.42 dB GSIR增益，并且在语音去噪任务中优于NMF和DNN基线。
2015-10-01 cs.AI cs.LG cs.MM
Approximating Stacked and Bidirectional Recurrent Architectures with the Delayed Recurrent Neural Network
Intel Labs（英特尔实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的工作表明，对递归神经网络（RNN）的拓扑增强可以提高其表达能力和代表能力。两种流行的增强是堆叠RNN，它增加了学习非线性函数的能力，以及双向处理，它利用序列中的因果信息。在这项工作中，我们探索了延迟RNN，这是一个单层RNN，在输入和输出之间有延迟。我们证明了延迟RNN的权重约束版本等价于堆叠RNN。我们还表明，延迟引起的部分因果关系，很像双向网络。合成实验证实，延迟RNN可以模拟双向网络，类似地解决一些因果任务，并在其他方面优于它们。此外，我们在现实世界的自然语言处理任务中表现出与双向网络相似的性能。这些结果表明，延迟RNN可以近似拓扑结构，包括堆叠RNN，双向RNN和堆叠双向RNN-但延迟RNN的运行时间相同或更快。
2020-06-18 cs.CL cs.LG cs.NE
When Do Transformers Outperform Feedforward and Recurrent Networks? A Statistical Perspective
University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；Google Research（谷歌研究院）；New York University（纽约大学）；Flatiron Institute（弗拉蒂伦研究院）
论文提出动态稀疏检索的序列到序列模型，从样本复杂度角度证明单层 Transformer 在注意力头数不少于 $q$ 时可几乎不受序列长度 $N$ 影响，并揭示其相对循环与前馈网络的层级优势。
2025-03-14 cs.LG stat.ML
Depthwise Separable Convolutions Versus Recurrent Neural Networks for Monaural Singing Voice Separation
Tampere University（坦佩雷大学）；Fraunhofer-IDMT（弗劳恩霍夫数字媒体技术研究所）
最近的音乐源分离方法几乎完全基于深度神经网络，主要采用递归神经网络（RNN）。尽管RNN在许多情况下优于其他类型的深度神经网络进行序列处理，但它们在训练和并行化方面存在特定的困难，特别是对于音乐源分离中遇到的通常较长的序列。在本文中，我们提出了一个用深度可分离（DWS）卷积替换RNN的用例，DWS卷积是典型卷积的一种轻量级和更快的变体。我们专注于歌声分离，采用RNN架构，我们用DWS卷积（DWS-CNN）代替RNN。我们进行了一项消融研究，并通过利用信号与伪影、信号与干扰和信号失真比的标准度量，研究了DWS-CNN的通道数量和层数对源分离性能的影响。我们的结果表明，通过用DWS-CNN代替RNN，分别获得了1.20，0.06，0.37 dB的改进，而仅使用RNN架构参数量的20.57%。
2020-07-06 cs.LG cs.SD eess.AS
Using stigmergy as a computational memory in the design of recurrent neural networks
University of Pisa（比萨大学）
本文设计并实现了一种新的递归神经网络结构。建议的RNN采用了基于stigmergy概念的计算内存。Stigmergic Memory（SM）的基本原理是，SM中的一个量的沉积/移除活动刺激下一个沉积/移除活动。相应地，随后的SM活动倾向于相互加强/削弱，从而在SM活动和输入的时间刺激之间产生连贯的协调。我们发现，在监督分类的问题，SM编码的时间输入在一个紧急的代表性模型，通过协调存款，清除和分类活动。本研究为SM-RNN的推导奠定了基本框架。讨论了SM的形式化本体，并详细介绍了SM-RNN的体系结构。为了了解SM-RNN的计算能力，选择并训练了比较NN，以解决MNIST手写数字识别基准的两个变体：空间（位图行序列）和时间（笔划序列）。
2019-01-09 cs.LG cs.NE stat.ML
Depth Enables Long-Term Memory for Recurrent Neural Networks
Faculty of Computer Science and Engineering The Hebrew University of Jerusalem（计算机科学与工程学院 希伯来大学耶路撒冷分校）；The Hebrew University of Jerusalem（希伯来大学耶路撒冷分校）；Faculty of Computer Science and Engineering（计算机科学与工程学院）
现代循环神经网络（RNN）在涉及序列数据的学习任务上取得空前成功的一个关键属性是它们能够对复杂的长期时间依赖性进行建模。然而，缺乏对RNN长期记忆能力的一个完善的衡量标准，因此对深度对其在整个时间内关联数据的能力的影响的正式理解是有限的。具体来说，卷积网络上现有的深度效率结果不足以解释深度RNN在不同长度数据上的成功。为了解决这个问题，我们引入了一个衡量网络支持跨时间信息流的能力的指标，称为起止分离秩，它反映了递归网络实现的函数与输入序列的开始和结束之间没有依赖关系的距离。我们证明了深经常性网络支持的起始-结束分离秩组合高于浅对应网络支持的秩。因此，我们确定深度在递归网络建模长期依赖关系的能力方面具有压倒性的优势，并提供了量化这一关键属性的范例。我们通过广泛的实验评估，使用限制隐藏到隐藏矩阵正交的优化技术，经验性地证明了常见RNN上讨论的现象。最后，我们使用量子张量网络的工具来获得有关递归网络深度带来的复杂性的额外图形见解。
2020-03-23 cs.LG stat.ML
Strongly-Typed Recurrent Neural Networks
Victoria University of Wellington（惠灵顿维多利亚大学）；Weta Digital（维塔数码）
循环神经网络是越来越流行的顺序学习模型。不幸的是，尽管最有效的RNN架构可能过于复杂，但广泛的搜索还没有找到更简单的替代方案。本文将物理学和函数式编程的思想引入RNN设计中，为RNN设计提供指导原则。从物理学的角度，我们引入了类型约束，类似于禁止将米加到秒的约束。从函数式编程开始，我们要求强类型架构分解为无状态的learnware和状态依赖的固件，以减少副作用的影响。强类型网学习的特征通过一维卷积上的动态平均池有一个简单的语义解释。我们还表明，强类型的梯度比在经典架构中表现得更好，并表征强类型网的代表性力量。最后，实验表明，尽管受到更多的约束，强类型的架构实现了较低的训练和可比的泛化误差的经典架构。
2016-05-24 cs.LG cs.NE
Recurrent Expansion: A Pathway Toward the Next Generation of Deep Learning
University of Batna 2（巴塔大学2）
本文提出Recurrent Expansion（RE）这一新学习范式，通过分析模型演化行为与内部表示实现自我改进，并扩展出MVRE、HMVRE和Sc-HMVRE以支持并行与异构部署，推动深度学习向行为感知、自我演化系统转变。
2025-07-04 cs.LG stat.ML
Incremental Binarization On Recurrent Neural Networks For Single-Channel Source Separation
Indiana University（印第安纳大学）
提出了一种用于单通道信号源分离的位选通递归单元（BGRU）网络。递归神经网络（RNN）需要在其单元内设置多组权重，与全连接网络相比，这显著增加了计算成本。为了减轻这种增加的计算，我们专注于GRU单元，并使用二进制值和按位操作来简化前馈过程。BGRU网络分为两个阶段进行训练。实值权重被预先训练并转移到按位网络，然后被增量二进制化，以最大限度地减少突然引入量化可能造成的潜在损失。由于所提出的二进制化技术仅将一些随机选择的参数转换为它们的二进制版本，因此它使网络训练过程有机会轻轻地适应网络的部分量化版本。它最终通过在迭代过程中逐步增加二值化的量来实现完全二值化。我们的实验表明，所提出的BGRU方法产生的源分离结果大于实值全连接网络，具有11-12 dB的平均信号失真比（SDR）。完全二进制化的BGRU仍然比逐位神经网络（BNN）好1-2 dB，即使层数较少。
2019-08-23 cs.LG cs.SD eess.AS
Multi-talker Speech Separation with Utterance-level Permutation Invariant Training of Deep Recurrent Neural Networks
Aalborg University（奥尔堡大学）；Tencent AI Lab（腾讯人工智能实验室）；Microsoft Research（微软研究院）；Oticon A/S（奥迪康公司）
在本文中，我们提出了话语级排列不变训练（uPIT）技术。uPIT是一种实际适用的、端到端的、基于深度学习的解决方案，用于与说话者无关的多说话者语音分离。具体而言，uPIT扩展了最近提出的Permutation Invariant Training（PIT）技术与话语级成本函数，从而消除了在推理过程中解决额外的置换问题的需要，否则需要帧级PIT。我们使用循环神经网络（RNN）来实现这一点，该网络在训练期间最小化话语级分离误差，从而迫使属于同一说话者的分离帧与同一输出流对齐。在实践中，这允许使用uPIT训练的RNN在没有任何关于信号持续时间、说话者数量、说话者身份或性别的先验知识的情况下分离多说话者混合语音。我们在WSJ0和丹麦的两个和三个说话者的混合语音分离任务上评估了uPIT，发现uPIT优于基于非负矩阵分解（NMF）和计算听觉景物分析（CASA）的技术，并与深度聚类（DPCL）和深度吸引子网络（DANet）相媲美。此外，我们发现用uPIT训练的模型可以很好地推广到看不见的说话者和语言。最后，我们发现使用uPIT训练的单个模型可以处理两个扬声器和三个扬声器的语音混合。
2017-07-11 cs.LG cs.SD eess.AS
Finite-Time Node Separation in Recurrent Graph Neural Networks with Persistent Gaussian Perturbations
Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学））
针对递归图神经网络在持久高斯扰动下的节点表示，提出有限时间分离分析，证明二阶矩下界及非中心卡方特征，补充渐近能量分析，提供严格的有限时间保证。
2026-09-15 cs.AI cs.LG
HalluRNN: Mitigating Hallucinations via Recurrent Cross-Layer Reasoning in Large Vision-Language Models
HalluRNN通过递归跨层推理模块缓解大规模视觉-语言模型中的幻觉问题，提升模型稳定性和性能。
2026-01-31 cs.AI cs.CV cs.LG
Linear Memory Networks
University of Pisa（比萨大学）；University of Padova（帕多瓦大学）
递归神经网络可以学习复杂的转导问题，这些问题需要维护和积极利用其输入的记忆。这种模型传统上认为记忆和输入输出功能不可分割地纠缠在一起。我们介绍了一种新的经常性架构的基础上的功能输入输出转换和记忆机制之间的概念分离，展示了它们如何可以通过不同的神经组件来实现。通过建立在这样的概念化，我们介绍了线性记忆网络，一个经常性的模型，包括一个前馈神经网络，实现非线性函数变换，和一个线性自动编码器的序列，实现记忆组件。由此产生的架构可以通过建立线性优化问题的封闭形式的解决方案来有效地训练。此外，通过利用前馈和递归神经网络之间的等价结果，我们设计了一个预训练方案的建议架构。在复调音乐数据集上的实验显示了与门控递归网络和其他最先进模型的竞争结果。
2018-11-08 cs.LG stat.ML
Long Short-Term Memory as a Dynamically Computed Element-wise Weighted Sum
University of Washington（华盛顿大学）
LSTM被引入来对抗简单RNN中的消失梯度，通过用门控加法递归连接来增强它们。我们提出了另一种观点来解释LSTM的成功：门本身是多功能的经常性模型，提供更多的代表性的权力比以前认识到的。我们通过将LSTM的门从嵌入式简单RNN中解耦来实现这一点，从而产生一类新的RNN，其中递归计算输入的上下文无关函数的元素加权和。对一系列问题的消融表明，在大多数情况下，门控机制本身的表现与LSTM一样好，这强烈表明门在实践中做的不仅仅是缓解消失的梯度。
2018-05-09 cs.AI cs.CL cs.LG
Embedding of Low-Dimensional Sensory Dynamics in Recurrent Networks: Implications for the Geometry of Neural Representation
University of Washington School of Medicine（华盛顿大学医学院）；Purdue University Fort Wayne（普渡大学韦恩堡分校）；University of Washington（华盛顿大学）
研究探讨了低维感觉动态如何在循环网络中形成嵌入结构，并揭示了预测性能对表征几何的约束作用。
2026-08-03 cs.LG q-bio.NC
SchemaMem: Schema-Indexed Recurrent Memory for Delayed State Retrieval
Chungnam National University（忠南国立大学）
SchemaMem是一种结合块局部注意力和架构索引相位状态的循环记忆架构，在延迟状态检索任务中实现了更高的写入值保留率，但需要更多优化步骤，揭示了保留与优化之间的权衡。
2026-09-29 cs.LG
Sparse Deep Predictive Coding captures contour integration capabilities of the early visual system
Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Inst Neurosci Timone（蒂莫内神经科学研究所）；ISM（ISM研究所）
神经生理学和心理物理学实验都指出，在早期视觉皮层中，循环连接和反馈连接在处理依赖于上下文的信息中起着至关重要的作用。虽然许多模型已经在神经或表征层面上解释了反馈效应，但没有一个模型能够将这两个层面的分析结合起来。是否可以用同一个模型来描述两个层次的反馈效应？我们通过将预测编码（PC）和稀疏编码（SC）结合到分层和卷积框架中来回答这个问题。在该稀疏深度预测编码（SDPC）模型中，SC组件对每个层内的内部递归处理进行建模，并且PC组件使用前馈和反馈连接来描述层之间的交互。在这里，我们在两个不同的图像数据库上训练一个2层SDPC，并将其解释为早期视觉系统（V1和V2）的模型。我们首先证明，一旦训练收敛，SDPC表现出导向和本地化的感受野在V1和V2更复杂的功能。第二，我们分析了反馈对V1神经元经典感受野以外的神经组织的影响。这些映射类似于联想场，反映了良好延续的完形原则。我们证明，反馈信号重组互动地图和调制神经活动，以促进轮廓整合。第三，我们证明了在代表性的水平，SDPC反馈连接能够克服输入图像中的噪声。因此，SDPC在神经水平上捕获了关联场原理，从而在代表性水平上更好地消除模糊图像的歧义。
2019-10-17 cs.AI cs.CV cs.LG
Chain-of-Thought and Compressed Looped Transformers: A Memory-Budget Separation
Department of Mathematics and Statistics（数学与统计学系）
本文通过比较三种记忆机制（压缩潜在循环、全序列状态循环和思维链暂存区），证明压缩循环Transformer的记忆预算限制其推理能力，而思维链通过扩展上下文实现更强的问题求解。
2026-05-29 cs.LG
Gated Recurrent Transformers: Expressive Depth through Recurrent Modulation
The German University in Cairo（开罗德国大学）；Technical University of Munich（慕尼黑工业大学）；Cerebras Systems Inc.（赛布拉斯系统公司）
本文提出RecurrentGPT，通过循环调制解决Transformer语言模型表达性与内存效率的矛盾，在多约束下优于基线模型，实现参数与内存的高效利用。
2026-08-27 cs.CL cs.LG
Probabilistic Deterministic Finite Automata and Recurrent Networks, Revisited
W. M. Keck Science Department, Claremont McKenna, Scripps, and Pitzer College（克莱蒙特·麦肯纳学院、斯克里普斯学院和皮策学院 W. M. 凯克科学系）；University of California, Davis（加州大学戴维斯分校）
水库计算机（RC）和递归神经网络（RNN）在理论上可以模拟任何有限状态自动机，一些工作人员证明了这在实践中是可行的。我们测试了广义线性模型、RC和长短期记忆（LSTM）RNN架构预测由一系列概率确定性有限状态自动机（PDFA）生成的随机过程的能力。PDFA提供了一个优秀的性能基准，因为它们可以被系统地枚举，它们生成的过程的随机性和相关性结构是确切已知的，并且它们的最佳内存有限预测器很容易计算。不出所料，LSTM的表现优于RC，后者优于广义线性模型。令人惊讶的是，这些方法中的每一种在训练后都可能低于最大预测准确度多达50%，并且在优化时，往往低于最大预测准确度约5%，即使先前可用的方法以数量级较少的数据实现最大预测准确度。因此，尽管RC和RNN具有代表性的普遍性，但使用它们可以对简单刺激产生令人惊讶的预测差距。一个结论是，有一个重要的和未得到充分重视的作用，推断“因果状态”或“预测状态表示”的方法。
2019-10-17 cond-mat.stat-mech cs.IT cs.LG
Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
深度学习中的过度参数化通常指的是这样一种设置，即经过训练的神经网络（NN）具有以多种方式拟合训练数据的代表性能力，其中一些泛化能力很好，而另一些则不然。在递归神经网络（RNN）的情况下，存在额外的过度参数化层，从某种意义上说，模型可能会表现出许多解决方案，这些解决方案可以很好地概括训练中看到的序列长度，其中一些可以外推到更长的序列，而另一些则不能。大量的工作研究了梯度下降（GD）的趋势，以适应过参数化的神经网络的解决方案，推广良好。另一方面，它倾向于用外推的解决方案来拟合过参数化的RNN，这一点直到最近才被发现，而且还远没有被理解。在本文中，我们分析了GD的外推性能时，应用到过参数化的线性RNN。与最近的论点表明对短期记忆的内隐偏见相反，我们提供了学习低维状态空间的理论证据，它也可以模拟长期记忆。我们的结果依赖于一个动态的表征，这表明GD（小步长和接近零的初始化）努力保持一定形式的平衡，以及在统计的时刻问题的背景下开发的工具（恢复概率分布从其时刻）。实验证实了我们的理论，通过学习线性和非线性RNN的低维状态空间来证明外推。
2023-03-23 cs.LG
On the Long-Term Memory of Deep Recurrent Networks
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
现代递归神经网络（RNN）在涉及序列数据的学习任务上取得空前成功的一个关键属性是它们能够对复杂的长期时间依赖性进行建模。然而，缺乏对RNN长期记忆能力的一个完善的衡量标准，因此对深度对其在整个时间内关联数据的能力的影响的正式理解是有限的。具体来说，卷积网络上现有的深度效率结果不足以解释深度RNN在不同长度数据上的成功。为了解决这个问题，我们引入了一个衡量网络支持跨时间信息流的能力的指标，称为起止分离秩，它反映了递归网络实现的函数与输入序列的开始和结束之间没有依赖关系的距离。我们证明了深经常性网络支持的起始-结束分离秩组合高于浅层次网络。因此，我们确定深度在递归网络建模长期依赖关系的能力方面带来了压倒性的优势，并提供了量化这一关键属性的范例，该属性可以很容易地扩展到其他感兴趣的RNN架构，例如LSTM网络的变体。我们通过考虑一类被称为递归算术电路的递归网络来获得我们的结果，这些递归网络通过乘法积分运算将隐藏状态与输入合并，并在常见的RNN上实证证明了所讨论的现象。最后，我们使用量子张量网络的工具来获得有关递归网络深度带来的复杂性的额外图形见解。
2018-06-06 cs.LG cs.NE
Block-Recurrent Dynamics in Vision Transformers
Kempner Institute, Harvard University（哈佛大学凯普纳研究所）；University of Osnabrück（奥斯纳布吕克大学）
本文提出块递归假设，表明训练后的ViT具有块递归深度结构，通过少量块的递归计算可复现原始深度的计算。通过训练Raptor模型恢复DINOv2的准确率，验证了块递归结构的存在，并揭示了模型动态可解释性。
2026-03-17 cs.AI cs.CV cs.LG
Geometry of naturalistic object representations in recurrent neural network models of working memory
McGill University（麦吉尔大学）；Mila, Université de Montréal（米拉-蒙特利尔大学）；IBM Research（IBM研究院）
本研究构建CNN-RNN模型并在九个N-back任务上训练，探究自然刺激下工作记忆表征，发现多任务RNN共享或特异的潜在子空间及非正交化嵌入，提出时间顺序记忆子空间机制，为神经数据预测提供新见解。
2024-11-04 cs.AI cs.CG cs.LG
LACE: Loss-Adaptive Capacity Expansion for Continual Learning
Independent Researcher（独立研究员）
LACE通过监控损失信号动态扩展模型表示能力，实现持续学习中的自适应容量调整，实验显示其在域边界处精确触发扩展，且在资源受限环境下有效。
2026-03-30 cs.LG
Hard-Constrained Neural Networks with Physics-Embedded Architecture for Residual Dynamics Learning and Invariant Enforcement in Cyber-Physical Systems
Department of Informatics and Statistics Federal University of Santa Catarina（信息与统计系弗拉斯卡廷联邦大学）
本文提出了一种具有物理嵌入架构的硬约束神经网络，用于在信息物理系统中学习残差动态并强制执行不变量，通过理论分析和实验验证展示了其高精度和数据效率，同时揭示了物理一致性、计算成本和数值稳定性之间的权衡。
2025-11-28 cs.AI cs.LG
Switching Linear Attention
Stanford University（斯坦福大学）
本文提出切换线性注意力（SwiLA），通过在线期望最大化在混合线性回归中实现动态组件选择，在保持线性注意力固定内存的同时增强表达能力，并在多个基准上接近或超越 softmax 注意力。
2026-10-01 cs.AI cs.CL cs.LG
Papez: Resource-Efficient Speech Separation with Auditory Working Memory
Seoul National University（首尔大学）
Papez通过听觉工作记忆、自适应令牌剪枝和循环Transformer三项技术，构建了轻量高效的单通道语音分离模型，在资源与精度权衡上显著优于现有方法。
2024-07-01 cs.CL cs.LG cs.SD
