A Tale of Two Systems: Characterizing Architectural Complexity on Machine Learning-Enabled Systems
Institute of Mathematics and Statistics（数学与统计学研究所）；University of São Paulo（圣保罗大学）；Jheronimus Academy of Data Science（赫伦尼姆数据科学学院）；Tilburg University（蒂尔堡大学）；Eindhoven University of Technology（埃因霍温理工大学）
本研究针对机器学习赋能系统的复杂性管理问题，提出构建基于度量的架构模型以表征其复杂性，同时以SPIRA和Ocean Guard两个系统为案例，为架构决策及系统发展提供支撑。
2025-06-12 cs.AI cs.LG cs.SE
Neuroevolutionary Transfer Learning of Deep Recurrent Neural Networks through Network-Aware Adaptation
Rochester Institute of Technology（罗切斯特理工学院）
迁移学习需要采用在源数据集上训练的人工神经网络（ANN）并使其适应新的目标数据集。虽然这已经被证明是非常强大的，但它的使用通常受到架构约束的限制。以前，为了重用和适应ANN的内部权重和结构，在任务之间传输的ANN的底层拓扑必须保持基本相同，同时附加新的输出层，丢弃旧的输出层的权重。这项工作介绍了网络感知的自适应结构迁移学习（N-ASTL），在以前的努力，以消除这种限制的进步。N-ASTL利用与源网络的拓扑和权重分布相关的统计信息，以告知如何将新的输入和输出神经元集成到现有结构中。结果显示了对现有技术的改进，包括在具有挑战性的现实世界数据集中转移的能力，以及在没有转移的情况下训练的RNN的改进泛化能力。
2020-06-04 cs.LG cs.NE
Skip-Connected Self-Recurrent Spiking Neural Networks with Joint Intrinsic Parameter and Synaptic Weight Training
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
递归脉冲神经网络（RSNNs）作为一类重要的脉冲神经网络（SNNs），具有强大的计算能力，被广泛应用于音频、文本等序列数据的处理。然而，大多数RSNN都有两个问题。1.由于缺乏体系结构指导，经常采用随机递归连接，这并不能保证良好的性能。2. RSNN的训练通常具有挑战性，需要检查可实现的模型精度。为了解决这些问题，我们提出了一种新型的RSNN，称为跳跃连接自递归SNN（ScSr-SNN）。ScSr-SNN中的递归是通过向尖峰神经元添加自递归连接来以刻板的方式引入的，这实现了局部记忆。网络动态丰富的非相邻层之间的跳跃连接。ScSr-SNN由简化的自递归和跳跃连接构建，能够实现类似于更复杂的RSNN的递归行为，而由于网络的主要前馈性质，可以更直接地计算误差梯度。此外，我们提出了一种新的反向传播（BP）方法，称为反向传播内在可塑性（BIP），通过训练内在模型参数来进一步提高ScSr-SNN的性能。与根据神经元活动调整神经元的内在参数的标准内在可塑性规则不同，除了突触权重训练之外，所提出的BIP方法基于定义良好的全局损失函数的反向传播误差梯度来优化内在参数。基于具有挑战性的语音和神经形态语音数据集，包括TI46-Alpha，TI46-Digits和N-TIDIGITS，与通过最先进的BP方法训练的其他类型的RSNN相比，所提出的ScSr-SNN可以将性能提高高达2.55%。
2020-10-23 cs.LG cs.NE
Multiplicative Models for Recurrent Language Modeling
Université du Québec à Montréal（魁北克大学蒙特利尔分校）
最近，人们对用于语言建模的乘法递归神经网络感兴趣。事实上，简单的递归神经网络（RNN）在生成序列时，由于隐藏状态之间的高度相关性，很难从过去的错误中恢复过来。这些挑战可以通过在隐藏状态更新中集成二阶项来缓解。一个这样的模型，乘法长短期记忆（mLSTM）是特别有趣的，在其原始配方，因为其二阶项的共享，被称为中间状态。我们通过引入新模型并在字符级语言建模任务上测试它们来探索这些架构改进。这使我们能够在循环语言建模中建立共享参数化的相关性。
2019-06-30 cs.CL cs.LG stat.ML
A Comparative Study of Rule Extraction for Recurrent Neural Networks
McGill University（麦吉尔大学）；Pennsylvania State University（宾夕法尼亚州立大学）
通过规则提取来理解递归网络有着悠久的历史。由于需要解释或验证神经网络，这已经引起了新的兴趣。表示有状态规则的一种基本形式是确定性有限自动机（DFA）。以往的研究表明，从训练好的二阶递归网络中提取DFA不仅是可能的，而且是相对稳定的。最近，几种新类型的递归网络与更复杂的架构已经推出。这些处理具有挑战性的学习任务，通常涉及序列数据。然而，它仍然是一个悬而未决的问题，是否可以充分地从这些模型中提取的DFA。具体来说，目前还不清楚当应用于在不同复杂程度的数据集上训练的不同递归网络时，DFA提取将受到什么影响。在这里，我们研究了几个被广泛采用的递归网络上的DFA提取，这些网络被训练来学习一组七个规则的Tomita文法。我们首先正式分析富田文法的复杂性，并根据复杂性对这些文法进行分类。然后，我们实证评估不同的递归网络的DFA提取的所有富田文法的性能。我们的实验表明，对于大多数递归网络，其提取性能随着底层语法复杂度的增加而降低。在较低复杂度的文法上，大多数递归网络获得了理想的提取性能。对于复杂度最高的语法，几个复杂的模型都失败了，只有某些递归网络具有令人满意的提取性能。
2018-11-14 cs.CL cs.LG
Lipschitz Recurrent Neural Networks
ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）；Ben-Gurion University（本·古里安大学）；Google Research（谷歌研究院）
将循环神经网络（RNNs）视为连续时间动力系统，我们提出了一个递归单元，它用两个部分来描述隐藏状态的演化：一个众所周知的线性分量加上一个Lipschitz非线性。这种特殊的函数形式便于使用非线性系统理论的工具对经常性单元的长期行为进行稳定性分析。反过来，这使得在实验之前就可以做出架构设计决策。给出了递归单元全局稳定的充分条件，为隐到隐矩阵的构造提供了一种新的方法。我们的实验表明，Lipschitz RNN可以在一系列基准任务上优于现有的递归单元，包括计算机视觉，语言建模和语音预测任务。最后，通过基于Hessian的分析，我们证明了与其他连续时间RNN相比，我们的Lipschitz递归单元在输入和参数扰动方面更具鲁棒性。
2021-04-24 cs.LG math.DS stat.ML
How Much Temporal Modeling is Enough? A Systematic Study of Hybrid CNN-RNN Architectures for Multi-Label ECG Classification
Islamic Azad University（伊斯兰阿扎德大学）
本研究系统评估了混合CNN-RNN架构在多标签ECG分类中的有效性，发现单层BiLSTM结合CNN在性能与复杂性之间取得最佳平衡。
2026-01-25 cs.LG eess.SP
Dynamic Hand Gesture Recognition for Wearable Devices with Low Complexity Recurrent Neural Networks
Seoul National University（首尔大学）
手势识别对于许多可穿戴设备来说是一项非常重要的技术。虽然以前的算法大多是基于统计方法，包括隐马尔可夫模型，我们开发了两个动态手势识别技术，使用低复杂度的递归神经网络（RNN）算法。一种是基于视频信号，采用卷积神经网络（CNN）和RNN的组合结构。另一种使用加速度计数据，只需要RNN。进行将大部分权重量化为两位的定点优化，以优化用于权重存储的存储器大小的量，并降低基于硬件和软件的实现中的功耗。
2016-08-14 cs.CV cs.LG
Low-complexity Recurrent Neural Network-based Polar Decoder with Weight Quantization Mechanism
National Taiwan University（台湾大学）
极化码由于其容量实现性能而引起了广泛的关注并在5G新无线电（NR）中被采用。近年来，随着新兴的深度学习（DL）技术在多个领域取得突破性成果，提出了神经网络解码器，以获得比置信传播（BP）解码更快的收敛速度和更好的性能。然而，神经网络是存储密集型的，并且阻碍了DL在通信系统中的部署。在这项工作中，提出了一种低复杂度的递归神经网络（RNN）极性解码器与基于码本的权重量化。我们的测试结果表明，我们可以有效地减少98%的内存开销，降低计算复杂度，轻微的性能损失。
2019-02-02 cs.LG eess.SP
Adaptive and Iteratively Improving Recurrent Lateral Connections
Tel Aviv University（特拉维夫大学）；Facebook AI Research（脸书人工智能研究院）
当前领先的计算机视觉模型通常是前馈神经模型，其中一个计算块的输出被顺序地传递到下一个计算块。这与灵长类视觉皮层的组织形成鲜明对比，在灵长类视觉皮层中，反馈和横向连接非常丰富。在这项工作中，我们提出了一个计算模型的横向连接在一个给定的块，其中块的权重动态变化的功能，其激活，并从上游块的输入迭代重新引入的作用。我们展示了这种新的架构修改如何在没有预训练的情况下应用于视觉动作识别时，可以带来相当大的性能提升，并且它在ImageNet上的循环反馈处理性能优于文献架构。
2019-10-16 cs.CV cs.LG stat.ML
Recurrent Graph Tensor Networks: A Low-Complexity Framework for Modelling High-Dimensional Multi-Way Sequence
Department of Electrical and Electronic Engineering Imperial College London（帝国理工学院电子与电气工程系）；Imperial College London（帝国理工学院）
递归神经网络（RNN）是序列建模中最成功的机器学习模型之一，但在处理大型多维数据时，往往会遇到参数数量呈指数增长的问题。为此，我们开发了一个多线性图过滤器框架，用于近似RNN中隐藏状态的建模，该框架嵌入在张量网络架构中，以提高建模能力并降低参数复杂性，从而产生一种新的递归图张量网络（RGTN）。通过几个多路序列建模任务验证了所提出的框架，并以传统的RNN为基准。凭借图过滤器的域感知信息处理和张量网络的表达能力，我们表明，建议的RGTN不仅能够超越标准RNN，而且还减轻了与传统RNN相关的诅咒，在性能和复杂性方面表现出优越的性能。
2021-05-11 cs.LG stat.ML
Training Crossroads for Recurrent Vision Transformers: Recurrence, Neural ODEs, and Deep Supervision
本文针对单模块循环视觉Transformer，在CIFAR-100上对比三种训练推理模式，明确了循环与标准ViT的适用约束、ODE求解器阶数的作用，以及深度监督对训练时域外鲁棒性的提升效果。
2026-08-06 cs.CV cs.LG
Learning Implicitly Recurrent CNNs Through Parameter Sharing
TTI-Chicago（芝加哥技术研究所（TTI-Chicago））；University of Chicago（芝加哥大学）
我们引入了一个参数共享方案，其中卷积神经网络（CNN）的不同层由来自全局模板库的参数张量的学习线性组合定义。限制模板的数量产生了传统CNN和递归网络的灵活混合。与传统的CNN相比，我们在标准图像分类任务上节省了大量参数，同时保持了准确性。我们简单的参数共享方案，虽然通过软权重定义，但在实践中通常会产生具有近乎严格的递归结构的训练网络;副作用可以忽略不计，它们转换为具有实际循环的网络。因此，训练这些网络隐含地涉及发现合适的递归架构。虽然只考虑了循环链接的设计方面，但我们训练的网络的准确性与使用最先进的神经架构搜索（NAS）程序构建的网络相比具有竞争力。我们对递归和卷积网络的混合也可能代表了有益的架构偏见。具体来说，在本质上是算法的合成任务上，我们的混合网络既能更快地训练，又能更好地外推，以测试训练集范围之外的示例。
2019-03-13 cs.LG stat.ML
Inferring Algorithmic Patterns with Stack-Augmented Recurrent Nets
Facebook AI Research（Facebook人工智能研究院）
尽管最近在机器学习方面取得了一些成就，但我们离实现真正的人工智能还很远。在本文中，我们讨论了标准深度学习方法的局限性，并表明其中一些局限性可以通过学习如何以结构化的方式增加模型的复杂性来克服。具体来说，我们研究了最简单的序列预测问题，这些问题超出了标准递归网络的可学习范围，算法生成的序列只能通过具有计数和记忆序列能力的模型来学习。我们表明，一些基本的算法可以从序列数据中学习，使用与可训练记忆相关的递归网络。
2015-06-01 cs.LG cs.NE
Stochastic Recurrent Neural Network for Multistep Time Series Forecasting
University College London（伦敦大学学院）
基于深度架构的时间序列预测近年来越来越受欢迎，因为它们能够对复杂的非线性时间动态进行建模。循环神经网络就是这样一种能够处理可变长度输入和输出的模型。在本文中，我们利用深度生成模型的最新进展和状态空间模型的概念，提出了一种用于多步时间序列预测的循环神经网络的随机自适应，该网络采用随机梯度变分贝叶斯进行训练。在我们的模型设计中，循环神经网络的过渡函数，它决定了隐藏状态的演变，是随机的，而不是确定性的，因为在一个定期的循环神经网络;这是通过将一个潜在的随机变量到过渡过程中，捕捉随机性的时间动态。我们的模型保留了循环神经网络的架构工作，所有相关信息都封装在其隐藏状态中，这种灵活性使我们的模型可以轻松集成到任何深层架构中进行顺序建模。我们在从金融到医疗保健的广泛数据集上测试了我们的模型;结果表明，随机循环神经网络始终优于其确定性对应网络。
2021-06-25 cs.AI cs.LG
Performance and Complexity Analysis of bi-directional Recurrent Neural Network Models vs. Volterra Nonlinear Equalizers in Digital Coherent Systems
University of West Attica（西阿提卡大学）；University of the Aegean（爱琴大学）
我们调查的复杂性和性能的递归神经网络（RNN）模型作为后处理单元进行偏振复用16-QAM和32-QAM信号的数字相干系统中的光纤非线性补偿。我们评估了三种双向RNN模型，即bi-LSTM，bi-GRU和bi-Vanilla-RNN，并表明它们都是有前途的非线性补偿器，特别是在色散非管理系统中。我们的模拟表明，在推理过程中，这三种模型提供了相似的补偿性能，因此在现实生活中的系统中，基于Vanilla-RNN单元的最简单的方案应该是首选。我们比较了双香草-RNN与Volterra非线性均衡器，并在性能和复杂度方面展示了其优越性，从而突出了RNN处理是一个非常有前途的途径，用于升级长距离光通信系统利用相干检测。
2021-06-23 cs.LG eess.SP
An Improved Time Feedforward Connections Recurrent Neural Networks
Changsha University of Science & Technology（长沙理工大学）；Honam University（湖南大学）
循环神经网络（RNN）已被广泛应用于处理时态问题，如洪水预报和金融数据处理。一方面，由于严格的时间序列依赖性，传统的RNN模型放大了梯度问题，使得难以实现长期记忆功能。另一方面，RNN细胞是高度复杂的，这将显著增加计算复杂性，并在模型训练期间造成计算资源的浪费。本文首先提出了一种改进的时间前馈连接循环神经网络（TFC-RNNs）模型来解决梯度问题。在时间t-2处引入一个并行分支，将隐藏状态直接转移到时间t，而不需要在时间t-1处进行非线性变换。这对于改善RNN的长期依赖性是有效的。在此基础上，提出了一种新的单元结构--单栅递归单元（SGRU）。这种单元结构可以减少RNN单元的参数数量，从而降低计算复杂性。接下来，将SGRU应用于TFC-RNN作为新的TFC-SGRU模型解决了上述两个困难。最后，通过实验验证了TFC-SGRU的长期记忆和抗干扰能力。实验结果表明，我们提出的TFC-SGRU模型可以捕获有用的信息与时间步长1500，有效地过滤掉噪声。在语言处理能力方面，TFC-SGRU模型的准确性优于LSTM和GRU模型。
2022-11-03 cs.LG cs.NE
Architectural Proprioception in State Space Models: Thermodynamic Training Induces Anticipatory Halt Detection
本研究提出通过热力学训练使状态空间模型具备预见性停止检测能力，揭示其在元认知和计算自我意识方面的独特优势。
2026-03-04 cs.AI cs.LG
Connecting First and Second Order Recurrent Networks with Deterministic Finite Automata
McGill University（麦吉尔大学）；Pennsylvania State University（宾夕法尼亚州立大学）
我们提出了一种方法，将具有不同隐藏交互顺序的递归网络与具有不同复杂程度的规则语法连接起来。我们认为，递归网络和正式的计算模型之间的对应关系给予理解的递归网络的复杂行为的分析。我们引入了一个熵值，将所有的规则语法分为三类，具有不同程度的复杂性，并表明现有的几个经常性网络匹配的语法从所有或部分类。因此，正则文法之间的差异揭示了这些模型的不同属性。我们还提供了一个统一的所有调查经常性网络。我们的评估表明，统一递归网络在学习语法方面提高了性能，并且在具有更复杂模型的真实数据集上表现出相当的性能。
2019-11-12 cs.LG stat.ML
Coupled Recurrent Network (CRN)
The Hong Kong University of Science and Technology（香港科技大学）；Stanford University（斯坦福大学）；Samsung Strategy and Innovation Center, USA（三星战略与创新中心（美国））；South China University of Technology（华南理工大学）
许多语义视频分析任务可以从多个异构信号中受益。例如，除了原始RGB输入序列之外，通常使用光流序列来提高视频中的人类动作识别的性能。为了从这些异构的输入源中学习，现有的方法回复了双流架构设计，其中包含独立的并行递归神经网络（RNN）流。然而，双流RNN并没有完全利用多个信号中包含的互逆信息，更不用说以循环的方式利用它了。为此，我们在本文中提出了一种新的经常性架构，称为耦合递归网络（CRN），处理多个输入源。在CRN中，RNN的并行流耦合在一起。CRN的关键设计是一个循环解释块（RIB），它支持以循环方式从多个信号中学习互逆特征表示。与RNN在每个时间步或最后一个时间步上叠加训练损失不同，我们提出了一种有效的CRN训练策略。实验结果表明，建议CRN的有效性。特别是，我们在人体动作识别和多人姿态估计的基准数据集上实现了最新的技术水平。
2019-03-25 cs.CV cs.LG
The Recurrent Transformer: Greater Effective Depth and Efficient Decoding
Harvard University（哈佛大学）
递归变换器通过层间递归记忆机制，在保持标准自回归解码成本的同时，提升了有效深度并减少了内存占用，实现了比传统变换器更高效的解码性能。
2026-04-23 cs.LG
On the Role of Noise in the Sample Complexity of Learning Recurrent Neural Networks: Exponential Gaps for Long Sequences
McMaster University（麦克马斯特大学）；Vector Institute（向量研究所）
本文研究带噪声 sigmoid 循环神经网络的 PAC 学习样本复杂度，证明有噪声时上界为 O(w log(T/σ))，无噪声时下界为 Ω(wT)，揭示噪声使样本复杂度对序列长度 T 的依赖从线性降为对数级，形成指数级差距。
2023-05-28 cs.LG stat.ML
Dynamic Neural Network Architectural and Topological Adaptation and Related Methods -- A Survey
University of Vienna（维也纳大学）
由于架构复杂性和数据集大小的稳步增加，深度神经网络（DNN）中的训练和推理已经导致用于减少DNN训练和推理的时间和空间要求的策略的发展，这在训练发生在资源受限的计算环境中或推理是时间关键应用的一部分的场景中特别重要。在本次调查中，我们的目标是提供一个总体概述和分类的国家的最先进的（SOTA）的技术，以减少DNN的训练和推理时间和空间复杂度，特别是侧重于架构的适应。
2021-07-28 cs.AI cs.LG
Sample Complexity Bounds for Recurrent Neural Networks with Application to Combinatorial Graph Problems
Carnegie Mellon University（卡内基梅隆大学）；ETH Zurich（苏黎世联邦理工学院）
学习预测实值组合图问题的解决方案，保证有效的近似。正如基于NP-硬边集团覆盖数所证明的那样，循环神经网络（RNN）特别适合于此任务，甚至可以超越最先进的算法。然而，用于估计实值RNN的理论框架仅知之甚少。作为我们的主要贡献，这是第一个为学习实值RNN的样本复杂度上界的工作。虽然这种推导已经提前前馈和卷积神经网络，我们的工作提出了第一次这样的尝试循环神经网络。给定一个具有$a$整流线性单元和长度为$b$的输入的单层RNN，我们证明了$\varepsilon$的人口预测误差可以在最多$\tilde{\mathcal{O}}(a^4b/\varepsilon^2)$样本的情况下实现。我们进一步推导出多层RNN的可比结果。因此，可以在$\tilde{\mathcal{O}}(n^6/\varepsilon^2)$中学习馈送有至多$n$顶点的图的大小自适应RNN，即，仅具有多项式数量的样本。对于组合图问题，这提供了一个理论基础，使RNN具有竞争力。
2019-11-19 cs.LG stat.ML
EchoLSTM: A Self-Reflective Recurrent Network for Stabilizing Long-Range Memory
Independent Researcher（独立研究者）
针对循环神经网络在噪声序列中难以建模长程依赖的问题，提出基于输出条件门控的EchoLSTM模型，通过自反思机制增强记忆保留，在干扰任务上大幅超越LSTM并在ListOps上以更高参数效率媲美Transformer。
2025-11-03 cs.LG
Tuning Algorithmic and Architectural Hyperparameters in Graph-Based Semi-Supervised Learning with Provable Guarantees
Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文正式研究了基于图的半监督学习中的超参数调整问题，为经典标签传播算法族推导了伪维度上下界，并界定了现代图神经网络（SGC及GCN与GAT插值架构）中架构超参数的 Rademacher 复杂度。
2025-07-16 cs.LG
Bidirectional Linear Recurrent Models for Sequence-Level Multisource Fusion
Iowa State University（爱荷华州立大学）；Tsinghua University（清华大学）
针对序列建模中Transformer二次复杂度限制长序列应用、传统RNNs并行性不足的问题，提出BLUR双向线性循环模型，通过前后向LRUs实现线性复杂度与快速并行训练，在准确性和计算成本上优于现有模型，适用于长序列预测任务。
2025-04-11 cs.LG
When Do Transformers Outperform Feedforward and Recurrent Networks? A Statistical Perspective
University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；Google Research（谷歌研究院）；New York University（纽约大学）；Flatiron Institute（弗拉蒂伦研究院）
论文提出动态稀疏检索的序列到序列模型，从样本复杂度角度证明单层 Transformer 在注意力头数不少于 $q$ 时可几乎不受序列长度 $N$ 影响，并揭示其相对循环与前馈网络的层级优势。
2025-03-14 cs.LG stat.ML
Weight-Space Linear Recurrent Neural Networks
University of Bristol（布里斯托大学）；University of Maryland（马里兰大学）
WARP通过权重空间学习与线性递归结合，重新定义序列建模，实验证明其在多个任务中表现优异，具备高效适应和物理先验整合能力。
2026-03-02 cs.LG
Task-Driven Convolutional Recurrent Models of the Visual System
Stanford University（斯坦福大学）；McGovern Institute for Brain Research, MIT（麻省理工学院麦戈文脑研究所）；MIT（麻省理工学院）；KU Leuven（鲁汶大学）；Google Brain, Google, Inc.（谷歌公司谷歌大脑）；Wu Tsai Neurosciences Institute（吴蔡神经科学研究所）
前馈卷积神经网络（CNN）目前是ImageNet等对象分类任务的最新技术。此外，它们是灵长类动物大脑视觉系统中神经元时间平均反应的定量准确模型。然而，生物视觉系统有两个普遍存在的结构特征，这两个特征与典型的CNN不同：皮质区域内的局部复发，以及从下游区域到上游区域的远程反馈。在这里，我们探讨了递归在提高分类性能中的作用。我们发现，标准形式的递归（vanilla RNN和LSTM）在ImageNet任务的深度CNN中表现不佳。相比之下，包含两个结构特征（旁路和门控）的新型细胞能够大幅提高任务准确性。我们将这些设计原则扩展到数千个模型架构的自动搜索中，这些架构识别出了对对象识别有用的新的局部递归细胞和远程反馈连接。此外，这些任务优化的ConvRNN比前馈网络更好地匹配了灵长类视觉系统中神经活动的动态，这表明大脑的循环连接在执行困难的视觉行为中发挥了作用。
2018-10-27 cs.AI cs.CV cs.LG
DizzyRNN: Reparameterizing Recurrent Neural Networks for Norm-Preserving Backpropagation
Cornell University（康奈尔大学）
消失和爆炸梯度问题是研究得很好的障碍，使得循环神经网络很难学习长期的时间依赖性。我们提出了一种标准循环神经网络的重新参数化，通过Givens旋转以可证明的范数保持方式更新线性变换。此外，我们使用绝对价值函数作为逐元素非线性，以保持整个网络上反向传播信号的范数。我们表明，这种重新参数化减少了参数的数量，并保持相同的算法复杂度作为一个标准的递归神经网络，同时优于标准的递归神经网络与正交初始化和长短期记忆网络的复制问题。
2016-12-13 cs.LG
Deep Echo State Network (DeepESN): A Brief Survey
Department of Computer Science, University of Pisa（比萨大学计算机科学系）
深度递归神经网络（RNN）的研究，特别是深度储备池计算（RC）的研究，在神经网络界正获得越来越多的研究关注。最近推出的深度回声状态网络（DeepESN）模型为设计用于时态数据的深度神经网络开辟了一条非常有效的方法。与此同时，对DeepESN的研究揭示了由递归层的分层组成所开发的状态动态的内在属性，即RNN架构设计中的深度偏差。本文总结了DeepESN的开发、分析和应用方面的进展。
2020-09-25 cs.AI cs.LG stat.ML
Poolformer: Recurrent Networks with Pooling for Long-Sequence Modeling
MSc Artificial Intelligence Master Thesis（人工智能硕士论文）
针对自注意力处理长序列效率低的问题，提出用循环层替代自注意力、引入池化操作且基于SkipBlock递归构建的Poolformer模型，在原始音频任务上优于现有最优模型，可拓展至多模态场景。
2025-10-02 cs.LG
Adaptive Extreme Learning Machine for Recurrent Beta-basis Function Neural Network Training
University of Sfax（斯法克斯大学）
Beta基函数神经网络（BBFNN）是一类特殊的核基神经网络。它是一种前馈网络，典型的是使用beta函数作为隐藏的激活函数。Beta是一个灵活的传递函数，比现有的常见函数形式更丰富。在每个网络中，结构设置以及学习方法是BBFNN面临的两个主要挑战。本文提出了一种新的BBFNN结构和训练算法。极端学习机（ELM）被用作BBFNN的训练方法，目的是加快训练过程。ELM的特点是允许一定的计算时间和复杂度的递减对于已经使用的BBFNN学习算法，如反向传播，OLS等的架构设计，递归结构添加到共同的BBFNN架构，以使它更能够处理复杂的，非线性和时变的问题。在本文中，构思的循环ELM训练的BBFNN进行了测试，在一些与时间序列预测，分类和回归相关的任务。实验结果表明，与采用ELM和双曲正切作为激活函数训练的普通前馈和递归网络相比，该网络具有显著的性能。这些成就是在准确性和对数据故障（如噪声信号）的鲁棒性方面。
2018-10-31 cs.AI cs.LG stat.ML
Stable and expressive recurrent vision models
Carney Institute for Brain Science（卡尼脑科学研究所）；Department of Cognitive Linguistic & Psychological Sciences（认知语言与心理科学系）；Brown University（布朗大学）
灵长类动物的视觉依赖于可靠感知的循环处理。越来越多的文献还表明，循环连接提高了经典计算机视觉挑战中视觉模型的学习效率和泛化能力。那么，为什么当前的大规模挑战由前馈网络主导？我们认为，递归视觉模型的有效性是由用于训练它们的标准算法“时间反向传播”（BPTT）来检验的，该算法对于训练N步模型具有O（N）的内存复杂度。因此，递归视觉模型设计受到内存约束的限制，迫使人们在与领先的前馈模型的巨大容量竞争或试图通过粒度和复杂的动态来弥补这一缺陷之间做出选择。在这里，我们开发了一种新的学习算法，“承包商递归反向传播”（C-RBP），它通过实现恒定的O（1）的内存复杂度与递归处理的步骤来解决这些问题。我们证明了使用C-RBP训练的递归视觉模型可以在BPTT训练的模型无法检测的合成轮廓跟踪任务中检测到长距离空间依赖性。我们进一步表明，用C-RBP训练的递归视觉模型解决大规模全景分割MS-COCO挑战的性能优于领先的前馈方法，自由参数更少。C-RBP是一种通用学习算法，适用于任何可以受益于扩展循环动态的应用程序。代码和数据可在https://github.com/c-rbp上获得。
2020-10-22 cs.CV cs.LG
Fast and Deep Graph Neural Networks
University of Pisa（比萨大学）
我们解决了构建深度图神经网络（GNN）的效率问题。该方法利用了将每个输入图表示为动态系统的固定点（通过递归神经网络实现）的想法，并利用了递归单元的深层架构组织。效率是通过许多方面获得的，包括使用小型和非常稀疏的网络，其中经常性单元的权重在本工作中引入的稳定性条件下未经训练。这可以被视为研究深度GNN架构的内在力量的一种方式，也可以为建立更复杂的完全训练模型提供见解。通过实验结果，我们表明，即使没有训练循环连接，小型深度GNN的架构也能够在图分类领域的一组重要任务上实现或提高最先进的性能。
2019-11-20 cs.LG math.DS stat.ML
How Many Samples are Needed to Estimate a Convolutional or Recurrent Neural Network?
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
人们普遍认为，卷积神经网络（CNN）和递归神经网络（RNN）的实际成功归因于CNN和RNN使用比其全连接神经网络（FNN）对应物更紧凑的参数表示，因此需要更少的训练示例来准确估计其参数。我们开始研究严格表征估计CNN和RNN的样本复杂性。我们证明了学习CNN和RNN的样本复杂度与它们的内在维度成线性关系，并且这种样本复杂度比它们的FNN对应物小得多。对于CNN和RNN，我们还提出了下界，表明我们的样本复杂度接近对数因子。我们得出这些结果的主要技术工具是一个本地化的经验过程分析和一个新的技术引理表征卷积和经常性的结构。我们相信这些工具可能会激发对CNN和RNN的进一步理解。
2019-06-30 cs.AI cs.CV cs.LG
Recurrent Neural Radio Anomaly Detection
Virginia Tech（弗吉尼亚理工大学）
我们介绍了一个强大的递归神经网络为基础的方法，新颖性检测的应用程序检测无线电异常。这种方法在显著提高朴素异常检测的能力以检测高度复杂的复杂度多用户无线电频带中的小异常方面具有希望。我们证明了这种方法的有效性，一些共同的真正的空中无线电通信频段的利益和量化检测性能的概率检测的虚警率在一个范围内的干扰带功率比和比较基线方法。
2016-11-01 cs.LG
Kronecker Recurrent Units
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们的工作解决了递归神经网络的两个重要问题：（1）它们是过参数化的，（2）递归矩阵是病态的。前者增加了学习的样本复杂度和训练时间。后者导致梯度消失和爆炸问题。我们提出了一个灵活的递归神经网络模型称为克罗内克递归单位（KRU）。KRU通过Kronecker分解的递归矩阵在RNN中实现参数效率。通过对因子施加软酉约束，克服了递归矩阵的病态性。由于因子的维数很小，保持这些约束在计算上是高效的。我们在7个标准数据集上的实验结果表明，与现有的递归模型相比，KRU可以将递归权重矩阵中的参数数量减少三个数量级，而不会牺牲统计性能。这些结果特别表明，虽然具有高维递归空间具有优势，但模型的递归部分的容量可以显着降低。
2017-12-31 cs.LG
Reinforcement Learning with Low-Complexity Liquid State Machines
Purdue University（普渡大学）
我们在简单网络上提出了强化学习，该网络由尖峰神经元（递归和前馈）的随机连接组成，可以用很少的可训练参数学习复杂的任务。这种稀疏和随机互连的循环尖峰网络表现出高度非线性的动态，根据过去的上下文将输入转换为丰富的高维表示。随机输入表示可以由具有可训练参数的输出（或读出）层有效地解释。随机连接的系统初始化和使用Q-学习算法的读出层的训练使这种小的随机尖峰网络能够最佳地学习，并在像Atari游戏这样的复杂强化学习任务上实现与人类相同的学习效率。使用小型随机递归网络的基于尖峰的方法为具有多层可训练参数的最先进的深度强化学习网络提供了计算效率高的替代方案。低复杂度的尖峰网络可以提高事件驱动的神经形态硬件的能量效率，用于复杂的强化学习任务。
2019-06-04 cs.LG stat.ML
Revisiting Bi-Linear State Transitions in Recurrent Neural Networks
Qualcomm AI Research（高通人工智能研究）
本文重新审视循环神经网络中的双线性状态转移，证明其是状态跟踪任务中隐藏状态演化的自然归纳偏置，并揭示其与任务复杂度的层级关系，Mamba位于最低复杂度中心。
2025-10-24 cs.CL cs.LG
Recurrent Neural Networks in the Eye of Differential Equations
Massachusetts Institute of Technology（麻省理工学院）；Google Inc.（谷歌公司）；IBM Research（IBM研究院）
为了理解递归神经网络的训练稳定性、时间动态性和结构复杂性之间的基本权衡，我们使用常微分方程的数值方法直接分析了递归神经网络的结构。我们定义了一个一般的家庭的RNN-ODERNs-通过相关的RNN的组成规则，常微分方程的集成方法在离散的时间步长。我们证明了RNN的功能非线性度$n$和时间记忆范围$t$可以映射到相应的Runge-Kutta递归阶段和常微分方程的时间导数阶数。我们证明了流行的RNN架构，如LSTM和URNN，适合不同顺序的$n$ - $t$ -ODERNs。RNN和ODE之间的这种精确对应关系有助于我们建立RNN训练稳定性的充分条件，并有助于使用来自ODE数值积分的各种工具箱来更灵活地自上而下设计新的RNN架构。我们提供这样一个例子：量子通用计算神经网络（QUNN）将训练参数的个数从数据长度和时间记忆长度的多项式减少到时间记忆长度的线性。
2019-04-29 cs.LG quant-ph stat.ML
Symbol-Equivariant Recurrent Reasoning Models
ELLIS Unit Linz, LIT AI Lab \& Institute for Machine Learning, Johannes Kepler University Linz, Austria；Clinical Research Institute for Medical AI, Johannes Kepler University Linz, Austria
SE-RRMs通过显式编码符号对称性，提升了神经推理的鲁棒性和可扩展性，在数独和ARC-AGI任务中表现优异。
2026-03-02 cs.AI cs.LG stat.ML
StateX: Enhancing RNN Recall via Post-training State Expansion
Department of Science and Technology, Tsinghua University（清华大学科学技术部）
StateX通过后训练方法扩展RNN状态，提升长上下文回忆与上下文学习性能，无需显著增加参数量。
2026-04-24 cs.AI cs.CL cs.LG
Training Input-Output Recurrent Neural Networks through Spectral Methods
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of California, Irvine（加利福尼亚大学欧文分校）
我们考虑训练输入输出循环神经网络（RNN）的序列标记任务的问题。我们提出了一种新的谱学习网络参数的方法。它基于输出和输入的非线性变换之间的交叉矩张量的分解，基于得分函数。我们保证一致的学习与多项式样本和计算复杂性透明的条件下，如非退化的模型参数，多项式激活的神经元，和马尔可夫进化的输入序列。我们还将我们的结果扩展到双向RNN，它使用以前和未来的信息来输出每个时间点的标签，并用于许多NLP任务，如POS标记。
2016-10-31 cs.LG cs.NE stat.ML
Complexity-calibrated Benchmarks for Machine Learning Reveal When Next-Generation Reservoir Computer Predictions Succeed and Mislead
W. M. Keck Science Department of Pitzer, Scripps, and Claremont McKenna College（皮泽学院、斯克里普斯学院和克莱蒙特·麦肯纳学院W.M.凯克科学系）；Nanyang Technological University（南洋理工大学）；University of California at Davis（加州大学戴维斯分校）
递归神经网络用于预测金融、气候、语言和许多其他领域的时间序列。水库计算机是一种特别容易训练的递归神经网络形式。最近，一种“下一代”水库计算机被引入，其中内存跟踪只涉及有限数量的以前的符号。在这个有趣的提议中，我们探讨了有限过去记忆痕迹的固有局限性。Fano不等式的下界表明，在由大概率状态机生成的高度非马尔可夫过程中，具有相当长的内存轨迹的下一代水库计算机的错误概率至少比预测下一个观测的最小可达错误概率高约60%。更一般地说，流行的递归神经网络似乎远远不能最佳地预测这种复杂的过程。这些结果强调了对新一代优化的递归神经网络架构的需求。除了这一发现，我们提出了随机生成的，但复杂的过程的浓度测量结果。一个结论是，大型概率状态机-特别是大型$ε$ -机器-是为地面实况递归神经网络架构生成具有挑战性和结构无偏刺激的关键。
2023-03-25 cs.LG stat.ML
Animal Behavior Classification via Accelerometry Data and Recurrent Neural Networks
CSIRO（澳大利亚联邦科学与工业研究组织）；NSW Department of Primary Industries（新南威尔士州初级产业部）
我们通过各种递归神经网络（RNN）模型使用加速度计数据研究动物行为的分类。我们评估了所考虑模型的分类性能和复杂性，这些模型具有不同深度和宽度的长短时记忆（LSTM）或门控递归单元（GRU）架构，使用通过项圈或耳标从牛获得的四个数据集。我们还包括两个国家的最先进的卷积神经网络（CNN）为基础的时间序列分类模型的评估。结果表明，与基于CNN的模型相比，基于RNN的模型可以实现相似或更高的分类精度，同时具有更少的计算和内存需求。我们还观察到，GRU架构的模型在分类准确性方面通常优于LSTM架构的模型，尽管复杂度较低。具有64个隐藏单元的单层单向GRU模型似乎在准确性和复杂性之间提供了良好的平衡，使其适合在边缘/嵌入式设备上实现。
2021-11-24 cs.AI cs.LG
ROTE: Benchmarking Neural Memorization on Complexity-Controlled Symbolic Sequences
ROTE基准通过LZW复杂度控制的符号序列，评估神经架构的精确记忆能力，揭示记忆质量、滚动稳定性与计算开销之间的权衡。
2026-09-29 cs.AI cs.LG
Learning Point Processes using Recurrent Graph Network
我们提出了一种新的递归图网络（RGN）的方法来预测离散的标记事件序列，通过学习潜在的复杂随机过程。利用点过程的框架，我们解释了一个显着的离散事件序列的叠加不同的序列，每一个独特的类型。图网络的节点使用LSTM来整合过去的信息，而图注意力网络（GAT网络）引入了强归纳偏差来捕捉这些不同类型事件之间的交互。通过改变自我注意机制，从过去的事件出席出席的事件类型，我们得到了减少的时间和空间复杂度从$\mathcal{O}(N^2)$（事件总数）到$\mathcal{O}(|\mathcal{Y}|^2)$（事件类型的数量）。实验结果表明，与现有的基于Transformer的算法相比，该算法在对数似然、预测和拟合优度等任务中具有更低的时间和空间复杂度.
2022-08-11 cs.AI cs.LG
Compact recurrent neural networks for acoustic event detection on low-energy low-complexity platforms
ICT-irst Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会ICT-irst研究所）；Manipal Academy of Higher Education（马尼帕尔高等教育学院）
户外声学事件检测是一个令人兴奋的研究领域，但由于需要复杂的算法和深度学习技术，通常需要许多计算，内存和能源资源，因此面临挑战。这一挑战阻碍了物联网的实施，因为物联网需要有效利用资源。然而，当前的嵌入式技术和微控制器已经在不影响能源效率的情况下提高了它们的能力。本文通过在物联网资源受限的嵌入式平台上优化深度学习技术，解决了边缘声音事件检测的应用。贡献是双重的：首先，提出了一个两阶段的学生-教师方法，使最先进的神经网络的声音事件检测适合当前的微控制器;其次，我们测试我们的方法在ARM Cortex M4上，特别是专注于与8位量化的问题。我们的嵌入式实现可以在Urbansound 8 k上实现68%的识别准确率，与最先进的性能相差不远，每秒音频流的推理时间为125 ms，仅34.3 kB RAM的功耗为5.5 mW。
2020-01-29 cs.LG cs.SD eess.AS
Understanding Dynamic Compute Allocation in Recurrent Transformers
Pennsylvania State University（宾夕法尼亚州立大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本研究提出ANIRA框架，通过受控复杂度评估范式，分析令牌级自适应计算在对齐复杂性、泛化和决策时间方面的表现，发现计算分配与任务复杂性一致并不等同于算法泛化。
2026-02-09 cs.AI cs.CL cs.LG
Efficient Metropolitan Traffic Prediction Based on Graph Recurrent Neural Network
Shanghai Jiao Tong University（上海交通大学）；Shanghai Transportation Information Center（上海交通信息中心）
交通流预测是智能交通系统（ITS）中的一项重要任务，但由于交通流的时空特性，特别是在大城市环境下，如何在保证低计算复杂性的前提下实现高精度的交通流预测具有很大的挑战性。在这项工作中，一个新的拓扑框架，称为链接网络，提出了道路网络建模和交通流的传播模式。基于链接网络模型，设计了一种新的在线预测器--图循环神经网络（GRNN），用于学习图中的传播模式。该算法能够根据整个图的信息同时预测所有路段的交通流，从而在保证较高精度的同时，将计算复杂性从O（nm）降低到O（n+m）.此外，它还可以预测交通趋势的变化。基于真实数据的实验表明，该方法优于现有的预测方法。
2018-11-02 cs.AI cs.LG
Exploring the Promise and Limits of Real-Time Recurrent Learning
Center for Brain Science, Harvard University（哈佛大学脑科学中心）；The Swiss AI Lab, IDSIA, USI & SUPSI（瑞士IDSIA人工智能实验室（隶属于瑞士意大利语区大学和瑞士应用科学大学））；AI Initiative, KAUST（阿卜杜拉国王科技大学人工智能倡议）
本文研究结合RTRL与策略梯度的actor-critic方法，利用逐元素循环架构实现无近似RTRL，并在DMLab等环境中以更少训练帧达到或超过IMPALA、R2D2基线，同时揭示多层复杂度等局限。
2024-02-28 cs.LG
Block-Recurrent Dynamics in Vision Transformers
Kempner Institute, Harvard University（哈佛大学凯普纳研究所）；University of Osnabrück（奥斯纳布吕克大学）
本文提出块递归假设，表明训练后的ViT具有块递归深度结构，通过少量块的递归计算可复现原始深度的计算。通过训练Raptor模型恢复DINOv2的准确率，验证了块递归结构的存在，并揭示了模型动态可解释性。
2026-03-17 cs.AI cs.CV cs.LG
