Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling
Duke University（杜克大学）
循环神经网络（RNN）在语言建模方面表现出了良好的性能。然而，使用时间反向传播的RNN的传统训练经常遭受过拟合。其中一个原因是随机优化（用于大型训练集）不能提供模型不确定性的良好估计。本文利用随机梯度马尔可夫链蒙特卡罗（也适用于大型训练集）的最新进展来学习RNN中的权重不确定性。它产生了一个原则性的贝叶斯学习算法，在训练过程中添加梯度噪声（增强对模型参数空间的探索），并在测试时对模型进行平均。在各种RNN模型和广泛的应用程序上进行的大量实验表明，所提出的方法优于随机优化。
2017-04-24 cs.CL cs.LG
Scalable Polyhedral Verification of Recurrent Neural Networks
ETH Zürich（苏黎世联邦理工学院）；VMWare Research（威睿研究部）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Hitachi Power Grids Research（日立电网研究院）
我们提出了一个可扩展的和精确的验证循环神经网络，称为证明基于两个新的想法：（i）一种方法来计算一组多面体抽象的非凸和非线性的经常性更新功能相结合的采样，优化和费马定理，和（ii）一个基于梯度下降的算法抽象细化的认证问题，结合多个抽象每个神经元的指导。使用Prover，我们提出了第一个证明循环神经网络的非平凡用例的研究，即语音分类。为了实现这一点，我们还为非线性语音预处理管道开发了自定义抽象。我们的评估表明，Prover成功地验证了计算机视觉，语音和运动传感器数据分类中的几个具有挑战性的经常性模型，超出了先前的工作。
2021-06-10 cs.LG cs.SD eess.AS
Scalable Learning in Structured Recurrent Spiking Neural Networks without Backpropagation
Department of Electrical and Computer Engineering（电气与计算机工程系）；Worcester Polytechnic Institute（沃斯特理工学院）
本文提出一种结构化多层递归SNN架构，通过局部密集递归层与稀疏小世界长程连接相结合，实现无需反向传播的监督学习，展示了稀疏全局通信和纯局部突触更新的高效学习方法。
2026-05-01 cs.AI cs.LG cs.NE
Learning Scalable Deep Kernels with Recurrent Structure
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
语音、机器人、金融和生物学中的许多应用程序都处理顺序数据，其中排序和循环结构是常见的。然而，标准内核函数无法轻松捕获这种结构。为了模拟这样的结构，我们提出了表达高斯过程的封闭形式的核函数。由此产生的模型GP-LSTM完全封装了长短期记忆（LSTM）递归网络的归纳偏差，同时保留了高斯过程的非参数概率优势。我们通过使用新的可证明收敛的半随机梯度过程优化高斯过程边际似然来学习所提出的内核的属性，并利用这些内核的结构进行可扩展的训练和预测。这种方法为贝叶斯LSTM提供了一种实用的表示方法。我们在几个基准测试中展示了最先进的性能，并彻底研究了一个相应的自动驾驶应用程序，其中GP-LSTM提供的预测不确定性具有独特的价值。
2017-10-05 cs.AI cs.LG stat.ML
Parallel Scan Recurrent Neural Quantum States for Scalable Variational Monte Carlo
Department of Physics；Astronomy, University of California, Davis, California 95616, USA；Astronomy, San Jos\'e State University, San Jos\'e, California 95192, USA；Department of Applied Mathematics, University of Waterloo, Waterloo, ON N2L 3G1, Canada；Vector Institute, Toronto, Ontario, M5G 0C6, Canada
本文提出并行扫描循环神经量子态，通过并行化递归结构实现高效变分蒙特卡洛计算，在一维和二维空间中实现大规模自旋晶格模拟。
2026-05-13 cond-mat.dis-nn cond-mat.str-el cs.LG
R2DN: Scalable Parameterization of Contracting and Lipschitz Recurrent Deep Networks
Australian Centre for Robotics（澳大利亚机器人中心）；School of Aerospace, Mechanical and Mechatronic Engineering（航空航天、机械与机电工程学院）；The University of Sydney（悉尼大学）
本文提出鲁棒循环深度网络（R2DN），通过将线性时不变系统与1-Lipschitz深度前馈网络反馈互联，直接参数化权重以保证模型稳定（收缩）且对小输入扰动鲁棒（Lipschitz），相比循环均衡网络（REN）无需迭代求解均衡层，显著提升GPU上的推理和反向传播速度，并在非线性系统辨识、观测器设计和基于学习的反馈控制中实现相近性能下训练和推理速度提升一个数量级。
2026-09-18 cs.LG cs.SY eess.SY
Scalable Convolutional Dictionary Learning with Constrained Recurrent Sparse Auto-encoders
Harvard University（哈佛大学）；Manifold AI（Manifold人工智能公司）
给定一组观测信号的卷积字典，精心设计的自动编码器能否在存在噪声的情况下恢复字典？我们引入了一个自动编码器架构，称为约束循环稀疏自动编码器（CRsAE），回答这个问题的肯定。给定输入信号和近似字典，编码器使用FISTA找到稀疏近似。解码器通过将字典应用于编码器的输出来重构信号。CRsAE中的编码器和解码器在用于字典学习的基于优化的交替最小化方案中并行稀疏编码和字典更新步骤。因此，编码器和解码器的参数不是独立的，这是我们第一次强制执行的约束。我们推导出反向传播算法CRsAE。CRsAE是一个盲声源分离的框架，只有知道源（字典元素）的数量，并假设稀疏-许多可以重叠，是能够分离它们。我们证明了它的实用程序的背景下，尖峰排序，计算神经科学中的声源分离问题。我们证明了CRsAE的能力，以恢复潜在的字典，并表征其灵敏度作为SNR的函数。
2018-07-12 cs.LG stat.ML
A Scalable Decentralized Reinforcement Learning Framework for UAV Target Localization Using Recurrent PPO
University of Moratuwa（莫拉图瓦大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Nanyang Technological University（南洋理工大学）
针对感知退化环境下的无人机目标定位问题，提出基于Recurrent PPO的去中心化强化学习框架，支持单/双无人机模式，双机模式虽准确率略低但定位步数更少，为无人机集群目标定位提供了高效方案。
2024-12-09 cs.LG cs.RO
Chipmunk: A Systolically Scalable 0.9 mm${}^2$, 3.08 Gop/s/mW @ 1.2 mW Accelerator for Near-Sensor Recurrent Neural Network Inference
ETH Zurich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）
递归神经网络（RNN）是语音感知/理解和语音识别的最新技术。在低功耗移动和可穿戴设备上进行RNN的设备计算将是零延迟语音人机界面等应用的关键。在这里，我们介绍了Chipmunk，一个小型（<1 mm ${}^2$）硬件加速器，用于UMC 65 nm技术的长短期记忆RNN，能够在1.24 mW峰值功率下以高达3.08 Gop/s/mW的实测峰值效率运行。为了实现大型RNN模型而不产生巨大的内存传输开销，多个Chipmunk引擎可以合作形成单个脉动阵列。通过这种方式，75块配置的Chipmunk架构可以在Graves等人提出的要求苛刻的RNN拓扑上实现实时音素提取，平均功耗小于13 mW。
2018-02-20 cs.DC cs.LG cs.NE
Stabilizing Recurrent Dynamics for Test-Time Scalable Latent Reasoning in Looped Language Models
State Key Laboratory of Novel Software Technology, Nanjing University, Nanjing, China（新型软件技术国家重点实验室，南京大学，南京，中国）；School of Artificial Intelligence, Nanjing University, Nanjing, China（人工智能学院，南京大学，南京，中国）；School of Intelligence Science and Technology, Nanjing University, Nanjing, China（智能科学与技术学院，南京大学，南京，中国）
提出STARS训练框架，通过雅可比谱半径正则化约束潜在状态趋近渐近稳定不动点，解决循环语言模型深度递归时性能崩溃问题，实现可靠的测试时扩展并提升峰值性能。
2026-05-26 cs.AI cs.LG
Scalable End-to-end Recurrent Neural Network for Variable star classification
Pontificia Universidad Católica de Chile（智利天主教大学）；Millennium Institute of Astrophysics（千年天体物理研究所）；Institute for Applied Computational Science, Harvard University（哈佛大学应用计算科学研究所）；Harvard University（哈佛大学）
在过去的十年中，相当大的努力已经取得了自动分类的变星使用机器学习技术。传统上，光变曲线被表示为描述符或特征的向量，用作许多算法的输入。一些特征在计算上是昂贵的，不能快速更新，因此对于大型数据集，如LSST不能应用。以前的工作已经完成，开发替代的无监督特征提取算法的光变曲线，但这样做的成本仍然很高。在这项工作中，我们提出了一个端到端的算法，自动学习光变曲线的表示，允许准确的自动分类。我们研究了一系列基于递归神经网络的深度学习架构，并在自动分类场景中对其进行了测试。我们的方法使用最少的数据预处理，可以以较低的计算成本更新新的观测和光变曲线，并可以扩展到大规模的数据集。我们将每个光变曲线转换成一个输入矩阵表示，其元素是时间和幅度的差异，输出是分类概率。我们测试我们的方法在三个调查：OGLE-III，盖亚和智慧。我们得到的精度约$95\%$的主要类和$75\%$的大多数子类。我们将我们的结果与随机森林分类器进行比较，并在更快和可扩展的同时获得具有竞争力的准确性。分析表明，我们的方法的计算复杂度线性增长的光变曲线的大小，而传统的方法的成本增长为$N\log{(N)}$。
2020-02-03 astro-ph.IM cs.LG
Deep Recurrent Encoder: A scalable end-to-end network to model brain signals
Facebook AI Research（脸书人工智能研究院）；ENSAM（巴黎高等工程技术学院）；Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；École normale supérieure, PSL University（巴黎文理研究大学高等师范学院）；CNRS（法国国家科学研究中心）
理解大脑如何对感官输入做出反应是一项挑战：大脑记录是部分的，嘈杂的，高维的;它们在不同的会话和主题中变化，并且它们捕获高度非线性的动态。这些挑战导致社区开发了各种预处理和分析（几乎完全是线性的）方法，每种方法都旨在解决其中一个问题。相反，我们建议通过特定的端到端深度学习架构来解决这些挑战，该架构经过训练，可以同时预测多个受试者的大脑反应。我们成功地测试了这种方法在一个小时的阅读任务中获得的脑磁图（MEG）记录的大型队列。我们的深度递归编码（DRE）架构可靠地预测了MEG对单词的反应，与经典线性方法相比有三倍的改进。为了克服深度学习的可解释性问题，我们描述了一个简单的变量重要性分析。当应用于DRE时，该方法恢复了对单词长度和单词频率的预期诱发反应。目前深度学习方法的定量改进为更好地理解来自大型数据集的大脑活动的非线性动力学铺平了道路。
2022-09-30 cs.LG cs.NE q-bio.NC
Hardware-Software Co-Design of Scalable, Energy-Efficient Analog Recurrent Computations
University of Liège（列日大学）
通过软硬件协同设计，利用双稳态记忆循环单元（BMRU）的离散输出抑制噪声，实现了超低功耗的模拟循环神经网络硬件。
2026-05-26 cs.AR cs.LG
Integrating Recurrent Neural Networks with Data Assimilation for Scalable Data-Driven State Estimation
Cooperative Institute for Research in Environmental Sciences（环境科学合作研究所）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Physical Sciences Laboratory（物理科学实验室）；National Oceanic and Atmospheric Administration（美国国家海洋和大气管理局）；University of California San Diego（加州大学圣地亚哥分校）；Scripps Institution of Oceanography（斯克里普斯海洋研究所）
数据同化（DA）与机器学习相结合，以执行完全数据驱动的在线状态估计。为了实现这一目标，循环神经网络（RNN）实现代理模型，以取代数值天气预报（NWP）中的DA循环的关键组件，包括传统的数值预报模型，预报误差协方差矩阵，切线线性和伴随模型。它显示了如何使用DA方法初始化这些RNN，以直接更新隐藏/水库状态与目标系统的观察。结果表明，这些技术可以应用于估计的短期预测的重复初始化的系统的状态，即使在没有一个传统的数值预报模型。此外，还演示了这些集成的RNN-DA方法如何通过应用域本地化和并行化扩展到更高的维度，为NWP的实际应用提供了一条路径。
2021-09-25 cs.AI cs.LG math.DS
Robustness Verification of Recurrent Neural Networks with Abstraction Refinement
National Science and Technology Council (NSTC), Taiwan（台湾国家科学与技术委员会）
提出抽象精化框架，通过分割预激活区间消除非线性松弛误差，并利用SHAP引导的时间步选择策略降低组合成本，显著提升RNN鲁棒性验证成功率。
2026-06-12 cs.LG
MPC-Inspired Neural Network Policies for Sequential Decision Making
Georgia Institute of Technology（佐治亚理工学院）；Autonomous Control and Decisions Lab（自主控制与决策实验室）
在本文中，我们研究了使用MPC启发的神经网络政策的顺序决策。我们介绍了一个扩展的Dagger算法训练这样的政策，并显示他们如何提高训练性能和泛化能力。我们利用这个扩展来展示复杂的规划策略架构在连续状态和动作空间中的可扩展和有效的训练。我们提供了一个广泛的比较神经网络政策考虑前馈政策，经常性的政策，经常性的政策与规划结构的启发路径积分控制框架。我们的研究结果表明，MPC型的经常性政策有更好的鲁棒性干扰和建模误差。
2018-03-14 cs.LG
A General Framework for Scalable UE-AP Association in User-Centric Cell-Free Massive MIMO based on Recurrent Neural Networks
Università degli Studi della Campania “Luigi Vanvitelli”（路易吉·万维泰利坎帕尼亚大学）；ENEA（意大利国家新技术、能源和经济可持续发展局）；University of Cassino and Southern Lazio（卡西诺和南拉齐奥大学）；Consorzio Nazionale Interuniversitario per le Telecomunicazioni（意大利国家电信大学联盟）；Politecnico di Milano（米兰理工大学）
提出一种基于双向LSTM和混合概率方法的深度学习算法，解决了无蜂窝大规模MIMO网络中UE-AP关联的可扩展性及导频污染问题，无需重训练即优于启发式方案。
2025-03-06 cs.LG eess.SP stat.ML
Non-recurrent Traffic Congestion Detection with a Coupled Scalable Bayesian Robust Tensor Factorization Model
School of Mechanical Engineering, Beijing Institute of Technology（北京理工大学机械工程学院）；School of Transportation Engineering, Southeast University（东南大学交通工程学院）；Faculty of Momenta（Momenta学院）；McGill University（麦吉尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
非重现性交通拥堵（NRTC）通常会给通勤者带来意想不到的延误。因此，以实时的方式准确地检测和识别NRTC是至关重要的。道路交通检测器和环路检测器的发展为研究人员提供了大规模的多变量时空交通数据，为深入研究非线性交通流控制提供了条件。然而，它仍然是一个具有挑战性的任务，构建一个分析框架，通过该框架可以有效地表示和利用多变量交通信息的自然时空结构特性，以更好地理解和检测NRTC。在本文中，我们提出了一种新的分析训练免费框架的基础上耦合可扩展贝叶斯鲁棒张量分解（耦合SBRTF）。该框架可以通过共享相似或相同的稀疏结构来耦合多变量交通数据，包括交通流量、道路速度和占用率。而且，它自然地捕获的高维时空结构特性的交通数据的张量因式分解。该框架的共享稀疏结构包含了足够丰富的NRTC信息，其条目揭示了NRTC的分布和大小。而框架的低秩部分则将总体期望交通状况的分布作为辅助产品来表达。在真实交通数据上的实验结果表明，该方法在NRTC检测中的性能优于耦合贝叶斯鲁棒主成分分析（耦合BRPCA）、秩稀疏张量分解（RSTD）和标准正态偏差（SND）.当只利用工作日的交通数据时，所提出的方法表现得更好，因此可以为日常通勤者提供更精确的NRTC估计。
2020-05-10 cs.CV cs.LG physics.soc-ph
A Scalable Hybrid Training Approach for Recurrent Spiking Neural Networks
Institute of Machine Learning and Neural Computation, Graz University of Technology, Austria（机器学习与神经计算研究所，格拉茨技术大学）
针对循环脉冲神经网络现有训练方法的局限，提出结合并行化与近似在线前向学习的HYPR方法，实现高吞吐量在线学习与恒定内存消耗，大幅缩小与BPTT的性能差距。
2025-06-17 cs.AI cs.LG cs.NE
Exploiting Spatio-Temporal Structure with Recurrent Winner-Take-All Networks
University of Florida（佛罗里达大学）；Universidad de los Andes（安第斯大学）
我们提出了一种卷积递归神经网络，具有Winner-Take-All dropout，用于多维时间序列中的高维无监督特征学习。我们将所提出的方法应用于视频中具有时间上下文的对象识别，并获得了比文献中的可比方法更好的结果，包括Chalasani和Principe先前提出的深度预测编码网络。我们的贡献可以总结为对通过时间反向传播训练的端到端深度预测编码网络的可扩展重新解释，将先前提出的Winner-Take-All Autoencoders扩展到时间序列，以及用于初始化和正则化卷积递归神经网络的新技术。
2017-03-15 cs.CV cs.LG
M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling
MIT-IBM Watson Lab（MIT-IBM沃森实验室）；Princeton University（普林斯顿大学）；Together AI
本文提出M$^2$RNN，通过矩阵值状态和非线性状态转移提升语言建模性能，实验证明其在长序列泛化和大规模语言建模中的优势。
2026-10-19 cs.AI cs.LG
Deep RAN: A Scalable Data-driven platform to Detect Anomalies in Live Cellular Network Using Recurrent Convolutional Neural Network
MTN IranCell
在本文中，我们提出了一种新的算法来检测关键参数指标（KPI）的活细胞网络的基础上的组合的递归神经网络（RNN），卷积神经网络（CNN），作为递归卷积神经网络（R-CNN）的异常。CNN对空间相关性和信息进行建模，而RNN对时间相关性和信息进行建模。本文研究的蜂窝网络包括2G、3G、4G和4.5G技术，KPI包括小区的语音和数据流量。数据和语音流量对于无线网络的所有者来说非常重要，因为它直接关系到用户体验的收入和服务质量。这些流量变化的发生有几个原因：由于特殊事件，使相邻站点处于空中或关闭状态，或者通过将流量转移到其他技术，例如将流量从3G转移到4G，用户行为发生变化。传统上，为了保持网络的稳定，需要在每个时间间隔内逐层观察流量，以检测KPI的重大变化，在大规模的电信网中，这将是过于耗时和异常检测的准确性低。然而，所提出的算法能够以时间有效和准确的方式检测网络的每个元素的异常KPI。它观察流量层的趋势，并将其分为8个流量类别：正常，突然增加，逐渐增加，突然减少，逐渐减少，快速站点，新站点和停机站点。此分类任务使供应商和运营商能够检测其实时网络中的异常情况，以保持KPI处于正常趋势。该算法是训练和测试的真实数据集上的细胞网络超过25000个细胞。
2019-11-10 cs.LG cs.NI eess.SP
Pixel Recurrent Neural Networks
Google DeepMind（谷歌DeepMind）
对自然图像的分布建模是无监督学习中的一个标志性问题。这项任务需要一个图像模型，是在一次表达，易处理和可扩展的。我们提出了一个深度神经网络，它可以沿着两个空间维度顺序预测图像中的像素。我们的方法对原始像素值的离散概率进行建模，并对图像中的完整依赖集进行编码。架构新颖性包括快速二维递归层和深度递归网络中剩余连接的有效使用。我们在自然图像上实现了比以前的最新技术水平要好得多的对数似然分数。我们的主要结果还提供了不同ImageNet数据集的基准。从模型生成的样本看起来清晰，多样和全球一致。
2016-08-19 cs.CV cs.LG cs.NE
A Recurrent Graph Neural Network for Multi-Relational Data
University of Minnesota（明尼苏达大学）；King Juan Carlos University（胡安卡洛斯国王大学）
数据泛滥的时代引发了社会学、生物学、神经科学或工程学等多个学科对基于图的学习方法的兴趣。在本文中，我们介绍了一个图递归神经网络（GRNN）的可扩展的半监督学习从多关系数据。新型GRNN架构的关键方面是使用多关系图，通过可学习的权重动态适应不同的关系，以及考虑基于图的正则化器来促进平滑性和减轻过度参数化。我们的最终目标是设计一个强大的学习架构，能够：发现复杂和高度非线性的数据关联，组合（和选择）多种类型的关系，并根据图的大小进行优雅的扩展。真实数据集的数值测试证实了设计目标，并说明了相对于竞争替代品的性能增益。
2019-02-18 cs.LG stat.ML
Syntactic Recurrent Neural Network for Authorship Attribution
University of Central Florida（中佛罗里达大学）
写作风格是在语言产生的不同层面上，包括与特定作者（或作者群体）相关的词汇，句法和结构的一致决定的组合。虽然基于词汇的模型在基于风格的文本分类中得到了广泛的研究，但在处理由各种主题组成的异构数据时，依赖于内容的模型的可扩展性较差。另一方面，与内容无关的句法模型对主题变化更鲁棒。在本文中，我们引入了一个句法循环神经网络编码的句法模式的一个层次结构的文件。该模型首先从词性标签序列中学习句子的句法表示。为此，我们利用卷积滤波器和长短期记忆来研究句子中词性标签的短期和长期依赖性。随后，句子的句法表示使用递归神经网络聚合成文档表示。我们在PAN 2012数据集上进行的作者归属任务的实验结果表明，句法循环神经网络在准确率方面比具有相同架构的词汇模型高出约14%。
2019-02-27 cs.CL cs.LG
Deep Bidirectional and Unidirectional LSTM Recurrent Neural Network for Network-wide Traffic Speed Prediction
University of Washington（华盛顿大学）
近年来，基于深度学习方法，特别是长短期记忆（LSTM）神经网络的短期流量预测备受关注。然而，深度学习方法在交通预测中的潜力在模型架构的深度、预测区域的空间尺度以及时空数据的预测能力方面尚未得到充分挖掘。本文提出了一种深度堆叠的双向和单向LSTM（SBU-LSTM）神经网络架构，该架构考虑了时间序列数据中的前向和后向依赖性，以预测网络范围内的流量速度。双向LSTM（BDLSM）层用于从历史数据中捕获空间特征和双向时间依赖性。据我们所知，这是BDLSTM第一次被用作深度架构模型的构建块，以测量预测流量数据的向后依赖性。提出的模型可以通过使用掩蔽机制来处理输入数据中的缺失值。此外，这个可扩展的模型可以预测高速公路和复杂的城市交通网络的交通速度。与其他经典和最先进的模型的比较表明，所提出的SBU-LSTM神经网络实现了优越的预测性能，为整个交通网络的准确性和鲁棒性。
2019-11-23 cs.LG
Solving differential equations with unknown constitutive relations as recurrent neural networks
Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文提出用循环神经网络学习未知的反应速率项，通过离散化的常微分方程作为训练问题的一部分，解决部分可用状态变量测量数据下的微分方程问题，应用于fedbatch生物反应器模拟。
2017-10-06 cs.LG cs.NA math.NA
Joint Graph Convolution and Sequential Modeling for Scalable Network Traffic Estimation
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Brown University（布朗大学）；Northeastern University（东北大学）；Rochester Institute of Technology（罗切斯特理工学院）
针对复杂拓扑下的网络流量预测问题，提出融合GCN空间依赖建模与GRU时间序列建模的时空框架，并在Abilene数据集上通过对比和消融实验验证其优越性能、稳定性与泛化能力。
2025-05-12 cs.LG
Deep-Ensemble-Based Uncertainty Quantification in Spatiotemporal Graph Neural Networks for Traffic Forecasting
Argonne National Laboratory（阿贡国家实验室）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
基于深度学习的数据驱动预测方法在交通预测方面取得了令人印象深刻的结果。然而，这些方法的一个主要局限性是，它们提供的预测没有估计的不确定性，这是实时部署的关键。我们专注于扩散卷积递归神经网络（DCRNN），一个国家的最先进的短期交通预测方法。我们开发了一种可扩展的深度集成方法来量化DCRNN的不确定性。我们的方法使用了一个可扩展的贝叶斯优化方法来执行超参数优化，选择一组高性能的配置，适合生成模型捕捉的联合分布的超参数配置，并训练一个整体的模型通过采样一组新的超参数配置从生成模型。通过与其他不确定性估计技术的比较，我们证明了所提出的方法的有效性。我们表明，我们的通用和可扩展的方法优于目前最先进的贝叶斯和其他一些常用的频率论技术。
2022-04-05 cs.LG
MazeNet: An Accurate, Fast, and Scalable Deep Learning Solution for Steiner Minimum Trees
Rice University（莱斯大学）
MazeNet是一种基于深度学习的OARSMT求解方法，通过循环卷积神经网络将问题重构为迷宫任务，实现高精度、快速求解，并具备可扩展性，能处理更多端子。
2025-03-28 cs.LG
Fully Analog Resonant Recurrent Neural Network via Metacircuit
Institute of Humanoid Robots, CAS Key Laboratory of Mechanical Behavior and Design of Materials, Department of Precision Machinery and Precision Instrumentation, University of Science and Technology of China（机器人研究院、材料力学行为与设计国家重点实验室、精密机械与精密仪器系、中国科学技术大学）；State Key Laboratory of Mechanical System and Vibration, Shanghai Jiao Tong University（机械系统与振动国家重点实验室、上海交通大学）
本文提出一种通过元电路架构实现的全模拟共振递归神经网络，利用共振特性实现时间信息处理，无需数字转换，展示了在触觉感知、语音识别和状态监测中的跨领域应用。
2026-04-19 cs.AI cs.ET cs.LG
Recurrent Kalman Networks: Factorized Inference in High-Dimensional Deep Feature Spaces
University of Lincoln（林肯大学）；University of Birmingham（伯明翰大学）；Lancaster University（兰卡斯特大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
为了将不确定性估计集成到深度时间序列建模中，卡尔曼滤波器（KF）（Kalman et al.，1960）已经与深度学习模型集成，然而，这样的方法通常依赖于近似推理技术，例如变分推理，这使得学习更复杂并且由于近似误差而通常可扩展性较低。我们提出了一种新的深度卡尔曼滤波方法，可以使用反向传播以端到端的方式直接学习，而无需额外的近似。我们的方法使用了高维分解的潜在状态表示，卡尔曼更新简化为标量操作，从而避免了难以反向传播，计算量大，可能不稳定的矩阵求逆。此外，我们使用局部线性动态模型，有效地传播的潜在状态到下一个时间步。由此产生的网络架构，我们称之为递归卡尔曼网络（RKN），可用于任何时间序列数据，类似于LSTM（Hochreiter & Schmidhuber，1997），但使用显式表示不确定性。如我们的实验所示，RKN获得比LSTM或门控递归单元（GRU）更准确的不确定性估计（Cho等人，2014），同时还显示出略微改善的预测性能，并且在图像填补任务上优于各种最近的生成模型。
2019-05-17 cs.LG stat.ML
Switching Recurrent Kalman Networks
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Bosch Center for Artificial Intelligence（博世人工智能中心）
预测驾驶行为或其他传感器测量是自动驾驶系统的重要组成部分。通常，真实世界的多变量时间序列数据很难建模，因为潜在的动态是非线性的，并且观察结果是有噪声的。此外，驾驶数据通常可以是多模态分布的，这意味着可能存在不同的预测，但平均化可能会损害模型性能。为了解决这个问题，我们提出了开关递归卡尔曼网络（SRKN）的非线性和多模态时间序列数据的有效推理和预测。该模型在几个卡尔曼滤波器之间切换，这些滤波器在因子化的潜在状态中对动态的不同方面进行建模。我们实证测试产生的可扩展和可解释的深状态空间模型玩具数据集和真正的驾驶数据从出租车在波尔图。在所有情况下，该模型都可以捕获数据中动态的多模态性质。
2021-11-16 cs.AI cs.LG eess.SP
Physics-inspired Energy Transition Neural Network for Sequence Learning
Department of Computer Science and Technology, Nanjing University（南京大学计算机科学与技术系）
本文提出受物理能量跃迁启发的循环神经网络 PETNN，以更低复杂度在多种序列任务上超越 Transformer，展示了纯 RNN 在长期依赖建模中的潜力。
2025-05-06 cs.AI cs.LG
CRT-Net: A Generalized and Scalable Framework for the Computer-Aided Diagnosis of Electrocardiogram Signals
Xi’an Jiaotong University（西安交通大学）；The First Affiliated Hospital of Xi’an Jiaotong University（西安交通大学第一附属医院）；SenseTime Research（商汤科技研究院）
心电图（ECG）信号在许多类型的心血管疾病的临床筛查和诊断中起着关键作用。尽管深度神经网络在许多临床任务中已经极大地促进了计算机辅助诊断（CAD），但是临床中ECG的可变性和复杂性仍然在诊断性能和临床应用方面提出了重大挑战。在本文中，我们开发了一个强大的和可扩展的框架，临床识别心电图。考虑到医院通常以二维图像图形波的形式记录心电信号，我们首先通过提出的双向连接方法将12导联图像的图形波提取为数字一维心电信号。随后，一种新的深度神经网络，即CRT-Net，被设计用于细粒度和全面的表示和识别的一维心电信号。CRT-Net通过在可扩展的深度模型中嵌入卷积神经网络（CNN）、递归神经网络（RNN）和Transformer模块，可以很好地挖掘ECG的波形特征、形态特征和时域特征，特别适用于从不同设备采集不同长度ECG信号的临床场景。该框架首先在两个广泛调查的公共存储库上进行评估，与最先进的技术相比，证明了ECG识别的优越性能。此外，我们验证了我们提出的双向连接和CRT-Net对从当地医院收集的临床ECG图像的有效性，包括258例慢性肾脏疾病（CKD）患者，351例2型糖尿病（T2 DM）患者和约300例对照组患者。在实验中，我们的方法可以在这两种类型的疾病的识别取得优异的性能。
2021-05-28 cs.LG
Extracting Weighted Finite Automata from Recurrent Neural Networks for Natural Languages
Peking University（北京大学）
循环神经网络（RNN）在序列数据处理方面取得了巨大的成功。然而，直接解释和验证RNN的行为是相当具有挑战性的。为此，已经做出了许多努力来从RNN中提取有限自动机。现有的方法，如精确学习是有效的，在提取有限状态模型来表征RNN的状态动态的形式语言，但在处理自然语言的可扩展性有限。可扩展到自然语言的组合方法在提取精度方面有所不足。在本文中，我们确定的过渡稀疏性问题，严重影响提取精度。为了解决这个问题，我们提出了一种转换规则提取方法，该方法可扩展到自然语言处理模型，并有效提高提取精度。具体来说，我们提出了一个经验的方法来补充在过渡图中缺失的规则。此外，我们进一步调整转移矩阵，以提高提取的加权有限自动机（WFA）的上下文感知能力。最后，我们提出了两种数据增强策略来跟踪目标RNN的更多动态行为。在两个流行的自然语言数据集上的实验表明，该方法可以从RNN中提取WFA用于自然语言处理，其精度优于现有方法。我们的代码可在https://github.com/weizeming/Extract_WFA_from_RNN_for_NL上获得。
2022-09-27 cs.CL cs.LG
Training recurrent networks online without backtracking
我们引入“NoBackTrack”算法来训练动态系统的参数，如递归神经网络。该算法在在线、无记忆设置中工作，因此不需要通过时间的反向传播，并且是可扩展的，避免了相对于参数维持当前状态的全梯度的大的计算和存储器成本。该算法基本上保持，在每一个时间，在参数空间中的一个单一的搜索方向。该搜索方向的演变是部分随机的，并且以这样一种方式构造，即在每一时间提供损失函数相对于参数的梯度的无偏随机估计。因为梯度估计是无偏的，所以平均而言，随着时间的推移，参数会按照它应该的那样更新。然后，可以将得到的梯度估计馈送到轻量级卡尔曼滤波器，以产生改进的算法。对于递归神经网络，所得到的算法随着参数的数量线性缩放。小规模的实验证实了该方法的适用性，表明该算法中引入的梯度的随机近似对学习无害。特别是，当数据中依赖关系的时间跨度长于BPTT的截断跨度时，NoBackTrack的类卡尔曼版本优于时间反向传播（BPTT）。
2015-11-20 cs.LG cs.NE stat.ML
Sign language recognition from skeletal data using graph and recurrent neural networks
Department of Mathematics, Universidad Autónoma de Ciudad Juárez (UACJ)（数学系，自治城朱埃雷斯大学）；Department of Electrical ingeniering, Universidad Autónoma de Ciudad Juárez (UACJ)（电气工程系，自治城朱埃雷斯大学）；Instituto Iberoamericano San Patricio（伊比利亚美洲圣帕特里克研究所）
本文提出Graph-GRU时序网络，利用骨骼姿态数据建模空间与时序依赖，在AUTSL数据集上实现高精度孤立手语手势识别，验证了姿态驱动方法的有效性。
2025-11-08 cs.AI cs.CV cs.LG
StochEP: Stochastic Equilibrium Propagation for Spiking Convergent Recurrent Neural Networks
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）；University Park（大学公园）；PA 16802, USA（宾夕法尼亚州16802, 美国）
针对现有均衡传播框架训练脉冲神经网络存在的缺陷，本文提出融合概率脉冲神经元的随机EP框架StochEP，可稳定训练深度脉冲CRNN，在视觉基准上性能接近主流方法且保留学习局部性。
2025-11-14 cs.ET cs.LG
Distributed Acoustic Sensing for Urban Traffic Monitoring: Spatio-Temporal Attention in Recurrent Neural Networks
本文提出利用分布式声学传感和循环神经网络的时空注意力机制，实现城市交通事件的高精度识别，通过实验验证了注意力模块对模型性能的提升作用。
2026-03-14 cs.LG cs.SD
Lattice-Based Pruning of Recurrent Neural Networks via Poset Modeling: A Corrected Theory and a Matched-Sparsity Evaluation
Center for Creative Cognition, SR University（SR大学创造性认知中心）
提出基于偏序集建模的RNN格剪枝框架，通过识别不可约交元保留关键连接，在MNIST上实现98%以上准确率与高稀疏性的平衡，优于传统幅度剪枝。
2026-11-02 cs.LG q-bio.NC
A Coordinate-Free Construction of Scalable Natural Gradient
Borealis AI；University of Toronto（多伦多大学）；Vector Institute（Vector研究所）
大多数神经网络使用一阶优化方法进行训练，这对模型的参数化敏感。自然梯度下降是不变的平滑重新参数化，因为它是在一个坐标自由的方式定义，但易于处理的近似通常是在坐标系中定义，因此可能会失去不变性。通过构造一种与坐标无关的K-FAC算法，分析了K-FAC算法的不变性。我们明确地构建了一个黎曼度量，在该度量下，自然梯度与K-FAC更新相匹配;对激活的仿射变换的不变性立即发生。我们扩展了我们的框架来分析应用于卷积网络和递归神经网络的K-FAC的不变性，以及通常的Fisher度量以外的度量。
2018-08-30 cs.LG math.DG math.OC
Hierarchical Multi-Building And Multi-Floor Indoor Localization Based On Recurrent Neural Networks
Xi'an Jiaotong-Liverpool University（西交利物浦大学）
在现代城市中，从户外生活方式转向室内生活方式的趋势越来越明显。大型购物中心、室内体育场馆、工厂和仓库的出现正在加速这一趋势。在这样的环境中，室内定位成为必要的服务之一，并且要部署的室内定位系统应该是可扩展的，足以覆盖那些室内设施的预期扩展。室内定位的最经济和实用的方法之一是Wi-Fi指纹识别，其利用使用移动设备（例如，智能手机），而无需对现有基础设施进行任何修改。传统的Wi-Fi指纹识别方案依赖于复杂的数据预/后处理和耗时的手动参数调整。在本文中，我们提出了分层的多建筑物和多楼层的室内定位的基础上，使用Wi-Fi指纹的递归神经网络（RNN），消除了复杂的数据预/后处理的需要和较少的参数调整。所提出的方案中的RNN以从一般到特定的顺序方式估计位置（例如，建筑物->楼层->位置），以便利用多建筑物和多楼层环境中的定位的分层性质。UJIIndoorLoc数据集的实验结果表明，该方案估计建筑物和地板的准确度分别为100%和95.24%，并提供8.62米的三维定位误差，这优于现有的基于深度神经网络的方案。
2021-12-23 cs.LG cs.NI
COMPOL: A Unified Neural Operator Framework for Scalable Multi-Physics Simulations
School of Information, University of Michigan–Ann Arbor（信息学院，密歇根大学安娜堡分校）；Hildebrand Department of Petroleum and Geosystems Engineering, The University of Texas at Austin（石油与地质系统工程系，德克萨斯大学奥斯汀分校）；Department of Computer Science, Florida State University（计算机科学系，佛罗里达州立大学）
研究针对多物理场模拟中神经算子难以捕捉复杂相关性的问题，提出COMPOL框架，通过循环和注意力聚合机制扩展传统算子架构，实验表明该框架与现有方法相比能实现更高预测精度。
2026-07-29 cs.AI cs.LG
Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory
Peter Grünberg Institut（彼得·格林贝格研究所）；FZ Jülich（于利希研究中心）；RWTH Aachen（亚琛工业大学）；ESI Algiers（阿尔及尔电子与信息技术学院）
针对稀疏RNN和SNN，提出双重检查点梯度策略，利用IPU分布式内存，减少重计算开销，实现超10倍序列长度或4倍网络规模的训练，仅微小时间开销。
2024-12-16 cs.AR cs.LG cs.NE
LTC-SE: Expanding the Potential of Liquid Time-Constant Neural Networks for Scalable AI and Embedded Systems
Karabuk University（卡拉布克大学）；Gesellschaft für Wissenschaftliche Datenverarbeitung mbH Göttingen（哥廷根科学数据处理协会）；Lebanese American University（黎巴嫩美国大学）
本文提出LTC-SE，对液态时间常数神经网络进行改进，统一LIF、CTRNN、NODE和定制GRU，提升灵活性、兼容性与代码组织性，以适配嵌入式系统并扩展其在机器人、因果分析和时间序列预测等任务中的应用。
2023-04-18 cs.AI cs.LG cs.NE
BiTA: Bidirectional Gated Recurrent Unit-Transformer Aggregator in a Temporal Graph Network Framework for Alert Prediction in Computer Networks
Faculty of Computer Engineering, Shahrood University of Technology（计算机工程学院，沙赫罗德理工大学）
本文提出BiTA，通过联合编码双向序列依赖性和长距离上下文关系，改进时序图网络中的时间聚合，提升警报预测性能。
2026-04-03 cs.AI cs.LG
SoftServe: A Scalable Quasi-Newton Method for Deep Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Flatiron Institute（熨斗研究所）；Cornell University（康奈尔大学）
SoftServe提出一族无需线搜索的拟牛顿方法，通过正定曲率估计和Newton-Schulz迭代实现大规模深度学习优化，在病态任务上优于Adam等基线。
2026-10-02 cs.AI cs.LG
Radflow: A Recurrent, Aggregated, and Decomposable Model for Networks of Time Series
Australian National University（澳大利亚国立大学）；Data61, CSIRO（联邦科学与工业研究组织数据61所）
我们提出了一个新的模型的时间序列网络，相互影响。时间序列之间的图结构存在于不同的领域，例如受超链接影响的网络流量，受推荐影响的产品销售，或受道路网络和天气影响的城市交通量。最近在图建模和时间序列预测方面分别取得了进展，但是还不存在用于序列网络的表达性和可扩展性方法。我们介绍Radflow，一个新的模型，体现了三个关键的想法：一个循环神经网络，以获得依赖于时间的节点嵌入，从邻近节点的影响流的聚合与多头注意力，和时间序列的多层分解。Radflow自然地考虑了节点和边随时间变化的动态网络，它可以用于预测和数据插补任务。在从几百到几十万个节点的真实数据集上，我们观察到Radflow变体是各种设置中性能最好的模型。Radflow中的经常性组件也优于最先进的时间序列模型N-BEATS。我们表明，Radflow可以学习不同的趋势和季节性模式，它对丢失的节点和边缘具有鲁棒性，并且网络邻居之间的相关时间模式反映了影响力。我们策划了WikiTraffic，这是最大的动态时间序列网络，拥有366 K节点和22 M时间相关链接，跨越五年。该数据集为开发该领域的模型提供了一个开放的基准，其应用程序包括优化网络资源。更广泛地说，Radflow有潜力改进股票市场等相关时间序列网络的预测，并估算地理上分散的自然现象网络中缺失的测量值。
2021-02-15 cs.LG cs.SI
On Logical Extrapolation for Mazes with Recurrent and Implicit Networks
本文通过迷宫求解任务检验RNN和INN的逻辑外推能力，发现现有模型存在多种失败模式且未必真正学到算法，并指出分析外推动力学有助于设计更好的逻辑外推器。
2025-07-18 cs.LG stat.ML
Scalable Adaptive Stochastic Optimization Using Random Projections
Institute for Machine Learning, Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系机器学习研究所）；Seminar for Statistics, Department of Mathematics, ETH Zürich（苏黎世联邦理工学院数学系统计研讨班）；Disney Research, Zürich（迪士尼研究院苏黎世分院）
自适应随机梯度方法，如AdaGrad，特别是用于训练深度神经网络，已经变得流行起来。最常用和研究的变体保持一个对角矩阵近似的二阶信息，通过积累过去的梯度，用于调整步长自适应。在某些情况下，AdaGrad的全矩阵变体有望获得更好的性能，但在高维情况下，它在计算上不切实际。我们提出了Ada-LR和RadaGrad两个计算效率高的近似全矩阵AdaGrad的基础上随机降维。它们能够捕获特征之间的依赖关系，并实现与全矩阵AdaGrad相似的性能，但计算成本要小得多。我们发现，Ada-LR的遗憾是接近的遗憾，全矩阵AdaGrad可以有一个指数级较小的依赖比对角变量的尺寸。从经验上讲，我们表明，Ada-LR和RadaGrad执行类似的全矩阵AdaGrad。在训练卷积神经网络和递归神经网络的任务中，RadaGrad比对角AdaGrad实现了更快的收敛。
2016-11-21 cs.LG stat.ML
Center-Manifold Reduction of Learning at Bifurcations: Interference and Rich Learning in Recurrent Neural Networks
University of Washington（华盛顿大学）
研究通过经验状态空间神经 tangent 核（sNTK）分析梯度下降在分岔点附近的动态，发现分岔点主导并简化了学习过程，通过分解sNTK揭示了高维递归系统的学习几何结构。
2026-08-19 cs.LG math.DS math.OC
Fast Online "Next Best Offers" using Deep Learning
TCS Research（塔塔咨询服务公司研究院）
在本文中，我们提出了iPrescribe，一个可扩展的低延迟架构，用于在在线环境中推荐“下一个最佳产品”。本文介绍了iPrescribe的设计，并比较其性能的实现使用不同的实时流技术栈。iPrescribe使用深度学习和机器学习算法的集成进行预测。我们描述了可扩展的实时流技术栈和优化的机器学习实现，以实现38毫秒的第90百分位推荐延迟。优化包括一种新的机制，可以有效地部署周期性长短期记忆（LSTM）深度学习网络。
2019-05-31 cs.DC cs.LG cs.PF
Online learning of long-range dependencies
ETH Zürich（苏黎世联邦理工学院）
针对现有在线学习算法无法高效学习循环神经网络长程依赖的问题，本文提出基于多层独立循环模块的高性能在线算法，内存与计算仅为单次推理两倍，在基准测试中表现优异，为脑学习研究和神经形态计算提供新方向。
2023-11-06 cs.LG cs.NE
