Empirical Stability Analysis of Kolmogorov-Arnold Networks in Hard-Constrained Recurrent Physics-Informed Discovery
Department of Informatics and Statistics（信息与统计学系）
本文研究了Kolmogorov-Arnold网络在硬约束递归物理信息发现中的稳定性，发现其在处理乘法项时表现欠佳，且存在超参数脆弱性问题，表明原有加法归纳偏置的局限性。
2026-03-05 cs.AI cs.LG physics.comp-ph
Recurrent Models for Auditory Attention in Multi-Microphone Distance Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）
多个麦克风数据的集成是在噪声环境中或当说话者位于距输入设备一定距离处时实现鲁棒的语音识别的关键方法之一。诸如波束形成的信号处理技术被广泛用于从背景噪声中提取感兴趣的语音信号。然而，这些技术高度依赖于关于麦克风和系统被使用的环境的先前空间信息。在这项工作中，我们提出了一种神经注意力网络，它直接结合多通道音频来生成语音状态，而不需要任何麦克风布局的先验知识或任何显式的语音增强信号预处理。我们在基于递归神经网络（RNN）的声学模型中嵌入了一个注意力机制，以自动将其注意力调整到更可靠的输入源。与传统的多通道预处理不同，我们的系统可以一步优化到所需的输出。虽然基于注意力的模型最近在序列到序列学习方面取得了令人印象深刻的结果，但以前没有注意力机制被应用于学习潜在的异步和非平稳的多个输入。我们在CHiME-3挑战任务上评估了我们的神经注意力模型，并表明该模型使用纯粹的数据驱动方法实现了与波束成形相当的性能。
2016-01-07 cs.CL cs.LG
RAIM: Recurrent Attentive and Intensive Model of Multimodal Patient Monitoring Data
Georgia Institute of Technology（佐治亚理工学院）；Emory University School of Medicine（埃默里大学医学院）；Children’s Healthcare of Atlanta（亚特兰大儿童医疗保健机构）
随着医疗数据采集的改进，大量连续的患者监测数据，例如，心电图（ECG）、实时生命体征和药物，可用于重症监护室（ICU）的临床决策支持。然而，由于监测数据的高密度、异构数据类型以及对可解释模型的需求，对此类数据进行建模变得越来越具有挑战性。这些高密度监测数据与离散临床事件（包括诊断、药物治疗、实验室）的整合是具有挑战性的，但可能是有益的，因为这种多模态数据中的丰富性和粒度增加了准确检测复杂问题和预测结果（例如，死亡率和死亡率）。我们提出了一种用于联合分析连续监测数据和离散临床事件的递归注意和密集模型（RAIM）。RAIM引入了用于连续监视数据的有效注意力机制（例如，ECG），其由离散的临床事件（例如，药物使用）引导。应用RAIM预测ICU危重患者的生理失代偿和住院时间。通过对MIMIC- III波形数据库匹配子集的评估，我们获得了预测失代偿的AUC-ROC评分为90.18%，预测住院时间的准确性为86.82%，优于我们的六个基线模型。
2018-07-23 cs.LG stat.ML
Time-multiplexed layer reuse for physical neural networks
Graduate School of Information Science and Technology, The University of Tokyo（信息科学与技术研究生学校，东京大学）
针对物理神经网络权重调整慢的瓶颈，提出TIDAL-Net，通过时间复用层增加有效深度，在图像分类和自然语言处理任务上提升性能。
2026-10-07 cs.LG nlin.AO
Predicting Wave Dynamics using Deep Learning with Multistep Integration Inspired Attention and Physics-Based Loss Decomposition
The University of British Columbia（不列颠哥伦比亚大学）
针对流体介质中波传播的预测问题，本文提出MI2A框架，结合去噪卷积自动编码器与多步积分启发的注意力循环网络，通过损失分解缓解误差积累，在三个基准问题上提升了长期预测精度与稳定性。
2025-04-15 cs.LG cs.NA math.NA
Performance and Complexity Analysis of bi-directional Recurrent Neural Network Models vs. Volterra Nonlinear Equalizers in Digital Coherent Systems
University of West Attica（西阿提卡大学）；University of the Aegean（爱琴大学）
我们调查的复杂性和性能的递归神经网络（RNN）模型作为后处理单元进行偏振复用16-QAM和32-QAM信号的数字相干系统中的光纤非线性补偿。我们评估了三种双向RNN模型，即bi-LSTM，bi-GRU和bi-Vanilla-RNN，并表明它们都是有前途的非线性补偿器，特别是在色散非管理系统中。我们的模拟表明，在推理过程中，这三种模型提供了相似的补偿性能，因此在现实生活中的系统中，基于Vanilla-RNN单元的最简单的方案应该是首选。我们比较了双香草-RNN与Volterra非线性均衡器，并在性能和复杂度方面展示了其优越性，从而突出了RNN处理是一个非常有前途的途径，用于升级长距离光通信系统利用相干检测。
2021-06-23 cs.LG eess.SP
Recurrent Neural Networks for Dynamic VWAP Execution: Adaptive Trading Strategies with Temporal Kolmogorov-Arnold Networks
DRM, Université Paris Dauphine - PSL（巴黎多芬大学 - 巴黎文理研究大学 DRM 机构）
本文提出基于循环神经网络和时间Kolmogorov-Arnold网络的动态VWAP执行框架，实时适应市场变化，在五个加密货币市场实现10-15%的执行性能提升。
2025-02-25 cs.LG q-fin.ST
IRNN: Innovation-driven Recurrent Neural Network for Time-Series Data Modeling and Prediction
The Department of Automation, Tsinghua University（自动化系，清华大学）；Beijing National Research Center for Information Science and Technology, Tsinghua University（北京信息科学与技术国家研究中心，清华大学）
本文提出创新驱动循环神经网络IRNN，将卡尔曼滤波中的创新概念引入RNN，以过去预测误差作为额外输入更新隐藏状态，并设计IU-BPTT训练算法，在不显著增加训练成本的情况下显著提升时间序列预测精度。
2025-05-09 cs.AI cs.LG
SARN: Structurally-Aware Recurrent Network for Spatio-Temporal Disaggregation
University of Washington（华盛顿大学）
本文提出结构感知循环网络 SARN，通过将结构感知空间注意力层集成到 GRU 中，并引入迁移学习，有效实现时空数据从低分辨率到高分辨率不规则分区的解聚，在两个移动性数据集上显著优于神经模型和启发式方法。
2024-08-01 cs.AI cs.CR cs.LG
Prospective Coding Improves Learning in Deep Continuous-Time Recurrent Networks
Telepath；New York University（纽约大学）
该研究开发递归正交滤波器（RQFs）并提出前瞻性输入编码修正，缓解深度连续时间循环网络的梯度衰减，在语音命令等任务上取得优异性能，验证了其参数高效性。
2026-09-04 cs.LG cs.NE q-bio.NC
DeepAffinity: Interpretable Deep Learning of Compound-Protein Affinity through Unified Recurrent and Convolutional Neural Networks
Texas A&M University（得克萨斯农工大学）
动机：药物发现需要快速定量化合物-蛋白质相互作用（CPI）。然而，目前还缺乏一种方法，可以预测化合物蛋白质的亲和力，从序列单独具有高的适用性，准确性和可解释性。结果：我们提出了一个无缝集成的领域知识和学习为基础的方法。在结构注释的蛋白质序列的新表示下，已经提出了一种统一递归和卷积神经网络的半监督深度学习模型，以利用未标记和标记的数据，用于联合编码分子表示和预测亲和力。我们的表示和模型在IC $_{50}$中的相对误差方面优于传统选项，对于测试用例，相对误差在5倍以内，对于不包括在训练中的蛋白质类，相对误差在20倍以内。具有少量标记数据的新蛋白质类的性能通过迁移学习进一步提高。此外，单独和联合注意力机制的开发和嵌入到我们的模型，以增加其可解释性，如预测和解释选择性药物靶点相互作用的案例研究所示。最后，还探索了使用蛋白质序列或复合图的替代表示以及使用图CNN（GCNN）的统一RNN/GCNN-CNN模型，以揭示未来的算法挑战。可用性：数据和源代码可访问https://github.com/Shen-Lab/DeepAffinity补充信息：补充数据可访问http://shen-lab.github.io/deep-affinity-bioinf18-supp-rev.pdf
2018-12-08 cs.LG q-bio.BM stat.ML
A survey of neural models for the automatic analysis of conversation: Towards a better integration of the social sciences
Institut Polytechnique de Paris（巴黎理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Inria Paris（法国国家信息与自动化研究所巴黎分部）
在过去的几年里，已经引入了一些令人兴奋的新方法来分析会话的神经架构。这些包括用于检测情感、对话行为和情感极性的神经架构。它们利用了当代机器学习的一些关键属性，例如具有注意力机制的递归神经网络和基于transformer的方法。然而，虽然架构本身非常有前途，但迄今为止应用它们的现象只是使对话引人入胜的一小部分。在本文中，我们调查这些神经架构和它们已被应用。在社会科学文献的基础上，我们描述了我们认为是最基本的和定义性的会话特征，这是随着时间的推移，由两个或两个以上的对话者的共同建设。我们将讨论如何将所调查的神经架构有益地应用于这些更基本的会话方面，以及这为我们带来了什么，以便更好地分析会话，甚至从长远来看，为会话系统生成会话的更好方法。
2022-03-31 cs.AI cs.CL cs.HC
Symplectic Recurrent Neural Networks
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）；Tianjin University（天津大学）
我们提出辛循环神经网络（SRNN）作为学习算法，从观察到的轨迹捕捉物理系统的动态。SRNN通过神经网络对系统的哈密顿函数进行建模，并进一步利用辛积分、多步训练和初始状态优化来解决与哈密顿系统相关的具有挑战性的数值问题。我们表明，SRNN成功可靠的复杂和嘈杂的哈密顿系统。我们还展示了如何增强SRNN集成方案，以处理刚性动力系统，如弹跳台球。
2020-04-25 cs.LG stat.ML
Advances in Optimizing Recurrent Networks
U. Montreal（蒙特利尔大学）
经过十多年的时间，在递归神经网络领域的研究活动相对较少，这里将回顾几个新的发展，这些发展在理解和技术解决方案方面都取得了实质性进展，以实现更有效的递归网络训练。这些进步受到了围绕深度学习的优化问题的推动，并与之相关。虽然递归网络在原则上可以表示建模序列方面非常强大，但它们的训练受到关于长期依赖性学习的同一问题的两个方面的困扰。这里报告的实验评估使用裁剪梯度，跨越更长的时间范围与漏积分，先进的动量技术，使用更强大的输出概率模型，并鼓励稀疏梯度，以帮助对称性破缺和信用分配。实验是在文本和音乐数据上进行的，并展示了这些技术在普遍改善训练和测试错误方面的综合效果。
2012-12-14 cs.LG
Memory-based control with recurrent neural networks
Google Deepmind（谷歌DeepMind）
部分观测控制问题是强化学习的一个挑战性方面。我们扩展了两个相关的，无模型的连续控制算法-确定性的策略梯度和随机值梯度-解决部分观察域使用循环神经网络训练通过时间的反向传播。我们证明，这种方法，加上长短期记忆是能够解决各种各样的物理控制问题，表现出各种各样的内存需求。这些问题包括来自噪声传感器的信息的短期整合和系统参数的识别，以及需要在许多时间步长上保存信息的长期记忆问题。我们还证明了成功的结合探索和记忆问题的形式，一个简化版本的著名的莫里斯水迷宫任务。最后，我们证明了我们的方法可以通过直接从像素学习来处理高维观测。我们发现，经常性的确定性和随机政策能够学习类似的好的解决方案，这些任务，包括水迷宫的代理必须学习有效的搜索策略。
2015-12-14 cs.LG
TeMPO: Efficient Time-Multiplexed Dynamic Photonic Tensor Core for Edge AI with Compact Slow-Light Electro-Optic Modulator
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Arizona State University（亚利桑那州立大学）
提出跨层定制的时分复用动态光子张量加速器TeMPO，通过慢光调制器等器件和电路优化，在边缘AI任务中实现368.6 TOPS峰值性能与22.3 TOPS/W能效，推动边缘AI硬件前沿。
2024-02-12 cs.AI cs.ET cs.LG
Conformal Isometry of Lie Group Representation in Recurrent Network of Grid Cells
UCLA（加州大学洛杉矶分校）；Google Research（谷歌研究院）；UT Southwestern Medical Center（德克萨斯大学西南医学中心）；UT Austin（德克萨斯大学奥斯汀分校）
哺乳动物大脑内侧内嗅皮层（MEC）中网格细胞群的活动形成了动物自我位置的矢量表示。已经提出了递归神经网络，通过基于动物的速度输入更新神经活动向量来解释网格细胞的属性。在这样做时，网格单元系统有效地执行路径集成。在本文中，我们调查的代数，几何和拓扑性质的网格细胞使用经常性的网络模型。在代数上，我们研究了李群和李代数的递归变换作为自运动的表示。几何上，我们研究李群表示的共形等距，其中神经空间中的活动向量的局部位移与2D物理空间中的代理的局部位移成比例。拓扑上，紧交换李群表示自动导致环面拓扑通常假设和观察神经科学。然后，我们专注于一个简单的非线性经常性模型的基础上的连续吸引神经网络的网格细胞。我们的数值实验表明，共形等距导致六边形周期图案的网格单元的响应和我们的模型是能够准确的路径积分。代码可在\url{https://github.com/DehongXu/grid-cell-rnn}上获得。
2022-11-07 cs.LG q-bio.NC stat.ML
Predicting Liquidity Coverage Ratio with Gated Recurrent Units: A Deep Learning Model for Risk Management
University of Pennsylvania（宾夕法尼亚大学）；Columbia University（哥伦比亚大学）；Rice University（莱斯大学）；New York University（纽约大学）
本文提出基于GRU网络的流动性覆盖率预测模型，利用历史数据学习复杂模式，实验显示其MAE显著优于传统方法，可提升流动性风险管理与金融监管决策的可靠性。
2024-10-24 cs.LG
Recurrent Neural Networks in the Eye of Differential Equations
Massachusetts Institute of Technology（麻省理工学院）；Google Inc.（谷歌公司）；IBM Research（IBM研究院）
为了理解递归神经网络的训练稳定性、时间动态性和结构复杂性之间的基本权衡，我们使用常微分方程的数值方法直接分析了递归神经网络的结构。我们定义了一个一般的家庭的RNN-ODERNs-通过相关的RNN的组成规则，常微分方程的集成方法在离散的时间步长。我们证明了RNN的功能非线性度$n$和时间记忆范围$t$可以映射到相应的Runge-Kutta递归阶段和常微分方程的时间导数阶数。我们证明了流行的RNN架构，如LSTM和URNN，适合不同顺序的$n$ - $t$ -ODERNs。RNN和ODE之间的这种精确对应关系有助于我们建立RNN训练稳定性的充分条件，并有助于使用来自ODE数值积分的各种工具箱来更灵活地自上而下设计新的RNN架构。我们提供这样一个例子：量子通用计算神经网络（QUNN）将训练参数的个数从数据长度和时间记忆长度的多项式减少到时间记忆长度的线性。
2019-04-29 cs.LG quant-ph stat.ML
Weight-Space Linear Recurrent Neural Networks
University of Bristol（布里斯托大学）；University of Maryland（马里兰大学）
WARP通过权重空间学习与线性递归结合，重新定义序列建模，实验证明其在多个任务中表现优异，具备高效适应和物理先验整合能力。
2026-03-02 cs.LG
Short-Term Load Forecasting Using Time Pooling Deep Recurrent Neural Network
Qom University of Technology（库姆理工大学）；London South Bank University（伦敦南岸大学）
可再生能源和电动汽车等新兴负载与智能电网的集成给配电系统管理带来了更多的不确定性。电力需求侧管理（DSM）是降低电力系统不确定性的有效途径之一。一些应用，如非侵入式负载监测（NILM）可以支持DSM，但它们需要高分辨率数据的准确预测。当涉及到像一个住宅家庭这样的单一负载时，由于其高波动性，这是具有挑战性的。在本文中，我们回顾了一些现有的基于深度学习的方法，并使用时间池深度循环神经网络提出了我们的解决方案。该方法利用时间池策略对数据进行扩充，能够更有效地克服过拟合问题和模型不确定性。仿真和实现结果表明，我们的方法优于现有的算法的RMSE和MAE指标。
2021-09-26 cs.CV cs.LG
The streaming rollout of deep networks - towards fully model-parallel execution
Bosch Center for Artificial Intelligence（博世人工智能中心）
深度神经网络，特别是循环网络，是控制与物理世界实时交互的自主代理的有希望的候选者。然而，这需要将时间特征无缝集成到网络的架构中。对于循环神经网络的训练和推理，它们通常随着时间的推移而推出，并且存在不同的推出。传统上，在推理过程中，网络的层以顺序的方式计算，导致信息的稀疏时间积分和较长的响应时间。在这项研究中，我们提出了一个理论框架来描述推出，他们诱导的模型并行化的水平，并证明在解决特定任务的差异。我们证明，某些推出，也只有跳过，没有经常性的连接，使网络更早，更频繁的反应，并经验表明，这些早期的反应有更好的性能。流媒体展示最大化了这些属性，并实现了网络的完全并行执行，减少了大规模并行设备上的运行时间。最后，我们提供了一个开源工具箱，用于设计、训练、评估和与流部署交互。
2018-11-02 cs.LG stat.ML
Recurrent Convolutional Deep Neural Networks for Modeling Time-Resolved Wildfire Spread Behavior
Google Research（谷歌研究院）；Stanford University（斯坦福大学）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）
野火的发生率和严重程度不断增加，这凸显了准确预测其行为的必要性。虽然从第一原理导出的高保真模型提供了物理准确性，但对于实时火灾响应来说，它们的计算成本太高。低保真度模型通过经验测量的集成牺牲了一些物理准确性和可推广性，但可以在火灾响应中进行实时模拟。机器学习技术提供了通过学习第一原理物理同时实现计算加速来桥接这些目标的能力。虽然深度学习方法已经证明了在很长一段时间内预测野火传播的能力，但主动火灾管理需要时间分辨的火灾蔓延预测。在这项工作中，我们评估了深度学习方法在准确建模野火的时间分辨动态方面的能力。我们使用自回归过程，其中卷积递归深度学习模型进行预测，在15分钟的增量内传播野火。我们证明了该模型在应用程序中的三个模拟数据集的复杂性不断增加，包含均匀的燃料分布，以及从美国加利福尼亚州地区采样的真实世界的拓扑结构的野外火灾。我们表明，即使经过100个自回归预测，代表超过24小时的模拟火灾蔓延，产生的模型产生稳定和现实的传播动力学，实现Jaccard得分在0.89和0.94之间时，预测产生的火痕。
2022-10-28 cs.LG
Analysis of Numerical Integration in RNN-Based Residuals for Fault Diagnosis of Dynamic Systems
Linköping University（林雪平大学）
本文研究基于RNN的神经常微分方程残差中数值积分求解器选择的影响，通过重型卡车后处理系统案例，展示其提升故障诊断性能的潜力。
2023-05-08 cs.LG
Recurrent Attention Models with Object-centric Capsule Representation for Multi-object Recognition
Department of Psychology（心理学系）；Department of Computer Science（计算机科学系）；Stony Brook University（石溪大学）
视觉系统使用一系列选择性的一瞥来处理场景，每个一瞥都由空间和基于对象的注意力驱动。这些瞥见反映了与正在进行的任务相关的内容，并通过对场景中物体的反复处理和识别来选择。相比之下，大多数模型将注意力选择和识别视为前馈过程中的独立阶段。在这里，我们展示了使用胶囊网络在具有迭代瞥见注意力的编码器-解码器模型中创建以对象为中心的隐藏表示，从而有效地整合了注意力和识别。我们在三个多对象识别任务上评估了我们的模型;高度重叠的数字，分散注意力的混乱和门牌号之间的数字，并表明它学会了有效地移动它的一瞥窗口，识别和重建对象，所有这些都只有分类作为监督。我们的工作采取了一个通用的架构，如何整合经常性的对象为中心的表示到规划的注意一瞥。
2021-10-11 cs.CV cs.LG q-bio.NC
Neural Integration of Continuous Dynamics
Massachusetts Institute of Technology（麻省理工学院）
神经动力系统是至少部分地由神经网络描述的动力系统。连续时间神经动力系统的类，但是，必须进行数值积分的模拟和学习。在这里，我们提出了一个紧凑的神经电路两个常见的数值积分器：显式固定步骤的龙格-库塔方法的任何顺序和半隐式/预测-校正亚当斯-Bashforth-Moulton方法。它们被建模为嵌入连续神经微分方程的恒定大小的递归网络，实现了完全神经的时间输出。使用动力系统的多项式类，我们证明了神经和数值积分的等价性。
2019-11-23 cs.LG cs.NA math.DS
On the Long-Term Memory of Deep Recurrent Networks
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
现代递归神经网络（RNN）在涉及序列数据的学习任务上取得空前成功的一个关键属性是它们能够对复杂的长期时间依赖性进行建模。然而，缺乏对RNN长期记忆能力的一个完善的衡量标准，因此对深度对其在整个时间内关联数据的能力的影响的正式理解是有限的。具体来说，卷积网络上现有的深度效率结果不足以解释深度RNN在不同长度数据上的成功。为了解决这个问题，我们引入了一个衡量网络支持跨时间信息流的能力的指标，称为起止分离秩，它反映了递归网络实现的函数与输入序列的开始和结束之间没有依赖关系的距离。我们证明了深经常性网络支持的起始-结束分离秩组合高于浅层次网络。因此，我们确定深度在递归网络建模长期依赖关系的能力方面带来了压倒性的优势，并提供了量化这一关键属性的范例，该属性可以很容易地扩展到其他感兴趣的RNN架构，例如LSTM网络的变体。我们通过考虑一类被称为递归算术电路的递归网络来获得我们的结果，这些递归网络通过乘法积分运算将隐藏状态与输入合并，并在常见的RNN上实证证明了所讨论的现象。最后，我们使用量子张量网络的工具来获得有关递归网络深度带来的复杂性的额外图形见解。
2018-06-06 cs.LG cs.NE
SCORE: Replacing Layer Stacking with Contractive Recurrent Depth
SCORE通过收缩性递归深度替代传统层堆叠，提升深度神经网络的收敛速度和训练效率。
2026-03-11 cs.AI cs.LG
ARMIN: Towards a More Efficient and Light-weight Recurrent Memory Network
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，记忆增强的神经网络（MANN）已经显示出很有前途的权力，以提高记忆能力的神经网络的顺序处理任务。然而，以前的人工神经网络遭受复杂的存储器寻址机制，使他们相对难以训练，并导致计算开销。此外，它们中的许多重用经典的RNN结构，如LSTM用于内存处理，导致内存信息的低效利用。在本文中，我们介绍了一种新的人，自动寻址和递归存储集成网络（ARMIN）来解决这些问题。ARMIN只利用隐藏状态ht进行自动存储器寻址，并使用一种新的RNN单元进行存储器信息的精细集成。各种实验的实证结果表明，ARMIN是更轻的重量和效率相比，现有的记忆网络。此外，我们证明了ARMIN可以实现比vanilla LSTM低得多的计算开销，同时保持类似的性能。代码可在github.com/zoharli/armin上获得。
2019-06-28 cs.LG cs.NE stat.ML
Efficient LSTM Training with Eligibility Traces
University of Tübingen（图宾根大学）
训练递归神经网络主要通过时间反向传播（BPTT）来实现。然而，从生物学和计算的角度来看，该算法不是最佳解决方案。一个更有效的和生物学上合理的替代BPTT是e-prop。我们调查的适用性e-prop的长短期记忆（LSTM），监督和强化学习（RL）的任务。我们表明，e-prop是一个合适的优化算法LSTM通过比较它的两个基准监督学习的BPTT。这证明了e-prop即使对于几百个时间步的长序列问题也可以实现学习。我们介绍的扩展，提高性能的电子道具，这可以部分地应用到其他网络架构。在这些扩展的帮助下，我们表明，在某些条件下，电子道具可以优于BPTT的两个基准之一，监督学习。最后，我们提供了在深度递归Q学习领域中将e-prop集成到RL的概念证明。
2022-09-30 cs.LG
Seeing in the dark with recurrent convolutional neural networks
Harvard Medical School（哈佛医学院）
经典的卷积神经网络（cCNN）非常擅长对图像中的对象进行分类。但是，与对图像中的噪声相对鲁棒的人类视觉不同，cCNN的性能随着图像质量的下降而迅速下降。在这里，我们建议在卷积层中使用递归连接，使网络对像素噪声具有鲁棒性，例如在低光照水平下成像可能产生的噪声，从而在使用模拟噪声视频序列进行测试时显着提高其性能。我们表明，cCNN对高信噪比（SNR）的图像分类良好，但在使用低SNR图像（高噪声水平）进行测试时，很容易被卷积神经网络超越，该卷积神经网络将递归添加到卷积层，此后称为gruCNN。添加贝叶斯最优时间积分以允许cCNN集成多个图像帧仍然不匹配gruCNN性能。此外，我们还表明，在低SNR下，gruCNN（校准后）预测的概率比cCNN预测的概率具有更高的置信度。我们建议将神经网络早期阶段的周期性连接作为不完美照明条件和嘈杂环境下计算机视觉的解决方案;在夜间，雨雪期间以及其他非理想情况下自动驾驶实时视频流所面临的挑战。
2018-11-21 cs.CV cs.LG stat.ML
Sparse Deep Predictive Coding captures contour integration capabilities of the early visual system
Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Inst Neurosci Timone（蒂莫内神经科学研究所）；ISM（ISM研究所）
神经生理学和心理物理学实验都指出，在早期视觉皮层中，循环连接和反馈连接在处理依赖于上下文的信息中起着至关重要的作用。虽然许多模型已经在神经或表征层面上解释了反馈效应，但没有一个模型能够将这两个层面的分析结合起来。是否可以用同一个模型来描述两个层次的反馈效应？我们通过将预测编码（PC）和稀疏编码（SC）结合到分层和卷积框架中来回答这个问题。在该稀疏深度预测编码（SDPC）模型中，SC组件对每个层内的内部递归处理进行建模，并且PC组件使用前馈和反馈连接来描述层之间的交互。在这里，我们在两个不同的图像数据库上训练一个2层SDPC，并将其解释为早期视觉系统（V1和V2）的模型。我们首先证明，一旦训练收敛，SDPC表现出导向和本地化的感受野在V1和V2更复杂的功能。第二，我们分析了反馈对V1神经元经典感受野以外的神经组织的影响。这些映射类似于联想场，反映了良好延续的完形原则。我们证明，反馈信号重组互动地图和调制神经活动，以促进轮廓整合。第三，我们证明了在代表性的水平，SDPC反馈连接能够克服输入图像中的噪声。因此，SDPC在神经水平上捕获了关联场原理，从而在代表性水平上更好地消除模糊图像的歧义。
2019-10-17 cs.AI cs.CV cs.LG
TemporalAugmenter: An Ensemble Recurrent Based Deep Learning Approach for Signal Classification
University of Cincinnati（辛辛那提大学）；Florida International University（佛罗里达国际大学）；University of Florida（佛罗里达大学）
本文提出 TemporalAugmenter 集成循环深度学习方法，通过双学习流融合两种循环神经网络以增强长短期时间依赖提取，并减少预处理能耗，在语音情感识别、心电图和信号质量检查任务上验证有效性。
2024-01-13 cs.HC cs.LG eess.SP
Stock Price Prediction using Multi-Faceted Information based on Deep Recurrent Neural Networks
Shahed University（沙希德大学）
针对股票价格预测问题，提出整合CNN与LSTM网络、结合社交网络情感分析（用Random Forest分类推文情绪）和烛台数据的方法，实现更全面的市场分析与更准确的预测。
2024-11-29 cs.AI cs.LG
Path Integration and Object-Location Binding Emerge in an Action-Conditioned Predictive Sequence Network
Sorbonne University（索邦大学）；Institute of Cognitive Science（认知科学研究所）；Osnabrück University（奥斯纳布吕克大学）
研究探讨了动作条件预测序列网络如何通过上下文学习提升预测准确性，并揭示了路径整合和动态绑定在结构化表示中的作用。
2026-05-08 cs.LG q-bio.NC
A Recurrent Neural Network Approach to the Answering Machine Detection Problem
Faculty of Science, University of Sarajevo（萨拉热窝大学理学院）；Infobip（英孚比普公司）
本文提出一种基于 YAMNet 迁移学习特征提取和循环神经网络的答录机检测方法，实现音频流实时处理，测试集准确率超 96%，结合 FFmpeg 静音检测算法后准确率可超 98%。
2024-10-07 cs.LG cs.MM cs.SD
A Recurrent Differentiable Engine for Modeling Tensegrity Robots Trainable with Low-Frequency Data
Rutgers University（罗格斯大学）
张拉整体机器人由刚性杆和柔性索组成，由于存在复杂的动力学和大量自由度，很难精确建模和控制。微分物理引擎最近已被提出作为一种数据驱动的方法，这种复杂的机器人系统的模型识别。这些引擎通常以高频率执行，以实现精确的仿真。然而，由于现实世界传感器的限制，用于训练可微分引擎的地面真实轨迹通常在如此高的频率下不可用。目前的工作重点是这种频率失配，这影响建模精度。我们提出了一种递归结构的可微物理引擎的张拉整体机器人，它可以有效地训练，即使低频轨迹。为了训练这种新的经常性引擎在一个强大的方式，这项工作介绍相对于以前的工作：（i）一个新的隐式集成方案，（ii）一个渐进的训练管道，和（iii）可微碰撞检查。MuJoCo上的NASA二十面体SUPERballBot模型被用作地面实况系统来收集训练数据。模拟实验表明，一旦循环微分引擎已经训练给定的低频轨迹从MuJoCo，它能够匹配MuJoCo的系统的行为。成功的标准是使用可微分引擎学习的运动策略是否可以被转移回地面实况系统并导致类似的运动。值得注意的是，训练可微分引擎使得策略可转移到地面实况系统所需的地面实况数据的量是直接在地面实况系统上训练策略所需的数据的1%。
2022-07-06 cs.AI cs.GR cs.LG
Emergence of functional and structural properties of the head direction system by optimization of recurrent neural networks
Columbia University（哥伦比亚大学）
最近的研究表明，目标驱动的神经网络训练可以用来模拟大脑中的神经活动。虽然人工神经网络中的神经元的响应特性与大脑中的神经元的响应特性具有相似性，但网络架构通常被限制为不同。在这里，我们问一个神经网络是否可以恢复神经表征，如果架构是无约束和优化的，神经回路的解剖特性。我们证明了这一点，在一个系统中的连接和功能组织的特点，即头部方向电路的啮齿动物和果蝇。我们训练循环神经网络（RNN）通过角速度的积分来估计头部方向。我们发现，在头部方向系统中观察到的两类不同的神经元，罗盘神经元和移位神经元，在人工神经网络中自然出现，作为训练的结果。此外，连接分析和计算机神经生理学揭示了人工网络和头部方向系统之间的结构和机制相似性。总的来说，我们的研究结果表明，在目标驱动的任务中优化RNN可以概括生物回路的结构和功能，这表明人工神经网络可以用于在神经活动和解剖组织水平上研究大脑。
2020-05-17 cs.LG cs.NE q-bio.NC
A Neural Stochastic Volatility Model
University College London（伦敦大学学院）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们表明，最近将统计模型与深度递归神经网络相结合，为制定波动率（时间序列的变化程度）模型提供了一种新的方法，这些模型已广泛用于金融领域的时间序列分析和预测。该模型包括一对互补的随机递归神经网络：生成网络模型的随机波动过程的联合分布;推理网络近似的条件分布的潜变量给定的观测值。我们在这里的重点是制定的时间动态波动随时间的随机递归神经网络框架下。在真实世界股票价格数据集上的实验表明，所提出的模型产生了更好的波动率估计和预测，优于主流方法，例如，确定性模型，如GARCH及其变体，以及随机模型，即基于MCMC的模型\emph{stochvol}以及高斯过程波动模型\emph{GPVol}，平均负对数似然。
2018-12-05 cs.CE cs.LG q-fin.ST
Learning nonlinear integral operators via Recurrent Neural Networks and its application in solving Integro-Differential Equations
University of California, Merced（加州大学默塞德分校）；Lawerence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文提出用LSTM-RNN学习非线性积分算子，将积分微分方程转化为常微分方程，将时间成本从O(n_T^2)降至O(n_T)，并验证了其泛化性及在量子多体系统戴森方程求解中的应用。
2023-10-13 cs.LG math.DS physics.comp-ph
Long-time Integration of Nonlinear Wave Equations with Neural Operators
Fudan University（复旦大学）；Center for Applied Mathematics, Fudan University（复旦大学应用数学中心）
本文提出以循环自回归方式结合守恒律与适定性等先验信息，改进神经算子对非线性波动方程的长时间积分精度，并在 KdV、sine-Gordon 和不规则区域 Klein-Gordon 方程上验证。
2025-02-17 cs.LG cs.NA math.NA
Identifying recurrent flows in high-dimensional dissipative chaos from low-dimensional embeddings
Emergent Complexity in Physical Systems Laboratory (ECPS), \'Ecole Polytechnique F\'ed\'erale de Lausanne, 1015 Lausanne, Switzerland
本文提出一种在低维嵌入中识别高维耗散混沌系统循环流的方法，通过循环收敛算法和潜在动力学模型实现对UPOs的高效识别。
2026-01-04 cs.LG nlin.CD physics.flu-dyn
Ensemble perspective for understanding temporal credit assignment
Sun Yat-sen University（中山大学）
递归神经网络广泛用于自然语言处理和神经种群动力学中的时空序列建模。然而，理解临时信用分配是困难的。在这里，我们建议在经常性计算中的每个单独的连接是由尖峰和板分布，而不是一个精确的权重值。然后，我们推导出平均场算法训练网络在合奏水平。然后，该方法被应用到分类手写数字时，按顺序读取像素，和多感官整合任务，这是一个基本的认知功能的动物。我们的模型揭示了决定网络整体性能的重要连接。该模型还显示了时空信息是如何通过分布的超参数进行处理的，并揭示了不同类型的涌现神经选择性。为了提供集成学习的机制分析，我们首先推导出在无限大网络极限下的学习的解析解。然后，我们进行了低维投影的神经和突触动力学，分析对称性破缺的参数空间，并最终证明了随机可塑性的作用，在经常性的计算。因此，我们的研究揭示了权重不确定性如何影响递归神经网络的时间信用分配的机制，从集成的角度来看。
2022-03-07 cond-mat.dis-nn cs.LG cs.NE
Memory-Augmented Spiking Networks: Synergistic Integration of Complementary Mechanisms for Neuromorphic Vision
本文提出通过整合互补机制提升类脑视觉性能，通过实验验证了记忆增强对准确率、效率和能耗的协同优化效果。
2026-02-21 cs.LG cs.NE
Sensory robustness through top-down feedback and neural stochasticity in recurrent vision models
Hertie Institute for Clinical Brain Research, University of Tübingen（图宾根大学赫蒂临床脑研究所）；University of Tübingen（图宾根大学）；Center for Bionic Intelligence Tübingen Stuttgart (BITS)（图宾根-斯图加特仿生智能中心）；Institute of Cognitive Sciences and Technologies, National Research Council（国家研究委员会认知科学与技术研究所）；Institute of Neurology, University College London（伦敦大学学院神经病学研究所）；German Center for Mental Health (DZPG)（德国心理健康中心）
本研究通过训练带有自上而下反馈和随机神经变异性的卷积循环神经网络，发现反馈与 dropout 结合能显著提升模型的速度-准确率权衡及鲁棒性，揭示了神经随机性与自上而下反馈在弹性感知编码中的双重稳定机制。
2025-08-09 cs.CV cs.LG q-bio.NC
Sustainable Greenhouse Microclimate Modeling: A Comparative Analysis of Recurrent and Graph Neural Networks
Department of Enterprise Engineering, University of Rome Tor Vergata, Via del Politecnico 1, 00133, Rome, Italy（罗马Tor Vergata大学企业工程系）；Department of Mathematics and Physics, Roma Tre University, Via della Vasca Navale 84, 00146, Rome, Italy（罗马Tre大学数学与物理系）；Department of Agrotechnology, University of Thessaly, 41500 Larissa, Greece（希腊塔拉斯大学农业技术系）；Lab of Agricultural Constructions and Environmental Control, Department of Agriculture Crop Production and Rural Environment, University of Thessaly, Fytokou Str, 38446, Volos, Greece（塔拉斯大学农业建筑与环境控制实验室）
本研究比较了循环神经网络与有向时空图神经网络在温室微气候建模中的表现，发现随着变量交互复杂性增加，显式建模方向性依赖关系的图模型更优，为农业光伏温室数字孪生奠定基础。
2025-06-19 cs.LG stat.AP
Measuring and Controlling Solution Degeneracy across Task-Trained Recurrent Neural Networks
Harvard University（哈佛大学）；Harvard Medical School（哈佛医学院）；Kempner Institute（凯普纳研究所）；EPFL（苏黎世联邦理工学院）
本研究开发了统一框架，量化和控制任务训练RNN中的解退化，揭示任务复杂性和网络规模对解退化的影响。
2025-11-20 cs.IT cs.LG cs.NE
Recurrent Transformer-Based Near- and Far-Field THz Wideband Channel Estimation for UM-MIMO
Center for Next Generation Wireless and IoT（下一代无线与物联网中心）；Skolkovo Institute of Science and Technology（斯克尔科夫科学与技术研究所）；Department of IEOR（工业工程与运营研究系）；Indian Institute of Technology Bombay（孟买印度理工学院）；Faculty of Computer and Engineering Sciences（计算机与工程科学学院）；Innopolis University（因诺波利斯大学）
本文提出基于循环变压器模型的信道估计方法，用于近场和远场太赫兹宽带UM-MIMO系统，通过状态记忆实现高效通道估计，提升了窄带和宽带场景下的性能。
2026-05-12 cs.IT cs.LG eess.SP
STLCG++: A Masking Approach for Differentiable Signal Temporal Logic Specification
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学系）；General Robotics（通用机器人）；University of Washington（华盛顿大学）；NVIDIA（英伟达）
本文提出基于掩码的STLCG++方法，通过跨时间步并行化STL鲁棒性评估与反向传播，实现超1000倍加速，并引入平滑技术支持时间区间边界微分，提升了机器人在基于梯度优化任务中的效率与适用性。
2025-09-15 cs.LG cs.RO cs.SC
Data assimilation and discrepancy modeling with shallow recurrent decoders
Department of Applied Mathematics, University of Washington（应用数学系，华盛顿大学）；Department of Electrical and Computer Engineering, University of Washington（电气与计算机工程系，华盛顿大学）
本文提出DA-SHRED框架，通过浅层递归解码器弥合仿真与现实的差距，并恢复复杂系统中缺失的动力学。
2025-12-01 cs.AI cs.LG math.AP
A deep learning pipeline for cross-sectional and longitudinal multiview data integration
University of Minnesota Twin Cities（明尼苏达大学双城分校）
本文提出一种结合统计与深度学习的流水线，用于整合横截面和纵向多视图数据，并通过变量选择、特征提取及联合分类识别与IBD状态相关的关键组学特征。
2023-12-02 cs.LG stat.AP stat.CO
