LoRA-RC: Reservoir Computing with Low-Rank Adaptation
University of New Mexico（新墨西哥大学）
LoRA-RC通过低秩校正在线适应储层循环矩阵，在保证稳定性的同时，将漂移后预测误差降低56%，优于固定RC和仅读出适应。
2026-09-14 cs.AI cs.LG cs.SY
READ: Recurrent Adaptation of Large Transformers
Meta
针对大型Transformer全参数微调及现有参数高效迁移学习方法资源消耗高的问题，提出轻量内存高效的READ微调方法，通过旁置小型RNN避免主干网络反向传播，在GLUE基准上显著降低内存与能耗且保持模型质量，具备高可扩展性。
2024-10-03 cs.AI cs.LG
S0 Tuning: Zero-Overhead Adaptation of Hybrid Recurrent-Attention Models
Indiana University（印第安纳大学）
S0调优通过零推理开销优化循环层状态矩阵，提升HumanEval性能10.8个百分点，且在多个任务中展示出显著的跨域迁移能力。
2026-04-03 cs.CL cs.LG
Stacked Convolutional and Recurrent Neural Networks for Bird Audio Detection
Tampere University of Technology（坦佩雷理工大学）
本文研究了使用层叠卷积和循环神经网络检测音频片段中的鸟叫声。提出了通过块混合和领域自适应的数据增强，并评估了该方法对未知数据的鲁棒性。研究了两种声学特征（主频和对数梅尔带能量）及其组合在鸟类音频检测中的贡献。我们在开发数据的五次交叉验证中实现的最佳AUC测量值为95.5%，在看不见的评估数据中为88.1%。
2017-06-07 cs.LG cs.SD
Robust and Subject-Independent Driving Manoeuvre Anticipation through Domain-Adversarial Recurrent Neural Networks
Pacmed；Medical Micro Instruments（医疗微仪器公司）；Teoresi Group（Teoresi集团）；Scuola Superiore Sant’Anna（圣安娜高等学校）
通过深度学习和计算机视觉技术，可以提前几秒钟准确预测驾驶操作。尽管使学习模型适应新驾驶员和不同车辆是强大的驾驶员辅助系统的关键，但到目前为止，这个问题几乎没有受到关注。这项工作提出通过领域自适应，一种与迁移学习密切相关的技术来应对这一挑战。提出了将域对抗递归神经网络（DA-RNN）应用于多模态时间序列驱动数据的概念证明，其中通过最大化辅助域分类器的损失来学习域不变特征。我们的实现使用Brain 4Cars数据集的单个驱动程序的leave-one-driver-out方法进行评估，以及使用通过驾驶模拟获得的新数据集，与没有适应相比，性能分别平均提高了30%和114%。我们还展示了微调网络部分以优化域独立特征提取的重要性。结果表明，该方法的适用性，驾驶辅助系统以及培训和仿真环境。
2019-02-26 cs.LG stat.ML
ORAL: Prompting Your Large-Scale LoRAs via Conditional Recurrent Diffusion
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；National University of Singapore（新加坡国立大学）
本文提出条件循环扩散框架ORAL，通过融合模型架构与任务文本条件生成任务特定的LoRA参数，在数十亿参数LLMs上同时实现可扩展性与可控性，并在多类任务中取得与常规训练相当或更优的性能。
2025-04-08 cs.AI cs.CL cs.CV
Forecast Accuracy Is Not Trading Profit: Evolving Small Recurrent Networks for Stock Return Prediction
Union County Magnet High School（联合县磁石高中）；Kean University（基恩大学）
本研究比较多种预测模型，发现神经进化搜索的小型循环网络在预测准确率和交易净收益上均最优，且计算成本极低，表明预测误差与交易利润并非直接对应。
2026-10-07 cs.CE cs.LG cs.NE
Professor Forcing: A New Algorithm for Training Recurrent Networks
MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
Teacher Forcing算法通过在训练期间提供观测序列值作为输入来训练递归网络，并使用网络自己的一步预测来进行多步采样。我们介绍了Professor Forcing算法，该算法使用对抗域自适应来鼓励递归网络的动态在训练网络时和在多个时间步长上从网络采样时保持相同。我们将教授强迫语言建模，语音合成的原始波形，手写生成，图像生成。从经验上讲，我们发现，教授强迫作为一个正则化，提高测试的可能性字符水平宾州树库和顺序MNIST。我们还发现，该模型定性地提高了样本，特别是当采样大量的时间步长。这得到了对样品质量的人工评价的支持。教授强迫和预定采样之间的权衡进行了讨论。我们制作的T-SNE表明，Forcing教授成功地使网络在训练和采样过程中的动态更加相似。
2016-10-27 cs.LG stat.ML
Domain Adaptation for Neural Networks by Parameter Augmentation
SONY（索尼公司）；University of Tokyo（东京大学）
我们提出了一个简单的领域自适应方法的神经网络在监督设置。有监督领域自适应是一种利用源领域数据集提高目标领域泛化性能的方法，假设两个数据集都被标记。最近，递归神经网络已被证明是成功的各种NLP任务，如字幕生成;然而，现有的领域自适应技术是有限的（1）调整模型参数的目标数据集训练后，由源数据集，或（2）设计的网络具有双重输出，一个用于源域和目标域的另一个。本文对Daume（2007）提出的领域自适应方法进行了改进，提出了一种简单的领域自适应方法，该方法可应用于交叉熵损失下训练的神经网络。在字幕数据集上，我们显示了比其他领域自适应方法性能的提高。
2016-07-01 cs.AI cs.CL cs.LG
Unsupervised Vehicle Counting via Multiple Camera Domain Adaptation
Institute of Information Science and Technologies (ISTI), Italian National Research Council (CNR)（意大利国家研究委员会信息科学与技术研究所）；Instituto Superior Técnico (LARSyS/IST)（里斯本高等理工学院）
监测城市中的车辆流量对于改善城市环境和公民生活质量至关重要。图像是感知和评估大面积车辆流动的最佳传感方式。目前用于图像中车辆计数的技术依赖于大量的注释数据，这阻碍了它们在系统中添加新相机时对城市规模的可扩展性。这是处理物理系统时经常出现的问题，也是机器学习和AI的关键研究领域。我们提出并讨论了一种新的方法来设计基于图像的车辆密度估计器，通过多个摄像机领域自适应的标记数据很少。
2020-09-13 cs.CV cs.LG
A Few-Shot Attention Recurrent Residual U-Net for Crack Segmentation
National Technical University of Athens（雅典国立技术大学）；University of Macedonia（马其顿大学）
最近的研究表明，深度学习在道路基础设施的自动视觉检测中起着至关重要的作用。然而，目前的学习计划是静态的，这意味着没有动态适应用户的反馈。为了解决这个问题，我们提出了一个少样本学习范例的道路裂缝，这是基于一个U-网架构与经常性的残差和注意力模块（R2 AU-网）的自动分割。当一些新的校正样本被馈送到分类器中时，再训练策略动态地微调U-Net的权重。大量的实验表明，所提出的Few-Shot R2 AU-Net框架在Dice和IoU指标方面优于其他最先进的网络，在一个名为CrackMap的新数据集上，该数据集可在https://github.com/ikatsamenis/CrackMap上公开获得。
2023-03-02 cs.CV cs.LG eess.IV
Towards lifelong learning of Recurrent Neural Networks for control design
Politecnico di Milano（米兰理工大学）
本文提出了一种终身学习递归神经网络的方法，如NNARX，ESN，LSTM和GRU，用于控制系统综合的对象模型。这个问题很重要，因为在许多实际应用中，当新信息可用和/或系统发生变化时，需要调整模型，而不需要随着时间的推移存储越来越多的数据。事实上，在这种情况下，出现了许多问题，如众所周知的灾难性遗忘和容量饱和问题。我们提出了一个自适应算法的启发移动时域估计，推导出其收敛条件。所描述的方法被应用到一个模拟的化工厂，在现有的文献中已经通过了一个具有挑战性的基准。取得的主要成果进行了讨论。
2022-08-08 cs.LG cs.SY eess.SY
A Likelihood Ratio based Domain Adaptation Method for E2E Models
Amazon Alexa（亚马逊Alexa）
端到端（E2 E）自动语音识别模型（如递归神经网络换能器（RNN-T））正在成为语音助理等流ASR应用的热门选择。虽然E2 E模型在学习它们所训练的训练数据的表示方面非常有效，但它们在看不见的域上的准确性仍然是一个具有挑战性的问题。此外，这些模型需要成对的音频和文本训练数据，计算成本高，并且难以适应会话语音的快速演变性质。在这项工作中，我们探索了一种使用似然比的上下文偏置方法，该方法利用文本数据源使RNN-T模型适应新的域和实体。我们表明，这种方法是有效的，在提高罕见的单词识别，并导致在1-最好的字出错率（WER）和10%的相对改善在n-best Oracle WER（n=8）在多个域外的数据集上没有任何退化的一般数据集。我们还表明，补充的上下文偏置自适应与适应的第二次通过重新评分模型提供了额外的WER改善。
2022-01-10 cs.CL cs.LG
Modeling Electrical Motor Dynamics using Encoder-Decoder with Recurrent Skip Connection
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（巴黎中央理工-高等电力学院）；Inria（法国国家信息与自动化研究所）；Schneider Toshiba Inverter Europe（施耐德东芝逆变器欧洲公司）；Samovar（萨莫瓦尔实验室）；CNRS（法国国家科学研究中心）；Télécom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
电动机是工业世界中最重要的机械能来源。它们的建模传统上依赖于基于物理的方法，旨在考虑其复杂的内部动态。在本文中，我们探索了通过数据驱动的方法对电动机的动态进行建模的可行性，该方法仅使用其输入和输出，并且不对其内部行为进行任何假设。我们提出了一种新的编码器-解码器架构，受益于经常性的跳过连接。我们还提出了一种新的损失函数，考虑到电机数量的复杂性，并有助于避免模型偏差。我们表明，该架构可以实现我们的高频高方差数据集上的良好的学习性能。考虑两个数据集：第一个是使用基于感应电动机的物理特性的模拟器生成的，第二个是从工业电动机记录的。我们使用传统神经网络的变体（如前馈、卷积和递归网络）对我们的解决方案进行基准测试。我们评估架构的各种设计选择，并将其与基线进行比较。我们展示了我们的模型的领域自适应能力，通过在原始传感器数据上测试它来从模拟数据中学习动态。最后，我们展示了信号复杂性对所提出的方法模拟时间动态的能力的影响。
2020-10-08 cs.LG
Liger: Linearizing Large Language Models to Gated Recurrent Structures
Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University（南京大学）
本文提出Liger，通过重用预训练key矩阵权重构建门控机制，将LLMs无额外参数地线性化为门控循环结构，并结合LoRA微调与Liger Attention，以极低预训练成本恢复模型性能。
2025-05-07 cs.AI cs.CL cs.LG
M2RU: Memristive Minion Recurrent Unit for On-Chip Continual Learning at the Edge
NUAI Lab, Department of Electrical and Computer Engineering, University of Texas at San Antonio and Department of Electrical Engineering, University of Baghdad（NUAI实验室，电子与计算机工程系，德克萨斯大学圣安东尼奥分校和电子工程系，巴格达大学）
M2RU是一种用于边缘芯片持续学习的忆阻式Minion循环单元，通过混合信号架构实现高效时间处理和能效提升。
2025-12-26 cs.AI cs.ET cs.LG
Leaping Through Time with Gradient-based Adaptation for Recommendation
Tokyo Tech（东京工业大学）；RWBC-OIL, AIST（产业技术综合研究所 RWBC-OIL）；AIRC, AIST（产业技术综合研究所 AIRC）；DigiARC, AIST（产业技术综合研究所 DigiARC）
现代推荐系统需要适应用户偏好和项目流行度的变化。这样的问题被称为时间动态问题，它是推荐系统建模的主要挑战之一。与流行的循环建模方法不同，我们通过使用基于轨迹的元学习来建模时间依赖性，提出了一种新的解决方案LeapRec来解决时间动态问题。LeapRec通过两个互补分量来表征时间动态，称为全局时间跳跃（GTL）和有序时间跳跃（OTL）。通过设计，GTL通过在无序的时态数据中找到最短的学习路径来学习长期模式。合作，OTL学习短期模式，考虑时序数据的连续性。我们的实验结果表明，LeapRec在几个数据集和推荐指标上始终优于最先进的方法。此外，我们提供了GTL和OTL之间的相互作用的实证研究，显示长期和短期建模的影响。
2021-12-28 cs.IR cs.LG
Recurrent Harness for Agentic Continual Learning
Massachusetts Institute of Technology（麻省理工学院）；Meta MRS Research（Meta MRS研究院）；Yale University（耶鲁大学）
针对语言模型智能体持续学习的分布偏移问题，提出循环式控制器框架ReHarness，通过后向修正机制提升性能，在多基准和主干模型上优于多种基线方法，同时改善学习的稳定性与可塑性。
2026-10-12 cs.AI cs.CL cs.LG
Online Task Adaptation via Self-Organisation
本文提出一种基于神经细胞自动机的元学习自组织机制，通过快速记忆更新实现无梯度的在线任务自适应，在保留分类任务上显著提升性能。
2026-09-25 cs.LG cs.NE
Where Should LoRA Go? Component-Type Placement in Hybrid Language Models
organization= VRAIN -- Valencian Research Institute for Artificial Intelligence, Universitat Polit\`ecnica de Val\`encia , city= Valencia , country= Spain；organization= Department of Economics；organization= Department of Business Organisation, Universitat Polit\`ecnica de Val\`encia , city= Valencia , country= Spain
研究混合语言模型中不同组件类型的LoRA布局，发现注意力路径在参数更少时表现更优，且不同架构对适配响应有显著差异。
2026-04-24 cs.CL cs.LG
Interneurons accelerate learning dynamics in recurrent neural networks for statistical adaptation
Flatiron Institute（弗莱德哈钦森研究所）；Harvard University（哈佛大学）；New York University School of Medicine（纽约大学医学院）
本研究对比介导递归通信的中间神经元网络与直接递归连接网络，发现前者对初始化更鲁棒、收敛更快，揭示了中间神经元在快速统计适应中的计算作用，为递归网络的隐式加速提供了类比。
2023-08-24 cs.LG cs.NE q-bio.NC
Towards Subject Agnostic Affective Emotion Recognition
University of Surrey（萨里大学）；University of Southampton（南安普顿大学）；Halmstad University（哈尔姆斯塔德大学）
本文针对EEG信号在主题无关情感脑机接口中的分布偏移问题，提出了一种基于元学习的增强领域自适应框架，通过循环神经网络、分类器和分布偏移控制器实现快速适应，在保持性能的同时避免了额外计算资源的消耗。
2023-10-20 cs.HC cs.LG cs.MM
Progressive Memory Banks for Incremental Domain Adaptation
Vector Institute for AI（人工智能向量研究所）；Cheriton School of Computer Science, University of Waterloo（滑铁卢大学谢里顿计算机科学学院）；Dept. Computing Science, University of Alberta（阿尔伯塔大学计算机科学系）；Alberta Machine Intelligence Institute (AMII)（阿尔伯塔机器智能研究所（AMII））；Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）
研究了自然语言处理中的增量式领域自适应问题。我们假设每个域都是一个接一个的，并且我们只能访问当前域中的数据。IDA的目标是建立一个统一的模型，在我们遇到的所有领域都能很好地执行。我们采用了NLP中广泛使用的递归神经网络（RNN），但增加了一个直接参数化的存储体，在RNN过渡的每一步由注意力机制检索。存储体提供了一种自然的IDA方式：当我们的模型适应一个新的域时，我们逐步向存储体添加新的插槽，这增加了参数的数量，从而增加了模型的容量。我们通过反向传播学习新的内存插槽并微调现有参数。实验结果表明，我们的方法实现了显着更好的性能比单独微调。与扩展隐藏状态相比，我们的方法是更强大的旧域，由经验和理论结果表明。在实验中，我们的模型也优于IDA以前的工作，包括弹性重量合并和渐进式神经网络。
2020-02-14 cs.AI cs.CL cs.LG
Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models
Google（谷歌公司）
提出分层循环适配器（HRA），通过共享控制器网络、任务级适配器头和跨层参数复用降低多任务适配的参数开销，并在语音识别任务上超越现有适配器方法和全模型微调。
2024-03-25 cs.AI cs.CL cs.LG
Loop Dropout: Regularizing Shared Updates in Looped Language Models
针对循环语言模型中LoRA共享更新的后循环偏差，提出Loop Dropout方法，通过随机掩蔽与逆生存重缩放保持期望更新强度，提升跨循环适配，增强数学推理、指令调优和代码生成性能。
2026-10-06 cs.CL cs.LG
Attention-Based Deep Learning Framework for Human Activity Recognition with User Adaptation
University of Padova（帕多瓦大学）
基于传感器的人体活动识别（HAR）需要基于传感器生成的时间序列数据来预测人的动作。HAR在过去的几年里吸引了大量的兴趣，这要归功于现代无处不在的计算设备所支持的大量应用。虽然已经提出了几种基于手工制作的特征工程的技术，但当前最先进的技术由深度学习架构表示，该架构自动获得高级表示并使用递归神经网络（RNN）来提取输入中的时间依赖性。RNN有几个局限性，特别是在处理长期依赖关系方面。我们提出了一种新的深度学习框架，\algname，基于一个纯粹的注意力为基础的机制，克服了国家的最先进的限制。我们表明，我们提出的基于注意力的架构是相当强大的比以前的方法，与平均增量，超过$7\%$的F1分数在以前的最佳性能模型。此外，我们考虑了个性化HAR深度学习模型的问题，这在一些应用中非常重要。我们提出了一种简单有效的基于迁移学习的策略来适应特定用户的模型，为该用户的预测提供F1分数的平均增量$6\%$。我们广泛的实验评估证明了显着优越的能力，我们提出的框架，在当前国家的最先进的和我们的用户自适应技术的有效性。
2021-03-27 cs.HC cs.LG eess.SP
D-TAIA: Domain-Aware LLM Adaptation for Multi-Task Predictive Process Monitoring
Eindhoven University of Technology（埃因霍温理工大学）；University of Wuppertal（伍珀塔尔大学）
本文提出D-TAIA框架，通过参数高效微调FM骨干网，结合DATL预训练与FAISS检索等技术，在四个真实事件日志上实现多任务PPM的SOTA或竞争力性能。
2026-09-22 cs.LG
RESCAST-100K: A Comprehensive Dataset for Cross-Domain Residential Load and Indoor Temperature Forecasting
University of Kentucky（肯塔基大学）
提出RESCAST-100K大规模基准数据集，通过配置驱动接口支持跨领域泛化研究，涵盖约10万模拟住宅和5个真实数据集，用于评估迁移学习、域适应和零样本预测方法。
2026-06-01 cs.LG
Transfer Learning with Foundational Models for Time Series Forecasting using Low-Rank Adaptations
Leicester School of Pharmacy, DeMontfort University（德蒙福特大学莱斯特药学院）
本文提出 LLIAM，通过时间序列提示与低秩自适应微调 LLM，并经对比及零样本实验验证其预测性能与跨域泛化能力。
2025-05-12 cs.LG
Path-Normalized Optimization of Recurrent Neural Networks with ReLU Activations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了循环神经网络（RNN）的参数空间几何结构，并开发了一种适应这种几何结构的路径SGD优化方法，该方法可以学习具有ReLU激活的普通RNN。在几个需要捕获长期依赖结构的数据集上，我们表明，与使用SGD训练的RNN相比，即使使用各种最近建议的初始化方案，path-SGD也可以显着提高ReLU RNN的可训练性。
2016-05-23 cs.LG cs.NE
Domain Adaptation for Robust Workload Level Alignment Between Sessions and Subjects using fNIRS
Tufts University（塔夫茨大学）
针对fNIRS数据跨会话和受试者的域偏移问题，提出使用G-W和FG-W两种域适应方法进行工作负荷水平对齐，实验证明其性能显著优于SVM、CNN和RNN等监督方法。
2020-11-30 cs.CV cs.LG q-bio.NC
IP$^{2}$-RSNN: Bi-level Intrinsic Plasticity Enables Learning-to-learn in Recurrent Spiking Neural Networks
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；School of Engineering, Westlake University（西湖大学工程学院）；School of Life Sciences, Westlake University（西湖大学生命科学学院）
本研究提出IP$^{2}$-RSNN，通过双层内在可塑性使递归脉冲神经网络实现学会学习，优于点神经元和自注意力模型，揭示内在可塑性在L2L中的计算优势。
2025-09-26 cs.LG cs.NE
Evolution of Plastic Learning in Spiking Networks via Memristive Connections
本文提出了一种尖峰神经进化系统，它将忆阻器实现为塑料连接，即其权重可以在试验期间变化。进化设计过程利用参数自适应和可变的拓扑结构，允许神经元的数量，连接权重和神经元间的连接模式出现。通过比较两个现象学的现实世界的忆阻器实现与网络组成的（i）线性电阻（ii）恒定值的连接，我们证明，这种方法允许网络的演变出现适当的复杂性，同时利用连接的忆阻特性，以减少学习时间。我们扩展这种方法，允许网络内的忆阻器的异构混合物，我们的方法提供了一个深入的网络结构分析。我们的网络模拟机器人导航任务进行评估，结果表明，忆阻可塑性，使更高的性能比恒定加权连接在静态和动态奖励的情况下，和忆阻元件的混合物相比，同质忆阻网络提供性能优势。
2012-12-14 cs.ET cs.NE
Distributed Recurrent Neural Forward Models with Synaptic Adaptation for Complex Behaviors of Walking Robots
Institute for Physics - Biophysics, George-Agust-University（乔治-奥古斯特大学物理-生物物理研究所）；Bernstein Center for Computational Neuroscience, George-Agust-University（乔治-奥古斯特大学伯恩斯坦计算神经科学中心）；Riken Brain Science Institute（理化学研究所脑科学研究所）；Maersk Mc-Kinney Moller Institute, University of Southern Denmark（南丹麦大学马士基·麦金尼·穆勒研究所）
行走的动物，如竹节虫，蟑螂或蚂蚁，展示了一系列迷人的运动能力和复杂的行为。运动行为可以包括各种行走模式以及适应，使动物能够应对环境条件的变化，如不平坦的地形，间隙，障碍物等。生物学研究表明，这种复杂的行为是生物力学和神经机制相结合的结果，从而代表了体现相互作用的真正本质。虽然生物力学有助于保持灵活性和维持各种运动，但神经机制在产生运动的同时，做出对实现适应至关重要的适当预测。这种预测或提前计划可以通过基于动物整体行为的内部模型来实现。受这些发现的启发，我们在这里提出了一种人工生物启发步行系统，该系统有效地将生物力学（在身体和腿部结构方面）与潜在的神经机制相结合。神经机制包括：1）基于中央模式发生器的控制，用于产生基本的节奏模式和协调运动，2）分布式（在每个分支处）基于递归神经网络的自适应前向模型，其具有作为用于感觉预测和瞬时状态估计的内部模型的传出副本，以及3）搜索和高度控制，用于使单个腿的运动适应于处理不同的环境条件。使用模拟，我们表明，这种具有自适应内部模型的生物启发方法允许步行机器人执行在昆虫中观察到的复杂的loco- motive行为，包括在起伏的地形上行走，穿越大的间隙以及爬过高障碍物。
2015-06-11 cs.NE cs.RO q-bio.NC
Neuroevolving Electronic Dynamical Networks
Vivum AI（维吾姆人工智能公司）；Indiana University（印第安纳大学）
针对神经进化中CTRNNs适应度评估耗时的问题，提出利用FPGA的动态部分重配置与可编程逻辑实现超并行评估，将神经进化过程加速数个数量级，验证了其作为神经进化动态神经网络平台的潜力。
2024-04-17 cs.AI cs.AR cs.NE
Rethinking Recurrent Neural Networks for Time Series Forecasting: A Reinforced Recurrent Encoder with Prediction-Oriented Proximal Policy Optimization
School of Management, Huazhong University of Science and Technology（华中科技大学管理学院）；Center for Applied Mathematics, École des Ponts ParisTech（巴黎高等理工学院应用数学中心）；School of Mechanical Engineering, Dalian Jiaotong University（大连交通大学机械工程学院）；School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）
本文提出RRE-PPO4Pred方法，通过强化编码器和改进的PPO算法提升时间序列预测的准确性和模型能力。
2026-01-13 cs.LG cs.NE
ReckOn: A 28nm Sub-mm2 Task-Agnostic Spiking Recurrent Neural Network Processor Enabling On-Chip Learning over Second-Long Timescales
自主边缘设备的强大现实部署需要片上适应用户、环境和任务引起的可变性。由于片上存储器的限制，以前的学习设备仅限于静态刺激，没有时间的内容。我们提出了一个0.45毫米$^2$尖峰RNN处理器，使任务无关的在线学习超过几秒钟，我们演示了导航，手势识别和关键字定位在0.8%的内存开销和<150- $μ$ W的训练功率预算。
2022-08-20 cs.AR cs.ET cs.NE
Scalable Learning in Structured Recurrent Spiking Neural Networks without Backpropagation
Department of Electrical and Computer Engineering（电气与计算机工程系）；Worcester Polytechnic Institute（沃斯特理工学院）
本文提出一种结构化多层递归SNN架构，通过局部密集递归层与稀疏小世界长程连接相结合，实现无需反向传播的监督学习，展示了稀疏全局通信和纯局部突触更新的高效学习方法。
2026-05-01 cs.AI cs.LG cs.NE
Online Sequence Training of Recurrent Neural Networks with Connectionist Temporal Classification
Seoul National University（首尔大学）
基于连接主义时态分类（CTC）的循环神经网络（RNN）的监督序列训练在包括端到端语音和手写字符识别在内的许多机器学习领域都取得了巨大的成功。然而，对于CTC训练，需要将RNN展开（或展开）输入序列的长度。这种展开需要大量的存储器，并且阻碍了在线学习或适应的小足迹实现。此外，训练序列的长度通常是不均匀的，这使得使用多个序列的并行训练在诸如图形处理单元（GPU）的共享存储器模型上效率低下。在这项工作中，我们引入了一种基于期望最大化（EM）的在线CTC算法，该算法使单向RNN能够学习比展开量更长的序列。RNN也可以被训练来处理无限长的输入序列，而无需预分割或外部重置。此外，所提出的方法允许在GPU上进行高效的并行训练。为了评估，音素识别和端到端语音识别的例子，分别在TIMIT和华尔街日报（WSJ）语料库。我们的在线模型实现了20.7%的音素出错率（PER）的非常长的输入序列，是通过连接所有192个话语在TIMIT核心测试集。在WSJ上，一个网络只需64次展开就可以训练好，同时牺牲了4.5%的相对字出错率。
2017-02-02 cs.LG cs.NE
Full-Capacity Unitary Recurrent Neural Networks
University of Washington（华盛顿大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
循环神经网络是处理序列数据的强大模型，但它们通常受到消失和爆炸梯度问题的困扰。酉循环神经网络（uRNN）使用酉递归矩阵，最近被提出作为避免这些问题的一种手段。然而，在以前的实验中，递归矩阵被限制为参数化酉矩阵的乘积，并且仍然存在一个悬而未决的问题：当这样的参数化不能表示所有酉矩阵时，这种有限的表示能力如何限制可以学习的内容？为了解决这个问题，我们提出了全容量的uRNN，它在所有酉矩阵上优化了它们的递归矩阵，从而比使用有限容量递归矩阵的uRNN的性能有了显着提高。我们的贡献包括两个主要部分。首先，我们提供了一个理论论据，以确定是否酉参数化有限制的能力。使用这个参数，我们表明，最近提出的酉参数化的隐藏状态维数大于7的限制能力。其次，我们展示了如何一个完整的，全容量的酉递归矩阵可以优化的酉矩阵的可微流形。所得的乘法梯度步骤非常简单，并且不需要梯度裁剪或学习速率自适应。我们通过在合成和自然数据上对新的全容量uRNN进行经验评估来证实我们的主张的实用性，与LSTM和原始的容量受限uRNN相比，我们实现了更优越的性能。
2016-10-31 cs.LG cs.NE stat.ML
Test-Time Adaptation of Spiking Neural Networks for Intracortical Neural Decoding using Membrane Potential Alignment
Maastricht University（马斯特里赫特大学）
提出膜电位对齐（MPA）方法，通过KL散度匹配膜电位分布，仅更新低秩（LoRA）权重（<9%参数），实现脉冲神经网络测试时自适应，在非人灵长类任务中性能媲美NoMAD，且架构更简单、时间分辨率更高（4 ms vs 20 ms）。
2026-06-16 cs.NE
Composing Recurrent Spiking Neural Networks using Locally-Recurrent Motifs and Risk-Mitigating Architectural Optimization
针对现有循环脉冲神经网络架构缺乏系统性优化的问题，提出由稀疏连接循环基元层构成的可扩展架构和混合风险缓解架构搜索方法，通过生物启发的自修复机制降低优化风险，在多个数据集上实现了性能显著提升。
2023-09-16 cs.NE
An Approach to Stable Gradient Descent Adaptation of Higher-Order Neural Units
CTU in Prague（捷克布拉格技术大学）；Tohoku University Graduate School of Medicine（东北大学医学研究生院）；Graduate School of Biomedical Engineering, Tohoku University（东北大学生物医学工程研究生院）
本文提出一种基于谱半径的高阶神经单元权重更新系统稳定性评估方法，通过梯度下降实现前馈和递归HONU的适应，确保每一步适应过程的稳定性，从而保证整个神经架构对目标数据的适应性。
2016-06-23 cs.AI cs.CE cs.LG
Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis
Akin LABS（Akin实验室）
大多数经典（非尖峰）神经网络模型忽略了内部神经元动力学，并将神经元视为简单的输入积分器。然而，生物神经元有一个由复杂动力学控制的内部状态，它在学习、适应和整体网络活动和行为中起着至关重要的作用。本文提出了膜电位和激活阈值稳态（MPATH）神经元模型，它结合了几个生物启发的机制，有效地模拟内部神经元动力学与一个单一的参数类似的生物神经元的膜时间常数。该模型允许神经元保持一种形式的动态平衡，自动调节它们的活动时，波动的输入。MPATH模型的一个结果是，它给神经元注入了时间感，而没有经常性的连接，为依赖于神经元活动的时间方面的建模过程铺平了道路。实验表明，该模型的能力，以适应和不断学习其输入。
2021-06-09 cs.CV cs.NE
Prediction of the Position of External Markers Using a Recurrent Neural Network Trained With Unbiased Online Recurrent Optimization for Safe Lung Cancer Radiotherapy
The University of Tokyo（东京大学）；Japan Atomic Energy Commission（日本原子能委员会）；National Institutes for Quantum and Radiological Science and Technology（日本量子科学技术研究开发机构）
在肺部放射治疗期间，可以记录胸部上的红外反射物体的位置以估计肿瘤位置。然而，放射治疗系统具有机器人控制限制所固有的延迟，这阻碍了辐射递送精度。利用递归神经网络（RNN）的在线学习进行预测允许适应非平稳呼吸信号，但是诸如RTRL和截断BPTT的经典方法分别是缓慢和有偏差的。本研究探讨了无偏在线递归优化（UORO）预测呼吸运动和提高肺放射治疗安全性的能力。我们使用了9个观察记录的3个外部标记的3D位置的健康人的胸部和腹部的呼吸间隔从73秒到222秒。采样频率为10 Hz，记录的轨迹幅度在上下方向上的范围为6 mm至40 mm。我们使用UORO训练的RNN同时预测每个标记的3D位置，水平值在0.1s和2.0s之间。我们将其性能与使用RTRL，LMS和离线线性回归训练的RNN进行了比较。我们提供了封闭形式的表达式中所涉及的损失梯度计算的UORO量，从而使其实现效率。在每个序列的第一分钟进行训练和交叉验证。在所考虑的时域值和9个序列的平均值上，UORO在比较的算法中实现了最低的均方根（RMS）误差和最大误差。这些误差分别等于1.3mm和8.8mm，并且每个时间步长的预测时间低于2.8ms（Dell Intel Core i9- 9900 K 3.60 GHz）。线性回归对于0.1s和0.2s的层位值具有最低的RMS误差，其次是对于0.3s和0.5s之间的层位值的LMS，以及对于大于0.6s的…
2022-11-21 cs.CV cs.LG cs.NE
Conversion of Artificial Recurrent Neural Networks to Spiking Neural Networks for Low-power Neuromorphic Hardware
近年来，功耗低几个数量级的神经形态低功耗系统领域获得了显著的发展势头。然而，由于缺乏能够利用这种架构优势的算法，它们的广泛使用仍然受到阻碍。虽然表示学习算法的神经形态适应正在出现，但时间序列或可变长度输入的有效处理仍然很困难。循环神经网络（RNN）被广泛用于机器学习以解决各种序列学习任务。在这项工作中，我们提出了一种训练和约束方法，使机器学习（Elman）RNN映射到尖峰神经元的基底上，同时与当前和不久的将来的神经形态系统的能力兼容。这种“训练和约束”方法包括首先使用时间反向传播来训练RNN，然后离散化权重，最后通过将人工神经元的响应与尖峰神经元的响应相匹配来将它们转换为尖峰RNN。我们展示了我们的方法，通过映射一个自然语言处理任务（问题分类），在那里我们展示了整个映射过程的递归层的网络IBM的神经突触系统“TrueNorth”，一个尖峰为基础的数字神经形态硬件架构。TrueNorth对连接性、神经和突触参数施加了特定的约束。为了满足这些约束，需要将突触权重和神经活动离散化到16个级别，并将扇入限制为64个输入。我们发现，短的突触延迟足以在问题分类任务中实现RNN的动态（时间）方面。硬件约束模型在问题分类中实现了74%的准确性，同时在一个TrueNorth芯片上使用不到0.025%的内核，估计功耗约为17 uW。
2016-01-16 cs.NE
Activity-Dependent Plasticity in Morphogenetically-Grown Recurrent Networks
National University of Kyiv-Mohyla Academy（基輔-莫希拉學院國立大學）
研究形态发生生长递归网络中Hebbian与反Hebbian可塑性的作用，发现反Hebbian可塑性显著优于Hebbian，且协同进化独立发现该模式，表明反Hebbian优势对小递归网络具有普适性。
2026-06-16 cs.NE
Advantages of biologically-inspired adaptive neural activation in RNNs during learning
Mila - Quebec Artificial Intelligence Institute（米拉——魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
单神经元响应的动态适应在生物神经网络的神经编码中起着重要作用。然而，大多数用于人工网络的神经激活函数是固定的，并且大多数被认为是无关紧要的架构选择。在本文中，我们研究了非线性激活函数适应在大的时间尺度的学习，并概述其影响的顺序处理循环神经网络。我们引入了一种新的非线性激活函数的参数族，其灵感来自于生物神经元的输入频率响应曲线，该函数允许在诸如ReLU和sigmoid等众所周知的激活函数之间进行插值。使用简单的数值实验和工具，从动力系统和信息论，我们研究的神经激活功能的学习动力学的作用。我们发现，激活适应提供了独特的任务特定的解决方案，在某些情况下，提高学习速度和性能。重要的是，我们发现，从我们的参数家庭出现的最佳激活功能是相当不同的文献中使用的典型功能，这表明利用这些通常的配置之间的差距可以帮助学习。最后，我们概述了神经激活适应可能有助于减轻给定任务中输入统计数据变化的情况，提出了迁移学习优化机制。
2020-06-22 cs.LG cs.NE q-bio.NC
Soliton-like Waves in a Two-Dimensional Recurrent Spiking Neural Network with Weighted Spike-Timing-Dependent Plasticity
本文构建了一个最小生物合理的脉冲神经元模型，通过加权STDP和归一化机制，在二维递归网络中自发产生稳定传播的耗散孤子波，其碰撞湮灭特性可用于编码相对相位和频率。
2026-06-23 cs.NE q-bio.NC
Training Neural Networks with Stochastic Hessian-Free Optimization
University of Alberta（阿尔伯塔大学）
Hessian-free（HF）优化已成功用于训练深度自动编码器和递归网络。HF使用共轭梯度算法通过曲率向量乘积来构造更新方向，曲率向量乘积可以在与梯度相同的时间顺序上计算。在本文中，我们利用这个属性，研究随机HF的梯度和曲率小批量独立的数据集大小。我们修改马滕斯的HF为这些设置和集成dropout，一种方法，用于防止特征检测器的共同适应，以防止过度拟合。随机无Hessian优化提供了SGD和HF之间的中介，在分类和深度自动编码器实验中都实现了有竞争力的性能。
2013-05-01 cs.LG cs.NE stat.ML
Energy-Efficient Implementation of Spiking Recurrent Cells on FPGA
本文提出一种基于FPGA的脉冲递归细胞（SRC）神经元加速器，通过数学简化去除昂贵算子并避免浮点运算，在保持丰富神经动力学的同时实现高能效，在MNIST数据集上达到96.31%准确率，并通过减少脉冲序列长度和量化权重进一步降低能耗。
2026-06-02 cs.NE
Frame forecasting in cine MRI using the PCA respiratory motion model: comparing recurrent neural networks trained online and transformers
The University of Tokyo（东京大学）；National Institutes for Quantum and Radiological Science and Technology（量子与辐射科学和技术国家研究所）
本文研究了利用PCA呼吸运动模型在动态MRI中进行帧预测，比较了在线训练的循环神经网络和变换器在处理呼吸运动补偿中的性能差异。
2026-04-15 cs.CV cs.LG cs.NE
