Continuous Gesture Recognition from sEMG Sensor Data with Recurrent Neural Networks and Adversarial Domain Adaptation
JetBrains Research(JetBrains研究院);University of York(约克大学);National Research University Higher School of Economics(国家研究型高等经济学院)
近年来,假肢的运动控制取得了很大的进展。新的传感器和控制技术增强了假肢的功能和实用性,使其能够在有限的范围内进行复杂的运动,如抓握。迄今为止,最成功的结果是通过应用循环神经网络(RNN)实现的。然而,在假手领域,迄今为止的实验仅限于非移动手腕,这大大降低了这种假肢的功能。在本文中,第一次,我们提出了移动和非移动手腕的手势识别的实证结果。此外,我们证明了具有简单递归单元(SRU)的循环神经网络在手势识别准确性方面优于常规RNN,这些数据是通过臂带从手臂肌肉(通过表面肌电图或sEMG)感知电磁信号获得的。最后,我们表明,将领域自适应技术添加到RNN的连续手势识别中,可以提高受试者之间的传输能力,其中在一个人的数据上训练的肢体控制器用于另一个人。
2020-12-16 cs.LG eess.SP
Continuous Depth Recurrent Neural Differential Equations
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
递归神经网络(RNN)在序列标记任务和序列数据方面带来了很多进步。然而,当序列中的观测是不规则采样的,其中观测以不规则的时间间隔到达时,它们的有效性是有限的。为了解决这个问题,基于神经常微分方程(NODE)引入了RNN的连续时间变量。它们使用隐藏状态随时间的连续变换来学习更好的数据表示,同时考虑到观察之间的时间间隔。然而,它们的能力仍然有限,因为它们使用离散变换和序列中输入的固定离散层数(深度)来产生输出观察。我们打算通过提出基于微分方程的RNN来解决这一限制,该微分方程对深度和时间上的连续变换进行建模,以预测序列中给定输入的输出。具体来说,我们提出了连续深度递归神经微分方程(CDR-NDE),它通过在时间和深度维度上不断进化隐藏状态来推广RNN模型。CDR-NDE在每个维度上考虑两个单独的微分方程,并交替地模拟时间和深度方向的演化。我们还提出了基于偏微分方程的CDR-NDE-热模型,该模型将隐态的计算视为求解随时间变化的热方程。我们通过与现实世界序列标记问题和数据的最新RNN模型进行比较,证明了所提出模型的有效性。
2022-12-28 cs.LG
Recurrent neural networks approximate continuous functions
本文证明,对于[-1,1]上的任意连续函数,存在一个固定权重和隐藏维度的ReLU递归神经网络,其时间演化可以均匀逼近该函数,并给出了收敛速率和极小极大下界。
2026-06-19 cs.LG cs.SC math.DS
Lipschitz Recurrent Neural Networks
ICSI(国际计算机科学研究所);UC Berkeley(加州大学伯克利分校);Ben-Gurion University(本·古里安大学);Google Research(谷歌研究院)
将循环神经网络(RNNs)视为连续时间动力系统,我们提出了一个递归单元,它用两个部分来描述隐藏状态的演化:一个众所周知的线性分量加上一个Lipschitz非线性。这种特殊的函数形式便于使用非线性系统理论的工具对经常性单元的长期行为进行稳定性分析。反过来,这使得在实验之前就可以做出架构设计决策。给出了递归单元全局稳定的充分条件,为隐到隐矩阵的构造提供了一种新的方法。我们的实验表明,Lipschitz RNN可以在一系列基准任务上优于现有的递归单元,包括计算机视觉,语言建模和语音预测任务。最后,通过基于Hessian的分析,我们证明了与其他连续时间RNN相比,我们的Lipschitz递归单元在输入和参数扰动方面更具鲁棒性。
2021-04-24 cs.LG math.DS stat.ML
First-Pass Large Vocabulary Continuous Speech Recognition using Bi-Directional Recurrent DNNs
Stanford University(斯坦福大学)
提出了一种仅用神经网络和语言模型进行首遍大词汇量连续语音识别的方法。深度神经网络声学模型现在在基于HMM的语音识别系统中很常见,但构建这样的系统是一项复杂的特定于领域的任务。最近的工作证明了通过直接从音频预测转录文本来丢弃HMM序列建模框架的可行性。本文从两个方面扩展了这种方法。首先,我们证明了一个简单的递归神经网络架构可以达到很高的精度。其次,我们提出并评估了一种改进的前缀搜索解码算法。这种解码方法能够利用语言模型进行第一遍语音识别,完全不受基于HMM的系统的繁琐基础设施的帮助。在华尔街日报语料库上的实验证明了相当有竞争力的单词出错率,以及双向网络重现的重要性。
2014-12-08 cs.CL cs.LG cs.NE
Wavefunction Flows: Efficient Quantum Simulation of Continuous Flow Models
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);African Institute for Mathematical Sciences (AIMS), South Africa(非洲数学科学研究所(AIMS));Department of Mathematical Sciences, Stellenbosch University, Stellenbosch 7600, South Africa(斯泰伦博斯大学数学科学系);National Institute for Theoretical and Computational Sciences (NITheCS), South Africa(国家理论与计算科学研究所);Mila - Quebec AI Institute(魁北克人工智能研究所)
本文证明流模型与薛定谔方程相关,并给出量子算法高效模拟其动力学,以制备量子样本,用于均值估计等统计任务,揭示流模型与量子模拟的紧密联系。
2025-10-09 cs.LG quant-ph stat.ML
CTRQNets & LQNets: Continuous Time Recurrent and Liquid Quantum Neural Networks
Danbury Math Academy(丹bury数学学院)
针对传统量子神经网络静态结构限制动态智能的问题,提出液态量子神经网络LQNet与连续时间循环量子神经网络CTRQNet,在CIFAR 10二分类任务上准确率提升高达40%,为量子机器学习黑盒提供新启示。
2025-08-13 cs.AI cs.LG cs.NE
Recurrent Off-policy Baselines for Memory-based Continuous Control
Carleton College(卡尔顿学院);Northeastern University(东北大学)
当环境是部分可观察的(PO)时,深度强化学习(RL)代理除了要控制的策略之外,还必须学习整个历史的合适的时间表示。这个问题并不新颖,并且已经针对这个问题提出了无模型和基于模型的算法。然而,受到最近无模型基于图像的RL的成功的启发,我们注意到基于历史的RL缺乏无模型基线,(1)使用完整的历史,(2)结合了最近在政策外连续控制方面的进展。因此,我们在这项工作中实现DDPG,TD 3和SAC(RDPG,RTD 3和RSAC)的经常性版本,在短期和长期PO域上对其进行评估,并调查关键的设计选择。我们的实验表明,RDPG和RTD 3在某些域上可能会令人惊讶地失败,而RSAC是最可靠的,几乎在所有域上都达到了接近最佳的性能。然而,一项需要系统探索的任务仍然被证明是困难的,即使对RSAC来说也是如此。这些结果表明,无模型RL可以只使用奖励信号学习良好的时间表示;主要困难似乎是计算成本和探索。为了方便未来的研究,我们已经在https://github.com/zhihanyang2022/off-policy-continuous-control上公开了我们的PyTorch实现。
2021-10-25 cs.AI cs.LG cs.RO
Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers
Stanford University(斯坦福大学);University at Buffalo, SUNY(纽约州立大学布法罗分校)
递归神经网络(RNN)、时间卷积和神经微分方程(NDE)是用于时间序列数据的深度学习模型的流行家族,每种模型在建模能力和计算效率方面都具有独特的优势和权衡。我们引入了一个简单的序列模型的灵感控制系统,概括这些方法,同时解决其缺点。线性状态空间层(LSSL)通过简单地模拟线性连续时间状态空间表示$\dot{x} = Ax + Bu, y = Cx + Du$来映射序列$u \mapsto y$。理论上,我们表明,LSSL模型是密切相关的上述三个家庭的模型,并继承他们的优势。例如,他们将卷积推广到连续时间,解释常见的RNN算法,并分享NDE的特征,如时间尺度适应。然后,我们结合和推广最近的连续时间记忆理论,引入一个可训练的结构矩阵子集$A$,赋予LSSL与长程记忆。从经验上讲,将LSSL层堆叠到一个简单的深度神经网络中,可以在序列图像分类、现实世界的医疗回归任务和语音中获得跨时间序列基准的最新结果。在长度为16000个序列的困难语音分类任务中,LSSL的性能比以前的方法高出24个准确点,甚至比在100倍短序列上使用手工制作的特征的基线更好。
2021-10-26 cs.AI cs.LG
Prospective Coding Improves Learning in Deep Continuous-Time Recurrent Networks
Telepath;New York University(纽约大学)
该研究开发递归正交滤波器(RQFs)并提出前瞻性输入编码修正,缓解深度连续时间循环网络的梯度衰减,在语音命令等任务上取得优异性能,验证了其参数高效性。
2026-11-10 cs.LG cs.NE q-bio.NC
CARRNN: A Continuous Autoregressive Recurrent Neural Network for Deep Representation Learning from Sporadic Temporal Data
University College London(伦敦大学学院);Biomediq A/S(Biomediq公司);University of Copenhagen(哥本哈根大学);Cerebriu A/S(Cerebriu公司)
从多变量纵向数据中学习时间模式是具有挑战性的,特别是在数据是零星的情况下,如经常在例如,在医疗保健应用中,数据可能遭受不规则性和重复性,因为连续数据点之间的时间可能在特征和样本之间变化,从而阻碍了针对具有固定序列长度的完整、均匀间隔的数据构建的现有深度学习模型的应用。在本文中,开发了一种新的基于深度学习的模型,用于使用基于循环神经网络(RNN)单元和连续时间自回归(CAR)模型的集成深度学习架构对零星数据中的多个时间特征进行建模。所提出的模型称为CARRNN,使用广义离散时间自回归模型,该模型可使用受时间滞后调制的神经网络进行端到端训练,以描述由不规则性和异步性引起的变化。它被应用于多变量时间序列回归任务,使用为阿尔茨海默病进展建模和重症监护病房(ICU)死亡率预测提供的数据,其中基于门控复发单元(GRU)的模型在所提出的基于RNN的模型和在其架构中使用GRU和长短期记忆(LSTM)网络的最新方法中实现了最低的预测误差。
2021-04-08 cs.AI cs.CV cs.LG
First principles physics-informed neural network for quantum wavefunctions and eigenvalue surfaces
Harvard University(哈佛大学)
物理信息神经网络已被广泛应用于学习微分方程的一般参数解。在这里,我们提出了一个神经网络来发现量子系统的参数本征值和本征函数表面。我们应用我们的方法来解决氢分子离子。这是一种从头算深度学习方法,它用库仑势求解薛定谔方程,产生包括离子位置处的尖点的真实波函数。神经网络解是原子间距离的连续可微函数,其导数通过应用自动微分进行解析计算。这种解的参数和解析形式对于进一步的计算,如力场的确定是有用的。
2022-11-20 cond-mat.mtrl-sci cs.LG physics.comp-ph
Rapid training of quantum recurrent neural networks
University of Warsaw(华沙大学);European Space Agency(欧洲空间局)
针对时间序列预测中经典RNN训练复杂且耗能高的问题,提出基于连续变量量子计算范式的CV-QRNN,证明其在更少epoch内收敛且在少量参数下损失更低,可由量子光子硬件实现。
2023-03-07 cs.LG quant-ph
Liquid Time-constant Recurrent Neural Networks as Universal Approximators
Technische Universität Wien (TU Wien)(维也纳工业大学);Institute of Science and Technology (IST)(科学技术研究所);Massachusetts Institute of Technology (MIT)(麻省理工学院)
在本文中,我们介绍了液体时间常数(LTC)循环神经网络(RNN)的概念,连续时间RNN的一个子类,具有不同的神经元时间常数实现其非线性突触传递模型。这一特征受到小物种神经系统中的通信原理的启发。它使模型能够用少量的计算单元来近似连续映射。我们证明了$n$维连续动力系统的任何有限轨线都可以用LTC网络的隐单元和$n$输出单元的内部状态来近似。在这里,我们也从理论上找到他们的神经元状态和变化的时间常数的界限。
2018-11-01 cs.LG cs.NE stat.ML
Gated Recurrent Neural Networks with Weighted Time-Delay Feedback
ICSI and LBNL(ICSI和LBNL);KTH and Nordita(KTH和Nordita);UC Berkeley, ICSI and LBNL(伯克利大学、ICSI和LBNL)
本文提出带加权时滞反馈的$τ$-GRU模型,基于延迟微分方程构建,经理论证明解存在唯一,在多任务上性能优于现有门控循环架构,收敛更快、泛化更好。
2025-05-19 cs.LG cs.NE stat.ML
Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit
UNSW Sydney(新南威尔士大学悉尼分校);Australian e-Health Research Centre(澳大利亚电子健康研究中心);eHealth NSW(新南威尔士州电子健康局)
本文概述了连续时间循环神经网络(CTRNNs)的多种架构,并将其应用于重症监护中不规则采样的血糖概率预测,实验表明ODE-LSTM在概率预测指标上可与Catboost相媲美。
2023-04-14 cs.LG stat.AP stat.ML
An Empirical Investigation of Global and Local Normalization for Recurrent Neural Sequence Models Using a Continuous Relaxation to Beam Search
Carnegie Mellon University(卡内基梅隆大学);Deepmind(深度思考);University of California, San Diego(加利福尼亚大学圣迭戈分校)
全局归一化神经序列模型被认为优于其局部归一化等效模型,因为它们可以改善标签偏差的影响。然而,当考虑对整个输入序列有条件的高容量神经参数化时,两个模型类在它们能够表示的分布方面理论上是等价的。因此,在现代神经方法的背景下,全局归一化的实际优势仍然不清楚。在本文中,我们试图通过实证研究来阐明这一问题。我们通过束搜索的连续松弛来扩展搜索感知训练的方法(Goyal等人,2017 b),以便通过简单的反向传播来训练全局归一化的递归序列模型。然后,我们使用这种技术进行全球规范化,高容量编码器和搜索感知优化之间的相互作用的实证研究。我们观察到,在不精确搜索的背景下,全局归一化神经模型仍然比局部归一化模型更有效。此外,由于我们的训练方法对预训练模型的热启动敏感,我们还提出了一种新的基于自归一化的初始化策略,用于预训练全局归一化模型。我们在两个任务上对我们的方法进行了分析:CCG超级标记和机器翻译,并在使用搜索感知训练的同时,在不同条件下展示了全局规范化的重要性。
2019-04-15 cs.CL cs.LG stat.ML
Recurrent Value Functions
Mila;DeepMind;Facebook AI Research(Facebook人工智能研究院)
尽管最近在强化学习中取得了成功,但基于值的方法通常会受到高方差的影响。在本文中,我们说明了这在一个连续的控制设置,最先进的方法执行不佳,每当传感器噪声引入。为了克服这个问题,我们引入递归价值函数(RVFs)作为替代估计的价值函数的状态。我们建议使用沿轨迹访问的过去状态的价值函数来估计当前状态的价值函数。由于其公式的性质,RVF具有学习选择性地强调重要状态的强调函数的自然方式。首先,我们建立了表格设置RVF的渐近收敛性。然后,我们证明了他们的鲁棒性的部分可观测域和连续控制任务。最后,我们提供了一个定性的解释学习强调功能。
2019-05-23 cs.LG stat.ML
Online Representation Learning in Recurrent Neural Language Models
The ALTA Institute(ALTA研究所);Computer Laboratory(计算机实验室);University of Cambridge(剑桥大学)
我们研究了递归神经网络语言模型中连续在线学习的扩展。该模型保留了当前正在处理的文本单元的单独矢量表示,并在每次预测后对其进行自适应调整。初步实验给出了有希望的结果,表明该方法能够提高语言建模的准确性,同时还减少了存储模型所需的参数以及每一步所需的计算。
2015-08-16 cs.CL cs.LG cs.NE
Generative System Dynamics in Recurrent Neural Networks
Department of Information Engineering and Mathematics, University of Siena(信息工程与数学系,锡耶纳大学);Department of Information Engineering, University of Florence(信息工程系,佛罗伦萨大学);IMT School for Advanced Studies Lucca(卢塞恩高级研究学院)
本研究探讨RNN的连续时间动力学,证明斜对称权重矩阵与类双曲正切激活函数可产生并稳定极限环,增强数值稳定性,为设计捕获复杂时间依赖性的神经架构提供策略。
2025-04-16 cs.AI cs.LG
Surprisal-Driven Feedback in Recurrent Networks
IBM Research(IBM研究院)
循环神经网络广泛用于预测时态数据。它们固有的深度前馈结构允许学习复杂的序列模式。据认为,自上而下的反馈可能是一个重要的缺失成分,在理论上可以帮助消除歧义类似的模式取决于更广泛的背景。在本文中,我们介绍了一种递归驱动的递归网络,它在进行新的预测时会考虑过去的错误信息。这是通过不断监测最新预测与实际观测之间的差异来实现的。此外,我们表明,它优于其他随机和完全确定性的方法enwik8字符级预测任务实现1.37 BPC的测试部分的文本。
2016-10-19 cs.LG cs.NE
RDPM: Solve Diffusion Probabilistic Models via Recurrent Token Prediction
Meituan(美团);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);UCAS(中国科学院大学)
本文提出循环扩散概率模型RDPM,通过循环令牌预测在离散值域上执行扩散过程,以少量推理步骤实现高质量生成,并统一连续信号与文本的优化策略,推动多模态生成统一模型发展。
2024-12-25 cs.AI cs.CV cs.LG
RAIM: Recurrent Attentive and Intensive Model of Multimodal Patient Monitoring Data
Georgia Institute of Technology(佐治亚理工学院);Emory University School of Medicine(埃默里大学医学院);Children’s Healthcare of Atlanta(亚特兰大儿童医疗保健机构)
随着医疗数据采集的改进,大量连续的患者监测数据,例如,心电图(ECG)、实时生命体征和药物,可用于重症监护室(ICU)的临床决策支持。然而,由于监测数据的高密度、异构数据类型以及对可解释模型的需求,对此类数据进行建模变得越来越具有挑战性。这些高密度监测数据与离散临床事件(包括诊断、药物治疗、实验室)的整合是具有挑战性的,但可能是有益的,因为这种多模态数据中的丰富性和粒度增加了准确检测复杂问题和预测结果(例如,死亡率和死亡率)。我们提出了一种用于联合分析连续监测数据和离散临床事件的递归注意和密集模型(RAIM)。RAIM引入了用于连续监视数据的有效注意力机制(例如,ECG),其由离散的临床事件(例如,药物使用)引导。应用RAIM预测ICU危重患者的生理失代偿和住院时间。通过对MIMIC- III波形数据库匹配子集的评估,我们获得了预测失代偿的AUC-ROC评分为90.18%,预测住院时间的准确性为86.82%,优于我们的六个基线模型。
2018-07-23 cs.LG stat.ML
Attention-based Mixture Density Recurrent Networks for History-based Recommendation
eBay;New York University(纽约大学)
个性化的基于历史的推荐的目标是自动输出一个分布在所有的项目给定的一系列以前购买的用户。在这项工作中,我们提出了一种新的方法,使用一个经常性的网络来总结购买的历史,连续的向量表示项目的可扩展性,和一个新的基于注意力的经常性混合密度网络,它输出每个组件的混合物顺序,建模多模态条件分布。我们在两个公开的数据集MovieLens-20 M和RecSys 15上评估了所提出的方法。实验表明,所提出的方法,明确建模的多模态性质的预测分布,是能够提高性能在各种基线的精度,召回率和nDCG。
2017-09-22 cs.IR cs.LG
Streaming Reinforcement Learning under Partial Observability with Real-Time Recurrent Learning
Technical University of Darmstadt(德累斯顿技术大学);University of Würzburg(维尔茨堡大学);German Research Center for AI (DFKI)(德国人工智能研究中心 (DFKI));Zuse School(祖斯学校)
提出使用递归迹单元(RTU)实现精确实时循环学习(RTRL),在参数数量上具有线性时间和内存复杂度,解决了部分可观测环境下流式强化学习的梯度计算瓶颈,并在离散和连续控制任务中保持性能。
2026-07-08 cs.LG
Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition
Idiap Research Institute(伊迪亚普研究所)
与产生密集和实值响应的传统人工神经元相比,生物启发的尖峰神经元传输稀疏和二进制信息,这也可以实现节能。最近的研究表明,脉冲神经网络可以像标准的递归神经网络一样使用代理梯度方法进行训练。它们在语音命令识别任务中显示出了有希望的结果。使用相同的技术,我们表明,他们是可扩展的大词汇量连续语音识别,在那里他们能够取代LSTM的编码器只有轻微的性能损失。这表明它们可能适用于更多涉及的序列到序列任务。此外,与其经常性的非尖峰对应物相比,它们对梯度爆炸问题具有鲁棒性,而无需使用门。
2023-02-16 cs.CL cs.LG cs.NE
Recurrent Joint Embedding Predictive Architecture with Recurrent Forward Propagation Learning
The City College of New York(纽约城市学院);Biomedical Engineering Department(生物医学工程系)
针对传统视觉模型依赖深度前馈网络和大量标注数据的问题,本研究受生物视觉启发提出结合递归门控电路的联合嵌入预测架构,通过递归前向传播算法实现自监督学习,从理论和实证上证明其避免表示崩溃且学习高效。
2024-11-10 cs.LG cs.NE
Connecting Weighted Automata and Recurrent Neural Networks through Spectral Learning
Mila;Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学)
本文揭示了加权有限自动机(WFAs)和二阶循环神经网络(2-RNN)之间的一个基本联系:在离散符号序列的情况下,WFAs和具有线性激活函数的2-RNN在表达式上是等价的。受此结果的启发,我们建立在最近扩展的频谱学习算法向量值WFAs和提出的第一个可证明的学习算法线性2-RNN定义在连续输入向量的序列。该算法依赖于估计所谓的汉克尔张量的低秩子块,从中可以证明恢复线性2-RNN的参数。所提出的方法的性能进行了评估,在模拟研究。
2019-04-08 cs.FL cs.LG stat.ML
Online Fine-Tuning of Carbon Emission Predictions using Real-Time Recurrent Learning for State Space Models
TU Wien(维也纳技术大学);Pyrosoma AI
本文提出一种基于实时递归学习的碳排放预测在线微调方法,通过持续更新模型参数提升预测精度,适用于动态资源受限环境。
2025-08-01 cs.CE cs.LG cs.SY
BCI decoder performance comparison of an LSTM recurrent neural network and a Kalman filter in retrospective simulation
Brown University(布朗大学);Harvard Medical School(哈佛医学院)
使用线性卡尔曼解码器的皮质内脑机接口(iBCI)使瘫痪患者能够控制计算机光标,在虚拟键盘上连续点击打字,浏览互联网和使用熟悉的平板电脑应用程序。然而,需要进一步的进步来提供接近健全性能的支持iBCI的光标控制。最近的证据表明,非线性递归神经网络(RNN)可以在非人类灵长类动物(NHP)中提供更高性能的iBCI光标控制,我们使用经过多天多电极记录训练的长短期记忆(LSTM)RNN评估了人类运动皮层信号的预期光标速度解码。通过对来自三名BrainGate iBCI试验参与者的先前记录的皮质内信号进行模拟,我们展示了一种RNN,与卡尔曼解码器相比,它可以在基于高速光标的目标选择任务以及具有挑战性的小目标高精度任务中大幅增加每秒比特数。这些结果表明,应用于人类皮质内信号的RNN解码可以在连续的2-D光标控制中实现实质性的性能进步,并激励实时RNN实现用于四肢瘫痪个体的在线评估。
2018-12-24 cs.HC cs.LG
Continuous-Time Piecewise-Linear Recurrent Neural Networks
Department of Theoretical Neuroscience, Central Institute of Mental Health, Mannheim, Germany(理论神经科学系,心理健康中央研究所,曼海姆,德国);Faculty of Physics and Astronomy, Heidelberg University, Heidelberg, Germany(物理和天文学系,海德堡大学,海德堡,德国);Interdisciplinary Center for Scientific Computing, Heidelberg University(科学计算跨学科中心,海德堡大学);Hector Institute for Artificial Intelligence in Psychiatry, Central Institute of Mental Health, Mannheim, Germany(精神病学人工智能研究所,心理健康中央研究所,曼海姆,德国);Faculty of Mathematics and Computer Science, Heidelberg University, Heidelberg, Germany(数学和计算机科学系,海德堡大学,海德堡,德国)
本文提出连续时间分段线性递归神经网络(cPLRNNs),通过高效利用其分段线性结构,解决了动态系统重建中连续时间建模和非规则时间间隔数据处理的问题。
2026-08-07 cs.LG
Variational Monte Carlo on a Budget -- Fine-tuning pre-trained Neural Wavefunctions
University of Vienna(维也纳大学)
针对现有DL-VMC计算成本高、需逐分子完整优化的问题,提出经自监督预训练的端到端DL-VMC模型,零样本表现优于CCSD(T)-2Z,少量微调可得精确相对能,零样本精度较SOTA提升两个数量级。
2023-07-15 cs.LG physics.chem-ph physics.comp-ph
Interneurons accelerate learning dynamics in recurrent neural networks for statistical adaptation
Flatiron Institute(弗莱德哈钦森研究所);Harvard University(哈佛大学);New York University School of Medicine(纽约大学医学院)
本研究对比介导递归通信的中间神经元网络与直接递归连接网络,发现前者对初始化更鲁棒、收敛更快,揭示了中间神经元在快速统计适应中的计算作用,为递归网络的隐式加速提供了类比。
2023-08-24 cs.LG cs.NE q-bio.NC
Stock Prediction: a method based on extraction of news features and recurrent neural networks
Peking University(北京大学)
提出了一种股票预测方法。在特征提取方面,我们提取了股票相关新闻的除股价外的特征。我们首先根据经验选取了一些种子词,它们分别代表好消息和坏消息。然后我们提出了一种优化方法,并计算所有的词的正极。在此基础上,我们根据新闻话语的积极极性来构建新闻的特征。考虑到连续性新闻效应和连续性股票价格,我们提出了一个递归神经网络模型来帮助预测股票价格。实验结果表明,与基于价格特征的SVM分类器相比,该方法在股票预测准确率上提高了5%以上。
2017-07-19 cs.CL cs.IR cs.LG
Bi-Directional Recurrent Neural Ordinary Differential Equations for Social Media Text Classification
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
由于文本的嘈杂和简短性质,对Twitter等社交媒体中的帖子进行分类是困难的。基于递归神经网络(RNN)的序列分类模型对于分类本质上是连续的帖子是流行的。RNN假设隐藏的表示动态以离散的方式演化,并且不考虑发布的确切时间。在这项工作中,我们建议使用递归神经常微分方程(RNODE)进行社交媒体帖子分类,考虑发布时间,并允许隐藏表示的计算以时间敏感的连续方式发展。此外,我们提出了一种新的模型,双向RNODE(Bi-RNODE),它可以考虑在两个方向上的信息流的张贴时间预测后标签。我们的实验表明,RNODE和Bi-RNODE是有效的社会媒体中的谣言的立场分类的问题。
2021-12-23 cs.CL cs.LG
Online Keyword Spotting with a Character-Level Recurrent Neural Network
Seoul National University(首尔国立大学)
在本文中,我们提出了一个上下文感知的关键字定位模型,采用字符级循环神经网络(RNN)的连续语音中的口语术语检测。RNN使用连接主义时间分类(CTC)进行端到端训练,以生成字符和词边界标签的概率。在训练和测试中不需要语音转录,senone建模或系统字典。此外,可以通过编辑基于文本的关键字列表来轻松添加和修改关键字,而无需重新训练RNN。此外,单向RNN处理无限长的输入音频流而无需预分割,并且在话语完成之前以低延迟检测关键字。实验结果表明,所提出的关键字发现器显着优于深度神经网络(DNN)和隐马尔可夫模型(HMM)的关键字填充模型,即使以更少的计算。
2015-12-30 cs.CL cs.LG cs.NE
Discrete Event, Continuous Time RNNs
University of Colorado(科罗拉多大学);Imagen Technologies
我们研究了用于事件序列处理的递归神经网络架构。事件序列,其特征在于离散的观察与连续值的发生时间,是具有挑战性的,由于潜在的广泛的动态范围的相关时间尺度以及时间尺度之间的相互作用。我们描述了四种形式的归纳偏见,应该有利于事件序列的架构:时间的局部性,位置和规模的同质性,规模的相互依赖性。我们扩展了流行的门控递归单元(GRU)架构,通过内在的时间动态将这些偏见,获得一个连续时间GRU。CT-GRU通过将GRU的门解释为选择存储器的时间尺度而产生,并且CT-GRU通过合并多个存储器的时间尺度并执行用于信息存储和检索的时间尺度的上下文相关选择来概括GRU。事件时间戳驱动CT-GRU的衰减动力学,而它们充当GRU的通用附加输入。尽管这两个模型考虑时间的方式非常不同,但它们在我们检查的11个数据集上的表现基本相同。我们令人惊讶的结果表明GRU和LSTM架构在处理连续时间方面的鲁棒性,以及将连续动态纳入神经架构的潜力。
2017-10-11 cs.LG cs.NE
Learning Finite State Representations of Recurrent Policy Networks
Oregon State University(俄勒冈州立大学);Google Brain(谷歌大脑)
递归神经网络(RNN)是一种有效的表示控制策略的范围广泛的强化和模仿学习问题。然而,RNN策略特别难以解释、理解和分析,因为它们使用了连续值记忆向量和观察特征。在本文中,我们介绍了一种新的技术,量化瓶颈插入,学习这些向量和功能的有限表示。结果是RNN的量化表示,可以分析它以提高我们对记忆使用和一般行为的理解。我们提出了这种方法的合成环境和六个雅达利游戏的结果。在某些情况下,所得到的有限表示令人惊讶地小,对于完美的Pong策略,仅使用3个离散记忆状态和10个观察。我们还表明,这些有限的政策表示导致提高可解释性。
2018-11-29 cs.LG stat.ML
Flow Equivariant Recurrent Neural Networks
Harvard University(哈佛大学)
本文提出流等变递归神经网络,通过引入时间参数化的对称性,提升序列模型在训练速度、长度泛化和速度泛化方面的性能。
2025-12-01 cs.CV cs.LG
Self-organization of action hierarchy and compositionality by reinforcement learning with recurrent neural networks
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
用于强化学习(RL)的循环神经网络(RNN)已经显示出明显的优势,例如,解决依赖记忆的任务和元学习。然而,在改进RNN架构和理解性能增益的底层神经机制方面几乎没有付出任何努力。在本文中,我们提出了一种新的,多时间尺度,随机RNN的RL。实验结果表明,该网络可以自主学习抽象的子目标,并可以自我发展的行动层次结构,在一个具有挑战性的连续控制任务使用内部动力学。此外,我们还表明,与从头开始相比,网络的自我开发组合性在适应新任务(重新组合之前学习的子目标)时可以更快地重新学习。我们还发现,当神经活动受到随机而不是确定性的动态时,可以实现更好的性能。
2019-11-26 cs.LG stat.ML
Recurrent Graph Neural Network Algorithm for Unsupervised Network Community Detection
Center For Urban Science+Progress, New York University(纽约大学城市科学与进步中心)
网络社区发现通常依赖于优化划分质量函数,如模块化。这种优化似乎是一个复杂的问题,传统上依赖于离散算法。虽然该问题可以重新表述为连续优化,但直接应用标准优化方法在克服众多局部极值方面的效率有限。然而,深度学习的兴起及其在图形中的应用提供了新的机会。虽然图神经网络已被用于网络上的监督和无监督学习,但尚未探索其在模块化优化中的应用。本文提出了一种新的变体的递归图神经网络算法的无监督网络社区发现,通过模块优化。将新算法的性能与一种流行的快速Louvain算法和作者最近提出的一种效率更高但速度更慢的Combo算法进行了比较。该方法还作为一个概念验证的更广泛的应用程序的经常性图神经网络无监督网络优化。
2021-03-03 cs.LG cs.SI physics.soc-ph