Noisy Parallel Approximate Decoding for Conditional Recurrent Language Model
New York University（纽约大学）
条件递归语言建模的最新进展主要集中在网络架构（例如，注意力机制），学习算法（例如，调度采样和序列级训练）和新颖的应用（例如，图像/视频描述生成、语音识别等）另一方面，我们注意到解码算法/策略还没有被研究得那么多，并且使用贪婪或束搜索已经成为标准。在本文中，我们提出了一种新的解码策略，其动机是早期的观察，即深度神经网络的非线性隐藏层拉伸数据流形。该策略在不增加通信开销的情况下具有良好的并行性，同时改进了现有的译码算法。我们用基于注意力的神经机器翻译对En->Cz翻译任务进行了广泛的评估。
2016-05-12 cs.CL cs.LG stat.ML
Language Modelling for Sound Event Detection with Teacher Forcing and Scheduled Sampling
Tampere University（坦佩雷大学）
声音事件检测（SED）方法通常将音频帧序列作为输入，并预测每一帧中的声音事件的活动。在现实生活中的录音中，声音事件表现出一些时间结构：例如，“汽车喇叭”之后可能会有“汽车经过”。虽然这种时间结构在序列预测任务中被广泛利用（例如，在机器翻译中），其中利用了语言模型（LM），但是在SED中不能令人满意地对其进行建模。在这项工作中，我们提出了一种方法，它允许一个递归神经网络（RNN）学习LM的SED任务。该方法用前一个时间步的类活动来调节RNN的输入。我们使用F1得分和出错率（ER）在三个不同的公开数据集上评估我们的方法; TUT-SED合成2016和TUT声音事件2016和2017数据集。所获得的结果显示，当使用我们的方法时，TUT Sound Events 2016和2017数据集的F1增加了9%和2%（越高越好），ER减少了7%和2%（越低越好）。相反，使用我们的方法，对于TUT-SED Synthetic 2016数据集，F1评分降低了4%，ER评分增加了7%。
2019-11-06 cs.LG cs.SD eess.AS
Character-level Recurrent Neural Networks in Practice: Comparing Training and Sampling Schemes
Ghent University（根特大学）；imec；IDLab
循环神经网络如今已成功地应用于从文本、语音和图像处理到推荐系统的大量应用中。通过时间的反向传播是通常用于在特定任务上训练这些网络的算法。许多深度学习框架都有自己的循环神经网络训练和采样过程的实现，而实际上还有多种其他可能性可供选择，也有其他参数可供调整。在现有的文献中，这一点往往被忽视或忽略。因此，在本文中，我们概述了字符级循环神经网络的可能训练和采样方案，以解决预测给定序列中下一个令牌的任务。我们在各种数据集，神经网络架构和参数设置上测试这些不同的方案，并制定了一些带回家的建议。训练和采样方案的选择取决于许多权衡，例如训练稳定性，采样时间，模型性能和实施工作，但在很大程度上独立于数据。也许最令人惊讶的结果是，为了正确初始化模型而转移隐藏状态通常会导致不稳定的训练行为，这取决于数据集。
2018-01-09 cs.CL cs.LG stat.ML
Sampling-free Uncertainty Estimation in Gated Recurrent Units with Exponential Families
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
最近有一个共同的努力，以获得视觉和机器学习系统中的机制，以提供他们所做的预测的不确定性估计。显然，一个不仅准确，而且在不确定的时候也有感觉的系统有巨大的好处。现有的建议围绕现代深度架构的贝叶斯解释-这些是有效的，但通常需要计算。我们展示了如何经典的想法在文献中的指数族概率网络提供了一个很好的起点，得到门控递归单位（GRU）的不确定性估计。我们的建议直接量化的不确定性确定性，而不需要昂贵的采样为基础的估计。我们演示了如何使用我们的模型来定量和定性地测量无监督图像序列预测中的不确定性。据我们所知，这是第一个结果描述无采样不确定性估计的强大的序列模型，如GRU。
2018-09-02 cs.CV cs.LG stat.ML
Consistency of a Recurrent Language Model With Respect to Incomplete Decoding
New York University（纽约大学）；Samsung Research（三星研究院）；CIFAR（加拿大高级研究所）
尽管在各种任务上表现出色，但用最大似然训练的神经序列模型已被证明存在长度偏差和退化重复等问题。我们研究了在使用普通解码算法时从递归语言模型接收无限长序列的相关问题。为了分析这个问题，我们首先定义了解码算法的不一致性，这意味着该算法可以产生在模型下概率为零的无限长序列。我们证明，常用的不完整的解码算法-贪婪搜索，束搜索，top-k采样，和核采样-是不一致的，尽管经常性的语言模型的训练，以产生有限长度的序列。基于这些见解，我们提出了两个补救措施，解决不一致：一致的变体top-k和核采样，和一个自终止的循环语言模型。实证结果表明，在实践中发生的不一致，所提出的方法防止不一致。
2020-10-02 cs.CL cs.LG stat.ML
Professor Forcing: A New Algorithm for Training Recurrent Networks
MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
Teacher Forcing算法通过在训练期间提供观测序列值作为输入来训练递归网络，并使用网络自己的一步预测来进行多步采样。我们介绍了Professor Forcing算法，该算法使用对抗域自适应来鼓励递归网络的动态在训练网络时和在多个时间步长上从网络采样时保持相同。我们将教授强迫语言建模，语音合成的原始波形，手写生成，图像生成。从经验上讲，我们发现，教授强迫作为一个正则化，提高测试的可能性字符水平宾州树库和顺序MNIST。我们还发现，该模型定性地提高了样本，特别是当采样大量的时间步长。这得到了对样品质量的人工评价的支持。教授强迫和预定采样之间的权衡进行了讨论。我们制作的T-SNE表明，Forcing教授成功地使网络在训练和采样过程中的动态更加相似。
2016-10-27 cs.LG stat.ML
Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting
University of Southern California（南加州大学）；California Institute of Technology（加州理工学院）
时空预测在神经科学、气候和交通领域有着广泛的应用。交通预测是这种学习任务的一个典型例子。这项任务具有挑战性，因为（1）对道路网络的复杂空间依赖性，（2）随着道路条件变化的非线性时间动态，以及（3）长期预测的固有困难。为了解决这些挑战，我们建议将交通流建模为有向图上的扩散过程，并引入扩散卷积循环神经网络（DCRNN），这是一种用于交通预测的深度学习框架，它将交通流的空间和时间依赖性结合起来。具体来说，DCRNN使用图上的双向随机游走来捕获空间依赖性，并且使用具有预定采样的编码器-解码器架构来捕获时间依赖性。我们在两个真实世界的大规模道路网络交通数据集上评估了该框架，并观察到比最先进的基线提高了12% - 15%。
2018-02-22 cs.LG stat.ML
Random Error Sampling-based Recurrent Neural Network Architecture Optimization
Universidad de Málaga（马拉加大学）；Massachusetts Institute of Technology（麻省理工学院）
递归神经网络擅长解决预测问题。然而，找到一个适合问题的网络是相当困难的，因为它们的性能受到其架构配置的强烈影响。自动架构优化方法有助于找到最合适的设计，但由于其高计算成本，它们没有被广泛采用。在这项工作中，我们介绍了基于随机误差采样的神经进化（RESN），一种进化算法，使用平均绝对误差随机采样，一种无需训练的方法来预测人工神经网络的预期性能，以优化网络的体系结构。我们经验验证我们的建议，三个预测问题，并比较我们的技术，以训练为基础的架构优化技术和神经进化方法。我们的研究结果表明，我们可以实现最先进的错误性能，我们减少了一半的时间需要执行优化。
2021-03-15 cs.LG cs.NE
Stochastic optimization with arbitrary recurrent data sampling
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文证明在循环数据采样下，正则化MISO算法对非凸非光滑随机优化可实现最优一阶收敛速率，并表明采样算法的覆盖效率可加速收敛。
2024-07-20 cs.LG math.OC stat.ML
Velocity Scheduled Flow Matching
Cherkasy State Technological University（切尔卡瑟国立技术大学）
研究提出速度调度流匹配（VSFM）方法，放宽流匹配中样本恒速移动的隐含选择。通过特定多项式轮廓，预训练模型推理时无需重新训练和额外计算，FID降低，从零开始训练也有进一步提升，增益源于欧拉积分器局部截断误差。
2026-07-14 cs.LG
Path sampling of recurrent neural networks by incorporating known physics
University of Maryland, College Park（马里兰大学帕克分校）
循环神经网络已经广泛用于各种领域的动态系统建模，如天气预测，文本预测和其他几个领域。人们常常希望用关于系统的先验知识或直觉来补充实验观察到的动态。虽然这些网络的循环特性允许它们在训练中使用的时间序列中对任意长的记忆进行建模，但这使得通过通用约束强加先验知识或直觉变得更加困难。在这项工作中，我们提出了一个路径采样方法的最大口径的原则，使我们能够包括通用的热力学或动力学约束到循环神经网络的基础上。我们在这里展示了一种被称为长短期记忆网络的广泛使用的递归神经网络的方法，它补充了从不同应用领域收集的时间序列。这些包括蛋白质的经典分子动力学和开放量子系统的蒙特卡罗模拟，该系统不断向环境丢失光子并显示拉比振荡。我们的方法可以很容易地推广到其他生成式人工智能模型，以及物理和社会科学不同领域的通用时间序列，其中人们希望用直觉或基于理论的校正来补充有限的数据。
2022-04-20 cond-mat.dis-nn cond-mat.soft cs.LG
Recurrent Neural-Linear Posterior Sampling for Nonstationary Contextual Bandits
IDSIA；USI（瑞士意大利语区大学）；SUPSI（瑞士意大利语区应用艺术与科学大学）；QMUL（伦敦玛丽女王大学）；NNAISENSE；KAUST（阿卜杜拉国王科技大学）
针对非平稳上下文老虎机中手工历史上下文的缺陷，提出结合循环神经网络特征与线性后验采样的方法，实验表现更优且适用更广，并给出带测量误差的遗憾界。
2023-11-03 cs.LG stat.ML
Explain Images with Multimodal Recurrent Neural Networks
Baidu Research（百度研究院）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提出了一个多模态递归神经网络（m-RNN）模型，用于生成新的句子描述来解释图像的内容。它直接对给定先前单词和图像的生成单词的概率分布进行建模。图像描述通过从该分布中采样来生成。该模型由两个子网络组成：用于句子的深度递归神经网络和用于图像的深度卷积网络。这两个子网络在多模态层中相互作用，形成整个m-RNN模型。在三个基准数据集（IAPR TC-12，Flickr 8 K和Flickr 30 K）上验证了我们模型的有效性。我们的模型优于最先进的生成方法。此外，m-RNN模型可以应用于检索图像或句子的检索任务，并且与直接优化检索排名目标函数的最新方法相比，实现了显着的性能改进。
2014-10-04 cs.CL cs.CV cs.LG
Learning to recognize touch gestures: recurrent vs. convolutional features and dynamic sampling
Univ de Lyon（里昂大学）；INSA-Lyon（里昂国立应用科学学院）；CNRS（法国国家科学研究中心）；LIRIS（里昂图像与信息系统实验室）；INRIA（法国国家信息与自动化研究所）；CITI（信息与交互技术中心）；Normandie Univ（诺曼底大学）；INSA Rouen（鲁昂国立应用科学学院）；UNIROUEN（鲁昂大学）；UNIHAVRE（勒阿弗尔大学）；LITIS（信息处理与智能系统实验室）；Itekube（Itekube公司）
我们提出了一种全自动的方法，用于在潜在的多用户环境中学习大触摸设备上的手势。目标是学习能够适应不同手势、用户风格和硬件变化（例如设备大小、采样频率和带宽）的通用模型。基于深度神经网络，我们的方法具有一种新的动态采样和时间归一化组件，将可变长度的手势转换为固定长度的表示，同时保留手指/表面接触过渡，即信号的拓扑结构。然后用卷积模型处理这种顺序表示，与递归网络不同，卷积模型能够学习具有不同抽象级别的分层表示。为了证明所提出的方法的兴趣，我们引入了一个新的触摸手势数据集，其中包含27人执行的6591个手势，据我们所知，这是同类中的第一个：一个公开的多点触摸手势数据集。我们还在符号触摸手势识别的标准数据集MMG数据集上测试了我们的方法，表现优于最先进的技术，并报告接近完美的性能。
2018-02-19 cs.LG stat.ML
Flipped Classroom: Effective Teaching for Time Series Forecasting
Technische Universität Ilmenau（伊尔默瑙工业大学）；Friedrich-Schiller-Universität Jena（耶拿弗里德里希·席勒大学）
基于LSTM和GRU的序列到序列模型是预测时间序列数据达到最先进性能的最流行选择。然而，训练这样的模型可能很微妙。在这种情况下，两种最常见的培训策略是教师强迫（TF）和自由运行（FR）。TF可用于帮助模型更快地收敛，但由于训练和推理阶段之间的差异，可能会引起暴露偏差问题。FR有助于避免这种情况，但不一定会带来更好的结果，因为它往往会使训练缓慢和不稳定。计划抽样是解决这些问题的第一种方法，它从两个世界中挑选最好的，并将其结合到课程学习（CL）战略中。虽然预定抽样似乎是一个令人信服的替代FR和TF，我们发现，即使参数化仔细，预定抽样可能会导致过早终止的训练时，应用于时间序列预测。为了缓解上述方法的问题，我们沿着训练以及训练迭代规模形式化CL策略。我们提出了一些新的课程，并系统地评估他们的表现在两个实验集。对于我们的实验，我们利用六个数据集产生的突出的混沌系统。我们发现，新提出的增加训练规模的课程与概率迭代规模的课程始终优于以前的训练策略，产生高达81%的FR或TF训练的NRMSE改善。对于某些数据集，我们还观察到训练迭代次数减少。我们观察到，使用新课程训练的所有模型都具有更高的预测稳定性，允许更长的预测范围。
2022-10-17 cs.AI cs.LG
Sampling-based Gradient Regularization for Capturing Long-Term Dependencies in Recurrent Neural Networks
Institute of MMS of NASU（乌克兰国家科学院建模系统研究所）；Center for Cybernetics（控制论中心）
梯度消失（和爆炸）效应是具有非线性激活函数的循环神经网络使用反向传播方法计算导数的常见问题。具有许多隐藏层的深度前馈神经网络也会受到这种影响。在本文中，我们提出了一种新的通用技术，使梯度的范数保持在适当的范围内。我们构造了一种方法来估计每个训练样本对目标函数梯度的长期分量的范数的贡献。使用此子例程，我们可以构建用于随机梯度下降（SGD）训练的小批量，即使对于非常复杂的任务，也可以实现训练网络的高性能和准确性。我们提供了一个简单的数学估计的minibatch的影响的梯度范数，并证明其正确性理论。为了实验性地检查我们的框架，我们使用一些特殊的合成基准来测试RNN捕获长期依赖关系的能力。我们的网络可以检测（时间）序列中事件之间的联系，范围约为。100或更长。
2017-02-13 cs.LG cs.NE
Reliable and Fast Recurrent Neural Network Architecture Optimization
German Aerospace Center (DLR)（德国航空航天中心）；Universidad de Málaga（马拉加大学）
本文介绍了基于随机误差采样的神经进化（RESN），一种新的自动优化循环神经网络结构的方法。RESN结合了进化算法和无训练评估方法。结果表明，RESN实现了最先进的错误性能，同时减少了一半的计算时间。
2021-06-29 cs.LG cs.NE
BlackOut: Speeding up Recurrent Neural Network Language Models With Very Large Vocabularies
Intel（英特尔）；Univ. of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
我们提出了BlackOut，一种近似算法，可以有效地训练具有百万单词词汇的大规模循环神经网络语言模型（RNNLM）。停电的动机是使用歧视性损失，我们描述了一种新的采样策略，显着减少计算，同时提高稳定性，样本效率，收敛速度。理解BlackOut的一种方法是将其视为DropOut策略到输出层的扩展，其中我们使用区分性训练损失和加权采样方案。我们还建立了BlackOut，重要性采样和噪声对比估计（NCE）之间的密切联系。我们在最近发布的10亿字语言建模基准上的实验证明了BlackOut的可扩展性和准确性;我们的表现优于最先进的技术，并在该数据集上获得了最低的困惑分数。此外，与其他通常需要GPU或CPU集群的方法不同，我们证明了精心实现的BlackOut版本只需要1-10天的时间就可以在一台机器上训练一个RNNLM，它具有100万单词的词汇量和10亿单词的数十亿参数。虽然我们在RNNLM训练的上下文中描述了BlackOut，但它可以用于任何具有大型softmax输出层的网络。
2016-03-31 cs.CL cs.LG cs.NE
$k$-Neighbor Based Curriculum Sampling for Sequence Prediction
University of Liverpool（利物浦大学）
语言模型中的多步预测是具有挑战性的，由于训练和测试时间过程之间的差异。在测试时，序列预测器需要以过去的预测作为输入来进行预测，而不是在训练期间提供的过去的目标。这种差异称为暴露偏差，可能导致测试时生成的序列中出现复合错误。为了提高神经语言模型的泛化能力并解决复合错误，我们提出了\textit{Nearest-Neighbor Replacement Sampling} -一种基于课程学习的方法，该方法将最初确定的教师政策逐渐改变为随机政策。在给定的时间步长处的标记被替换为过去目标的采样的最近邻居，其截断概率与原始单词和其顶部$k$最相似单词之间的余弦相似度成比例。这允许学习者在教师提供的当前策略次优或难以学习时探索替代方案。所提出的方法是直接的，在线的，需要很少的额外的内存要求。我们报告我们的研究结果，两个语言建模基准，并发现所提出的方法进一步提高性能时，与预定的采样。
2021-01-22 cs.CL cs.LG
Deep Captioning with Multimodal Recurrent Neural Networks (m-RNN)
University of California, Los Angeles（加州大学洛杉矶分校）；Baidu Research（百度研究院）
在本文中，我们提出了一个多模态递归神经网络（m-RNN）模型生成新的图像字幕。它直接对给定先前单词和图像的生成单词的概率分布进行建模。图像标题通过从该分布中采样来生成。该模型由两个子网络组成：用于句子的深度递归神经网络和用于图像的深度卷积网络。这两个子网络在多模态层中相互作用，形成整个m-RNN模型。在四个基准数据集（IAPR TC-12、Flickr 8 K、Flickr 30 K和MS COCO）上验证了模型的有效性。我们的模型优于最先进的方法。此外，我们将m-RNN模型应用于检索图像或句子的检索任务，并与直接优化检索排名目标函数的最新方法相比，实现了显着的性能提升。本作品的项目页面是：www.stat.ucla.edu/~junhua.mao/m-RNN.html。
2015-06-11 cs.CL cs.CV cs.LG
Recurrent Skipping Networks for Entity Alignment
Nanjing University（南京大学）
我们考虑学习知识图谱（KG）嵌入实体对齐（EA）的问题。目前的方法主要采用三层学习的嵌入模型，缺乏捕捉知识库中存在的长期依赖关系的能力。因此，基于嵌入的EA方法严重依赖于先前（已知）比对的量，因为先前比对中的身份信息不能有效地从一个KG传播到另一个KG。在本文中，我们提出了RSN4EA（用于EA的循环跳跃网络），它利用有偏随机游走采样来生成跨KG的长路径，并使用一种新的循环跳跃网络（RSN）对路径进行建模。RSN将传统的递归神经网络（RNN）与残差学习相结合，只需增加少量参数，就可以大大提高收敛速度和性能。我们评估了RSN4EA的一系列数据集构建从现实世界的KG。我们的实验结果表明，它优于一些国家的最先进的嵌入式EA方法，也取得了相当的性能KG完成。
2018-11-06 cs.CL cs.LG
Dynamic Slate Recommendation with Gated Recurrent Units and Thompson Sampling
University of Oslo（奥斯陆大学）；Lancaster University（兰卡斯特大学）
我们考虑以项目列表（称为slates）的形式向互联网平台的用户推荐相关内容的问题。我们引入了一个变分贝叶斯递归神经网络推荐系统，该系统作用于互联网平台和用户之间交互的时间序列，并可扩展到现实世界的工业情况。该推荐系统在真实用户的在线测试和从挪威基于网络的市场FINN.no收集的离线数据集上进行测试，该数据集公开用于研究。这是第一个公开可用的数据集之一，其中包括所有呈现给用户的slate以及slate中的哪些项目（如果有的话）被点击。这样的数据集允许我们超越通常的假设，即隐含地假设用户在每次交互时都会考虑所有可能的项目。相反，我们使用实际上在石板中的项目来建立我们的可能性，并在理论和实验中评估两种方法的优缺点。我们还介绍了一个层次的项目参数的基础上组成员。项目参数和用户偏好都是概率学习的。此外，我们将我们的模型与强盗策略相结合，以确保学习，并引入“在石板汤普森采样”，利用石板，以最大限度地提高探索的机会。我们的实验表明，探索性的推荐策略执行标准或以上的贪婪同行。即使没有利用探索来更有效地学习，点击率的增加也仅仅是因为推荐的石板的多样性提高了。
2021-04-30 cs.LG stat.ML
Syntax-Aware Language Modeling with Recurrent Neural Networks
Zalando Research, Zalando SE（Zalando SE研究部）
神经语言模型（LM）通常仅使用词汇特征（诸如单词的表面形式）来训练。在本文中，我们认为这剥夺了LM的关键句法信号，可以检测到在高置信度使用现有的解析器。我们提出了一种简单但高效的方法，用于训练神经LM使用词汇和句法信息，和一种新的方法，用于应用这种LM的未解析文本使用顺序蒙特卡洛采样。在一系列语料库和语料库大小的实验中，我们表明我们的方法始终优于标准的词汇LM在字符级的语言建模;另一方面，对于单词级的模型与标准的语言模型。这些结果表明，扩展LM词汇表面功能以外的字符级模型的更高级别的NLP功能的潜力。
2018-03-02 cs.CL cs.LG
Tree-Structured Recurrent Switching Linear Dynamical Systems for Multi-Scale Modeling
Stony Brook University（石溪大学）；Columbia University（哥伦比亚大学）
许多现实世界的系统研究是由复杂的，非线性动力学。通过对这些动态进行建模，我们可以深入了解这些系统的工作方式，预测它们的行为方式，并制定控制它们的策略。虽然有许多方法来建模非线性动态系统，现有的技术面临着提供可解释的描述和准确的预测之间的权衡。在这里，我们开发了一类模型，旨在同时实现简单描述和更复杂，但也更准确的模型之间的平滑插值。我们的概率模型通过局部线性动力学的层次结构来实现这种多尺度特性，这些局部线性动力学共同近似全局非线性动力学。我们称之为树结构递归切换线性动力系统。为了适应这个模型，我们提出了一个完全贝叶斯抽样程序，使用Polya-Gamma数据增强，允许快速和共轭吉布斯抽样。通过各种合成和真实的例子，我们展示了这些模型如何在可解释性和预测能力方面优于现有的方法。
2019-06-04 cs.LG stat.ML
Curriculum-Based Neighborhood Sampling For Sequence Prediction
University of Liverpool（利物浦大学）
考虑到训练和测试之间的差异，语言模型中的多步预测任务是具有挑战性的。在测试时，需要语言模型在给定过去的预测作为输入的情况下进行预测，而不是在训练期间提供的过去的目标。这种差异称为暴露偏差，可能导致测试时生成的序列中出现复合错误。为了提高神经语言模型的泛化能力并解决复合错误，我们提出了一种基于课程学习的方法，该方法将最初确定的教师策略逐渐改变为逐渐随机的策略，我们将其称为\textit{Nearest-Neighbor Replacement Sampling}。在给定时间步处选择的输入被替换为过去目标的采样最近邻居，其截尾概率与原始单词及其前$k$最相似单词之间的余弦相似度成比例。这允许教师在教师提供次优策略或初始策略难以为学习者建模时探索替代方案。所提出的策略是直接的，在线的，需要很少的额外的内存要求。我们报告我们的主要研究结果，两个语言建模基准，并发现所提出的方法执行特别好，当与预定的采样，也试图减轻复合错误语言模型。
2018-09-16 cs.CL cs.LG stat.ML
LORAKI: Autocalibrated Recurrent Neural Networks for Autoregressive MRI Reconstruction in k-Space
University of Southern California（南加州大学）
我们提出并评估了一种名为LORAKI的新MRI重建方法，该方法训练自动校准的扫描特定递归神经网络（RNN）来恢复丢失的k空间数据。GRAPPA、SPIRiT和AC-LORAKS等方法假设k空间数据具有平移不变的自回归结构，并且可以从全采样自校准（ACS）数据中学习恢复丢失样本所需的扫描特定自回归关系。最近，线性GRAPPA方法的结构已经被转化为一种名为RAKI的非线性深度学习方法。RAKI使用ACS数据来训练人工神经网络来插值缺失的k空间样本，并且通常优于GRAPPA。在这项工作中，我们应用类似的原理将线性AC-LORAKS方法（同时结合支持，相位和并行成像约束）转化为名为LORAKI的非线性深度学习方法。由于AC-LORAKS是迭代和卷积的，LORAKI采用卷积RNN的形式。这种新的架构允许广泛的采样模式，甚至校准模式是可能的，如果合成ACS数据生成。LORAKI的性能与回顾性欠采样脑数据集进行了评估，并与其他相关重建方法进行了比较。结果表明，与GRAPPA、RAKI和AC-LORAKS等其他扫描特定自动校准重建方法相比，LORAKI可以提供更好的重建。LORAKI提供了一种新的深度学习方法，用于基于k空间中的RNN进行MRI重建，并能够提高图像质量和增强采样灵活性。
2019-04-24 cs.CV cs.LG eess.IV
A Recurrent Neural Model with Attention for the Recognition of Chinese Implicit Discourse Relations
Turku Centre for Computer Science – TUCS（图尔库计算机科学中心）；Åbo Akademi University（奥博学术大学）；Goethe University（歌德大学）
我们介绍了一个基于注意力的中文隐式话语关系的Bi-LSTM，并证明了将参数对建模为联合序列可以优于词序不可知的方法。我们的模型得益于部分抽样方案，概念简单，但在中文语篇树库上实现了最先进的性能。我们还可视化了它的注意力活动，以说明模型有选择地关注输入序列的相关部分的能力。
2017-04-26 cs.AI cs.CL cs.LG
Subsampling, aligning, and averaging to find circular coordinates in recurrent time series
Columbia University（哥伦比亚大学）；DataShape；Centre Inria d’Université d’Azur（蔚蓝海岸大学Inria中心）；Indiana University（印第安纳大学）
本文提出一种通过子采样、Procrustes对齐与平均来校正采样密度不均匀的圆形坐标算法，并在合成数据与线虫神经元记录上验证，揭示了线虫脑状态空间环路与宏观行为之间的拓扑对应关系。
2024-12-24 cs.CG cs.LG math.AT
Adaptive Skip Intervals: Temporal Abstraction for Recurrent Dynamical Models
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学院学习系统中心）
我们介绍了一种方法，使经常性的动态模型是时间抽象的。我们的方法，我们称之为自适应跳过间隔（ASI），是基于观察，在许多连续的预测任务，事件发生的确切时间是无关的基本目标。此外，在许多情况下，存在导致特别容易预测的转变的预测区间。我们表明，有预测任务，我们获得的计算效率和预测精度，允许模型进行预测，在采样率，它可以选择自己。
2018-12-13 cs.LG stat.ML
Rethinking Recurrent Neural Networks for Time Series Forecasting: A Reinforced Recurrent Encoder with Prediction-Oriented Proximal Policy Optimization
School of Management, Huazhong University of Science and Technology（华中科技大学管理学院）；Center for Applied Mathematics, École des Ponts ParisTech（巴黎高等理工学院应用数学中心）；School of Mechanical Engineering, Dalian Jiaotong University（大连交通大学机械工程学院）；School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）
本文提出RRE-PPO4Pred方法，通过强化编码器和改进的PPO算法提升时间序列预测的准确性和模型能力。
2026-01-13 cs.LG cs.NE
Scalable Polyhedral Verification of Recurrent Neural Networks
ETH Zürich（苏黎世联邦理工学院）；VMWare Research（威睿研究部）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Hitachi Power Grids Research（日立电网研究院）
我们提出了一个可扩展的和精确的验证循环神经网络，称为证明基于两个新的想法：（i）一种方法来计算一组多面体抽象的非凸和非线性的经常性更新功能相结合的采样，优化和费马定理，和（ii）一个基于梯度下降的算法抽象细化的认证问题，结合多个抽象每个神经元的指导。使用Prover，我们提出了第一个证明循环神经网络的非平凡用例的研究，即语音分类。为了实现这一点，我们还为非线性语音预处理管道开发了自定义抽象。我们的评估表明，Prover成功地验证了计算机视觉，语音和运动传感器数据分类中的几个具有挑战性的经常性模型，超出了先前的工作。
2021-06-10 cs.LG cs.SD eess.AS
Recurrent Neural Networks for Fuzz Testing Web Browsers
University of Glasgow（格拉斯哥大学）
基于生成的模糊测试是一种软件测试方法，能够发现软件中不同类型的错误和漏洞。然而，它是已知的是非常耗时的设计和微调经典的模糊，以实现可接受的覆盖范围，即使是小规模的软件系统。为了解决这个问题，我们研究了一种基于机器学习的模糊测试方法，在该方法中，我们概述了一系列基于循环神经网络（RNN）的测试用例生成器，并训练那些现成的数据集上的测试用例生成器，其中最少的人为微调。与以前的工作相比，所提出的生成器不依赖于启发式采样策略，而是从预测分布中进行有原则的采样。我们提供了一个详细的分析，以证明在一个具有挑战性的Web浏览器测试场景的特点和有效性的建议发电机。实验结果表明，基于RNN的生成器能够提供更好的覆盖率比基于变异的方法，并能够发现路径没有发现一个经典的模糊。我们的研究结果补充了其他领域的研究结果，表明基于RNN的模糊生成是一种可行的途径，可以在使用合适的模型选择/分析程序的条件下提高软件质量。
2018-12-12 cs.CR cs.LG cs.SE
Recurrent Dirichlet Belief Networks for Interpretable Dynamic Relational Data Modelling
University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）；Fudan University（复旦大学）
Dirichlet Belief Network~（DirBN）是最近提出的一种学习对象可解释的深层潜在表征的方法。在这项工作中，我们利用其可解释的建模架构，并提出了一个深度的动态概率框架-递归狄利克雷信念网络~（递归DBN）-研究可解释的隐藏结构的动态关系数据。所提出的递归DBN具有以下优点：（1）它为时间步内和跨时间步的对象推断可解释和有组织的分层潜在结构;（2）它能够实现递归长期时间依赖建模，其性能优于大多数动态概率框架中的一阶马尔可夫描述。此外，我们开发了一种新的推理策略，首先向上和向后传播潜计数，然后向下和向前样本变量，使有效的吉布斯采样的递归DBN。我们将递归DBN应用于动态关系数据问题。在真实数据上的大量实验结果验证了递归DBN在可解释的潜在结构发现和改进的链接预测性能方面优于现有模型。
2020-04-29 cs.LG stat.ML
Rethinking Perturbations in Encoder-Decoders for Fast Training
Tokyo Institute of Technology（东京工业大学）；RIKEN（理化学研究所）；Tohoku University（东北大学）
我们经常使用扰动来正则化神经模型。对于神经编码器-解码器，先前的研究应用了预定采样（Bengio等人，2015）和对抗性扰动（Sato et al.，2019年）作为扰动，但这些方法需要相当长的计算时间。因此，本研究解决了这些方法是否足够有效的训练时间的问题。我们比较了几个扰动序列到序列的问题相对于计算时间。实验结果表明，简单的技术，如单词丢弃（Gal和Ghahramani，2016）和输入标记的随机替换，与最近提出的扰动相比，可以获得相当（或更好）的分数，尽管这些简单的方法更快。我们的代码可在https://github.com/takase/rethink_perturbations上公开获取。
2021-04-05 cs.CL cs.LG
Passive and Active Learning of Driver Behavior from Electric Vehicles
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）；Volvo Car Corporation（沃尔沃汽车集团）
本研究针对电动汽车驾驶员行为建模，比较非递归与递归模型在能耗预测中的表现，并探索多种主动学习方法以减少标注成本，发现主动采样可优于随机采样。
2024-05-23 cs.LG
Neural Ordinary Differential Equation based Recurrent Neural Network Model
IBM（国际商业机器公司）；Maynooth University（梅努斯大学）
神经微分方程是神经网络家族中一个很有前途的新成员。它们显示了微分方程用于时间序列数据分析的潜力。本文对常微分方程的强度进行了新的推广。本文的主要目标是回答以下问题：（i）~ ODE可以用来重新定义现有的神经网络模型吗？(ii)神经ODE可以解决连续时间序列的现有神经网络模型的不规则采样率挑战，即，长度和动态性质，（iii）如何减少现有神经ODE系统的训练和评估时间？这项工作利用ODE的数学基础来重新设计传统的RNN，如长短期记忆（LSTM）和门控递归单元（GRU）。本文的主要贡献是说明了两种新的基于ODE的RNN模型（GRU-ODE模型和LSTM-ODE）的设计，它们可以使用ODE求解器计算任何时间点的隐藏状态和单元状态。这些模型大大减少了隐藏状态和单元状态的计算开销。这两个新模型的性能评估学习连续时间序列的不规则采样率，然后证明。实验表明，这些新的ODE基于RNN模型需要更少的训练时间比潜在ODE和传统的神经ODE。它们可以快速地达到更高的精度，并且神经网络的设计比以前的神经ODE系统更简单。
2020-05-20 cs.LG stat.ML
Fast and Flexible Temporal Point Processes with Triangular Maps
Technical University of Munich（慕尼黑工业大学）
时间点过程（TPP）模型与递归神经网络相结合，为连续时间事件数据建模提供了一个强大的框架。虽然这些模型是灵活的，但它们本质上是顺序的，因此不能从现代硬件的并行性中受益。通过利用归一化流领域的最新发展，我们设计了TriTPP -一类新的非递归TPP模型，其中采样和似然计算可以并行进行。TriTPP匹配基于RNN的方法的灵活性，但允许数量级更快的采样。这使我们能够使用新的模型在连续时间离散状态系统的变分推理。我们证明了所提出的框架在合成和真实世界数据集上的优势。
2020-11-10 cs.LG stat.ML
From Tensor Network Quantum States to Tensorial Recurrent Neural Networks
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文证明MPS可由线性记忆更新RNN精确表示，并提出适用于二维晶格的多重线性记忆更新张量RNN，能以更低键维数编码波函数并系统提升精度。
2023-03-08 cond-mat.str-el cs.LG physics.comp-ph
Encoding-based Memory Modules for Recurrent Neural Networks
University of Pisa（比萨大学）；University of Padova（帕多瓦大学）
学习使用循环模型解决序列任务需要记住长序列并从中提取任务相关特征的能力。本文从循环神经网络的设计和训练的角度研究记忆子任务。我们提出了一个新的模型，线性记忆网络，它具有一个基于编码的记忆组件，内置一个线性自动编码器的序列。我们扩展的记忆组件与模块化的存储器，在不同的采样频率编码的隐藏状态序列。此外，我们还提供了一种专门的训练算法，该算法可以有效地对网络的隐藏激活进行编码。合成和真实世界的数据集上的实验结果表明，专门的训练算法，训练记忆组件总是提高最终的性能时，记忆的长序列是必要的，以解决问题。
2020-01-31 cs.LG cs.NE stat.ML
LapTool-Net: A Contextual Detector of Surgical Tools in Laparoscopic Videos Based on Recurrent Convolutional Neural Networks
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Baylor University Medical Center（贝勒大学医学中心）
我们提出了一个新的多标签分类器，称为LapTool-Net的腹腔镜视频的每一帧中检测手术工具的存在。LapTool-Net的新颖之处在于利用了不同工具的使用之间的相关性，以及工具和任务之间的相关性-即工具使用的上下文。为了实现这一目标，在工具的同现模式被用来设计一个决策策略的多标签分类器的基础上的递归卷积神经网络（RCNN）架构，同时提取的时空特征。与以前的多标签分类方法相比，RCNN和决策模型是使用多任务学习方案以端到端的方式进行训练的。为了克服高不平衡并避免由训练数据中缺乏变化引起的过拟合，基于更频繁的组合来选择高的下采样率。此外，在后处理步骤中，通过设计一个双向RNN来建模长期任务的顺序，对视频的所有帧的预测进行校正。LapTool-net使用公开可用的腹腔镜胆囊切除术数据集进行训练。结果表明，LapTool-Net的性能明显优于现有方法，即使使用更少的训练样本和更浅的架构。
2019-05-22 cs.CV cs.LG
End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures
Toyota Technological Institute（丰田工业大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业研究所）
我们提出了一种新的端到端神经模型来提取实体和它们之间的关系。我们基于递归神经网络的模型通过将双向树结构LSTM-RNN堆叠在双向顺序LSTM-RNN上来捕获单词序列和依赖树子结构信息。这使得我们的模型能够在单个模型中联合表示具有共享参数的实体和关系。我们进一步鼓励在训练过程中检测实体，并通过实体预训练和预定采样在关系抽取中使用实体信息。我们的模型在端到端关系抽取方面优于最先进的基于特征的模型，在ACE 2005和ACE 2004上分别实现了12.1%和5.7%的F1分数相对误差减少。我们还表明，我们的基于LSTM-RNN的模型与最先进的基于CNN的模型（F1得分）在名义关系分类（SemEval-2010任务8）上相比毫不逊色。最后，我们提出了一个广泛的消融分析的几个模型组件。
2016-06-08 cs.CL cs.LG
Driving Style Representation in Convolutional Recurrent Neural Network Model of Driver Identification
Ohio State University（俄亥俄州立大学）；Lyft Inc.（Lyft公司）；Google Inc.（谷歌公司）；Nationwide Mutual Insurance Co.（全美互惠保险公司）
识别驾驶风格的任务是分析驾驶员的行为，以捕捉将有助于区分不同驾驶员的变化。这项任务已经成为各种应用的先决条件，包括基于使用的保险，驾驶员教练，驾驶员行为预测，甚至设计自动驾驶汽车;因为驾驶风格编码这些应用所需的基本信息。在本文中，我们提出了一种深度神经网络架构，我们称之为D-CRNN，用于构建驾驶风格的高保真表示，它结合了卷积神经网络（CNN）和递归神经网络（RNN）的功能。使用CNN，我们从轨迹（例如转弯或制动事件）中捕获驾驶员行为的语义模式。然后，我们发现这些语义模式之间的时间依赖关系，使用RNN编码驾驶风格。我们通过在几个大型真实数据集上进行的大量实验，并将结果与最先进的深度学习和非深度学习解决方案进行比较，通过学习驾驶风格来证明这些技术对驾驶员识别的有效性。这些实验还展示了偏差消除的一个有用示例，展示了我们如何通过对每个驾驶员的不同轨迹进行采样来预处理输入数据，以防止空间记忆。最后，本文提出了一个不同的属性对驾驶员识别的贡献的分析，我们发现，发动机转速，速度和加速度是最好的组合功能。
2021-02-11 cs.CV cs.LG
Recurrent Autoencoder with Skip Connections and Exogenous Variables for Traffic Forecasting
Polytechnic University of Catalonia（加泰罗尼亚理工大学）
移动性的日益复杂性加上城市人口的不断增长，以及共享车辆或任何设备数据时隐私的重要性，使得使用基础设施和公民数据的交通预测成为一项开放且具有挑战性的任务。在本文中，我们介绍了一种新的方法来处理预测的速度，体积和主要的交通方向，在一个新的聚合方式的交通数据作为视频。该方法利用帧序列的连续性及其动态性，学习预测低维空间中的变化区域，然后在重建原始空间时恢复静态特征。模型中还加入了天气、时间和日历等外生变量。此外，我们引入了一种新的序列采样方法，以确保在创建批次时的多样性，与优化过程并行运行。
2019-10-28 cs.LG stat.ML
Prediction of the motion of chest internal points using a recurrent neural network trained with real-time recurrent learning for latency compensation in lung cancer radiotherapy
The University of Tokyo（东京大学）；National Institute for Quantum and Radiological Science and Technology（国立量子与放射科学技术研究所）
在肺癌患者的放射治疗期间，需要最小化递送到肿瘤周围的健康组织的辐射，由于呼吸运动和线性加速器系统的延迟，这是困难的。在这项研究中，我们首先使用Lucas-Kanade金字塔光流算法进行变形图像配准的胸部计算机断层扫描图像的四个肺癌患者。然后，我们根据先前计算的变形场跟踪靠近肺肿瘤的三个内部点，并使用使用实时递归学习（RTRL）和梯度裁剪训练的递归神经网络（RNN）预测它们的位置。呼吸数据是相当规则的，以大约2.5Hz采样，并且包括脊柱方向上的人工漂移。追踪点的运动幅度范围为12.0 mm ~ 22.7 mm。最后，我们提出了一种简单的方法，用于恢复和预测三维肿瘤图像的跟踪点和初始肿瘤图像的基础上的线性对应模型和Nadaraya-Watson非线性回归。测试集上RNN预测对应的均方根误差，最大误差和抖动小于线性预测和最小均方（LMS）获得的相同性能指标。特别地，与RNN相关联的最大预测误差等于1.51mm，分别比与线性预测和LMS相关联的最大误差低16.1%和5.0%。RTRL的每个时间步长的平均预测时间等于119 ms，这小于400 ms标记位置采样时间。预测图像中的肿瘤位置在视觉上看起来是正确的，这通过原始图像和预测图像之间的高平均互相关（等于0.955）来确认。
2022-07-13 cs.CV cs.LG eess.IV
Efficient Sequence Labeling with Actor-Critic Training
University of Alberta（阿尔伯塔大学）；Google（谷歌）
序列标记的神经方法通常使用条件随机场（CRF）来建模其输出依赖关系，而递归神经网络（RNN）用于其他任务中的相同目的。我们着手建立RNN作为CRF的一个有吸引力的替代品，用于序列标记。为此，我们解决了RNN最突出的缺点之一，即它在最大似然训练中不会暴露于自己的错误。我们将输出序列的预测框定为一个顺序决策过程，其中我们使用调整的演员-评论家算法（AC-RNN）训练网络。我们全面比较了这种策略与RNN和CRF在三个结构化输出任务上的最大似然训练。所提出的AC-RNN有效地匹配了CRF在NER和CCG标记上的性能，并且在机器音译上优于CRF。我们还表明，我们的训练策略明显优于解决RNN暴露偏差的其他技术，例如计划采样和自我批评策略训练。
2018-09-30 cs.AI cs.CL cs.LG
A Lightweight Recurrent Learning Network for Sustainable Compressed Sensing
Shenzhen University（深圳大学）；South-Central Minzu University（中南民族大学）
本文提出由初始重建与残差重建子网络构成的轻量级循环学习网络，以更少参数和内存实现高质量压缩感知图像重建，性能优于现有SOTA算法。
2023-04-23 cs.CV cs.LG eess.SP
Accelerating Score-based Generative Models for High-Resolution Image Synthesis
Fudan University（复旦大学）；University of Surrey（萨里大学）；RIKEN（理化学研究所）
基于得分的生成模型是近年来新兴的一类生成模型。其关键思想是通过向高斯样本反复添加高斯噪声和梯度，直到收敛到目标分布，即，扩散采样。然而，为了确保采样收敛的稳定性和生成质量，该顺序采样过程必须采用小的步长和许多采样迭代（例如，2000年）。已经提出了几种加速方法，重点是低分辨率生成。在这项工作中，我们认为加速与SGM的高分辨率生成，一个更具挑战性，但更重要的问题。我们从理论上证明，这种缓慢的收敛缺点主要是由于目标分布的无知。此外，我们引入了一种新的目标分布感知采样（TDAS）方法，利用空间和频率域的结构先验。在CIFAR-10、CelebA、LSUN和FFHQ数据集上进行的大量实验验证了TDAS可以始终如一地加速最先进的SGM，特别是在更具挑战性的高分辨率（1024 x1024）图像生成任务上，速度高达18.4倍，同时在很大程度上保持了合成质量。通过较少的采样迭代，TDAS仍然可以生成高质量的图像。相比之下，现有的方法性能急剧下降，甚至完全失效
2022-06-10 cs.CV cs.LG
Dynamic Sampling and Selective Masking for Communication-Efficient Federated Learning
Aalto University（阿尔托大学）；Columbia University（哥伦比亚大学）；Nokia Bell Labs（诺基亚贝尔实验室）；The University of Queensland（昆士兰大学）
联邦学习（FL）是一种新型的机器学习设置，通过分散式训练和联邦优化实现设备上的智能。深度神经网络的快速发展促进了对复杂问题建模的学习技术，并在联邦环境下出现了联邦深度学习。然而，大量的模型参数给通信网络带来了高传输负载的负担。本文介绍了两种提高通信效率的方法，即动态采样和顶部$k$选择性掩蔽.前者动态地控制所选客户机模型的比例，而后者选择具有最大差异值的前$k$参数进行联合更新。在三个公共数据集上进行了卷积图像分类和递归语言建模的实验，以证明我们提出的方法的有效性。
2021-09-20 cs.LG
Biased Importance Sampling for Deep Neural Network Training
Idiap Research Institute（伊迪亚普研究所）
重要性采样已被成功地用于许多凸优化问题的随机优化。然而，缺乏一种有效的方法来计算的重要性仍然阻碍了其应用到深度学习。在本文中，我们证明了损失值可以用作另一种重要性度量，并提出了一种方法来有效地近似深度模型，使用为此目的并行训练的小型模型。该方法特别允许利用有偏梯度估计，其隐含地优化软最大损失，并导致更好的泛化性能。虽然这样的方法遭受的梯度估计的方差过高时，使用标准的随机优化器，我们表明，当它与我们的采样机制相结合，它会导致一个可靠的过程。我们通过使用深度卷积和递归神经网络对图像分类和语言建模任务进行测试，展示了我们方法的通用性。特别是，我们的方法可以使CIFAR 10的CNN训练速度比使用均匀采样时快30%。
2017-09-13 cs.LG
Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Cambridge University（剑桥大学）
循环神经网络（RNN）在建模连续和时间序列数据方面是有用的。然而，当使用RNN为决策提供信息时，预测本身是不够的;我们还需要对预测不确定性进行估计。现有的RNN不确定性量化方法主要基于贝叶斯方法;这些方法在计算上是禁止的，并且需要对RNN架构和训练进行重大修改。利用经典的刀切响应的思想，我们开发了一种频率论的替代方案：（a）不干扰模型训练或损害其准确性，（b）适用于任何RNN架构，（c）提供对估计的不确定性区间的理论覆盖保证。我们的方法从RNN输出的（折刀）采样分布的可变性中获得预测不确定性，该可变性通过重复删除（时间相关的）训练数据块并收集在剩余数据上重新训练的RNN的预测来估计。为了避免穷举重新训练，我们利用影响函数来估计去除训练数据块对学习的RNN参数的影响。使用来自重症监护环境的数据，我们证明了不确定性量化在顺序决策中的实用性。
2020-06-27 cs.LG stat.ML
Learning to Diagnose with LSTM Recurrent Neural Networks
University of California, San Diego（加州大学圣地亚哥分校）；University of Southern California（南加州大学）；Children’s Hospital Los Angeles（洛杉矶儿童医院）
临床医学数据，特别是在重症监护病房（ICU），由多变量时间序列的观察。对于每次患者访视（或发作），传感器数据和实验室测试结果记录在患者的电子健康记录（EHR）中。虽然这些数据可能包含丰富的见解，但由于长度不一、抽样不规则和数据缺失，很难有效挖掘。循环神经网络（RNN），特别是那些使用长短期记忆（LSTM）隐藏单元的网络，是从序列数据中学习的强大且日益流行的模型。它们有效地对不同长度的序列进行建模，并捕获长范围的依赖性。我们提出的第一项研究，经验性地评估LSTM识别模式的临床测量的多变量时间序列的能力。具体来说，我们考虑诊断的多标签分类，训练一个模型来对128个诊断进行分类，给出13个频繁但不规则采样的临床测量结果。首先，我们建立了一个简单的LSTM网络对临床数据建模的有效性。然后，我们展示了一种简单有效的训练策略，在该策略中，我们在每个序列步骤复制目标。仅在原始时间序列上训练，我们的模型优于几个强大的基线，包括在手工设计的特征上训练的多层感知器。
2017-03-21 cs.LG
Action-Conditional Recurrent Kalman Networks For Forward and Inverse Dynamics Learning
KIT（卡尔斯鲁厄理工学院）；University Of Lincoln（林肯大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Bosch Corporate Research（博世公司研究部）；Lancaster University（兰卡斯特大学）
估计精确的正向和反向动力学模型是复杂机器人基于模型控制的关键组成部分，例如由液压驱动的机器人，人工肌肉或处理不同接触情况的机器人。由于复杂的滞后效应、未建模的摩擦和静摩擦现象以及接触情况下的未知效应，这些过程的分析模型通常不可用或不准确。一种有前途的方法是使用递归神经网络以数据驱动的方式获得时空模型，因为它们可以克服这些问题。然而，这样的模型往往不能充分满足精度要求，在所需的高采样频率的性能退化，不能提供不确定性估计。我们采用了最近的概率递归神经网络架构，称为回流卡尔曼网络（RKNs），通过调节其过渡动态的控制动作的学习模型。RKN在许多状态估计任务上优于标准递归网络，如LSTM。受卡尔曼滤波器的启发，RKN通过利用当前潜在状态和动作变量之间的加性相互作用，提供了一种在其递归单元内实现动作调节的优雅方式。我们提出了两种架构，一个用于正向模型学习，一个用于反向模型学习。这两种架构显着优于现有的模型学习框架，以及分析模型的预测性能方面的各种真正的机器人动力学模型。
2020-11-05 cs.LG cs.RO
Density Matrix Emulation of Quantum Recurrent Neural Networks for Multivariate Time Series Prediction
Galicia Supercomputing Center (CESGA)（加利西亚超级计算中心（CESGA））
本文提出一种基于密度矩阵形式体系的量子循环神经网络模拟方法，解决中途测量限制，推导解析梯度与Hessian矩阵，并在多数据集上验证其能准确捕获复杂模式并预测时间序列。
2025-01-30 cs.LG quant-ph
Phased LSTM: Accelerating Recurrent Network Training for Long or Event-based Sequences
Institute of Neuroinformatics（神经信息学研究所）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
递归神经网络（RNN）已经成为从时间序列中提取模式的最先进的选择。然而，当前的RNN模型不适合处理由传感器或其他神经元在连续时间内生成的事件触发的不规则采样数据。例如，当输入来自生成稀疏、异步事件流的新型事件驱动人工传感器或来自具有不同更新间隔的多个传统传感器时，可能会出现这种数据。在这项工作中，我们引入了Phased LSTM模型，它通过添加新的时间门来扩展LSTM单元。该门由具有一定频率范围的参数化振荡控制，该频率范围仅在周期的一小部分期间产生存储单元的更新。即使在振荡施加的稀疏更新下，相位LSTM网络在需要学习长序列的任务上也比常规LSTM实现了更快的收敛。该模型自然地集成了来自任意采样率的传感器的输入，从而为处理携带定时信息的异步感觉事件开辟了新的研究领域。它还极大地提高了标准RNN应用程序中LSTM的性能，并且在运行时的计算数量级更少。
2016-10-29 cs.LG
