Dense Recurrent Neural Networks for Scene Labeling
Temple University（天普大学）
最近循环神经网络（RNN）已经证明了通过捕获图像单元之间的长程依赖关系来改进场景标记的能力。在本文中，我们通过探索图像单元之间的各种远程语义依赖关系，提出了用于场景标记的密集RNN。与现有的基于RNN的方法相比，我们的密集RNN能够通过每对图像单元之间的密集连接为每个图像单元捕获更丰富的上下文依赖关系，这显着增强了它们的区分能力。此外，为了从密集连接中选择相关的同时抑制每个单元的不相关依赖，我们在密集RNN中引入了注意力模型。注意力模型可以自动为有用的依赖关系分配更多的重要性，而对无关的依赖关系分配较少的权重。与卷积神经网络（CNN）集成，我们的方法在PASCAL Context，MIT ADE20K和SiftFlow基准测试中实现了最先进的性能。
2018-01-21 cs.CV
Recurrent Spatial Transformer Networks
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）
我们集成了最近提出的空间Transformer网络（SPN）[Jaderberg et.等人2015]转化为递归神经网络（RNN）以形成RNN-SPN模型。我们使用RNN-SPN来分类杂乱的MNIST序列中的数字。该模型实现了1.5%的个位数误差，而卷积网络为2.9%，具有SPN层的卷积网络为2.0%。SPN输出输入图像的缩放、旋转和倾斜版本。我们研究了SPN的不同下采样因子（输入和输出中的像素比），并表明RNN-SPN模型能够在不降低性能的情况下对输入图像进行下采样。RNN-SPN中的下采样可以被认为是自适应下采样，其最小化感兴趣区域中的信息损失。我们将RNN-SPN的卓越性能归因于它可以处理一系列感兴趣的区域。
2015-09-17 cs.CV
A New Hybrid-parameter Recurrent Neural Networks for Online Handwritten Chinese Character Recognition
University of Chinese Academy of Sciences, CAS（中国科学院大学（中国科学院））
递归神经网络（RNN）适合于处理时间序列。在本文中，我们提出了一种具有新特征的深度RNN，并将其应用于在线手写汉字识别。与现有的RNN模型相比，该系统有三个创新之处。首先，提出了一种新的RNN隐层函数，以更好地学习时间信息。我们称之为内存池单元（MPU）。拟议的MPU具有简单的架构。其次，为了提高RNN的表达能力，提出了一种新的混合参数RNN结构。所提出的混合参数RNN在计算时间维度的迭代时具有参数变化。第三，我们做了一个调整，每一层的所有输出堆叠作为网络的输出。堆叠隐藏层状态组合所有隐藏层状态以增加表达容量。在IAHCC-UCAS 2016数据集和CASIA-OLHWDB 1.1数据集上进行了实验。实验结果表明，混合参数RNN具有更高的识别效率（参数少，速度快），获得了更好的识别性能。并证明了所提出的记忆池单元是一个简单的隐层函数，取得了较好的识别效果。
2018-07-30 cs.CV
Zoom-RNN: A Novel Method for Person Recognition Using Recurrent Neural Networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
社交媒体的普及导致每天都有大量的个人照片上传到互联网上。由于这些照片是在不受约束的环境中拍摄的，因此识别照片中的人的身份仍然是一个挑战。研究表明，利用人脸外观以外的证据可以提高人识别系统的性能。在这项工作中，我们的目标是利用从不同的身体区域获得的额外的线索在一个人识别的方式放大。因此，我们提出了Zoom-RNN，这是一种基于循环神经网络的新方法，用于结合从全身，上身和头部区域提取的证据。我们的模型在一个具有挑战性的数据集上进行了评估，即相册中的人物（PIPA），我们证明了采用我们的系统可以显著提高传统融合方法的性能。
2018-09-26 cs.CV
Multimodal Recurrent Neural Networks with Information Transfer Layers for Indoor Scene Labeling
Nanyang Technological University（南洋理工大学）；Advanced Digital Sciences Center (ADSC), Illinois at Singapore Pt Ltd（新加坡伊利诺伊高级数字科学中心私人有限公司）
提出了一种新的RGB-D场景语义分割方法--多模态RNN。它被优化为在给定两个输入源的情况下对图像像素进行分类：RGB颜色通道和深度图。它同时对两个通过信息传输层交叉连接的循环神经网络（RNN）进行训练，这些网络被学习以自适应地提取相关的跨模态特征。每个RNN模型从自己先前的隐藏状态中学习其表示，并从其他RNN先前的隐藏状态中学习转移模式;因此，保留了模型特定和跨模态特征。我们利用四方向2D-RNN的结构来对2D输入图像中的短距离和长距离上下文信息进行建模。我们精心设计了各种基线，以有效地检查我们提出的模型结构。我们在流行的RGB-D基准测试中测试了我们的多模态RNN方法，并展示了它如何显著优于以前的方法，并与其他最先进的作品取得了竞争结果。
2018-03-13 cs.CV
Cascaded Recurrent Neural Networks for Hyperspectral Image Classification
Nanjing University of Information Science and Technology（南京信息工程大学）；German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich (TUM)（慕尼黑工业大学）；Helmholtz-Zentrum Dresden-Rossendorf (HZDR)（亥姆霍兹德累斯顿罗森多夫研究中心）；Helmholtz Institute Freiberg for Resource Technology (HIF)（亥姆霍兹弗赖贝格资源技术研究所）
通过将光谱特征视为一个序列，循环神经网络（RNN）最近已成功地用于从高光谱图像（HSI）中学习判别特征。然而，这些模型中的大多数仅将整个光谱带直接输入到RNN中，这可能无法充分探索HSI的特定属性。在本文中，我们提出了一个级联的RNN模型，使用门控递归单元（GRU）来探索HSI的冗余和互补信息。它主要由两个RNN层组成。第一RNN层用于消除相邻光谱带之间的冗余信息，而第二RNN层旨在从非相邻光谱带学习互补信息。为了提高学习特征的区分能力，我们设计了两种策略。此外，考虑到HSI中包含的丰富空间信息，我们通过引入一些卷积层将所提出的模型进一步扩展到其频谱空间对应物。为了测试我们提出的模型的有效性，我们进行实验，两个广泛使用的HSIs。实验结果表明，我们提出的模型可以取得更好的结果比比较模型。
2019-02-28 cs.CV
Hierarchical Recurrent Neural Network for Video Summarization
Northwestern Polytechnical University（西北工业大学）；Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）
利用视频帧或子镜头之间的时间相关性对于视频摘要任务非常重要。实际上，RNN擅长于时间依赖建模，并且在许多基于视频的任务中取得了压倒性的性能，例如视频描述和分类。然而，RNN不足以处理视频摘要任务，因为传统的RNN，包括LSTM，只能处理短视频，而摘要任务中的视频通常持续时间较长。为了解决这个问题，本文提出了一种用于视频摘要的分层循环神经网络，称为H-RNN。具体地说，它有两层，其中第一层用于编码从原始视频中剪切的短视频子镜头，并且每个子镜头的最终隐藏状态被输入到第二层，用于计算其作为关键子镜头的置信度。与传统的RNN相比，H-RNN更适合于视频摘要，因为它可以利用帧之间的长时间依赖性，同时，计算操作显着减少。两个流行的数据集，包括组合数据集和VTW数据集的结果表明，所提出的H-RNN优于最先进的。
2019-04-28 cs.CV
Skip RNN: Learning to Skip State Updates in Recurrent Neural Networks
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Google Inc（谷歌公司）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Columbia University（哥伦比亚大学）
循环神经网络（RNN）在序列建模任务中继续表现出出色的性能。然而，在长序列上训练RNN通常面临着推理缓慢、梯度消失和难以捕获长期依赖性等挑战。在通过时间设置的反向传播中，这些问题与在时间上展开RNN所产生的大型顺序计算图紧密耦合。我们引入了Skip RNN模型，它通过学习跳过状态更新来扩展现有的RNN模型，并缩短了计算图的有效大小。还可以通过预算约束来鼓励该模型执行更少的状态更新。我们在各种任务上评估了所提出的模型，并展示了它如何减少所需的RNN更新次数，同时保持甚至提高基线RNN模型的性能。源代码可在https://imatge-upc.github.io/skiprnn-2017-telecombcn/上公开获取。
2018-02-05 cs.AI cs.CV
DA-RNN: Semantic Mapping with Data Associated Recurrent Neural Networks
University of Washington（华盛顿大学）
3D场景理解对于机器人以有意义的方式与3D世界进行交互至关重要。以前的大多数关于3D场景理解的工作集中于独立地识别场景的几何或语义属性。在这项工作中，我们介绍了数据关联循环神经网络（DA-RNNs），一种新的框架，联合三维场景映射和语义标记。DA-RNN使用新的递归神经网络架构对RGB-D视频进行语义标记。网络的输出与KinectFusion等映射技术相结合，以便将语义信息注入重建的3D场景中。在真实世界数据集和RGB-D视频合成数据集上进行的实验证明了我们的方法在语义3D场景映射中的能力。
2017-05-30 cs.CV cs.RO
What is the Role of Recurrent Neural Networks (RNNs) in an Image Caption Generator?
University of Malta（马耳他大学）
在神经图像描述系统中，递归神经网络（RNN）通常被视为主要的“生成”组件。这种观点认为，图像特征应该被“注入”到RNN中。事实上，这是文献中的主流观点。或者，RNN可以被视为仅对先前生成的单词进行编码。这种观点认为，RNN应该只用于编码语言特征，只有最终的表示应该在稍后阶段与图像特征“合并”。本文比较了这两种架构。我们发现，一般来说，后期合并优于注入，这表明RNN更好地被视为编码器，而不是生成器。
2017-08-25 cs.CL cs.CV cs.NE
Gating Revisited: Deep Multi-layer RNNs That Can Be Trained
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
我们为递归神经网络（RNN）提出了一种新的STackable Recurrent cell（STAR），它比广泛使用的LSTM和GRU具有更少的参数，同时对消失或爆炸梯度更具鲁棒性。将递归单元堆叠到深度架构中受到两个主要限制：（i）许多递归单元（例如，LSTM）在参数和计算资源方面是昂贵的;（ii）深度RNN在训练过程中容易消失或爆炸梯度。我们研究了多层RNN的训练，并检查了梯度在“垂直”方向上通过网络传播时的大小。我们表明，根据基本的经常性单位的结构，梯度系统衰减或放大。基于我们的分析，我们设计了一种新型的门控单元，更好地保持梯度幅度。我们验证了我们的设计大量的序列建模任务，并表明，拟议的STAR细胞允许建立和训练更深的经常性架构，最终导致性能提高，同时计算更高效。
2021-03-06 cs.CV cs.LG
Multi-Dimensional Recurrent Neural Networks
IDSIA（达勒·莫尔人工智能研究所）
循环神经网络（RNN）已被证明在一维序列学习任务中是有效的，例如语音和在线手写识别。一些使RNN适合这些任务的属性，例如对输入扭曲的鲁棒性，以及访问上下文信息的能力，在多维域中也是可取的。然而，到目前为止，还没有直接的方法将RNN应用于具有多个时空维度的数据。本文介绍了多维循环神经网络（MDRNN），从而将RNN的潜在适用性扩展到视觉，视频处理，医学成像和许多其他领域，同时避免了困扰其他多维模型的缩放问题。实验结果提供了两个图像分割任务。
2007-05-14 cs.AI cs.CV
Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN
University of Electronic Science and Technology of China（电子科技大学）；University of Wollongong（伍伦贡大学）
递归神经网络（RNN）已被广泛用于处理序列数据。然而，由于众所周知的梯度消失和爆炸问题以及难以学习长期模式，RNN通常难以训练。长短期记忆（LSTM）和门控递归单元（GRU）被开发出来解决这些问题，但双曲正切和S形作用函数的使用导致了梯度衰减。因此，构建一个高效可训练的深度网络是一个挑战。此外，RNN层中的所有神经元都纠缠在一起，它们的行为很难解释。为了解决这些问题，本文提出了一种新型的RNN，称为独立循环神经网络（IndRNN），其中同一层中的神经元彼此独立，并且它们跨层连接。我们已经证明，IndRNN可以很容易地调节，以防止梯度爆炸和消失问题，同时允许网络学习长期依赖关系。此外，IndRNN可以与非饱和激活函数（如relu（整流线性单元））一起工作，并且仍然可以进行鲁棒训练。可以堆叠多个IndRNN来构建比现有RNN更深的网络。实验结果表明，所提出的IndRNN能够处理非常长的序列（超过5000个时间步），可以用于构建非常深的网络（实验中使用了21层），并且仍然可以进行鲁棒训练。与传统的RNN和LSTM相比，使用IndRNN在各种任务上取得了更好的性能。该代码可在https://github.com/Sunnydreamrain/IndRNN_Theano_Lasagne上获得。
2018-05-22 cs.CV cs.LG
Ubicomp Digital 2020 -- Handwriting classification using a convolutional recurrent network
来自STABILO的Ubicomp Digital 2020 - Time Series Classification Challenge是关于多变量时间序列分类的挑战。这些数据收集自100名志愿者，包含15个由多个传感器测量的特征。在本文中，我们使用一个神经网络的数据分类成52类，即阿拉伯字母的小写和大写。所提出的神经网络a的架构是CNN-LSTM网络。它将卷积神经网络（CNN）用于短期上下文，同时将短期记忆层（LSTM）用于长期依赖性。我们达到了68%的准确率在我们的作家独家测试集和64.6%的盲挑战测试集，导致第二位。
2020-08-03 cs.CV cs.LG
Empirical Analysis of Limits for Memory Distance in Recurrent Neural Networks
Institute for Informatics, LMU Munich（慕尼黑大学信息学研究所）
所有不同类型的循环神经网络（RNN）的共同点是对数据点之间的时间关系进行建模。当后续数据点之间没有直接关系时（例如，当数据点随机生成时），我们证明了RNN仍然能够通过使用标准的反向传播来记住一些数据点。然而，我们还表明，对于经典的RNN，LSTM和GRU网络，可以以这种方式复制的递归调用之间的数据点距离是非常有限的（与数据点之间的松散连接相比），并且受到RNN类型和大小的各种约束。这意味着相关数据点之间的距离存在一个硬限制（远低于信息论的限制），在此范围内，RNN仍然能够识别所述关系。
2022-12-20 cs.CV cs.LG
E-RNN: Design Optimization for Efficient Recurrent Neural Networks in FPGAs
Syracuse University（雪城大学）；Northeastern University（东北大学）；Florida International University（佛罗里达国际大学）；University of Southern California（南加利福尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；SUNY University at Buffalo（纽约州立大学布法罗分校）
循环神经网络（RNN）对于需要高效和实时实现的时间序列相关应用变得越来越重要。两种主要类型是长短期记忆（LSTM）和门控递归单元（GRU）网络。由于对不精确积累的高度敏感性和特殊激活函数实现的要求，具有实时，高效和准确的硬件RNN实现是一项具有挑战性的任务。现有工作的一个关键限制是缺乏RNN模型和硬件实现的系统设计优化框架，特别是当块大小（或压缩比）应该与RNN类型，层大小等联合优化。在本文中，我们采用基于块循环矩阵的框架，提出了一种高效RNN（E-RNN）框架，用于自动语音识别（ASR）应用的FPGA实现。总体目标是在精度要求下提高性能/能效。我们使用交替方向乘法器（ADMM）技术进行更准确的块循环训练，并提出了两个设计探索，为块大小和减少RNN训练试验提供指导。基于这两个观察结果，我们将E-RNN分解为两个阶段：第一阶段确定RNN模型，以减少精度要求的计算和存储，第二阶段给出RNN模型的硬件实现，包括处理元件设计/优化，量化，激活实现，在实际FPGA部署上的实验结果表明，与ESE相比，E-RNN实现了37.4 $\times$的最大能量效率改进，与C-LSTM相比，在相同的精度下，$\times$的个数要多2个$\times$。
2018-12-12 cs.CV cs.LG eess.SP
Recurrent Neural Networks for Still Images
Synaptics Inc.（新思公司）
本文提出将图像像素视为序列并用新型二维 RNN 及内存高效 BiRNN 处理静态图像，在 COCO 和 CIFAR100 上验证其尤其能提升小型 CRNN 的效果。
2024-09-10 cs.CV cs.LG
Automatic Construction of a Recurrent Neural Network based Classifier for Vehicle Passage Detection
Skoltech（斯科尔科沃科学技术学院）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）
递归神经网络（RNN）广泛用于时间序列建模和预测。提出了一种基于长短期记忆RNNs（LSTM-RNNs）的二元分类器的自动构造方法，用于检测通过检查站的车辆。作为分类器的输入，我们使用安装在检查点上的各种传感器的多维信号。获得的结果表明，以前的方法手工制作的分类器，由一组确定性的规则，可以成功地取代自动RNN训练适当标记的数据。
2016-09-26 cs.CV cs.LG stat.ML
Deep Captioning with Multimodal Recurrent Neural Networks (m-RNN)
University of California, Los Angeles（加州大学洛杉矶分校）；Baidu Research（百度研究院）
在本文中，我们提出了一个多模态递归神经网络（m-RNN）模型生成新的图像字幕。它直接对给定先前单词和图像的生成单词的概率分布进行建模。图像标题通过从该分布中采样来生成。该模型由两个子网络组成：用于句子的深度递归神经网络和用于图像的深度卷积网络。这两个子网络在多模态层中相互作用，形成整个m-RNN模型。在四个基准数据集（IAPR TC-12、Flickr 8 K、Flickr 30 K和MS COCO）上验证了模型的有效性。我们的模型优于最先进的方法。此外，我们将m-RNN模型应用于检索图像或句子的检索任务，并与直接优化检索排名目标函数的最新方法相比，实现了显着的性能提升。本作品的项目页面是：www.stat.ucla.edu/~junhua.mao/m-RNN.html。
2015-06-11 cs.CL cs.CV cs.LG
Two-phase flow regime prediction using LSTM based deep recurrent neural network
School of Nuclear Engineering（核工程学院）；Purdue University（普渡大学）
长短期记忆（LSTM）和循环神经网络（RNN）在时间序列预测方面取得了巨大的成功。在本文中，提出了一种使用基于LSTM的深度RNN进行两相流流型预测的方法，其动机是以前关于构建深度RNN的研究。该方法具有响应速度快、精度高的特点。用阻抗空隙率仪采集的空隙率时间序列数据对所建的RNN网络进行了训练和测试。结果表明，预测精度取决于网络的深度和层数。然而，更深和更大的网络在预测方面消耗更多的时间。
2019-03-30 cs.CV physics.app-ph physics.data-an
How Many Samples are Needed to Estimate a Convolutional or Recurrent Neural Network?
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
人们普遍认为，卷积神经网络（CNN）和递归神经网络（RNN）的实际成功归因于CNN和RNN使用比其全连接神经网络（FNN）对应物更紧凑的参数表示，因此需要更少的训练示例来准确估计其参数。我们开始研究严格表征估计CNN和RNN的样本复杂性。我们证明了学习CNN和RNN的样本复杂度与它们的内在维度成线性关系，并且这种样本复杂度比它们的FNN对应物小得多。对于CNN和RNN，我们还提出了下界，表明我们的样本复杂度接近对数因子。我们得出这些结果的主要技术工具是一个本地化的经验过程分析和一个新的技术引理表征卷积和经常性的结构。我们相信这些工具可能会激发对CNN和RNN的进一步理解。
2019-06-30 cs.AI cs.CV cs.LG
Parameter Compression of Recurrent Neural Networks and Degradation of Short-term Memory
Qualcomm Technologies, Inc.（高通技术公司）
在大规模或资源受限的环境中（例如数据中心和移动设备）部署神经网络的显著计算成本已经刺激了对模型压缩的兴趣，其可以实现算术运算和存储内存的减少。已经提出了几种技术来减少或压缩前馈和卷积神经网络的参数，但很少有人了解参数压缩对循环神经网络（RNN）的影响。特别是，在何种程度上可以压缩的经常性参数和短期记忆性能的影响，是不是很好地理解。在本文中，我们研究了复杂性降低的效果，通过奇异值分解秩降低，对RNN和最小门控递归单元（MGRU）网络的几个任务。我们表明，相当大的秩减少是可能的压缩经常性的权重，即使没有微调。此外，我们提出了一个扰动模型的一般扰动，如压缩，对递归参数的影响。该模型进行了测试，对一个无声的记忆实验，阐明了短期记忆的表现。通过这种方式，我们证明了经常性参数的压缩效果取决于数据和任务中存在的时间相干性的程度。这项工作可以指导新环境或任务的实时RNN压缩，并为在低功耗设备（如助听器）中应用RNN压缩提供见解。
2017-02-24 cs.CV cs.LG cs.NE
Dropout improves Recurrent Neural Networks for Handwriting Recognition
A2iA；SUTD（新加坡科技设计大学）；LIMSI CNRS（法国国家科学研究中心机械与工程计算机科学实验室）
具有长短期记忆细胞的循环神经网络（RNN）目前在无约束手写识别中具有最好的结果。我们表明，使用dropout -最近提出的深度架构正则化方法，可以大大提高它们的性能。虽然以前的工作表明，dropout在卷积网络的背景下具有更好的性能，但它从未应用于RNN。在我们的方法中，在网络中仔细使用dropout，以便它不会影响循环连接，因此保留了RNN在建模序列中的能力。在广泛的手写数据库上进行的大量实验证实了dropout在深度架构上的有效性，即使网络主要由循环和共享连接组成。
2014-03-10 cs.CV cs.LG cs.NE
