CERN: Confidence-Energy Recurrent Network for Group Activity Recognition
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Oregon State University(俄勒冈州立大学)
这项工作是关于识别视频中不同语义级别的人类活动,包括个人动作,交互和群体活动。识别是使用两级层次的长短期记忆(LSTM)网络来实现的,形成了一个前馈深度架构,可以进行端到端的训练。与现有的LSTM架构相比,我们做出了两个关键贡献,将我们的方法命名为信心能量循环网络- CERN。首先,我们指定了一个新的能量层(EL)来估计我们预测的能量,而不是使用常见的softmax层进行预测。第二,而不是找到共同的最小能量类分配,这可能是数值不稳定的不确定性下,我们指定的EL额外计算的p值的解决方案,并以这种方式估计最有信心的能量最小值。对集体活动和排球数据集的评估表明:(i)我们的两个贡献相对于常见的softmax和能量最小化公式的优势,以及(ii)相对于最先进的方法的优越性能。
2017-04-10 cs.CV cs.LG stat.ML
Recurrent Attention Models with Object-centric Capsule Representation for Multi-object Recognition
Department of Psychology(心理学系);Department of Computer Science(计算机科学系);Stony Brook University(石溪大学)
视觉系统使用一系列选择性的一瞥来处理场景,每个一瞥都由空间和基于对象的注意力驱动。这些瞥见反映了与正在进行的任务相关的内容,并通过对场景中物体的反复处理和识别来选择。相比之下,大多数模型将注意力选择和识别视为前馈过程中的独立阶段。在这里,我们展示了使用胶囊网络在具有迭代瞥见注意力的编码器-解码器模型中创建以对象为中心的隐藏表示,从而有效地整合了注意力和识别。我们在三个多对象识别任务上评估了我们的模型;高度重叠的数字,分散注意力的混乱和门牌号之间的数字,并表明它学会了有效地移动它的一瞥窗口,识别和重建对象,所有这些都只有分类作为监督。我们的工作采取了一个通用的架构,如何整合经常性的对象为中心的表示到规划的注意一瞥。
2021-10-11 cs.CV cs.LG q-bio.NC
Multi-Task Recurrent Neural Network for Surgical Gesture Recognition and Progress Prediction
Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS)(惠康/工程与物理科学研究委员会介入与外科科学中心(WEISS));University College London(伦敦大学学院)
手术手势识别对于手术数据科学和计算机辅助干预非常重要。即使使用机器人运动学信息,自动分割手术步骤也存在许多挑战,因为手术演示的特征在于动作的风格、持续时间和顺序的高度可变性。为了从运动信号中提取有区别的特征并提高识别精度,我们提出了一种多任务循环神经网络,用于同时识别手术手势和估计手术任务进度的新配方。为了显示所提出的方法的有效性,我们评估其应用程序的JIGSAWS数据集,这是目前唯一公开可用的数据集手术姿态识别机器人运动学数据。我们证明了识别性能在多任务框架中提高了进度估计,而无需任何额外的手动标签和培训。
2020-03-10 cs.CV cs.LG cs.RO
Adaptive Detrending to Accelerate Convolutional Gated Recurrent Unit Training for Contextual Video Recognition
Korea Advanced Institute of Science and Technology(韩国科学技术院);Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
随着图像识别技术的发展,视频识别技术成为当前研究的热点。然而,大多数现有的方法都集中在短期而不是长期的视频识别,称为上下文视频识别。为了解决上下文视频识别问题,我们使用具有丰富时空信息处理能力的卷积递归神经网络(ConvRNN),但ConvRNN需要大量计算,这会减慢训练速度。在本文中,受归一化和去趋势方法的启发,我们提出了用于时间归一化的自适应去趋势(AD),以加速ConvRNN的训练,特别是卷积门控递归单元(ConvGRU)。AD通过减去趋势来去除递归神经网络(RNN)中每个神经元的序列内的内部协变量偏移。在ConvGRU的上下文识别实验中,结果表明:(1)ConvGRU明显优于前馈神经网络,(2)AD始终提供显着的训练加速和泛化改进,(3)AD通过与现有的归一化方法合作得到进一步改进。
2017-05-24 cs.CV
Recurrent Regression for Face Recognition
Southeast University(东南大学)
为了解决图像的顺序变化,包括姿势,在本文中,我们提出了一个递归回归神经网络(RRNN)框架,统一两个经典的任务,跨姿势人脸识别静态图像和基于视频的人脸识别。为了模拟图像的变化,我们显式地构造序列图像的潜在依赖关系,从而使最终的学习模型正则化。通过对顺序相邻的图像进行渐进变换,RRNN可以自适应地记忆和忘记有利于最终分类的信息。对于静止图像的人脸识别,给定任意一幅具有任意一个姿态的图像,我们递归地预测具有其顺序姿态的图像,期望捕获其他姿态的一些有用信息。对于基于视频的人脸识别,递归回归需要一个完整的序列,而不是一个图像作为其输入。我们在静态人脸数据集MultiPIE和人脸视频数据集YouTube Celebrity(YTC)中验证了RRNN。综合实验结果证明了所提出的RRNN方法的有效性。
2016-07-24 cs.CV
Recurrent Soft Attention Model for Common Object Recognition
Shanghai Jiao Tong University(上海交通大学)
我们提出了递归软注意模型,它通过下采样网络将原始图像的视觉注意力整合到LSTM存储单元中。该模型循环地将视觉注意传递到存储单元以生成瞥见掩模,这是一般目标检测和识别问题中注意整合和开发的更自然的方式。我们在CIFAR-10数据集上的top-1准确度指标下测试我们的模型。实验表明,我们的下采样网络和反馈机制在整个网络结构中发挥了有效的作用。
2017-05-29 cs.CV
Motion Feature Augmented Recurrent Neural Network for Skeleton-based Dynamic Hand Gesture Recognition
Tsinghua University(清华大学)
动态手势识别由于其在人机交互中的重要性而受到越来越多的关注。在本文中,我们提出了一个新的运动特征增强的循环神经网络的基于神经网络的动态手势识别。提取手指运动特征描述手指运动,利用全局运动特征描述手部骨骼的全局运动。然后将这些运动特征与骨架序列一起输入到双向循环神经网络(RNN)中,这可以增强RNN的运动特征并提高分类性能。实验表明,我们提出的方法是有效的,优于开始的最先进的方法。
2017-08-10 cs.CV
Recurrent Embedding Aggregation Network for Video Face Recognition
Michigan State University(密歇根州立大学)
递归网络已经成功地分析了时间数据,并已被广泛用于视频分析。然而,对于视频人脸识别,在大规模数据上训练的基本CNN已经提供了有区别的特征,使用长短期记忆(LSTM),一种流行的递归网络,进行特征学习可能会导致过度拟合并降低性能。我们提出了一个递归嵌入聚合网络(REAN)集到集人脸识别。与LSTM相比,REAN对过拟合具有鲁棒性,因为它只学习如何聚合预训练的嵌入,而不是从头开始学习表示。与质量感知的聚合方法相比,REAN可以利用上下文信息来规避冗余视频帧引入的噪声。在三个公共领域视频人脸识别数据集IJB-S、YTF和PaSC上的实验结果表明,所提出的REAN显著优于朴素CNN-LSTM结构和质量感知聚合方法。
2019-06-25 cs.CV
Rotation-free Online Handwritten Character Recognition Using Linear Recurrent Units
College of Mathematics and Statistics, Chongqing University, China(数学与统计学院,重庆大学)
本文提出一种无旋转在线手写字符识别方法,结合滑动窗口路径签名与轻量级线性递归单元,实现高准确率的字符识别。
2026-09-09 cs.CV cs.LG
ViT-ReT: Vision and Recurrent Transformer Neural Networks for Human Activity Recognition in Videos
Kansas State University(堪萨斯州立大学)
人类活动识别是计算机视觉中一个新兴的重要领域,它试图确定个人或一组个人正在执行的活动。该领域的应用范围从生成体育比赛中的精彩视频到智能监控和手势识别。大多数活动识别系统依赖于卷积神经网络(CNN)和递归神经网络(RNN)的组合,卷积神经网络(CNN)从数据中执行特征提取,递归神经网络(RNN)确定数据的时间相关性质。本文提出并设计了两种用于人体活动识别的Transformer神经网络:一种递归Transformer(ReT),一种用于对数据序列进行预测的专用神经网络,以及一种视觉Transformer(ViT),一种用于从图像中提取显著特征的Transformer,以提高活动识别的速度和可扩展性。我们提供了一个广泛的比较拟议的Transformer神经网络与当代CNN和基于RNN的人类活动识别模型的速度和准确性。
2022-08-25 cs.CV
Image Recognition Using Scale Recurrent Neural Networks
ImaginationAI LLC(想象人工智能有限责任公司)
卷积神经网络(CNN)在图像识别中得到了广泛的应用,并取得了巨大的成功。然而,当前基于CNN的图像识别范例存在许多限制。首先,CNN的感受野一般是固定的,这限制了它在输入图像非常大时的识别能力。其次,它缺乏处理不同大小图像的计算可扩展性。第三,图像识别与人类视觉系统有很大的不同,它涉及前馈和递归预处理。本文提出了一种不同的图像识别范式,它可以利用输入图像的可变尺度,具有更多的计算可扩展性,更类似于人类视觉系统的图像识别。它是基于递归神经网络(RNN)定义在图像尺度上与一个嵌入的基础CNN,这被称为规模递归神经网络(SRNN)。这种基于RNN的方法使得处理可变大小的图像变得更容易,并允许我们借用现有的RNN技术,如LSTM和GRU,以进一步提高识别准确性。我们的实验表明,一个基地CNN的识别精度可以显着提高使用所提出的SRNN模型。它还显著优于尺度集成方法,该方法将执行CNN的结果集成到不同尺度的输入图像,尽管使用SRNN的计算开销可以忽略不计。
2018-03-25 cs.CV
Recurrent Residual Learning for Action Recognition
University of Bonn(波恩大学)
动作识别是计算机视觉中的一个基本问题,在视频监控、人机交互、机器人学习等领域有着广泛的应用前景。给定预先分段的视频,任务是识别视频中发生的动作。从历史上看,手工制作的视频功能被用来解决动作识别的任务。随着Deep ConvNets作为图像分析方法的成功,许多标准ConvNets的扩展旨在处理可变长度的视频数据。在这项工作中,我们提出了一种新的递归ConvNet架构,称为递归残差网络,以解决动作识别的任务。该方法扩展了ResNet,一种用于图像分类的最新模型。虽然ResNet的原始公式旨在学习其层中的空间残差,但我们通过引入允许学习时空残差的递归连接来扩展该方法。与完全递归的网络相比,我们的时间连接只允许有限范围的前一帧对当前帧的输出做出贡献,从而实现有效的训练和推理,并将时间上下文限制在每个帧周围的合理局部范围内。在一个大规模的动作识别数据集上,我们证明了我们的模型比标准ResNet架构和由完全递归层扩展的ResNet都有所改进。
2017-06-27 cs.CV
An Attention-based Recurrent Convolutional Network for Vehicle Taillight Recognition
Toyota Research Institute(丰田研究院)
汽车尾灯识别是自动驾驶的一个重要应用,特别是对汽车的意图预测和自我车辆的轨迹规划。在这项工作中,我们提出了一个端到端的深度学习框架,以识别尾灯,即后方转向和刹车信号,从图像序列。所提出的方法从卷积神经网络(CNN)开始提取空间特征,然后应用长短期记忆网络(LSTM)来学习时间依赖性。此外,我们在空间和时间域中集成了注意力模型,其中注意力模型学习选择性地关注空间和时间特征。我们的方法在UC Merced车辆后方信号数据集的准确性方面能够超越最先进的技术水平,证明了注意力模型对车辆尾灯识别的有效性。
2019-06-09 cs.CV cs.LG
SAR Target Recognition Using the Multi-aspect-aware Bidirectional LSTM Recurrent Neural Networks
College of Information Science & Technology, Beijing University of Chemical Technology(北京化工大学信息科学与技术学院);National Research Center for High-Performance Computing Engineering Technology, Sugon Information Industry Co., Ltd(曙光信息产业股份有限公司高性能计算工程技术国家研究中心);Sichuan Provincial Key Laboratory of Information Coding and Transmission, Southwest Jiaotong University(西南交通大学信息编码与传输四川省重点实验室);Institute of Electronics, Chinese Academy of Sciences(中国科学院电子学研究所)
深度学习出色的模式识别性能,为合成孔径雷达(SAR)自动目标识别(ATR)带来了新的活力。然而,目前基于深度学习的ATR算法存在一个局限性,即每次学习过程只处理一幅SAR图像,即学习静态散射信息,而忽略了空间变化信息。可见,引入空变散射信息的多方位联合识别,可以提高分类精度和鲁棒性。本文提出了一种新的多方面感知的方法来实现这一想法,通过双向长短期记忆(LSTM)循环神经网络的空间变化的散射信息学习。具体地说,我们首先选择不同的方面的图像生成多方面的空间变化的图像序列。然后,逐步采用Gabor滤波器和三块局部二值模式(TPLBP)提取综合的空间特征,再利用多层感知器(MLP)网络进行降维。最后,我们设计了一个双向LSTM递归神经网络来学习多方面的特征,并进一步集成softmax分类器来实现目标识别。实验结果表明,该方法可以达到99.9%的准确率为10类识别。此外,它的抗噪声和抗混淆性能也优于传统的基于深度学习的方法。
2017-07-25 cs.CV cs.LG
Residual Recurrent CRNN for End-to-End Optical Music Recognition on Monophonic Scores
Ping An Technology(Shenzhen) Co.,Ltd(平安科技(深圳)有限公司);University College London(伦敦大学学院)
光学音乐识别任务的挑战之一是将相机捕获的图像的符号转录成数字音乐符号。以前的端到端模型是作为卷积递归神经网络开发的,它不能从全尺度上探索足够的上下文信息,仍然有很大的改进空间。我们提出了一个创新的框架,它结合了一个块的残差递归卷积神经网络与一个经常性的编码器-解码器网络映射一个序列的单声道音乐符号对应的符号存在于图像中。残差递归卷积块可以提高模型丰富上下文信息的能力。实验结果以一个名为CAMERA-PRIMUS的公开数据集为基准,这表明我们的方法超过了使用卷积递归神经网络的最先进的端到端方法。
2021-08-04 cs.CV
Pay Attention to What You Read: Non-recurrent Handwritten Text-Line Recognition
Computer Vision Center, Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心);omni:us
用于手写识别的递归神经网络的出现标志着一个重要的里程碑,尽管我们在不同的书写风格中观察到了很大的差异,但它仍然达到了令人印象深刻的识别精度。顺序架构非常适合对文本行进行建模,这不仅是因为文本固有的时间方面,而且还可以学习字符和单词序列上的概率分布。然而,使用这种循环范例在训练阶段是有代价的,因为它们的顺序管道阻止了并行化。在这项工作中,我们介绍了一种非经常性的方法来识别手写文本使用的Transformer模型。我们提出了一种新的方法,绕过任何复发。通过在视觉和文本阶段使用多头自注意层,我们能够处理字符识别以及学习待解码字符序列的语言相关依赖性。我们的模型不受任何预定义词汇的限制,能够识别词汇表外的单词,即未出现在训练词汇表中的单词。我们显著地优于现有技术,并且证明即使在少样本学习场景中也产生了令人满意的识别精度。
2020-05-26 cs.CV
View-Invariant Gait Recognition with Attentive Recurrent Learning of Partial Representations
Ingenuity Labs Research Institute(创新实验室研究所)
步态识别是指根据行走过程中人体运动的特征对个体进行身份识别。尽管最近在深度学习的步态识别方面取得了进展,但数据采集和外观的变化,即摄像机角度、主体姿势、遮挡和服装,都是实现准确步态识别系统需要考虑的挑战性因素。在本文中,我们提出了一个网络,它首先学习从帧级卷积特征中提取步态卷积能量图(GCEM)。然后,它采用双向递归神经网络从GCEM的分裂箱中学习,从而利用学习到的部分时空表示之间的关系。然后,我们使用一个注意力机制,选择性地集中在重要的循环学习的部分表示身份信息在不同的情况下,可能在于不同的GCEM箱。我们提出的模型已经使用四种不同的测试协议在两个大规模的CASIA-B和OU-MVLP步态数据集上进行了广泛的测试,并与一些最先进的基线解决方案进行了比较。此外,一个全面的实验已经进行了研究的鲁棒性,我们的模型中存在六个不同的合成闭塞。实验结果表明,我们提出的方法的优越性,优于国家的最先进的,特别是在不同的服装和携带条件下遇到的情况下。结果还表明,与最先进的方法相比,我们的模型对不同的遮挡更鲁棒。
2020-10-18 cs.CV cs.LG
Compressing Recurrent Neural Networks with Tensor Ring for Action Recognition
University of Electronic Science and Technology of China(电子科技大学);Weill Cornell Medical College, Cornell University(康奈尔大学威尔康奈尔医学院);Tencent Inc.(腾讯公司)
循环神经网络(RNN)及其变体,如长短期记忆(LSTM)网络和门控循环单元(GRU)网络,在序列数据建模中取得了令人满意的性能。RNN中的隐藏层可以被视为记忆单元,有助于在顺序上下文中存储信息。然而,当处理高维输入数据时,如视频和文本,RNN中的输入到隐藏的线性变换带来了高的内存使用和巨大的计算成本。这使得RNN的训练变得不可扩展和困难。为了解决这一挑战,我们提出了一种新的紧凑LSTM模型,称为TR-LSTM,通过利用低秩张量环分解(TRD)来重新制定输入到隐藏的转换。与其他张量分解方法相比,TR-LSTM更稳定。此外,TR-LSTM可以完成端到端的训练,也为RNN处理大输入数据提供了基本的构建块。在真实世界动作识别数据集上的实验表明,与张量训练LSTM和其他最先进的竞争对手相比,所提出的TR-LSTM具有良好的性能。
2018-11-19 cs.CV cs.LG
Enabling My Robot To Play Pictionary : Recurrent Neural Networks For Sketch Recognition
Indian Institute of Science(印度科学理工学院)
手绘草图是一个固有的顺序过程。然而,大多数手绘草图识别方法要么忽略了这个顺序方面,要么利用它在一个特设的方式。在我们的工作中,我们提出了一个递归神经网络架构的草图对象识别,利用长期的顺序和结构的笔画数据在一个可扩展的方式。具体来说,我们引入了一个基于门控递归单元的框架,该框架利用深度草图功能和加权的每时步损失,在大量对象类别的大型手绘对象草图数据库上实现最先进的结果。我们的框架固有的在线性质特别适合在绘制对象时进行动态识别。因此,我们的框架可以使有趣的应用程序,如配备摄像头的机器人玩流行的聚会游戏Pictionary与人类玩家和生成稀疏但可识别的草图的对象。
2016-08-11 cs.CV
Audio Visual Speech Recognition using Deep Recurrent Neural Networks
Samsung R&D Institute India(三星研发研究院(印度))
在这项工作中,我们提出了一种使用深度递归神经网络(RNN)的视听自动语音识别(AV-ASR)系统的训练算法。首先,我们训练一个具有连接主义时间分类(CTC)目标函数的深度RNN声学模型。然后,从声学模型获得的帧标签用于使用深瓶颈网络执行视觉特征的非线性降维。音频和视觉特征被融合并用于训练融合RNN。使用视觉模态的瓶颈特征有助于模型在训练过程中正确收敛。我们的系统进行了评估GRID语料库。我们的研究结果表明,视觉模态的存在下,在不同程度的噪声的字符出错率(CER)显着改善,即使在没有噪声数据的模型进行训练。我们还提供了两种融合方法:特征融合和决策融合的比较。
2016-11-09 cs.CL cs.CV cs.LG
Multi-Level Recurrent Residual Networks for Action Recognition
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所)
大多数用于动作识别的现有卷积神经网络(CNN)要么难以优化,要么未充分利用关键的时间信息。受递归模型在序列相关任务中不断取得突破的启发,我们提出了一种新的多级递归残差网络(MRRN),它包含三个识别流。每个流由一个残差网络(ResNets)和一个递归模型组成。该模型通过采用替代ResNet从静态帧和堆叠的简单递归单元(SRU)中学习空间表示来捕获时空信息,以模拟时间动态。三个不同级别的流学习的低,中,高级别表示独立的融合通过计算其softmax分数的加权平均值,以获得视频的互补表示。与以前以时间复杂度和空间复杂度为代价来提高性能的模型不同,我们的模型通过采用快捷连接来降低复杂度,并以更高的效率进行端到端训练。与CNN-RNN框架基线相比,MRRN显示出显着的性能改进,并获得了与最先进技术相当的性能,在HMDB-51数据集上达到51.3%,在UCF-101数据集上达到81.9%,尽管没有额外的数据。
2018-01-03 cs.CV
Attribute Recognition by Joint Recurrent Learning of Context and Correlation
Queen Mary University of London(伦敦玛丽女王大学);Vision Semantics Ltd(视觉语义有限公司)
识别监控图像中行人的语义属性是计算机视觉的一项具有挑战性的任务,特别是当图像质量差、背景复杂、观察条件不受控、标记训练数据数量少时。在这项工作中,我们制定了一个联合循环学习(JRL)模型,探索属性的上下文和相关性,以提高属性识别给定的小尺寸的训练数据质量差的图像。JRL模型联合学习行人图像中的行人属性相关性,特别是它们在端到端编码器/解码器递归网络中的顺序排序依赖性(潜在高阶相关性)。我们展示了JRL模型在两个最大的行人属性基准PETA和RAP上的行人属性识别,多标签图像分类和多人图像注释的各种最先进的深度模型的性能优势和鲁棒性。
2017-09-25 cs.CV
Structure Inference Machines: Recurrent Neural Networks for Analyzing Relations in Group Activity Recognition
Simon Fraser University(西蒙弗雷泽大学)
丰富的语义关系在各种视觉识别问题中是重要的。作为一个具体的例子,群体活动识别涉及场景中一组人的相互作用和相对空间关系。最先进的识别方法集中在深度学习方法上,用于训练高效、复杂的分类器来解释图像。然而,桥接这些方法输出的相对低级别的概念来解释更高级别的合成场景仍然是一个挑战。图形模型是完成这项任务的标准工具。在本文中,我们提出了一种将图形模型和深度神经网络集成到联合框架中的方法。而不是使用传统的推理方法,我们使用一个递归神经网络建模的顺序推理。除此之外,可以通过在节点之间的边上施加门来学习推理的适当结构。小组活动识别的实证结果表明,这种模式来处理高度结构化的学习任务的潜力。
2016-04-12 cs.CV
Inception Recurrent Convolutional Neural Network for Object Recognition
University of Dayton(代顿大学);Comcast Labs(康卡斯特实验室)
深度卷积神经网络(DCNN)是用于解决机器学习和计算机视觉领域中的各种问题的有影响力的工具。在本文中,我们介绍了一种新的深度学习模型,称为Inception- Recurrent卷积神经网络(IRCNN),它利用了DCNN架构中结合递归层的Inception网络的功能。我们使用不同的基准数据集(如MNIST,CIFAR-10,CIFAR- 100和SVHN)对所提出的IRCNN模型的识别性能进行了经验评估。实验结果表明,与大多数流行的DCNN(包括RCNN)相比,识别精度相似或更高。此外,我们还使用CIFAR-100数据集研究了IRCNN与等效的Inception Networks和Inception-Residual Networks的性能。我们报告了与RCNN,等效的Inception Networks和Inception- Residual Networks相比,在增强的CIFAR- 100数据集上分别提高了约3.5%,3.47%和2.54%的分类精度。
2017-04-25 cs.CV
Top-down Attention Recurrent VLAD Encoding for Action Recognition in Videos
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
最近的视频动作识别方法利用深度架构将视频剪辑编码为固定长度的表示向量,然后用于分类。为了取得成功,网络必须能够抑制不相关的场景背景,并从视频中最具区别性的部分提取表示。我们的贡献建立在观察到的时空模式特征的动作在视频中是高度相关的对象和它们在视频中的位置。我们提出了自上而下的注意力动作VLAD(TA-VLAD),这是一种具有内置空间注意力的深度递归架构,可以执行时间聚合的VLAD编码,用于视频中的动作识别。我们采用自上而下的注意力方法,通过使用从深度CNN获得的类特定激活图,该深度CNN为图像分类进行预训练,在使用门控递归单元将其编码为固定长度的视频描述符之前对外观特征进行加权。我们的方法在HMDB 51和UCF 101基准测试中达到了最先进的识别精度。
2018-08-29 cs.CV
Recurrent Models for Situation Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
这项工作提出了递归神经网络(RNN)模型来预测结构化的“图像情况”-动作和名词实体履行与动作相关的语义角色。与依赖于条件随机场(CRF)的先前工作相比,我们使用专门的动作预测网络,然后使用RNN进行名词预测。我们的系统在最近具有挑战性的imSitu数据集上获得了最先进的准确性,击败了基于CRF的模型,包括使用额外数据训练的模型。此外,我们表明,从情况预测学习的专门功能可以转移到图像描述的任务,以更准确地描述人与物体的相互作用。
2017-08-04 cs.CV
Recurrent Convolutional Fusion for RGB-D Object Recognition
Automation and Control Institute (ACIN), TU Wien(维也纳技术大学自动化与控制研究所);Italian Institute of Technology(意大利理工学院)
为机器提供像人类一样识别物体的能力一直是机器视觉的主要目标之一。RGB-D相机的推出为这一方向的重大飞跃铺平了道路,这要归功于这些传感器提供的丰富信息。然而,机器视觉社区仍然缺乏一种有效的方法来协同使用RGB和深度数据来提高对象识别。为了朝着这个方向迈出一步,我们引入了一种用于RGB-D对象识别的新型端到端架构,称为递归卷积融合(RCFusion)。我们的方法通过结合互补RGB和代表不同抽象级别的深度信息来生成紧凑且具有高度区分力的多模态特征。在两个流行的数据集RGB-D Object Dataset和JHUIT-50上进行的大量实验表明,RCFusion在对象分类和实例识别任务中的性能明显优于最先进的方法。
2019-02-24 cs.CV
Zoom-RNN: A Novel Method for Person Recognition Using Recurrent Neural Networks
Amirkabir University of Technology(阿米尔卡比尔理工大学)
社交媒体的普及导致每天都有大量的个人照片上传到互联网上。由于这些照片是在不受约束的环境中拍摄的,因此识别照片中的人的身份仍然是一个挑战。研究表明,利用人脸外观以外的证据可以提高人识别系统的性能。在这项工作中,我们的目标是利用从不同的身体区域获得的额外的线索在一个人识别的方式放大。因此,我们提出了Zoom-RNN,这是一种基于循环神经网络的新方法,用于结合从全身,上身和头部区域提取的证据。我们的模型在一个具有挑战性的数据集上进行了评估,即相册中的人物(PIPA),我们证明了采用我们的系统可以显著提高传统融合方法的性能。
2018-09-26 cs.CV
Emotion Recognition on large video dataset based on Convolutional Feature Extractor and Recurrent Neural Network
Innopolis University(Innopolis大学)
多年来,情感识别一直是人机交互领域中最有趣和最重要的问题之一。在这项研究中,我们认为情绪识别任务是一个分类以及回归任务,通过使用深度学习模型处理不同数据集中的编码情绪。我们的模型结合了卷积神经网络(CNN)和递归神经网络(RNN)来预测视频数据上的维度情感。在第一步,CNN从视频帧中提取特征向量。在第二步中,我们将这些特征向量输入训练RNN,以利用视频的时间动态。此外,我们还分析了每个神经网络对系统整体性能的贡献。实验是在公开可用的数据集上进行的,包括最大的现代Aff-Wild 2数据库。它包含超过60小时的视频数据。我们发现了模型在不平衡数据集上的过拟合问题,并使用混淆矩阵进行了说明性示例。该问题通过下采样技术来平衡数据集来解决。通过显著减少训练数据,我们平衡了数据集,从而提高了模型的整体性能。因此,该研究定性地描述了深度学习模型探索足够数量的数据来预测面部情绪的能力。我们提出的方法使用Tensorflow Keras实现。
2020-06-19 cs.CV cs.LG
Recurrent Calibration Network for Irregular Text Recognition
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
场景文本识别在研究界受到越来越多的关注。野外的文本通常具有不规则的排列,典型的有透视文本、弯曲文本、定向文本。大多数现有的方法很难很好地工作不规则的文本,特别是严重扭曲的文本。在本文中,我们提出了一种新的递归校准网络(RCN)的不规则场景的文本识别。RCN逐步校准不规则文本,以提高识别性能。通过将校准过程分解为多个步骤,可以一步一步地将不规则文本校准为正常。此外,为了避免由于不准确的转换而导致信息丢失的积累,我们进一步设计了一个基准点细化结构,以保持文本在循环过程中的完整性。代替校准的图像,基准点的坐标被跟踪和细化,这隐含地对变换信息进行建模。基于细化的基准点,我们估计变换参数,并在每一步从原始图像中采样。通过这种方式,原始字符信息被保留,直到最后的变换。这样的设计导致最佳的校准结果,以提高后续识别的性能。在具有挑战性的数据集上进行的大量实验证明了我们方法的优越性,特别是在不规则基准上。
2018-12-18 cs.CV
Deep Predictive Coding Network with Local Recurrent Processing for Object Recognition
Purdue University(普渡大学)
受神经科学中“预测编码”理论的启发,我们构造了一个具有局部递归处理的双向动态神经网络,即预测编码网络(PCN)。与仅前馈的卷积神经网络不同,PCN包括反馈连接和前馈连接,反馈连接承载自上而下的预测,前馈连接承载自下而上的预测误差。反馈和前馈连接使相邻层能够局部和循环地交互,以优化表示,从而使逐层预测误差最小化。当随着时间的推移展开时,递归处理会产生越来越深的非线性变换层次,允许浅层网络动态地扩展到任意深度的网络。我们使用SVHN、CIFAR和ImageNet数据集对PCN进行训练和测试,以进行图像分类。尽管层和参数明显较少,但与经典和最先进的模型相比,PCN实现了具有竞争力的性能。进一步的分析表明,PCN中的内部表示随着时间的推移而收敛,并且在对象识别中产生越来越好的准确性。自上而下预测的错误也揭示了视觉显著性或自下而上的注意。
2018-10-26 cs.CV
Recurrent 3D Attentional Networks for End-to-End Active Object Recognition
University of Maryland, College Park(马里兰大学帕克分校);Shenzhen University(深圳大学)
主动视觉本质上是注意力驱动的:智能体主动选择要参加的视图,以便快速实现视觉任务,同时改善其对所观察场景的内部表示。受最近基于注意力模型在基于单个RGB图像的2D视觉任务中的成功启发,我们提出通过开发端到端的递归3D注意力网络,使用注意力机制来解决基于多视图深度的主动对象识别。该架构利用递归神经网络(RNN)来存储和更新内部表示。我们的模型,用3D形状数据集训练,能够迭代地注意到最好的视图目标感兴趣的物体识别it.To实现3D视图选择,我们推导出一个3D空间Transformer网络,它是可微的训练与反向传播,实现更快的收敛速度比强化学习采用大多数现有的基于注意力的模型。实验表明,我们的方法,只有深度输入,实现了国家的最先进的下一个最好的视图性能的时间效率和识别精度。
2022-01-11 cs.CV
A hypothesize-and-verify framework for Text Recognition using Deep Recurrent Neural Networks
Indian Institute of Technology Delhi(印度理工学院德里分校)
深度LSTM是文本识别的理想候选者。然而,文本识别涉及到一些初始的图像处理步骤,如行和词的分割,这可能会导致识别系统的错误。在没有分割的情况下,学习非常长范围的上下文是困难的,并且在计算上变得难以处理。因此,在预处理级别需要替代的软决策。本文提出了一种混合文本识别器,使用具有多层抽象和长范围上下文的深度递归神经网络以及语言模型来验证深度神经网络的性能。在本文中,我们构建了一个多假设树结构的候选线段线序列从不同的分割算法在其不同的分支。深度神经网络在完美分割的数据上进行训练,并测试每个候选段,生成Unicode序列。在验证步骤中,使用与语言模型匹配的子串来验证这些Unicode序列,并且使用最佳优先搜索来从树结构中找到备选假设的最佳可能组合。因此,使用语言模型的验证框架消除了错误的分割输出并过滤了识别错误。
2015-02-26 cs.CV
Deep Recurrent Neural Network for Mobile Human Activity Recognition with High Throughput
Kyushu Institute of Technology(九州工业大学)
在本文中,我们提出了一种应用深度循环神经网络(DRNN)从原始加速度计数据中高吞吐量识别人类活动的方法,并研究了各种架构及其组合,以找到最佳参数值。“高通量”是指识别时间短。我们通过使用来自7个人的6个活动类的432个试验的训练数据集来研究DRNN的各种参数和架构。对108个单活动类别的分段试验和18个多活动类别的连续试验的测试数据的最大识别率分别为95.42%和83.43%。在这里,传统方法的最高识别率分别为71.65%和54.97%。此外,通过使用额外的数据集来评估所发现的参数的效率。此外,对于每单位时间的识别吞吐量,所构建的DRNN仅需要1.347 [ms],而最好的传统方法需要11.031 [ms],其中包括用于特征计算的11.027 [ms]。这些优点是由所构造的面向实时的DRNN结构紧凑、体积小所导致的。
2016-11-11 cs.CV cs.NE
Exploiting the ConvLSTM: Human Action Recognition using Raw Depth Video-Based Recurrent Neural Networks
Universidad de Alcalá(阿尔卡拉大学)
与许多其他不同领域一样,深度学习已成为大多数计算机视觉应用的主要方法,如场景理解、对象识别、人机交互或人类动作识别(HAR)。HAR的研究工作主要集中在如何有效地提取和处理视频序列的空间和时间依赖性。在本文中,我们提出并比较,两个神经网络的基础上的卷积长短期记忆单元,即ConvLSTM,在架构和长期学习策略的差异。前者使用视频长度自适应输入数据生成器(\emph{stateless}),而后者探讨了一般循环神经网络的\emph{stateful}能力,但适用于HAR的特定情况。这种有状态的属性允许模型在不损害计算机内存的情况下从先前的帧中积累有区别的模式。在大规模NTU RGB+D数据集上的实验结果表明,与最先进的方法相比,所提出的模型以较低的计算成本实现了具有竞争力的识别精度,并证明了在视频的特定情况下,很少使用的循环神经网络的状态模式显着提高了标准模式获得的准确性。无状态模型的识别准确率为75.26%(CS)和75.45%(CV),平均每个视频的识别时间为0.21 s;有状态模型的识别准确率为80.43%(CS)和79.91%(CV),平均每个视频的识别时间为0.89 s。
2020-06-13 cs.CV
Enriched Long-term Recurrent Convolutional Network for Facial Micro-Expression Recognition
Multimedia University(多媒体大学);Shanghai Jiao Tong University(上海交通大学)
人脸微表情识别由于其动作的细微性和数据库的有限性,给研究人员提出了巨大的挑战。最近,手工制作的技术在微表情识别方面取得了优异的性能,但代价是域特异性和繁琐的参数调整。在本文中,我们提出了一种丰富的长期递归卷积网络(ELRCN),该网络首先通过CNN模块将每个微表情帧编码为特征向量,然后通过长短期记忆(LSTM)模块传递特征向量来预测微表情。该框架包含两种不同的网络变体:(1)输入数据的逐层堆叠以进行空间富集,(2)特征的逐层堆叠以进行时间富集。我们证明,所提出的方法是能够实现相当好的性能,没有数据增强。此外,我们还提出了消融研究的框架和可视化什么CNN“看到”时,预测微表情类。
2018-05-22 cs.CV
Sign language recognition from skeletal data using graph and recurrent neural networks
Department of Mathematics, Universidad Autónoma de Ciudad Juárez (UACJ)(数学系,自治城朱埃雷斯大学);Department of Electrical ingeniering, Universidad Autónoma de Ciudad Juárez (UACJ)(电气工程系,自治城朱埃雷斯大学);Instituto Iberoamericano San Patricio(伊比利亚美洲圣帕特里克研究所)
本文提出Graph-GRU时序网络,利用骨骼姿态数据建模空间与时序依赖,在AUTSL数据集上实现高精度孤立手语手势识别,验证了姿态驱动方法的有效性。
2025-11-08 cs.AI cs.CV cs.LG
Benchmarking Recurrent Event-Based Object Detection for Industrial Multi-Class Recognition on MTevent
Chair of Material Handling and Warehousing, TU Dortmund University, Dortmund, Germany(物料搬运与仓储学系,杜伊斯堡-艾森大学,多特蒙德,德国)
本文研究了在MTevent数据集上使用循环ReYOLOv8s进行工业多类识别的性能,并通过非循环YOLOv8s作为基线分析时间记忆的影响,发现事件域预训练对性能提升更有效。
2026-05-17 cs.CV
Fully Convolutional Recurrent Network for Handwritten Chinese Text Recognition
South China University of Technology(华南理工大学)
提出了一种用于手写体中文文本识别的端到端框架--全卷积递归网络。与严重依赖分割的传统方法不同,我们的FCRN直接使用在线文本数据进行训练,并学会将笔尖轨迹与字符序列相关联。FCRN由四部分组成:用于从输入笔尖轨迹提取签名特征的路径签名层、用于学习信息表示的全卷积网络、用于对输入序列进行每帧预测的序列建模层以及用于将预测转换为标签序列的转录层。FCRN是端到端可训练的,而传统方法的组件是单独训练和调整的。我们还提出了一种改进的束搜索方法,有效地集成了语言模型解码的FCRN和显着提高识别结果。在CASIA-OLHWDB数据库和ICDAR 2013中国手写体识别大赛的测试集上,我们对所提方法的性能进行了评估,正确率分别达到96.40%和95.00%。
2016-04-18 cs.CV
Where to Focus: Deep Attention-based Spatially Recurrent Bilinear Networks for Fine-Grained Visual Recognition
The University of Queensland(昆士兰大学);The University of New South Wales(新南威尔士大学)
细粒度的视觉识别通常依赖于对对象部分的细微差异进行建模。然而,这些部分往往表现出巨大的视觉变化,如遮挡,视点和空间变换,使其难以检测。在本文中,我们提出了一种新的基于注意力的模型,自动,选择性和准确地集中在关键对象区域具有较高的重要性,对外观变化。给定一幅图像,构造两个不同的卷积神经网络(CNN),其中两个CNN的输出通过双线性池化进行相关,以同时聚焦于有区别的区域并提取相关特征。为了捕捉具有视觉注意的局部区域之间的空间分布,结合了基于软注意的空间长短期记忆单元(LSTM),以实现对局部输入模式的空间递归但视觉选择性。所有上述直觉都为我们的网络提供了以下新模型:双流CNN层,双线性池化层,具有位置注意力的空间递归层通过端到端的方式联合训练,以作为部分检测器和特征提取器,从而专注地定位和提取相关特征。我们展示了我们的网络对两个著名的视觉识别任务的意义:细粒度的图像分类和人的重新识别。
2017-09-18 cs.CV
A Bag-of-Words Equivalent Recurrent Neural Network for Action Recognition
University of Bonn(波恩大学)
传统的词袋方法在计算机视觉中有着广泛的应用。标准流水线由视觉词汇表的生成、将特征量化为视觉单词的直方图以及分类步骤组成,对于该分类步骤,通常使用与非线性核相结合的支持向量机。然而,鉴于大量的数据,该模型缺乏区分能力。这尤其适用于动作识别,其中大量的视频特征需要进行二次采样以生成无监督的视觉词汇。此外,核计算在大型数据集上可能非常昂贵。在这项工作中,我们提出了一个循环神经网络,它相当于传统的词袋方法,但能够应用判别训练。该模型还允许将内核计算直接合并到神经网络中,解决了复杂性问题并允许在单个网络内表示完整的分类系统。我们评估我们的方法在四个最近的动作识别基准,并表明,传统的模型以及稀疏编码方法优于。
2017-03-23 cs.CV
Long-term Recurrent Convolutional Networks for Visual Recognition and Description
UC Berkeley(加州大学伯克利分校);International Computer Science Institute(国际计算机科学研究所);UT Austin(德克萨斯大学奥斯汀分校);UMass Lowell(马萨诸塞大学洛厄尔分校)
基于深度卷积网络的模型主导了最近的图像判读任务;我们研究了也是循环的或“时间深度”的模型是否对涉及序列、视觉和其他方面的任务有效。我们开发了一种新的递归卷积架构,适用于端到端可训练的大规模视觉学习,并展示了这些模型在基准视频识别任务、图像描述和检索问题以及视频叙事挑战上的价值。与假设固定的时空感受野或简单的时间平均用于顺序处理的当前模型相比,递归卷积模型是“双深”的,因为它们可以在空间和时间“层”中组合。当目标概念复杂和/或训练数据有限时,这样的模型可能具有优势。当非线性被纳入网络状态更新时,学习长期依赖性是可能的。长期RNN模型的吸引力在于它们可以直接映射可变长度的输入(例如,视频帧)到可变长度输出(例如,自然语言文本),并且可以对复杂的时间动态进行建模;然而,它们可以用反向传播进行优化。我们的周期性长期模型直接连接到现代视觉convnet模型,并且可以联合训练,以同时学习时间动态和卷积感知表示。我们的研究结果表明,这些模型具有明显的优势,国家的最先进的模型识别或生成的单独定义和/或优化。
2016-05-31 cs.CV
A New Hybrid-parameter Recurrent Neural Networks for Online Handwritten Chinese Character Recognition
University of Chinese Academy of Sciences, CAS(中国科学院大学(中国科学院))
递归神经网络(RNN)适合于处理时间序列。在本文中,我们提出了一种具有新特征的深度RNN,并将其应用于在线手写汉字识别。与现有的RNN模型相比,该系统有三个创新之处。首先,提出了一种新的RNN隐层函数,以更好地学习时间信息。我们称之为内存池单元(MPU)。拟议的MPU具有简单的架构。其次,为了提高RNN的表达能力,提出了一种新的混合参数RNN结构。所提出的混合参数RNN在计算时间维度的迭代时具有参数变化。第三,我们做了一个调整,每一层的所有输出堆叠作为网络的输出。堆叠隐藏层状态组合所有隐藏层状态以增加表达容量。在IAHCC-UCAS 2016数据集和CASIA-OLHWDB 1.1数据集上进行了实验。实验结果表明,混合参数RNN具有更高的识别效率(参数少,速度快),获得了更好的识别性能。并证明了所提出的记忆池单元是一个简单的隐层函数,取得了较好的识别效果。
2018-07-30 cs.CV
Memory Matters: Convolutional Recurrent Neural Network for Scene Text Recognition
National University of Defense Technology(国防科技大学)
自然场景中的文本识别是一个具有挑战性的问题,因为影响文本外观的因素很多。在本文中,我们提出了一种方法,直接转录场景文本图像的文本,而不需要复杂的字符分割。我们利用深度神经网络的最新进展来模拟具有时间动态的场景文本图像的外观。具体来说,我们集成了卷积神经网络(CNN)和循环神经网络(RNN),这是通过观察两个模型的互补建模能力来实现的。这项工作的主要贡献是调查时间记忆如何帮助在这个特定的问题的分割自由的方式。通过使用长短期记忆(LSTM)块作为隐藏单元,我们的模型可以保留长期记忆,而HSTOM只保持短期状态依赖。我们进行实验街景门牌号码数据集包含高度可变的数字图像。实验结果表明,该方法优于传统的基于HMM的方法。
2016-01-06 cs.CV
Resource aware design of a deep convolutional-recurrent neural network for speech recognition through audio-visual sensor fusion
KU Leuven(鲁汶大学)
当今的自动语音识别系统仅依赖于声学信号,并且在噪声条件下通常不能很好地执行。执行多模态语音识别-同时处理声学语音信号和唇读视频-显著增强了此类系统的性能,特别是在嘈杂的环境中。这项工作提出了这样一个自动语音识别视听系统的设计,考虑到内存和计算的要求。首先,设计了一个用于声学语音识别的长短期记忆神经网络。其次,使用卷积神经网络对唇读特征进行建模。这些与LSTM网络相结合,以建模时间依赖性并在视频上执行自动唇读。最后,结合听觉语音和视觉唇读网络,同时处理听觉和视觉特征。一个注意力机制确保模型在噪声环境中的性能。该系统的TCD-TIMIT '唇说话者'数据集上进行评估的视听音素识别与干净的音频和加性白噪声在SNR为0 dB。它分别实现了75.70%和58.55%的音素准确率,在所有噪声水平下都比最先进的音素准确率高出14个百分点。
2018-03-13 cs.CV
A Bidirectional Siamese Recurrent Neural Network for Accurate Gait Recognition Using Body Landmarks
United International University(联合国际大学);Edinburgh Napier University(爱丁堡龙比亚大学);BRAC University(BRAC大学)
本文提出结合 Mediapipe 关键点、Procrustes 对齐与 Siamese biGRU-dualStack 的步态识别方法,并在四个跨视角数据集上验证其高准确率。
2024-12-05 cs.AI cs.CV cs.LG
View Adaptive Recurrent Neural Networks for High Performance Human Action Recognition from Skeleton Data
Microsoft Research Asia(微软亚洲研究院);National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室)
基于骨骼的人体动作识别近年来受到越来越多的关注,由于3D骨架数据的普及。一个主要的挑战在于捕捉的人类动作中的大视图变化。我们提出了一种新的视图自适应方案,自动调节观察的观点,在发生的行动。我们设计了一个具有LSTM架构的视图自适应递归神经网络(RNN),而不是基于人类定义的先验标准重新定位骨架,这使得网络本身能够从端到端适应最合适的观察视点。大量的实验分析表明,所提出的视图自适应RNN模型致力于(1)将各种视图的骨架转换为更一致的视点,(2)保持动作的连续性,而不是将每个帧转换到具有相同身体方向的相同位置。我们的模型在三个基准数据集上实现了对最先进方法的显着改进。
2017-08-04 cs.CV
Recognition of Visually Perceived Compositional Human Actions by Multiple Spatio-Temporal Scales Recurrent Neural Networks
Korea Institute of Science and Technology(韩国科学技术院);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本文提出了一种新的神经网络模型,用于识别视觉感知的人类行为。在传统的卷积神经网络模型基础上引入多时间尺度递归动力学,提出了多时空尺度递归神经网络(MSTRNN)模型。MSTRNN的一个基本特征是其结构同时对不同层之间在多个尺度上变化的神经活动施加空间和时间约束。根据向上和向下因果关系原理,假设网络在学习过程中可以利用这些约束来发展有意义的结构,如功能层次结构。为了评估模型的特性,本研究使用了三种类型的人类动作视频数据集,包括不同类型的原始动作和不同层次的组合性。将MSTRNN在使用这些数据集进行测试时的性能与该领域使用的其他代表性深度学习模型的性能进行比较。通过对数据集的学习获得的内部表示的分析阐明了通过提取数据集底层的基本组成性可以开发什么样的功能层次结构。
2017-02-22 cs.AI cs.CV cs.LG
Exploiting Recurrent Neural Networks and Leap Motion Controller for Sign Language and Semaphoric Gesture Recognition
在人类互动中,手是表达信息的一种强有力的方式,在某些情况下,手可以作为声音的有效替代品,就像手语中发生的那样。手势识别一直是计算机视觉和多媒体领域的研究热点。这些手势可以表示为随时间变化的特征向量集。循环神经网络(RNN)适合于分析这种类型的集合,这要归功于它们对时间序列的长期上下文信息建模的能力。在本文中,一个RNN的训练使用的特征,由手指骨的人的手形成的角度。之所以选择由Leap运动控制器(LMC)传感器获取的选定特征,是因为大多数人类手势都会产生关节运动,从而生成真正具有特征的角落。一个具有挑战性的子集,由大量的手势定义的美国手语(ASL)被用来测试所提出的解决方案和选定的角度的有效性。此外,所提出的方法已经比较了其他国家的最先进的作品在SHREC数据集,从而证明了其优越性,在手势识别的准确性。
2018-03-28 cs.CV
Geometry-Aware Recurrent Neural Networks for Active Visual Recognition
Carnegie Mellon University(卡内基梅隆大学)
我们提出了经常性的几何感知神经网络,将视觉信息跨多个视图的场景到3D潜在特征张量,同时保持一个一对一的映射之间的3D物理位置在世界场景和潜在特征的位置。然后直接使用所构建的3D特征存储器来执行目标检测、目标分割和3D重建,而不是任何输入的2D图像。所提出的模型配备了可微的自我运动感知的特征扭曲和(学习)深度感知的非投影操作,以实现输入帧中的特征与构建的场景潜在模型之间的几何一致映射。我们的经验表明,所提出的模型比几何未知的LSTM/GRU网络更好地推广,特别是在存在多个对象和跨对象遮挡的情况下。结合主动视图选择策略,我们的模型学习选择信息丰富的视点,通过“撤销”跨对象遮挡来整合信息,将几何形状与经验学习无缝结合起来。
2018-11-14 cs.CV
Recurrent Neural Network Transducer for Audio-Visual Speech Recognition
Google Inc., 1600 Amphitheatre Pkwy, Mountain View, CA 94043, USA(美国加利福尼亚州山景城 amphitheatre 大道 1600 号 谷歌公司);DeepMind, 6 Pancras Square, Kings Cross, London N1C 4AG, UK(英国伦敦国王十字区 pancras 广场 6 号 深度思维)
本文提出了一种基于递归神经网络转换器(RNN-T)结构的大规模视听语音识别系统。为了支持这样一个系统的开发,我们构建了一个从YouTube公共视频中提取的分段话语的大型视听(A/V)数据集,产生了31 k小时的视听训练内容。在两个大词汇量测试集上比较了纯音频、纯视觉和视听系统的性能:一组来自公共YouTube视频的话语片段,称为YTDEV 18和公开可用的LRS 3-TED集。为了突出视觉模态的贡献,我们还评估了我们的系统在YTDEV 18集上的性能,该集被背景噪声和重叠语音人为破坏。据我们所知,我们的系统显着提高了LRS 3-TED集的最先进水平。
2019-11-08 cs.CL cs.CV cs.LG
French Word Recognition through a Quick Survey on Recurrent Neural Networks Using Long-Short Term Memory RNN-LSTM
McMaster University(麦克马斯特大学)
光学字符识别(OCR)是计算机视觉中的一个基本问题。研究表明,使用基于深度学习的方法和拓扑对印刷字符进行分类取得了重大进展。在当前的算法中,具有长短期记忆块的循环神经网络(称为RNN-LSTM)在准确率方面提供了最高的性能。使用从互联网上收集的前5,000个法语单词,包括所有的符号和口音,RNN-LSTM模型进行了训练和测试。使用六种字体来生成OCR样本,并准备包括来自这六种字体的所有样本的附加数据集用于训练和测试目的。对训练好的RNN-LSTM模型进行了测试,编辑距离和序列错误的准确率分别为99.98798%和99.91889%。精确的预处理和高度归一化(深度学习中的标准化方法)使RNN-LSTM模型能够以最有效的方式进行训练。这项机器学习工作还揭示了RNN-LSTM拓扑结构识别印刷字符的鲁棒性。
2018-04-10 cs.CV
Recurrent Attentional Reinforcement Learning for Multi-label Image Recognition
School of Data and Computer Science, Sun Yat-sen University(中山大学数据与计算机学院);SenseTime Group Limited(商汤集团有限公司)
识别图像的多个标签是计算机视觉中的一项基本但具有挑战性的任务,通过使用深度卷积神经网络定位语义感知的图像区域并预测其标签,已经取得了显着进展。然而,在这些现有的多标签图像识别流水线中,假设区域(区域提议)定位的步骤通常需要冗余的计算成本,例如,产生了数百个无意义的建议与非歧视性的信息和提取其特征,和局部区域之间的空间上下文依赖建模往往被忽略或过于简化。为了解决这些问题,本文提出了一种循环注意强化学习框架,迭代地发现一系列与不同语义对象相关的注意和信息区域,并进一步预测以这些区域为条件的标签得分。此外,我们的方法显式地对这些注意区域之间的长期依赖关系进行建模,这有助于捕获语义标签同现,从而促进多标签识别。在两个大规模基准上进行了广泛的实验和比较(即,PASCAL VOC和MS-COCO)表明,我们的模型在性能和效率方面都优于现有的最先进的方法,并且可以显式地识别特定对象区域的图像级语义标签。
2017-12-20 cs.CV
Multi-label Image Recognition by Recurrently Discovering Attentional Regions
Sun Yat-sen University(中山大学);SenseTime Group Limited(商汤集团有限公司);Engineering Research Center for Advanced Computing Engineering Software of Ministry of Education(教育部先进计算工程软件工程研究中心)
本文提出了一种新的深度架构来解决多标签图像识别,这是一项面向一般视觉理解的基本而实用的任务。当前针对该任务的解决方案通常依赖于提取假设区域的额外步骤(即,区域建议),导致冗余计算和次优性能。在这项工作中,我们实现了可解释的和上下文的多标签图像分类通过开发一个循环记忆注意模块。该模块由两个交替执行的组件组成:i)空间Transformer层,用于以无区域建议的方式从卷积特征图中定位注意区域; ii)LSTM(长短期记忆)子网络,用于顺序预测所定位区域的语义标记分数,同时捕获这些区域的全局依赖性。LSTM还输出用于计算空间Transformer的参数。在多标签图像分类的大规模基准上(例如,MS-COCO和PASCAL VOC 07),我们的方法表现出优越的性能比其他现有的国家的最先进的准确性和效率。
2017-11-08 cs.CV