Recurrent Neural Networks for video object detection
Technical University of Munich（慕尼黑工业大学）
图像中的目标检测有很多科学工作要做。对于许多应用，例如自动驾驶，必须进行分类的实际数据是视频。本文比较了不同的方法，特别是那些使用循环神经网络来检测视频中的对象。我们基于特征的方法，不同的帧的特征图饲料到经常性的单位，框级方法，饲料与类概率的边界框到经常性的单位和方法，使用流网络之间的区别。这项研究表明，比较方法的共同成果，如包括时间上下文到目标检测的好处，并为视频目标检测网络的国家的结论和指导方针。
2020-10-29 cs.CV cs.LG eess.IV
Pixel-Aligned Recurrent Queries for Multi-View 3D Object Detection
Northeastern University（东北大学）；California Institute of Technology（加州理工学院）；Meta Reality Labs Research（Meta现实实验室）
该研究提出名为PARQ的多视图3D目标检测器，采用外观增强的像素对齐循环查询与循环交叉注意力更新3D位置，在多个数据集上实现性能、速度与鲁棒性提升，且支持灵活调整推理计算量。
2023-10-02 cs.CV
Boundary-Aware Salient Object Detection via Recurrent Two-Stream Guided Refinement Network
Hunan University（湖南大学）
最近基于深度学习的显著性目标检测方法同时利用显著性和边界特征，取得了显着的性能。然而，大多数算法忽略了显著性特征和边界特征之间的互补性，在前景和背景对比度较低的场景中预测效果较差。为了解决这个问题，我们提出了一种新的递归双流引导精化网络（RTGRNet），它由迭代双流引导精化模块（TGRM）组成。TGRM包括一个引导块和两个特征流：显著性和边界，引导块利用前一个TGRM后的细化特征，进一步提高当前TGRM中两个特征流的性能。同时，低层次的综合特征也被用来作为参考，以获得更好的细节。最后，我们通过反复堆叠更多的TGRM来逐步完善这些功能。在六个公共数据集上的大量实验表明，我们提出的RTGRNet在显著目标检测方面达到了最先进的性能。
2019-12-11 cs.CV
Detective: An Attentive Recurrent Model for Sparse Object Detection
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在这项工作中，我们提出了侦探-一个专注的对象检测器，以顺序的方式识别图像中的对象。我们的网络基于编码器-解码器架构，其中编码器是卷积神经网络，解码器是与注意力机制耦合的卷积递归神经网络。在每次迭代中，我们的解码器使用注意力机制关注图像的相关部分，然后估计对象的类和限界框坐标。当前的目标检测模型生成密集的预测，并依赖于后处理来去除重复的预测。Detective是一个稀疏对象检测器，它为每个对象实例生成单个限界框。然而，训练稀疏对象检测器具有挑战性，因为它需要模型在实例级别进行推理，而不仅仅是在类和空间级别。我们提出了一种基于匈牙利算法的训练机制和一种平衡定位和分类任务的损失。这使得Detective能够在PASCAL VOC目标检测数据集上取得令人满意的结果。我们的实验表明，稀疏的目标检测是可能的，并具有很大的潜力，在未来的发展中的应用程序中，要预测的对象的顺序是感兴趣的。
2020-04-25 cs.CV
Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；Facebook AI Research（脸书人工智能研究院）
众所周知，上下文和多尺度表示对于准确的视觉识别是重要的。在本文中，我们提出了内外网（ION），一个对象检测器，利用内部和外部的信息感兴趣的区域。使用空间循环神经网络整合感兴趣区域之外的上下文信息。在内部，我们使用跳过池来提取多个尺度和抽象级别的信息。通过大量的实验，我们评估了设计空间，并为读者提供了一个概述什么样的技巧是重要的。ION将PASCAL VOC 2012目标检测的最新技术水平从73.9%提高到76.4% mAP。在新的更具挑战性的MS COCO数据集上，我们将最先进的mAP从19.7%提高到33.1%。在2015年MS COCO检测挑战赛中，我们的ION型号赢得了最佳学生参赛作品，并获得了第三名。直觉表明，我们的检测结果提供了强有力的证据，上下文和多尺度表示提高小目标检测。
2015-12-14 cs.CV
Image segmentation with traveling waves in an exactly solvable recurrent neural network
Western University（韦仕敦大学）；Western Institute for Neuroscience（韦仕敦神经科学研究所）；Western Academy for Advanced Research（韦仕敦高等研究院）；University of Amsterdam（阿姆斯特丹大学）
本文提出一种基于复数状态循环神经网络行波动力学的方法，通过精确数学解揭示图像分割机制，并证明单一固定权重网络可泛化分割从简单几何图形到自然图像的目标。
2023-11-28 cs.CV cs.LG cs.NE
Event-based Monocular Dense Depth Estimation with Recurrent Transformers
提供高时间分辨率和高动态范围的事件摄像机为解决常见挑战带来了新的视角（例如，运动模糊和低光深度估计。然而，如何有效地利用稀疏的空间信息和丰富的时间线索，从异步事件仍然是一个具有挑战性的努力。为此，我们提出了一种新的基于事件的单目深度估计与经常性的Transformers器，即EReFormer，这是第一个纯Transformer与递归机制来处理连续的事件流。在空间建模方面，提出了一种基于空间Transformer融合模块的变换器编解码器，具有比基于CNN的方法更好的全局上下文信息建模能力。对于时间建模，我们设计了一个门递归视觉Transformer单元，引入了递归机制到Transformers，提高时间建模能力，同时减轻昂贵的GPU内存成本。实验结果表明，我们的EReFormer在合成和真实世界的数据集上都优于最先进的方法。我们希望我们的工作将吸引进一步的研究，在基于事件的视觉社区中开发出令人惊叹的Transformers。我们的开源代码可以在补充材料中找到。
2022-12-06 cs.CV
A Differentiable Recurrent Surface for Asynchronous Event-Based Data
Politecnico di Milano（米兰理工大学）
动态视觉传感器（DVS）异步地流式传输与受到亮度变化的像素相对应的事件。与经典的视觉设备不同，它们产生场景的稀疏表示。因此，为了应用标准的计算机视觉算法，需要将事件集成到帧或事件表面中。这通常是通过手工制作的网格来实现的，这些网格使用特设的几何学来重建框架。在本文中，我们提出了Matrix-LSTM，这是一个长短期记忆（LSTM）单元格，可以有效地处理事件并学习端到端任务相关的事件表面。与现有的重建方法相比，我们学习的事件表面在MVSEC基准上的光流估计上显示出良好的灵活性和表达能力，并且它改进了N-Cars数据集上基于事件的对象分类的最新技术。
2020-07-31 cs.CV
Spatio-Temporal Recurrent Networks for Event-Based Optical Flow Estimation
Peking University（北京大学）
事件相机为视觉感知提供了有前途的替代方案，特别是在高速和高动态范围场景中。最近，许多深度学习方法在为许多基于事件的问题（例如光流估计）提供有前途的解决方案方面取得了巨大成功。然而，现有的深度学习方法没有从建筑设计的角度很好地解决时态信息的重要性，无法有效地提取时空特征。另一种利用脉冲神经网络的研究受到更深层次结构的训练问题的困扰。为了解决这些问题，提出了一种新的输入表示法，该表示法捕获事件的时间分布以用于信号增强。此外，我们介绍了一个时空递归的编码-解码神经网络架构的事件为基础的光流估计，它利用卷积门控递归单元提取特征映射从一系列的事件图像。此外，我们的架构允许一些传统的基于帧的核心模块，如相关层和迭代残差细化方案，被纳入。该网络在多车辆立体事件相机数据集上进行端到端的自监督学习训练。我们已经证明，它优于所有现有的国家的最先进的方法，由一个很大的利润。代码链接是https://github.com/ruizhao26/STE-FlowNet。
2022-04-05 cs.CV
Combining Events and Frames using Recurrent Asynchronous Multimodal Networks for Monocular Depth Prediction
Robotics and Perception Group, University of Zurich（苏黎世大学机器人与感知组）
事件摄像机是一种新颖的视觉传感器，它将每像素的亮度变化报告为一系列异步“事件”。与标准相机相比，它们具有显着的优势，因为它们具有高时间分辨率，高动态范围和缺乏运动模糊。然而，事件仅测量视觉信号的变化分量，这限制了它们对场景上下文进行编码的能力。相比之下，标准相机测量绝对强度帧，其捕获场景的更丰富的表示。因此，两个传感器是互补的。然而，由于事件的异步性质，将它们与同步图像相结合仍然具有挑战性，特别是对于基于学习的方法。这是因为传统的递归神经网络（RNN）不是为来自其他传感器的异步和不规则数据而设计的。为了应对这一挑战，我们引入了递归异步多模式（RAM）网络，它将传统的RNN推广到处理来自多个传感器的异步和不规则数据。受传统RNN的启发，RAM网络保持了一个异步更新的隐藏状态，可以随时查询以生成预测。我们将这种新的架构，单目深度估计的事件和帧，我们表现出了最高达30%的平均绝对深度误差方面的改进，超过国家的最先进的方法。为了进一步研究多模态学习与事件，我们发布了EventScape，这是一个新的数据集，包含CARLA模拟器中记录的事件，强度框架，语义标签和深度图。
2021-02-18 cs.CV
Category-orthogonal object features guide information processing in recurrent neural networks trained for object categorization
Donders Institute for Brain, Cognition and Behaviour（唐德斯大脑、认知与行为研究所）
循环神经网络（RNN）已被证明在视觉对象分类任务中比前馈架构表现更好，特别是在具有挑战性的条件下，如杂乱的图像。然而，很少有人知道在这些条件下经常性信息流的确切计算作用。在这里，我们测试了为对象分类训练的RNN，假设递归通过类别正交辅助变量（对象的位置，方向和规模）的通信迭代地帮助对象分类。使用诊断线性读数，我们发现：（a）关于辅助变量的信息在所有网络层中随着时间的推移而增加，（b）这些信息确实存在于经常性信息流中，（c）它的操纵显着影响任务性能。这些观察结果证实了这一假设，即类别正交辅助变量信息是通过经常性的连接，并用于优化类别推理在杂乱的环境。
2022-05-10 cs.AI cs.CV cs.LG
EV-MGRFlowNet: Motion-Guided Recurrent Network for Unsupervised Event-based Optical Flow with Hybrid Motion-Compensation Loss
Northeastern University（东北大学）
本文提出EV-MGRFlowNet，一种基于运动引导循环网络和混合运动补偿损失的无监督事件光流估计方法，在MVSEC数据集上平均端点误差降低约22.71%，达到无监督方法最优性能。
2023-05-13 cs.CV
MambaPupil: Bidirectional Selective Recurrent model for Event-based Eye tracking
University of Science and Technology of China（中国科学技术大学）
本文提出MambaPupil网络，通过双向GRU与线性时变状态空间模块建模眼动长时上下文关系，并结合Bina-rep表示与Event-Cutout增强，在ThreeET-plus基准上取得CVPR'2024 AIS事件驱动眼动追踪挑战赛第一名。
2024-04-30 cs.CV
Recurrent Autoregressive Networks for Online Multi-Object Tracking
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
在线多目标跟踪的主要挑战是基于其跟踪历史将对象轨迹与每个视频帧中的检测可靠地关联。在这项工作中，我们提出了递归自回归网络（RAN），一个时间生成建模框架来表征多个对象随时间的外观和运动动态。RAN耦合外部存储器和内部存储器。外部存储器明确地存储时间窗口中每个轨迹的先前输入，而内部存储器通过处理外部存储器来学习总结长期跟踪历史并关联检测。我们在MOT 2015和2016数据集上进行了实验，以证明我们的跟踪方法在高度拥挤和遮挡场景中的鲁棒性。我们的方法在两个基准测试中取得了最好的结果。
2018-03-04 cs.AI cs.CV cs.LG
Impact Detection in Fall Events: Leveraging Spatio-Temporal Graph Convolutional Networks and Recurrent Neural Networks Using 3D Skeletons Data
CESI LINEACT；ENSAM（国立高等先进技术学校）
研究针对跌倒事件中的撞击检测难题，利用时空图卷积网络、GRU和BiLSTM层处理3D骨架数据，能精准区分假跌倒与实际撞击，提高精度，在改进数据集上准确率超90%，并公开数据集助力后续研究。
2026-07-29 cs.CV
Recurrent Connectivity Aids Recognition of Partly Occluded Objects
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；Goethe-Universität Frankfurt（法兰克福歌德大学）
前馈卷积神经网络是核目标识别的主流模型。对于具有挑战性的条件，如闭塞，神经科学家认为，视觉皮层中的周期性连接有助于物体识别。在这项工作中，我们研究人工神经网络是否以及如何也可以受益于经常性连接。为此，我们系统地比较了由自下而上（B），横向（L）和自上而下（T）连接组成的架构。为了评估性能，我们引入了两个新的立体遮挡对象数据集，它弥补了从数字分类到识别3D对象的差距。该任务包括识别一个目标物体被多个遮挡物体遮挡。我们发现，经常性模型的性能显着优于前馈对应，这是匹配的参数复杂性。我们表明，对于具有挑战性的刺激，经常性反馈能够正确地修改网络的初始前馈猜测。总的来说，我们的研究结果表明，人工和生物神经网络都可以利用递归来提高物体识别。
2019-09-12 cs.CV cs.LG
Consistent Recurrent Neural Networks for 3D Neuron Segmentation
Harvard University（哈佛大学）
我们提出了一个递归网络的神经元的三维重建，顺序生成二进制掩码的图像中的每个对象的时空一致性。我们的网络模型在两个部分中的一致性：（i）局部，这允许通过双向递归来探索非遮挡和时间相邻的对象关系。(ii)非本地的，这允许在时间域中利用跳过连接来探索长距离对象关系。我们提出的网络是从输入图像到对象掩码序列的端到端可训练的，并且与依赖于对象边界的方法相比，其输出不需要后处理。我们在神经元分割的三个基准上评估了我们的方法，并在SNEMI3D挑战中实现了最先进的性能。
2021-02-01 cs.CV
Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking
University of Missouri（密苏里大学）；TCL Research America（TCL美国研究院）
在本文中，我们开发了一种新的方法，空间监督递归卷积神经网络的视觉目标跟踪。我们的递归卷积网络利用了位置的历史以及深度神经网络学习的独特视觉特征。受最近用于目标检测的限界框回归方法的启发，我们研究了时间域中长短期记忆（LSTM）的回归能力，并提出将卷积网络产生的高级视觉特征与区域信息连接起来。与现有的基于深度学习的跟踪器相比，这些跟踪器对区域候选者使用二进制分类，我们使用回归来直接预测卷积层和递归单元的跟踪位置。我们在具有挑战性的基准视频跟踪数据集上与最先进的跟踪方法进行了广泛的实验结果和性能比较，结果表明，我们的跟踪器更准确，更强大，同时保持较低的计算成本。对于大多数测试视频序列，我们的方法实现了最好的跟踪性能，往往优于第二个最好的大幅度。
2016-07-19 cs.CV
Expressing Objects just like Words: Recurrent Visual Embedding for Image-Text Matching
University of Rochester（罗切斯特大学）
现有的图像-文本匹配方法通常通过捕获和聚合文本与图像的每个独立对象之间的亲和力来推断图像-文本对的相似性。然而，它们忽略了语义相关的对象之间的连接。这些对象可以共同确定图像是否对应于文本。为了解决这个问题，我们提出了一个双路径递归神经网络（DP-RNN），它通过递归神经网络（RNN）对称地处理图像和句子。特别是，给定一个输入图像-文本对，我们的模型根据文本中最相关的单词的位置对图像对象进行重新排序。与从词嵌入中提取隐藏特征的方式相同，该模型利用RNN从重新排序的对象输入中提取高级对象特征。我们验证了高层次的对象特征包含有用的语义相关的对象，这有利于检索任务的联合信息。为了计算图像-文本相似度，我们将多注意力交叉匹配模型引入DP-RNN。它通过跨通道引导注意和自我注意聚合了物体和词语之间的亲和力。我们的模型在Flickr 30 K数据集上实现了最先进的性能，在MS-COCO数据集上实现了具有竞争力的性能。大量的实验证明了我们的模型的有效性。
2020-02-20 cs.CV
Enriched Deep Recurrent Visual Attention Model for Multiple Object Recognition
Institute for Infocomm Research（资讯通信研究院）；Nanyang Technological University（南洋理工大学）
我们设计了一个丰富的深度递归视觉注意力模型（EDRAM）-一种改进的基于注意力的多对象识别架构。该模型是一个完全可微的单元，可以使用随机梯度下降（SGD）进行端到端的优化。空间Transformer（ST）被用作视觉注意力机制，其允许学习图像内的对象的几何变换。结合空间Transformer和强大的递归结构，提出的EDRAM可以同时定位和识别对象。EDRAM已经在两个公开的数据集上进行了评估，包括MNIST Cluttered（具有70 K杂乱数字）和SVHN（具有高达250 K的真实世界房屋号码图像）。实验结果表明，该模型与现有的模型相比具有更好的性能。
2017-06-12 cs.CV cs.LG
RVOS: End-to-End Recurrent Network for Video Object Segmentation
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
多目标视频对象分割是一项具有挑战性的任务，特别是对于zero-shot的情况下，当没有对象掩模在初始帧中给出，模型必须沿着序列找到要分割的对象。在我们的工作中，我们提出了一个用于多对象视频对象分割（RVOS）的递归网络，它是完全端到端可训练的。我们的模型在两个不同的域上结合了递归：（i）空间域，它允许在一个帧内发现不同的对象实例，以及（ii）时间域，它允许保持分割对象在时间上的一致性。我们训练RVOS进行zero-shot视频对象分割，并且是第一个报告DAVIS-2017和YouTube-VOS基准测试定量结果的公司。此外，我们适应RVOS单镜头视频对象分割通过使用在以前的时间步骤中获得的掩模作为输入由递归模块处理。我们的模型达到了与YouTube-VOS基准测试中最先进的技术相当的结果，并且在DAVIS-2017基准测试中优于所有以前不使用在线学习的视频对象分割方法。此外，我们的模型实现了比以前的方法更快的推理运行时间，在P100 GPU上达到44 ms/帧。
2019-05-21 cs.CV
Recurrent Feedback Improves Recognition of Partially Occluded Objects
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；Goethe-Universität Frankfurt（法兰克福大学）
视觉皮层中的递归连接被认为有助于在具有挑战性的条件下（如遮挡）进行物体识别。在这里，我们研究人工神经网络是否以及如何也受益于递归。我们比较架构组成的自下而上，横向和自上而下的连接，并评估其性能使用两种新的立体遮挡对象数据集。我们发现，分类精度是显着更高的经常性模型相比，匹配的参数复杂性的前馈模型。此外，我们表明，具有挑战性的刺激，经常性的反馈是能够正确地修改初始前馈猜测。
2021-04-21 cs.CV cs.LG
Classification of Occluded Objects using Fast Recurrent Processing
Turgut Ozal University（图尔古特·厄扎尔大学）
递归神经网络是处理计算机视觉中不完整数据问题的强大工具，这要归功于其显著的生成能力。然而，对于这些算法的计算需求太高而不能实时的工作，没有专门的硬件或软件解决方案。在本文中，我们提出了一个框架，用于增强前馈网络的递归处理能力，而不会牺牲太多的计算效率。我们假设一个混合模型，并根据输出层的类决策生成最后一个隐藏层的样本，使用样本修改隐藏层的活动，并传播到较低的层。对于视觉遮挡问题，迭代过程模拟前馈-反馈循环，用有意义的表示填充缺失的隐藏层活动。所提出的算法进行了测试，广泛使用的数据集，并实现了2 $\times$改善被遮挡物体的分类精度。当限制玻尔兹曼机相比，我们的算法表现出优越的性能为闭塞对象分类。
2015-05-06 cs.CV
Recurrent Connections Aid Occluded Object Recognition by Discounting Occluders
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；Goethe-Universität Frankfurt（法兰克福大学）
当部分刺激被遮挡时，视觉皮层中的循环连接被认为有助于物体识别。在这里，我们研究人工神经网络中的循环连接是否以及如何类似地帮助物体识别。我们系统地测试和比较由自下而上（B），横向（L）和自上而下（T）连接组成的架构。性能评估一个新的立体遮挡物体识别数据集。该任务包括识别一个目标数字被多个遮挡数字在伪三维环境中。我们发现，经常性模型的性能显着优于前馈对应，这是匹配的参数复杂性。此外，我们分析了网络的代表性的刺激如何随着时间的推移，由于经常性的连接。我们发现，经常性的连接往往会移动网络的表示一个闭塞的数字向其未闭塞的版本。我们的研究结果表明，大脑和人工神经网络可以利用经常性的连接，以帮助被遮挡的物体识别。
2019-09-11 cs.CV cs.LG eess.IV
Recurrent Convolutional Fusion for RGB-D Object Recognition
Automation and Control Institute (ACIN), TU Wien（维也纳技术大学自动化与控制研究所）；Italian Institute of Technology（意大利理工学院）
为机器提供像人类一样识别物体的能力一直是机器视觉的主要目标之一。RGB-D相机的推出为这一方向的重大飞跃铺平了道路，这要归功于这些传感器提供的丰富信息。然而，机器视觉社区仍然缺乏一种有效的方法来协同使用RGB和深度数据来提高对象识别。为了朝着这个方向迈出一步，我们引入了一种用于RGB-D对象识别的新型端到端架构，称为递归卷积融合（RCFusion）。我们的方法通过结合互补RGB和代表不同抽象级别的深度信息来生成紧凑且具有高度区分力的多模态特征。在两个流行的数据集RGB-D Object Dataset和JHUIT-50上进行的大量实验表明，RCFusion在对象分类和实例识别任务中的性能明显优于最先进的方法。
2019-02-24 cs.CV
Deep Predictive Coding Network with Local Recurrent Processing for Object Recognition
Purdue University（普渡大学）
受神经科学中“预测编码”理论的启发，我们构造了一个具有局部递归处理的双向动态神经网络，即预测编码网络（PCN）。与仅前馈的卷积神经网络不同，PCN包括反馈连接和前馈连接，反馈连接承载自上而下的预测，前馈连接承载自下而上的预测误差。反馈和前馈连接使相邻层能够局部和循环地交互，以优化表示，从而使逐层预测误差最小化。当随着时间的推移展开时，递归处理会产生越来越深的非线性变换层次，允许浅层网络动态地扩展到任意深度的网络。我们使用SVHN、CIFAR和ImageNet数据集对PCN进行训练和测试，以进行图像分类。尽管层和参数明显较少，但与经典和最先进的模型相比，PCN实现了具有竞争力的性能。进一步的分析表明，PCN中的内部表示随着时间的推移而收敛，并且在对象识别中产生越来越好的准确性。自上而下预测的错误也揭示了视觉显著性或自下而上的注意。
2018-10-26 cs.CV
Shape-Constraint Recurrent Flow for 6D Object Pose Estimation
Xidian University（西安电子科技大学）；MagicLeap（MagicLeap公司）
提出形状约束循环匹配框架，利用姿态诱导流嵌入3D形状信息，循环优化光流与姿态，在三个6D姿态数据集上显著提升精度与效率。
2023-06-23 cs.CV
Recurrent Attention Models with Object-centric Capsule Representation for Multi-object Recognition
Department of Psychology（心理学系）；Department of Computer Science（计算机科学系）；Stony Brook University（石溪大学）
视觉系统使用一系列选择性的一瞥来处理场景，每个一瞥都由空间和基于对象的注意力驱动。这些瞥见反映了与正在进行的任务相关的内容，并通过对场景中物体的反复处理和识别来选择。相比之下，大多数模型将注意力选择和识别视为前馈过程中的独立阶段。在这里，我们展示了使用胶囊网络在具有迭代瞥见注意力的编码器-解码器模型中创建以对象为中心的隐藏表示，从而有效地整合了注意力和识别。我们在三个多对象识别任务上评估了我们的模型;高度重叠的数字，分散注意力的混乱和门牌号之间的数字，并表明它学会了有效地移动它的一瞥窗口，识别和重建对象，所有这些都只有分类作为监督。我们的工作采取了一个通用的架构，如何整合经常性的对象为中心的表示到规划的注意一瞥。
2021-10-11 cs.CV cs.LG q-bio.NC
Recurrent Cross-View Object Geo-Localization
本文提出ReCOT循环跨视图对象地理定位Transformer，将跨视图对象地理定位建模为循环定位过程，结合SAM知识蒸馏与RFEM模块，在CVOGL基准上实现最优性能且参数更少。
2026-08-18 cs.CV
Curriculum Learning for Recurrent Video Object Segmentation
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
视频对象分割可以被理解为一个序列到序列的任务，它可以从课程学习策略中受益，以更好更快地训练深度神经网络。这项工作探讨了不同的时间表采样和跳帧的变化，显着提高性能的经常性架构。我们对KITTI-MOTS挑战赛的汽车类的结果表明，令人惊讶的是，反向时间表采样是一个更好的选择比一个经典的前进。此外，在训练期间渐进跳过帧是有益的，但仅当使用地面真实掩码而不是预测掩码进行训练时。源代码和训练模型可在http://imatge-upc.github.io/rvos-mots/上获得。
2020-08-15 cs.CV
Recurrent 3D Attentional Networks for End-to-End Active Object Recognition
University of Maryland, College Park（马里兰大学帕克分校）；Shenzhen University（深圳大学）
主动视觉本质上是注意力驱动的：智能体主动选择要参加的视图，以便快速实现视觉任务，同时改善其对所观察场景的内部表示。受最近基于注意力模型在基于单个RGB图像的2D视觉任务中的成功启发，我们提出通过开发端到端的递归3D注意力网络，使用注意力机制来解决基于多视图深度的主动对象识别。该架构利用递归神经网络（RNN）来存储和更新内部表示。我们的模型，用3D形状数据集训练，能够迭代地注意到最好的视图目标感兴趣的物体识别it.To实现3D视图选择，我们推导出一个3D空间Transformer网络，它是可微的训练与反向传播，实现更快的收敛速度比强化学习采用大多数现有的基于注意力的模型。实验表明，我们的方法，只有深度输入，实现了国家的最先进的下一个最好的视图性能的时间效率和识别精度。
2022-01-11 cs.CV
Autonomous driving challenge: To Infer the property of a dynamic object based on its motion pattern using recurrent neural network
University of South Florida（南佛罗里达大学）
在自动驾驶应用中，一个关键的挑战是确定要采取的行动，以避免碰撞过程中的障碍物。例如，当突然遇到重物时，即使会造成其他交通中断，也必须停车或改变车道。然而，存在优选与物体碰撞而不是采取将导致比与物体碰撞严重得多的事故的动作的情况。例如，从卡车上掉下来的重物应该避免，而弹跳球或软目标（如泡沫箱）则不需要。我们提出了一种新的方法，根据这些类型的物体的物理特性（如弹跳力，弹性等）来区分这些类型的物体的运动特性。在这项初步工作中，我们使用具有LSTM单元的递归神经网络来训练分类器，以基于对象的运动轨迹对对象进行分类。我们在合成数据上测试了该算法，并作为概念证明，在有限的真实数据集上证明了其有效性。
2016-09-10 cs.CV
Enabling My Robot To Play Pictionary : Recurrent Neural Networks For Sketch Recognition
Indian Institute of Science（印度科学理工学院）
手绘草图是一个固有的顺序过程。然而，大多数手绘草图识别方法要么忽略了这个顺序方面，要么利用它在一个特设的方式。在我们的工作中，我们提出了一个递归神经网络架构的草图对象识别，利用长期的顺序和结构的笔画数据在一个可扩展的方式。具体来说，我们引入了一个基于门控递归单元的框架，该框架利用深度草图功能和加权的每时步损失，在大量对象类别的大型手绘对象草图数据库上实现最先进的结果。我们的框架固有的在线性质特别适合在绘制对象时进行动态识别。因此，我们的框架可以使有趣的应用程序，如配备摄像头的机器人玩流行的聚会游戏Pictionary与人类玩家和生成稀疏但可识别的草图的对象。
2016-08-11 cs.CV
First Step toward Model-Free, Anonymous Object Tracking with Recurrent Neural Networks
Fudan University（复旦大学）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；NYU Shanghai（上海纽约大学）；Center for Data Science, New York University（纽约大学数据科学中心）
在本文中，我们提出并研究了一种新的基于卷积网络和递归网络的视觉目标跟踪方法。所提出的方法是不同于现有的视觉对象跟踪方法，如基于过滤的和跟踪检测的，在这个意义上，跟踪系统是明确的离线训练，在嘈杂的环境中跟踪匿名对象。所提出的视觉跟踪模型是端到端可训练的，最大限度地减少了对象表示中的不匹配以及真实底层动态和学习动态之间的任何对抗性影响。我们经验表明，所提出的跟踪方法在各种情况下，通过生成具有不同条件的人工视频序列，对象的数量，噪声量和训练形状和测试形状之间的匹配，效果良好。
2015-11-25 cs.CV cs.LG
Inception Recurrent Convolutional Neural Network for Object Recognition
University of Dayton（代顿大学）；Comcast Labs（康卡斯特实验室）
深度卷积神经网络（DCNN）是用于解决机器学习和计算机视觉领域中的各种问题的有影响力的工具。在本文中，我们介绍了一种新的深度学习模型，称为Inception- Recurrent卷积神经网络（IRCNN），它利用了DCNN架构中结合递归层的Inception网络的功能。我们使用不同的基准数据集（如MNIST，CIFAR-10，CIFAR- 100和SVHN）对所提出的IRCNN模型的识别性能进行了经验评估。实验结果表明，与大多数流行的DCNN（包括RCNN）相比，识别精度相似或更高。此外，我们还使用CIFAR-100数据集研究了IRCNN与等效的Inception Networks和Inception-Residual Networks的性能。我们报告了与RCNN，等效的Inception Networks和Inception- Residual Networks相比，在增强的CIFAR- 100数据集上分别提高了约3.5%，3.47%和2.54%的分类精度。
2017-04-25 cs.CV
Recurrent computations for visual pattern completion
Harvard University（哈佛大学）；Augsburg University（奥格斯堡大学）；Technische Universität München（慕尼黑工业大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）
从部分信息中进行推理构成了认知的一个重要方面。在视觉感知过程中，模式完成能够识别可见性差或被遮挡的物体。我们结合心理物理学，生理学和计算模型来测试的假设，即模式完成是由经常性的计算，并提出了三件证据，是与这一假设相一致的。第一，即使在可见度小于15%的情况下，受试者也能稳健地识别物体，但当处理被后向掩蔽中断时，识别能力会受到很大损害。其次，沿人类腹侧皮层的侵入性生理反应表现出视觉选择性的反应，部分可见的对象，延迟相比，整个对象，这表明需要额外的计算。这些生理延迟与后掩蔽效应相关。第三，最先进的前馈计算架构对部分可见性不鲁棒。然而，识别性能恢复时，该模型与吸引子为基础的经常性连接增强。这些结果提供了一个强有力的论据，循环计算的作用，使视觉推断部分信息的可扩展性。
2018-04-06 cs.AI cs.CV cs.LG
RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust Correspondence Field Estimation and Pose Optimization
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）
6-从单目图像中估计DoF对象姿态是具有挑战性的，并且通常需要后细化过程来进行高精度估计。在本文中，我们提出了一个框架的基础上的递归神经网络（RNN）的对象姿态细化，这是错误的初始姿态和遮挡鲁棒性。在循环迭代期间，对象姿态细化被公式化为基于估计的对应场（在渲染图像和观察图像之间）的非线性最小二乘问题。然后通过可微Levenberg-Marquardt（LM）算法解决问题，从而实现端到端训练。在每次迭代中交替进行对应场估计和位姿细化，以恢复目标位姿。此外，为了提高对遮挡的鲁棒性，我们引入了一种基于3D模型和观察到的2D图像的学习描述符的一致性检查机制，该机制在姿态优化期间降低了不可靠的对应关系。在LINEMOD、Occlusion-LINEMOD和YCB-Video数据集上进行的大量实验验证了我们方法的有效性，并展示了最先进的性能。
2022-04-10 cs.CV cs.RO
