Synchronize Feature Extracting and Matching: A Single Branch Framework for 3D Object Tracking
The Hong Kong University of Science and Technology, Guangzhou(香港科技大学(广州));Zhejiang University(浙江大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Hangzhou Dianzi University(杭州电子科技大学)
针对3D激光雷达目标跟踪传统Siamese范式的冗余计算与额外参数问题,提出单分支框架SyncTrack,基于Transformer动态亲和性同步特征提取与匹配,并结合注意力点采样策略,在两个基准数据集上实现了实时跟踪的SOTA性能。
2023-08-24 cs.AI cs.CV
Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking
University of Missouri(密苏里大学);TCL Research America(TCL美国研究院)
在本文中,我们开发了一种新的方法,空间监督递归卷积神经网络的视觉目标跟踪。我们的递归卷积网络利用了位置的历史以及深度神经网络学习的独特视觉特征。受最近用于目标检测的限界框回归方法的启发,我们研究了时间域中长短期记忆(LSTM)的回归能力,并提出将卷积网络产生的高级视觉特征与区域信息连接起来。与现有的基于深度学习的跟踪器相比,这些跟踪器对区域候选者使用二进制分类,我们使用回归来直接预测卷积层和递归单元的跟踪位置。我们在具有挑战性的基准视频跟踪数据集上与最先进的跟踪方法进行了广泛的实验结果和性能比较,结果表明,我们的跟踪器更准确,更强大,同时保持较低的计算成本。对于大多数测试视频序列,我们的方法实现了最好的跟踪性能,往往优于第二个最好的大幅度。
2016-07-19 cs.CV
First Step toward Model-Free, Anonymous Object Tracking with Recurrent Neural Networks
Fudan University(复旦大学);Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);NYU Shanghai(上海纽约大学);Center for Data Science, New York University(纽约大学数据科学中心)
在本文中,我们提出并研究了一种新的基于卷积网络和递归网络的视觉目标跟踪方法。所提出的方法是不同于现有的视觉对象跟踪方法,如基于过滤的和跟踪检测的,在这个意义上,跟踪系统是明确的离线训练,在嘈杂的环境中跟踪匿名对象。所提出的视觉跟踪模型是端到端可训练的,最大限度地减少了对象表示中的不匹配以及真实底层动态和学习动态之间的任何对抗性影响。我们经验表明,所提出的跟踪方法在各种情况下,通过生成具有不同条件的人工视频序列,对象的数量,噪声量和训练形状和测试形状之间的匹配,效果良好。
2015-11-25 cs.CV cs.LG
Deep Tracking: Seeing Beyond Seeing Using Recurrent Neural Networks
University of Oxford(牛津大学)
本文介绍了尽我们所知的第一个端到端的对象跟踪方法,直接从原始传感器输入映射到传感器空间中的对象跟踪,而不需要任何功能工程或系统辨识的形式的植物或传感器模型。具体来说,我们的系统在一端接受原始传感器数据流,并实时在输出端产生整个环境状态的估计,甚至包括被遮挡的物体。我们通过将问题框定为深度学习任务来实现这一点,并以循环神经网络的形式利用序列模型来学习从传感器测量到对象轨迹的映射。特别是,我们提出了一种学习方法的基础上的一种形式的输入辍学,允许学习在一个无监督的方式,只基于原始的,闭塞的传感器数据,而不访问地面实况注释。我们使用一个合成数据集来演示我们的方法,该数据集旨在模拟在2D激光数据中跟踪对象的任务-这在机器人应用中很常见-并表明它可以学习跟踪许多动态对象,尽管存在遮挡和传感器噪声。
2016-03-08 cs.AI cs.CV cs.LG
Recurrent Filter Learning for Visual Tracking
City University of Hong Kong(香港城市大学)
最近,由于卷积神经网络(CNN)对图像的鲁棒特征表示,它在视觉跟踪中得到了广泛的应用。最近的方法通过使用随机梯度下降(SGD)反向传播将预训练的CNN模型微调到特定目标对象来执行在线跟踪,这通常是耗时的。本文提出了一种用于视觉跟踪的递归滤波器生成方法。我们直接将目标的图像块馈送到递归神经网络(RNN),以估计用于跟踪的特定于对象的过滤器。由于视频序列是时空数据,我们将RNN的全连接层的矩阵乘法扩展为特征图上的卷积运算,这保留了目标的空间结构,并且具有内存效率。后续帧中的跟踪对象将被馈送到RNN中,以使生成的滤波器适应目标的外观变化。请注意,一旦我们的网络的离线训练过程完成,就不需要针对特定对象对网络进行微调,这使得我们的方法比使用迭代微调来在线学习目标的方法更有效。广泛使用的基准,OTB和VOT进行了大量的实验,表现出令人鼓舞的结果相比,最近的其他方法。
2017-08-13 cs.CV
Convolutional Recurrent Predictor: Implicit Representation for Multi-target Filtering and Tracking
Cortexica Vision Systems Ltd.(科蒂西卡视觉系统有限公司);Mesirow Financial(梅斯罗金融公司);AnyVision(安尼维逊)
定义多目标运动模型是跟踪算法的重要步骤,具有很大的挑战性。使用固定模型(如在几种生成贝叶斯算法中,例如卡尔曼滤波器)可能无法准确预测复杂的目标运动。另一方面,运动模型的顺序学习(例如,使用递归神经网络)可能由于目标的可变未知数量而在计算上复杂且困难。在本文中,我们提出了一种多目标滤波和跟踪算法,学习的运动模型,同时为所有的目标,从一个隐式表示的状态图,并进行时空数据预测。为此,多目标状态是在一个连续的假设目标空间建模,使用随机有限集和高斯混合概率假设密度公式。使用具有长短期记忆架构的深度卷积递归神经网络递归地执行预测步骤,该深度卷积递归神经网络在“概率密度差”图上被训练为回归块。我们的方法在广泛使用的行人跟踪基准上进行了评估,显著优于最先进的多目标滤波算法,同时与其他跟踪方法相比,具有竞争力的结果:该方法在MOT 15和MOT 16/17数据集上分别产生平均40.40和62.29个最优子模式分配(OSPA)错误,同时产生62.0%,当使用公开可用的检测器时,MOT 16/17,PNNL停车场和PETS 09行人跟踪数据集的多目标跟踪准确率(MOTA)分别为70.0%和66.9%。
2019-07-28 cs.CV
Re3 : Real-Time Recurrent Regression Networks for Visual Tracking of Generic Objects
Paul G. Allen School of Computer Science, University of Washington(保罗·G·艾伦计算机科学学院,华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
鲁棒的对象跟踪需要了解和理解被跟踪的对象:它的外观,它的运动,以及它如何随着时间的推移而变化。跟踪器必须能够修改其基础模型并适应新的观测。我们提出了Re 3,一个实时的【形】深度对象跟踪器,能够将时间信息纳入其模型。我们不是专注于一组有限的对象或在测试时训练模型来跟踪特定的实例,而是在各种各样的对象上预训练我们的通用跟踪器,并在运行中有效地更新; Re 3同时跟踪和更新外观模型,只需一次向前传递。这种轻量级模型能够以150 FPS的速度跟踪物体,同时在具有挑战性的基准测试中获得有竞争力的结果。我们还表明,我们的方法处理临时遮挡比其他可比的跟踪器使用实验,直接测量性能的序列与遮挡。
2018-02-26 cs.CV
Learning to Update for Object Tracking with Recurrent Meta-learner
Huazhong University of Science and Technology(华中科技大学);Microsoft Research Asia(微软亚洲研究院)
模型更新是目标跟踪的核心。通常,模型更新被公式化为在线学习问题,其中目标模型在在线训练集上被学习。我们的关键创新是\emph{formulate the model update problem in the meta-learning framework and learn the online learning algorithm itself using large numbers of offline videos},即,\emph{learning to update}。学习的更新器将在线训练集作为输入,并输出更新的目标模型。作为第一次尝试,我们设计了基于递归神经网络(RNN)的学习更新器,并展示了其在基于模板的跟踪器和基于相关滤波器的跟踪器中的应用。我们的学习更新程序不断改进基本跟踪器,在GPU上运行速度比实时更快,同时在测试期间需要占用很少的内存。标准基准测试的实验表明,我们学习的更新优于常用的更新基线,包括有效的指数移动平均(EMA)为基础的更新和精心设计的随机梯度下降(SGD)为基础的更新。配备了我们学习的更新器,基于模板的跟踪器在GPU上的实时跟踪器中实现了最先进的性能。
2019-03-05 cs.CV
End-to-end Recurrent Multi-Object Tracking and Trajectory Prediction with Relational Reasoning
Applied AI Lab, University of Oxford(牛津大学应用人工智能实验室)
大多数当代对象跟踪方法不对对象之间的交互进行建模。这与物体的路径不是独立的事实形成对比:骑自行车的人可能会突然偏离先前计划的轨迹,以避免与汽车相撞。HART,神经类无关的单对象跟踪器的基础上,我们介绍了一种多目标跟踪方法MOHART能够关系推理。重要的是,整个系统,包括对对象之间的交互和关系的理解,是类不可知的,并且以端到端的方式同时学习。我们探讨了一些关系推理架构,并表明,置换不变的模型优于非置换不变的替代品。我们还发现,使用像DeepSets这样的单一置换不变运算的架构,尽管在理论上是通用函数逼近器,但仍然被基于多头注意力的更复杂的架构所超越。后者更好地解释了在一个具有挑战性的玩具实验中复杂的物理相互作用。此外,我们发现,建模交互导致跟踪以及三个真实世界数据集(MOTChallenge,UA-DETRAC和Stanford Drone数据集)的未来轨迹预测的一致性能增益,特别是在存在自我运动,遮挡,拥挤场景和错误传感器输入的情况下。
2020-09-28 cs.AI cs.CV cs.LG
Attentive Recurrent Comparators
Rashtreeya Vidyalaya College of Engineering(拉斯特里亚维德亚工程学院);Indian Institute of Science(印度科学院)
快速学习需要灵活的表征,以快速适应新的证据。我们开发了一类新的模型,称为Attentive Recurrent Comparators(ARC),通过循环并进行观察来形成对象的表示。使用ARC提取的表示,我们开发了一种逼近\textit{dynamic representation space}的方法,并将其用于一次性学习。在Omniglot数据集上的一次性分类任务中,我们实现了最先进的性能,出错率为1.5\%。这代表了该任务使用仅使用像素信息的通用模型实现的第一个超人结果。
2017-06-30 cs.CV cs.LG
Sync-DRAW: Automatic Video Generation using Deep Recurrent Attentive Architectures
IIT Hyderabad(印度理工学院海得拉巴分校)
本文介绍了一种新的方法,用于生成视频称为同步深度递归注意作家(Sync-DRAW)。Sync-DRAW还可以执行文本到视频的生成,据我们所知,这使其成为同类方法中的第一种。它以一种新颖的方式将变分自编码器~(VAE)与循环注意力机制相结合,以创建随时间逐渐形成的时间依赖的帧序列。Sync-DRAW中的周期性注意力机制关注同步中的视频的每个单独帧,而VAE在全局级别上学习整个视频的潜在分布。我们对Bouncing MNIST,KTH和UCF-101的实验表明,Sync-DRAW在学习视频的空间和时间信息方面是有效的,并生成具有高度结构完整性的帧,并且可以从这些数据集上的简单字幕生成视频。(作为口头论文在ACM-Multimedia 2017中被接受)
2017-10-21 cs.CV
GAKP: GRU Association and Kalman Prediction for Multiple Object Tracking
Shanghai Grandhonor Information Technology Co.Ltd(上海宏景信息科技有限公司);Nanjing University of Aeronautics and Astronautic(南京航空航天大学);New York University(纽约大学)
多目标跟踪(MOT)在视频监控、智能零售和智慧城市等许多现实应用中一直是一项有用但具有挑战性的任务。挑战在于如何以有效的方式对长期时间依赖性进行建模。最近的一些工作采用递归神经网络(RNN),以获得良好的性能,然而,这需要大量的训练数据。在本文中,我们提出了一种新的跟踪方法,集成了自校正卡尔曼预测方法和门控递归单元(GRU),并实现了近最佳与少量的训练数据。实验结果表明,我们的新算法可以实现具有挑战性的MOT基准的竞争力的性能,更快,更强大的比最先进的基于RNN的在线MOT算法。
2020-12-28 cs.AI cs.CV cs.LG
Feature Selective Small Object Detection via Knowledge-based Recurrent Attentive Neural Network
目前,深度神经网络在一般目标检测中的表现与人类相当甚至超越人类。然而,由于深度学习本身的局限性,特征像素所占比例小,以及模糊和遮挡的发生,复杂场景中小目标的检测仍然是一个悬而未决的问题。但我们不能否认,实时、准确的目标检测是自动感知以及后续基于感知的自动驾驶决策和规划任务的基础。针对自动驾驶场景中小目标的特点,提出了一种基于领域知识、直觉经验和特征选择的KB-RANN方法。它可以集中在图像特征的特定部分,然后它试图强调这些特征的重要性,并加强他们的学习参数。在KITTI和COCO数据集上的对比实验表明,该方法在速度和准确率上都取得了可观的效果,并通过重要特征的自选择和方法的不断增强,提高了小目标检测的效果,并将其应用于自主研发的自动驾驶汽车中。
2019-04-20 cs.AI cs.CV
Learning The Sequential Temporal Information with Recurrent Neural Networks
XRVision Research and Development center(XRVision研发中心)
递归神经网络是处理自然语言、声音、时间序列数据等序列数据的最有效和最有前途的人工神经网络算法之一。与传统的前馈网络不同,递归网络具有固有的反馈回路,允许存储时间上下文信息并将信息的状态传递给整个事件序列。这有助于在许多重要任务中实现最先进的性能,例如语言建模、股票市场预测、图像描述、语音识别、机器翻译和对象跟踪等,然而,训练完全连接的RNN和管理梯度流是一个复杂的过程。许多研究都是针对上述局限性进行的。本文旨在提供有关递归神经元的简要细节,它的变化和训练全递归神经网络的行程和技巧。这项审查工作是作为我们的IPO工作室软件模块“多目标跟踪”的一部分进行的。
2018-07-08 cs.CV cs.LG stat.ML
FeedbackTrack: Visual-Cortex-Inspired Cross-Frame Feedback for Transformer Tracking
该研究提出受视觉皮层启发的FeedbackTrack框架,为Transformer跟踪器引入跨帧反馈机制,在LaSOT、GOT-10k等数据集上提升跟踪性能,且参数增量极小。
2026-08-11 cs.AI cs.CV
Deep Reinforcement Learning for Visual Object Tracking in Videos
University of California at Santa Barbara(加州大学圣塔芭芭拉分校);Samsung Research America(三星美国研究院)
在本文中,我们介绍了一个完全端到端的方法,视觉跟踪的视频,学习预测的限界框位置的目标对象在每一帧。一个重要的见解是,跟踪问题可以被认为是一个顺序的决策过程和历史语义编码高度相关的信息,为未来的决策。基于这种直觉,我们将我们的模型制定为与视频超时交互的递归卷积神经网络代理,并且我们的模型可以使用强化学习(RL)算法进行训练,以学习良好的跟踪策略,这些策略关注连续的帧间相关性,并从长远来看最大化跟踪性能。所提出的跟踪算法在现有的跟踪基准中实现了最先进的性能,并且以比实时更快的帧速率操作。据我们所知,我们的跟踪器是第一个将卷积和递归网络与RL算法相结合的神经网络跟踪器。
2017-04-10 cs.CV cs.LG
Deep Learning Method for Cell-Wise Object Tracking, Velocity Estimation and Projection of Sensor Data over Time
Aptiv(安波福);University of Wuppertal(伍珀塔尔大学)
提出一种利用Transformer机制的新型循环神经网络单元,通过键-查询对跟踪目标并估计速度,以解决卷积神经网络在时空关联上的架构限制,并投影记忆状态以修正时空错位。
2023-06-18 cs.CV cs.LG
ARGAN: Attentive Recurrent Generative Adversarial Network for Shadow Detection and Removal
Wuhan University(武汉大学);Kitware Inc.(Kitware公司);Wuhan University of Science and Technology(武汉科技大学)
在本文中,我们提出了一个专注的递归生成对抗网络(ARGAN)来检测和去除图像中的阴影。生成器由多个渐进步骤组成。在每一步中,首先利用阴影注意检测器生成一个注意图,该注意图指定输入图像中的阴影区域,给定注意图,阴影去除编码器的负残差将恢复阴影较轻甚至无阴影的图像。设计了一个鉴别器来鉴别最后一步逐行扫描输出的图像是真的还是假的。此外,ARGAN适合采用半监督策略进行训练,以充分利用足够的无监督数据。在四个公共数据集上的实验表明,我们的ARGAN是强大的检测简单和复杂的阴影,并产生更真实的阴影去除结果。它优于最先进的方法,特别是在恢复阴影区域的细节。
2019-08-04 cs.CV
Detective: An Attentive Recurrent Model for Sparse Object Detection
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在这项工作中,我们提出了侦探-一个专注的对象检测器,以顺序的方式识别图像中的对象。我们的网络基于编码器-解码器架构,其中编码器是卷积神经网络,解码器是与注意力机制耦合的卷积递归神经网络。在每次迭代中,我们的解码器使用注意力机制关注图像的相关部分,然后估计对象的类和限界框坐标。当前的目标检测模型生成密集的预测,并依赖于后处理来去除重复的预测。Detective是一个稀疏对象检测器,它为每个对象实例生成单个限界框。然而,训练稀疏对象检测器具有挑战性,因为它需要模型在实例级别进行推理,而不仅仅是在类和空间级别。我们提出了一种基于匈牙利算法的训练机制和一种平衡定位和分类任务的损失。这使得Detective能够在PASCAL VOC目标检测数据集上取得令人满意的结果。我们的实验表明,稀疏的目标检测是可能的,并具有很大的潜力,在未来的发展中的应用程序中,要预测的对象的顺序是感兴趣的。
2020-04-25 cs.CV
AttentiveGRU: Recurrent Spatio-Temporal Modeling for Advanced Radar-Based BEV Object Detection
TMDT Radar Machine Learning(TMDT雷达机器学习);University of Wuppertal(伍珀塔尔大学);Aptiv(安波福)
针对雷达数据稀疏性导致单帧BEV检测效果受限的问题,提出基于注意力的循环模型AttentiveGRU,通过融合时空上下文提升检测性能,在nuScenes等数据集上实现显著精度提升且无需自车运动信息。
2025-04-01 cs.CV
Language-Based Image Editing with Recurrent Attentive Models
University of California, Berkeley(加利福尼亚大学伯克利分校);Microsoft Research(微软研究院)
研究了基于图像的图像编辑(LBIE)问题。给定源图像和自然语言描述,我们希望通过基于描述编辑源图像来生成目标图像。我们提出了一个通用的建模框架LBIE的两个子任务:基于语言的图像分割和图像着色。该框架使用递归注意模型来融合图像和语言特征。而不是使用一个固定的步长,我们引入了一个终止门的图像的每个区域后,每个推理步骤动态地确定是否继续从文本描述外推额外的信息。在三个数据集上验证了该框架的有效性。首先,我们引入了一个名为CoSaL的合成数据集来评估我们的LBIE系统的端到端性能。其次,我们证明了该框架在ReferIt数据集上的图像分割方面具有最先进的性能。第三,我们在Oxford-102 Flowers数据集上给出了第一个基于语言的着色结果。
2018-06-10 cs.CL cs.CV cs.LG
maskGRU: Tracking Small Objects in the Presence of Large Background Motions
Purdue University(普渡大学)
我们提出了一个基于递归神经网络的时空框架名为maskGRU的视频中的小对象的检测和跟踪。虽然近年来在对象跟踪领域已经有了许多发展,但是在其他移动对象和演员(诸如体育镜头中的移动运动员中的球)中跟踪小移动对象仍然是一项困难的任务。现有的时空网络,如卷积门控递归单元(convGRU),很难训练,并在这种条件下准确跟踪小物体有困难。为了克服这些困难,我们开发了maskGRU框架,该框架使用由convGRU产生的内部隐藏状态的加权和和以及跟踪对象的预测限界框的3通道掩码作为在底层convGRU的下一个时间步骤中使用的隐藏状态。我们认为,通过加权和将掩模纳入隐藏状态的技术有两个好处:控制爆炸梯度的效果,并通过指示对象在前一个视频帧中的位置,在网络中引入类似注意力的机制。我们的实验表明,maskGRU优于convGRU在跟踪对象是相对于视频分辨率小,即使在其他移动对象的存在。
2022-01-03 cs.CV cs.LG
Goal-driven Self-Attentive Recurrent Networks for Trajectory Prediction
University of Padova(帕多瓦大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
人类轨迹预测是自动驾驶汽车、社会感知机器人和高级视频监控应用的关键组成部分。这项具有挑战性的任务通常需要了解过去的运动,环境和可能的目的地区域。在这种情况下,多模态是一个基本方面,其有效的建模可以有益于任何架构。然而,由于未来固有的不确定性,推断准确的轨迹具有挑战性。为了克服这些困难,最近的模型使用不同的输入,并提出使用复杂的融合机制来模拟人类的意图。在这方面,我们提出了一个轻量级的注意力为基础的经常性骨干,只对过去观察到的位置。虽然这个骨干已经提供了有前途的结果,我们证明,它的预测精度可以大大提高时,结合场景感知的目标估计模块。为此,我们采用了一个共同的目标模块,基于U-Net架构,它还提取语义信息来预测场景兼容的目的地。我们对公开可用的数据集(即SDD,inD,ETH/UCY)进行了广泛的实验,并表明我们的方法在降低模型复杂性的同时与最先进的技术表现相当。
2022-04-25 cs.AI cs.CV cs.LG
Deep Attentive Wasserstein Generative Adversarial Networks for MRI Reconstruction with Recurrent Context-Awareness
Sun Yat-Sen University(中山大学);University of Edinburgh(爱丁堡大学);Cardiovascular Research Centre, Royal Brompton Hospital(皇家布朗普顿医院心血管研究中心);National Heart & Lung Institute, Imperial College London(帝国理工学院国家心肺研究所)
传统的基于压缩感知的MRI(CS-MRI)重建的性能受到其缓慢迭代过程和噪声诱导伪影的影响。尽管已经提出了许多基于深度学习的CS-MRI方法来缓解传统方法的问题,但它们无法在更高的加速因子下实现更稳健的结果。大多数基于深度学习的CS-MRI方法仍然不能完全挖掘k空间的信息,这导致MRI重建结果不理想。在这项研究中,我们提出了一种新的基于深度学习的CS-MRI重建方法,通过将Wasserstein生成对抗网络(WGAN)与递归神经网络耦合,充分利用连续MRI切片之间的关系。进一步发展的一个专注的单位,使我们的模型,以重建更准确的解剖结构的MRI数据。通过在不同的MRI数据集上进行实验,我们已经证明,与最先进的方法相比,我们的方法不仅可以获得更好的结果,而且还可以有效地减少重建过程中产生的残留噪声。
2020-06-23 cs.CV eess.IV
CAR-Net: Clairvoyant Attentive Recurrent Network
Stanford University(斯坦福大学);Race Optimal(Race Optimal公司);Ecole Polytechnique Federale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
我们提出了一个可解释的路径预测框架,利用代理的行为和空间导航环境之间的依赖关系。我们利用两个来源的信息:过去的运动轨迹感兴趣的代理和广泛的顶视图图像的导航场景。我们提出了一个千里眼注意递归网络(CAR-Net),它可以在解决路径预测任务时学习在场景的大图像中看哪里。我们的方法可以处理原始图像内的任何区域或区域组合(例如,道路交叉口)。这使我们能够可视化影响轨迹预测的导航场景的细粒度语义元素。为了研究空间对智能体轨迹的影响,我们构建了一个由数百个场景(一级方程式赛道)的顶视图图像组成的新数据集,其中智能体的行为受到图像中已知区域的严重影响(例如,即将到来的转折)。CAR-Net成功地关注了这些突出的地区。此外,CAR-Net在标准轨迹预测基准斯坦福无人机数据集(SDD)上达到了最先进的精度。最后,我们展示了CAR-Net推广到不可见场景的能力。
2018-07-31 cs.CV
Chained-Tracker: Chaining Paired Attentive Regression Results for End-to-End Joint Multiple-Object Detection and Tracking
Tencent Youtu Lab(腾讯优图实验室);Fudan University(复旦大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
现有的多目标跟踪(MOT)方法要么遵循逐检测跟踪的范式来分别进行目标检测、特征提取和数据关联,要么将这三个子任务中的两个子任务集成起来形成部分端到端的解决方案。超越这些次优框架,我们提出了一个名为Chained-Tracker(CTracker)的简单在线模型,它自然地将所有三个子任务集成到端到端解决方案中(据我们所知是第一个)。它将从重叠节点估计的成对边界框回归结果链接起来,其中每个节点覆盖两个相邻的帧。配对回归由对象注意(由检测模块引起)和身份注意(由ID验证模块确保)引起注意。两大新奇之处:链式结构和配对注意回归,使CTracker简单,快速和有效,在MOT 16和MOT 17挑战数据集上设置新的MOTA记录(分别为67.6和66.6),而不依赖于任何额外的训练数据。CTracker的源代码可以在github.com/pjl1995/CTracker上找到。
2020-07-29 cs.CV
An Improved End-to-End Multi-Target Tracking Method Based on Transformer Self-Attention
Wuhan University(武汉大学);Wuhan Optics Valley Information Technology Co., Ltd.(武汉光谷信息技术股份有限公司);Mobile Broadcasting and Information Service Industry Innovation Research Institute (Wuhan) Co., Ltd(移动广播与信息服务产业创新研究院(武汉)有限公司)
基于Transformer编解码器结构的自关注机制,提出了一种改进的适用于多视点多尺度场景的端到端多目标跟踪算法。将多维特征提取骨干网络与自建的语义栅格地图相结合,存储在编码器中进行关联,生成目标位置编码和多维特征向量。解码器采用了四种方法:多视角目标的空间聚类和语义过滤、多维特征的动态匹配、基于时空逻辑的多目标跟踪和基于时空收敛网络(STCN)的参数传递。通过多种解码方法的融合,实现了多摄像机目标的三维跟踪:时间逻辑、空间逻辑和特征匹配。对于MOT 17数据集,本研究的方法在多目标跟踪准确度(MOTA)指标上显著优于当前最先进的方法MiniTrackV 2 [49] 2.2%至0.836。此外,本研究首次提出了一种回顾性机制,并采用逆序处理方法来优化历史错误标记的目标,以提高识别F1分数(IDF 1)。对于自建数据集OVIT-MOT 01,IDF 1从0.948提高到0.967,多相机跟踪精度(MCTA)从0.878提高到0.909,显著提高了连续跟踪精度和场景适应性。该研究方法引入了一种新的注意力跟踪范式,该范式能够在多目标跟踪(MOT 17和OVIT-MOT 01)任务上实现最先进的性能。
2022-11-11 cs.CV
Extending Multi-Object Tracking systems to better exploit appearance and 3D information
University of Moratuwa(莫拉图瓦大学)
实时的跟踪多个物体对于各种现实世界的应用至关重要,其中自动驾驶行业是最重要的。这项工作涉及利用随时间变化的外观和运动信息进行跟踪。Siamese网络最近在基于外观的单对象跟踪方面取得了非常成功,而递归神经网络已经开始主导基于运动和外观的跟踪。我们的工作重点是将Siamese网络和RNN结合起来,分别利用外观和运动信息来构建一个能够实时的多目标跟踪的联合系统。我们进一步探讨了基于几何学的约束跟踪在鸟瞰视图空间有效地利用3D信息作为一个约束优化问题的跟踪预测。
2019-12-25 cs.CV cs.RO
Attentive One-Dimensional Heatmap Regression for Facial Landmark Detection and Tracking
University of Science and Technology of China(中国科学技术大学)
虽然热图回归被认为是定位面部标志的最先进的方法,但它具有巨大的空间复杂性,并且容易产生量化误差。为了解决这个问题,我们提出了一种新的专注一维热图回归方法的面部标志定位。首先,我们预测两组1D热图来表示x和y坐标的边缘分布。与当前使用2D热图来表示x和y坐标的联合分布的热图回归方法相比,这些1D热图显著降低了空间复杂度。该方法具有更低的空间复杂度,可以在GPU内存有限的情况下输出高分辨率的1D热图,从而显着减轻量化误差。其次,采用共同注意力机制来模拟存在于x和y坐标中的固有空间模式,因此也捕获x和y轴上的联合分布。第三,基于1D热图结构,我们提出了一个面部地标检测器捕获空间模式的图像上的地标检测;和一个跟踪器进一步捕获时间模式与时间细化机制的地标跟踪。在四个基准数据库上的实验结果证明了该方法的优越性。
2020-08-27 cs.CV
View-Invariant Gait Recognition with Attentive Recurrent Learning of Partial Representations
Ingenuity Labs Research Institute(创新实验室研究所)
步态识别是指根据行走过程中人体运动的特征对个体进行身份识别。尽管最近在深度学习的步态识别方面取得了进展,但数据采集和外观的变化,即摄像机角度、主体姿势、遮挡和服装,都是实现准确步态识别系统需要考虑的挑战性因素。在本文中,我们提出了一个网络,它首先学习从帧级卷积特征中提取步态卷积能量图(GCEM)。然后,它采用双向递归神经网络从GCEM的分裂箱中学习,从而利用学习到的部分时空表示之间的关系。然后,我们使用一个注意力机制,选择性地集中在重要的循环学习的部分表示身份信息在不同的情况下,可能在于不同的GCEM箱。我们提出的模型已经使用四种不同的测试协议在两个大规模的CASIA-B和OU-MVLP步态数据集上进行了广泛的测试,并与一些最先进的基线解决方案进行了比较。此外,一个全面的实验已经进行了研究的鲁棒性,我们的模型中存在六个不同的合成闭塞。实验结果表明,我们提出的方法的优越性,优于国家的最先进的,特别是在不同的服装和携带条件下遇到的情况下。结果还表明,与最先进的方法相比,我们的模型对不同的遮挡更鲁棒。
2020-10-18 cs.CV cs.LG
Hierarchically-Attentive RNN for Album Summarization and Storytelling
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
我们解决了端到端视觉故事讲述的问题。给定一个相册,我们的模型首先选择最具代表性的(摘要)照片,然后为相册编写一个自然语言故事。对于这项任务,我们使用Visual Storytelling数据集和一个由三个分层关注的递归神经网络(RNN)组成的模型:对相册照片进行编码,选择代表性(摘要)照片,并撰写故事。自动和人工评估表明,我们的模型在选择,生成和检索方面比基线具有更好的性能。
2017-08-09 cs.AI cs.CL cs.CV
Face Hallucination by Attentive Sequence Optimization with Reinforcement Learning
Sun Yat-Sen University(中山大学)
人脸幻觉是一个特定领域的超分辨率问题,其目标是从低分辨率输入生成高分辨率人脸图像。与现有的分块超分辨率模型相比,该模型将人脸图像划分为规则块并独立地将LR应用于HR映射到每个块,我们实现了深度强化学习并开发了一种新的注意力感知人脸幻觉(Attention-FH)框架,该框架循环学习参加一系列块并通过充分利用图像的全局相互依赖性来执行面部部分增强。具体来说,我们提出的框架包括两个组成部分:一个经常性的政策网络,用于动态地指定一个新的出席区域在每个时间步的基础上的状态的超分辨率图像和过去的出席区域序列,和局部增强网络选择补丁幻觉和全局状态更新。Attention-FH模型通过最大化反映关于整个HR图像的幻觉结果的长期奖励来联合学习递归策略网络和局部增强网络。大量的实验表明,我们的注意FH显着优于国家的最先进的方法在野外的人脸图像与大的姿态和照明变化。
2019-05-04 cs.CV
AC-VRNN: Attentive Conditional-VRNN for Multi-Future Trajectory Prediction
Universitá degli Studi di Trento(特伦托大学);Universitá degli Studi di Modena e Reggio Emilia(摩德纳-雷焦艾米利亚大学);Universitá degli Studi di Padova(帕多瓦大学)
预测拥挤场景中的人体运动对于开发智能交通系统、社会感知机器人和高级视频监控应用至关重要。这一任务的一个关键组成部分是由人类路径的固有多模态性质,使社会可接受的多种未来时,人类的互动参与。为此,我们提出了一种基于条件变分递归神经网络(C-VRNNs)的多未来轨迹预测生成架构。条件反射主要依赖于先验的信念图,代表最可能的移动方向,并迫使模型在生成未来位置时考虑过去观察到的动态。人类的互动建模与基于图形的注意力机制,使在线注意隐藏状态细化的经常性估计。为了证实我们的模型,我们对公开可用的数据集(例如,ETH/UCY、Stanford Drone Dataset、STATS SportVU NBA、Intersection Drone Dataset和TrajNet++),并与几种最先进的方法相比,证明了其在拥挤场景中的有效性。
2021-07-08 cs.CV cs.LG
DRAW: A Recurrent Neural Network For Image Generation
Google DeepMind(谷歌DeepMind)
本文介绍了用于图像生成的深度递归注意书写(DRAW)神经网络架构。DRAW网络结合了一种新的空间注意力机制,模仿人眼的视觉中心凹,与顺序变分自动编码框架,允许复杂图像的迭代构建。该系统大大改进了MNIST上生成模型的最新技术水平,并且当在街景房屋号码数据集上进行训练时,它生成的图像无法用肉眼与真实数据区分开来。
2015-05-20 cs.CV cs.LG cs.NE
End-to-End Tracking and Semantic Segmentation Using Recurrent Neural Networks
University of Oxford(牛津大学)
在这项工作中,我们提出了一种新的端到端的框架,用于跟踪和分类机器人的周围环境中复杂的,动态的,只有部分可观察的现实世界的环境。该方法部署了一个递归神经网络来过滤原始激光测量的输入流,以便直接推断物体的位置,以及它们在可见和遮挡区域的身份。为了实现这一目标,我们首先使用无监督深度跟踪训练网络,这是最近提出的端到端空间占用预测的理论框架。我们表明,通过学习跟踪大量的无监督数据,网络创建了一个丰富的内部表示其环境,我们反过来利用通过知识的归纳转移的原则,以执行其语义分类的任务。因此,我们发现,只有少量的标记数据足以引导网络掌握这一额外的任务。此外,我们提出了一种新的递归神经网络架构,专门针对跟踪和语义分类在现实世界中的机器人应用。我们展示了在一个繁忙的路口收集的真实世界的数据的方法的跟踪和分类性能。我们的评估表明,所提出的端到端的框架相比,有利的最先进的,无模型的跟踪解决方案,它优于传统的一次性训练方案的语义分类。
2016-04-19 cs.AI cs.CV cs.LG
ROAM: Recurrently Optimizing Tracking Model
Tencent AI Lab(腾讯人工智能实验室);City University of Hong Kong(香港城市大学);Didi Chuxing(滴滴出行)
在本文中,我们设计了一个跟踪模型,包括响应生成和限界框回归,其中第一个组件产生一个热图,以指示在不同位置的对象的存在和第二部分回归的相对限界框移动到安装在滑动窗口位置的锚。由于在两个组件中使用了可调整大小的卷积滤波器来适应对象的形状变化,我们的跟踪模型不需要枚举不同大小的锚点,从而节省了模型参数。为了有效地适应模型的外观变化,我们提出了离线训练一个递归神经优化器更新跟踪模型中的元学习设置,它可以收敛在几个梯度步骤的模型。这提高了更新跟踪模型的收敛速度,同时实现更好的性能。我们在OTB、VOT、LaSOT、GOT-10 K和TrackingNet基准测试中广泛评估了我们的跟踪器ROAM和ROAM++,我们的方法与最先进的算法相比表现良好。
2020-03-24 cs.CV
Online Multi-Target Tracking Using Recurrent Neural Networks
The University of Adelaide(阿德莱德大学);ETH Zürich(苏黎世联邦理工学院)
提出了一种基于循环神经网络的在线多目标跟踪方法。在真实世界场景中跟踪多个目标涉及许多挑战,包括a)先验未知且时变的目标数量,b)所有当前目标的连续状态估计,以及c)数据关联的离散组合问题。大多数以前的方法涉及复杂的模型,需要繁琐的参数调整。在这里,我们首次提出了一种用于在线多目标跟踪的端到端学习方法。现有的深度学习方法不是针对上述挑战而设计的,并且不能简单地应用于任务。我们的解决方案以原则性的方式解决了上述所有问题。合成和真实数据上的实验表明,在标准CPU上在~300 Hz下获得了有希望的结果,并为未来在这个方向上的研究铺平了道路。
2016-12-07 cs.CV
Deep Tracking on the Move: Learning to Track the World from a Moving Vehicle using Recurrent Neural Networks
University of Oxford(牛津大学)
本文提出了一种端到端的方法来跟踪静态和动态对象的自动驾驶车辆驾驶通过拥挤的城市环境。与传统的跟踪方法不同,该方法是端到端学习的,并且能够从原始激光输入数据直接预测完整的未被遮挡的占用网格地图。受最近提出的DeepTracking方法[Ondruska,2016]的启发,我们采用递归神经网络(RNN)来捕获环境状态的时间演变,并建议使用空间Transformer模块来利用车辆自运动的估计。我们的研究结果证明了使用单个学习模型从移动和静止平台通过遮挡跟踪一系列对象的能力,包括汽车,公共汽车,行人和骑自行车的人。实验结果表明,该模型还可以预测对象的未来状态从当前的输入,具有更高的精度比以前的工作。
2017-04-19 cs.AI cs.CV cs.LG
Instance Segmentation and Tracking with Cosine Embeddings and Recurrent Hourglass Networks
Graz University of Technology(格拉茨工业大学);Ludwig Boltzmann Institute for Clinical Forensic Imaging(路德维希·玻尔兹曼临床法医成像研究所);BioTechMed-Graz(格拉茨生物医学技术中心)
与语义分割不同,实例分割为同一类的每个实例分配唯一的标签。在这项工作中,我们提出了一种新的经常性的全卷积网络架构,用于跟踪这种实例分割随着时间的推移。该网络架构将卷积门控递归单元(ConvGRU)集成到堆栈沙漏网络中,以利用时间视频信息。此外,我们还训练了一种基于余弦相似性的新型嵌入损失网络,这样网络就可以为整个视频中的每个实例预测唯一的嵌入。然后,这些嵌入在后续视频帧中被聚类以创建最终跟踪的实例分割。我们通过分割心脏MR视频中的左心室来评估复发性沙漏网络,它优于不包含视频信息的网络。此外,我们证明了余弦嵌入损失的适用性分割叶实例上的静止图像的植物。最后,我们评估的框架实例分割和跟踪六个数据集的ISBI细胞跟踪的挑战,它显示了国家的最先进的性能。
2018-07-30 cs.CV
Tracking Human-like Natural Motion Using Deep Recurrent Neural Networks
Kinect骨骼跟踪器能够以方便和低成本的方式实现可观的人体跟踪性能。然而,跟踪器经常捕捉不自然的人体姿势,如不连续和振动的运动时,发生自遮挡。大多数方法通过在工作空间中使用多个Kinect传感器来解决这个问题。然后在卡尔曼滤波器框架中对来自不同传感器的测量进行组合,或者将优化问题公式化用于传感器融合。然而,这些方法通常需要测量从每个Kinect传感器观察到的测量的可靠性。本文提出了一种基于单Kinect传感器的Kinect骨架改进方法,该方法采用监督学习技术对非自然跟踪运动进行修正。具体而言,深度循环神经网络用于改善Kinect骨架的关节位置和速度,并提出了三种方法来整合细化的位置和速度以进一步增强。此外,我们提出了一种新的措施来评估自然的捕获运动。我们评估了所提出的方法,通过与使用商业光学标记为基础的运动捕捉系统获得的地面实况进行比较。
2016-04-15 cs.CV cs.LG cs.NE
End-to-End Models for the Analysis of System 1 and System 2 Interactions based on Eye-Tracking Data
DISPOC, University of Siena(锡耶纳大学DISPOC);DSMCN, University of Siena(锡耶纳大学DSMCN);AIDILAB, Siena(锡耶纳AIDILAB)
虽然理论假设一个双重认知系统,仍然需要定量的确认,以理解和识别两个系统或冲突事件之间的相互作用。眼动是个体注意负荷最直接的标志之一,可以作为信息的重要代理。在这项工作中,我们提出了一种计算方法,在一个修改后的视觉版本的著名的Stroop测试,识别不同的任务和潜在的冲突事件之间的两个系统,通过收集和处理的数据有关的眼球运动。统计分析表明,所选变量可以表征不同场景下注意负荷的变化。此外,我们表明,机器学习技术可以区分不同的任务,具有良好的分类精度,并更深入地研究凝视动态。
2020-02-03 cs.CV cs.LG q-bio.NC
Three-Dimensional Embedded Attentive RNN (3D-EAR) Segmentor for Left Ventricle Delineation from Myocardial Velocity Mapping
The University of Hong Kong(香港大学);Imperial College London(伦敦帝国理工学院);Royal Brompton Hospital(皇家布朗普顿医院)
心肌速度标测心脏MR(MVM-CMR)可用于测量整体和局部心肌速度,具有良好的重复性。准确的左心室描绘是可靠和可重复的心肌速度估计的先决条件。在这个数据集上的传统手动分割可能是耗时和主观的,并且非常需要有效的全自动描绘方法。通过利用最近提出的基于深度学习的语义分割方法,在这项研究中,我们提出了一种新的全自动框架,该框架将3D-UNet骨干架构与嵌入式多通道注意力机制和基于LSTM的递归神经网络(RNN)结合起来,用于MVM-CMR数据集(称为3D-Cumbersegmentor)。所提出的方法还利用幅度和相位图像的合并作为输入,以实现该多通道数据集的信息融合,并通过嵌入式RNN探索时间帧的相关性。通过比较具有和不具有嵌入式专注LSTM模块和各种损失函数的3D-UNet和消融研究的基线模型,我们可以证明,所提出的模型的性能优于最先进的基线模型,并有显着改进。
2021-04-26 cs.CV eess.IV
Exploring the sequence length bottleneck in the Transformer for Image Captioning
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
最新的最先进的架构依赖于三种方法的组合和变化:卷积,循环和自我关注的方法。我们的工作试图奠定一个新的研究方向的基础上修改的序列长度的想法的基础上的序列建模。为了做到这一点,我们提出了一种新的方法称为“扩展机制”,它可以动态或静态地将输入序列转换为具有不同序列长度的新序列。此外,我们介绍了一种新的架构,利用这种方法,并实现了竞争力的表现在MS-COCO 2014数据集上,产生134.6和131.4 CIDEr-D的Karpathy测试分裂在合奏和单一模型配置分别和130 CIDEr-D在官方在线评估服务器,尽管既不是经常性的,也不是完全注意。与此同时,我们在设计中解决了效率方面的问题,并引入了一种方便的训练策略,与标准的训练策略相比,该策略适用于大多数计算资源。源代码可在https://github.com/jchenghu/exploring上获得
2022-12-24 cs.CV
Efficient Online Multi-Person 2D Pose Tracking with Recurrent Spatio-Temporal Affinity Fields
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种在线的方法来有效地,同时检测和跟踪视频序列中的多个人的2D姿态。我们建立在部分亲和场(PAF)表示设计的静态图像,并提出了一个架构,可以编码和预测时空亲和场(STAF)的视频序列。特别是,我们提出了一种新的时间拓扑交叉链接的四肢,可以始终处理身体运动的幅度很大。此外,我们使整个方法在本质上是重复的,其中网络从以前的帧中摄取STAF热图,并估计当前帧的STAF热图。我们的方法只使用在线推理和跟踪,是目前最快和最准确的自下而上的方法,是运行时不变的场景中的人数和精度不变的输入帧速率的相机。它在单GPU上以单规模以$\sim$ 30 fps的速度运行,在PoseTrack基准测试中取得了极具竞争力的结果。
2019-06-12 cs.CV
Colon Shape Estimation Method for Colonoscope Tracking using Recurrent Neural Networks
Nagoya University(名古屋大学);Aichi Institute of Technology(爱知工业大学);Nagoya University Hospital(名古屋大学医院);Technical University of Munich(慕尼黑工业大学);National Institute of Informatics(国立信息学研究所)
我们提出了一种估计方法,使用一个循环神经网络(RNN)的结肠的形状发生变形的结肠镜插入。需要结肠镜跟踪或导航系统将医生导航到息肉位置,以减少结肠穿孔等并发症。先前的跟踪方法在横结肠和乙状结肠处引起大的跟踪误差,因为这些区域在结肠镜插入期间很大程度上变形。在跟踪过程中应考虑结肠变形。我们提出了一种使用RNN的结肠变形估计方法,并在其插入结肠期间从电磁传感器获得结肠镜形状。该方法从结肠镜形状获得位置、方向和插入长度。从它的形状,我们还计算了相对功能,代表结肠镜上的两个点之间的位置和方向关系。长短期记忆用于根据结肠镜形状的特征的过去转变来估计当前结肠形状。我们在体模研究中进行了结肠形状估计,并在结肠镜插入过程中正确估计了结肠形状,估计误差为12.39(mm)。
2020-04-20 cs.CV
Pedestrian Tracking with Gated Recurrent Units and Attention Mechanisms
Worcester Polytechnic Institute(伍斯特理工学院)
行人跟踪一直被认为是一个重要的问题,特别是在安全应用中。以前,已经提出了许多具有各种类型的传感器的方法。一种流行的方法是行人航位推算(PDR)[1],它基于惯性测量单元(IMU)传感器。然而,PDR是一种基于积分和阈值的方法,其遭受累积误差和低精度。在本文中,我们提出了一种新的方法,其中传感器数据被馈送到一个深度学习模型来预测行人的位移和方向。我们还设计了一种新的装置来收集和构建包含同步IMU传感器数据和激光雷达测量的精确位置的数据库。初步结果是有希望的,我们计划通过收集更多的数据并将深度学习模型应用于所有一般的行人运动来推动这一进程。
2020-05-31 cs.CV cs.LG stat.ML
Predicting Confusion from Eye-Tracking Data with Recurrent Neural Networks
The University of British Columbia(不列颠哥伦比亚大学)
受到深度学习在各个领域的成功的鼓舞,我们研究了循环神经网络(RNN)在尚未使用深度学习的领域的适用性和有效性;即从眼动追踪数据中检测混淆。通过对用户与ValueChart(一种交互式可视化工具)交互的数据集进行实验,我们发现RNN从原始数据中学习特征表示,这使得分类器比以前使用工程特征的方法更强大。这通过RNN(0.74/0.71灵敏度/特异性)的更强性能来证明,与随机森林分类器(0.51/0.70灵敏度/特异性)相比,当两者都在未增强的数据集上训练时。然而,使用工程特征允许使用简单的数据增强方法。这些相同的方法在增强从原始数据中学习的特征表示方面并不有效,这可能是由于无法匹配数据的时间动态。
2019-06-19 cs.CV cs.HC cs.LG
Online Multi-Camera 3D Tracking via ID Prediction over Recurrent Sparse Queries
Playbox Inc.(Playbox 公司)
提出在线多相机3D跟踪架构,通过循环稀疏查询显式预测ID,结合Sparse4D检测与MOTIP解码,在AI City Challenge上HOTA从29.63提升至38.01,排名第三。
2026-09-17 cs.CV
MAT: A Multimodal Attentive Translator for Image Captioning
Tsinghua University(清华大学);Toutiao AI Lab(今日头条人工智能实验室);UESTC(电子科技大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在这项工作中,我们制定的问题,图像描述作为一个多模态翻译任务。类似于机器翻译,我们提出了一个序列到序列的递归神经网络(RNN)模型的图像字幕生成。与大多数现有的工作不同,其中整个图像由卷积神经网络(CNN)特征表示,我们建议将输入图像表示为检测到的对象的序列,该序列作为RNN模型的源序列。通过这种方式,图像的顺序表示可以自然地转换为单词序列,作为RNN模型的目标序列。为了以顺序的方式表示图像,我们提取图像中的对象特征,并使用卷积神经网络将它们按顺序排列。为了进一步利用来自编码对象的视觉信息,引入顺序注意层以选择性地注意相关的对象以在句子中生成对应的单词。在流行的基准数据集上进行了大量的实验来验证所提出的方法,MS COCO,和所提出的模型超越了国家的最先进的方法在所有指标以下的数据集分裂以前的工作。所提出的方法也由MS COCO字幕挑战的评估服务器进行评估,并且实现了非常有竞争力的结果,例如,a CIDEr为1.029(c5)和1.064(c40)。
2017-08-10 cs.CV
MambaPupil: Bidirectional Selective Recurrent model for Event-based Eye tracking
University of Science and Technology of China(中国科学技术大学)
本文提出MambaPupil网络,通过双向GRU与线性时变状态空间模块建模眼动长时上下文关系,并结合Bina-rep表示与Event-Cutout增强,在ThreeET-plus基准上取得CVPR'2024 AIS事件驱动眼动追踪挑战赛第一名。
2024-04-30 cs.CV
Where to Focus: Deep Attention-based Spatially Recurrent Bilinear Networks for Fine-Grained Visual Recognition
The University of Queensland(昆士兰大学);The University of New South Wales(新南威尔士大学)
细粒度的视觉识别通常依赖于对对象部分的细微差异进行建模。然而,这些部分往往表现出巨大的视觉变化,如遮挡,视点和空间变换,使其难以检测。在本文中,我们提出了一种新的基于注意力的模型,自动,选择性和准确地集中在关键对象区域具有较高的重要性,对外观变化。给定一幅图像,构造两个不同的卷积神经网络(CNN),其中两个CNN的输出通过双线性池化进行相关,以同时聚焦于有区别的区域并提取相关特征。为了捕捉具有视觉注意的局部区域之间的空间分布,结合了基于软注意的空间长短期记忆单元(LSTM),以实现对局部输入模式的空间递归但视觉选择性。所有上述直觉都为我们的网络提供了以下新模型:双流CNN层,双线性池化层,具有位置注意力的空间递归层通过端到端的方式联合训练,以作为部分检测器和特征提取器,从而专注地定位和提取相关特征。我们展示了我们的网络对两个著名的视觉识别任务的意义:细粒度的图像分类和人的重新识别。
2017-09-18 cs.CV
DORT: Modeling Dynamic Objects in Recurrent for Multi-Camera 3D Object Detection and Tracking
Shanghai AI Laboratory(上海人工智能实验室);The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong(香港中文大学)
DORT针对多相机3D检测中忽略物体运动导致定位偏差的问题,提出在循环中建模动态物体,通过物体级局部体素迭代优化运动与位置,实现精确跨帧特征聚合,并在nuScenes检测与跟踪上取得领先性能。
2023-04-19 cs.CV
Spatiotemporal Distillation via Recurrent Bottlenecks for Aortic Tracking
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Polytechnique Montreal(蒙特利尔理工学院)
该研究提出半监督时空知识蒸馏框架,利用循环瓶颈将空间教师模型知识迁移到时空学生模型,实现主动脉追踪准确率与可靠性提升,减少结构异常超56%。
2026-08-26 cs.CV cs.LG eess.IV
Attentive Contexts for Object Detection
Beijing Institute of Technology University(北京理工大学);Beijing Jiaotong University(北京交通大学);Sun Yat-Sen University(中山大学);National University of Singapore(新加坡国立大学)
基于现代深度神经网络的目标检测方法通常使用候选提案的内部特征对其进行分类。然而,被认为对目标检测有价值的全局和局部周围环境尚未被现有方法充分利用。在这项工作中,我们采取了一个步骤,了解什么是一个强大的做法,提取和利用上下文信息,以促进目标检测在实践中。具体来说,我们考虑以下两个问题:“如何识别有用的全局上下文信息,以检测某一对象?以及“如何利用提案的当地背景更好地推断其内容?".我们通过开发一种新的基于上下文卷积神经网络(AC-CNN)的目标检测模型,为这些问题提供了初步的答案。AC-CNN有效地将全局和局部上下文信息合并到基于区域的CNN(例如,快速RCNN)检测模型中,并提供更好的目标检测性能。它由一个基于注意力的全局上下文化(AGC)子网络和一个多尺度局部上下文化(MLC)子网络组成。为了捕获全局上下文,AGC子网络通过多个堆叠的长短期记忆(LSTM)层,为输入图像循环地生成注意力图,以突出有用的全局上下文位置。为了捕获周围的本地上下文,MLC子网络在多个尺度上利用每个特定提案的内部和外部上下文信息。然后将全局和局部上下文融合在一起,以做出最终的检测决策。在PASCAL VOC 2007和VOC 2012上进行的大量实验很好地证明了所提出的AC-CNN优于既定基线。特别是,AC-CNN在VOC 2007和VOC 2012的mAP方面分别优于流行的Fast-RCNN 2.0%和…
2016-03-24 cs.CV