CRACT: Cascaded Regression-Align-Classification for Robust Visual Tracking
Stony Brook University（石溪大学）
高质量的目标建议是利用区域建议网络（RPN）的视觉跟踪算法的关键。这些建议的改进，通常是通过箱回归和分类并行，已被广泛采用，以提高跟踪性能。然而，在处理复杂动态背景时，该方法仍存在一些问题。因此，出于动机，在本文中，我们介绍了一个改进的建议细化模块，级联回归对齐分类（CRAC），它产生了新的国家的最先进的性能在许多基准测试。首先，我们观察到，从框回归的偏移量可以作为建议功能细化的指导，我们设计CRAC作为一个级联的框回归，功能对齐和框分类。关键是通过对齐步骤来桥接框回归和分类，这会为建议分类带来更准确的特征，并提高鲁棒性。为了解决对象外观的变化，我们引入了一个用于框分类的识别-区分组件，该组件利用离线可靠的细粒度模板和在线丰富的背景信息来区分目标和背景。此外，我们提出了金字塔RoIAlign的好处CRAC利用本地和全球线索的建议。在推理过程中，跟踪通过对所有细化的建议进行排名并选择最佳建议来进行。在包括OTB-2015，UAV 123，NfS，VOT-2018，TrackingNet，GOT-10 k和LaSOT在内的七个基准测试中，与最先进的竞争对手相比，我们的CRACT表现出非常有希望的结果，并实时运行。
2020-11-25 cs.CV
Visual Relationship Detection Based on Guided Proposals and Semantic Knowledge Distillation
CEA, LIST（法国原子能与替代能源委员会 信息与技术系统实验室）；CERMICS, Ecole des Ponts（巴黎路桥学院 数学与科学计算中心）
对图像内容的透彻理解需要对自然世界中可能发生的相互作用进行复杂的把握。其中一个关键问题是描述对象之间的视觉关系。在处理真实世界的数据时，捕捉这些非常多样化的交互是一个难题。它可以通过在网络中加入常识来缓解。为此，我们提出了一个框架，该框架利用语义知识并在训练和测试阶段估计对象对的相关性。从预先计算的模型和训练注释中提取的这些信息被提取到专用于此任务的神经网络中。使用这种方法，我们观察到所有类别的视觉基因组，一个具有挑战性的视觉关系数据集的显着改善。在100处的召回率的68.5%的相对增益与相关性估计直接相关，并且与知识蒸馏的32.7%的增益直接相关。
2018-05-28 cs.CV
VL-NMS: Breaking Proposal Bottlenecks in Two-Stage Visual-Language Matching
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Hong Kong University of Science and Technology（香港科技大学）
用于匹配多模态输入的流行框架基于两个阶段的过程：1）使用对象检测器检测提议，以及2）将文本查询与提议匹配。现有的两阶段解决方案主要集中在匹配步骤。在本文中，我们认为这些方法忽略了两个阶段中提案角色之间的明显\emph{mismatch}：它们仅基于检测置信度生成提案（即，查询不可知的），希望建议包含文本查询中提到的所有实例（即，查询感知）。由于这种不匹配，可能与文本查询相关的建议在过滤过程中被抑制，这反过来限制了匹配性能。为此，我们提出了VL-NMS，这是第一个方法，以产生查询感知的建议在第一阶段。VL-NMS将所有提到的实例视为关键对象，并引入了一个轻量级模块来预测将每个建议与关键对象对齐的分数。这些分数可以指导NMS操作过滤掉与文本查询无关的建议，增加关键对象的召回，从而显著提高匹配性能。由于VL-NMS与匹配步骤无关，因此可以轻松集成到任何最先进的两阶段匹配方法中。我们验证了VL-NMS的有效性，两个多模态匹配任务，即指表达接地和图像-文本匹配。对几种基线和基准的广泛消融研究一致证明了VL-NMS的优越性。
2023-01-05 cs.CV
Show, Tell and Summarize: Dense Video Captioning Using Visual Cue Aided Sentence Summarization
School of Electrical and Information Engineering, University of Sydney（悉尼大学电气与信息工程学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
提出分割与总结（DaS）框架解决密集视频描述问题，将任务转化为视觉线索辅助的句子摘要，通过两阶段LSTM结合分层注意力机制编码语义与视觉信息并生成描述，在ActivityNet Captions数据集上验证了有效性。
2025-06-25 cs.AI cs.CV
VAT-Mart: Learning Visual Action Trajectory Proposals for Manipulating 3D ARTiculated Objects
Stanford University（斯坦福大学）；Tencent AI Lab（腾讯人工智能实验室）
感知和操纵3D铰接对象（例如，橱柜，门）是未来家庭助理机器人的一项重要但具有挑战性的任务。3D铰接对象的空间在其无数的语义类别、多样的形状几何和复杂的部件功能方面异常丰富。以往的工作主要是抽象的运动学结构与估计的关节参数和部分构成的视觉表示操纵三维关节对象。在本文中，我们提出了以对象为中心的可操作的视觉先验作为一种新的感知交互握手点，感知系统输出比运动学结构估计更多的可操作的指导，通过预测密集的几何感知，交互感知和任务感知的视觉动作启示和轨迹建议。我们设计了一个交互感知框架VAT-Mart，通过同时训练好奇心驱动的强化学习策略来学习这种可操作的视觉表示，探索不同的交互轨迹和感知模块，总结和概括所探索的知识，用于不同形状之间的逐点预测。实验证明了该方法的有效性，使用大规模的PartNet-Mobility数据集在SAPIEN环境中，并显示出有前途的泛化能力，新的测试形状，看不见的对象类别，和现实世界的数据。项目页面：https://hyperplane-lab.github.io/vat-mart
2022-04-01 cs.CV cs.RO
OptiBox: Breaking the Limits of Proposals for Visual Grounding
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）
近年来，语言基础问题由于其在更一般的图像语言高级推理任务（例如，图像描述，VQA）。尽管在视觉基础方面取得了巨大的进步，但大多数方法的性能都受到了最近所有管道早期阶段获得的限界框建议的质量的阻碍。为了解决这个问题，我们提出了一个通用的渐进式查询引导的限界框细化架构（OptiBox），利用全局图像编码添加上下文。我们在2016年首次引入的GroundeR模型中应用了这种架构，该模型具有许多独特而吸引人的特性，例如通过利用循环语言重构在半监督环境中学习的能力。使用GroundeR + OptiBox和我们提出的一个简单的语义语言重建损失，我们在Flickr 30k实体数据集的监督设置中实现了最先进的接地性能。更重要的是，我们能够超越许多最近的全监督模型，只有50%的训练数据，并在低至3%的情况下表现出竞争力。
2019-11-29 cs.CV
Visual Relationship Detection with Low Rank Non-Negative Tensor Decomposition
School of Computing, National University of Singapore（新加坡国立大学计算学院）
我们解决的问题，视觉关系检测（VRD），其目的是描述之间的关系对对象的三元组（主语，谓语，宾语）的形式。我们观察到，给定一对限界框建议，对象通常参与多重关系，这意味着三元组的分布是多模态的。我们利用三元组内的强相关性来学习以图像和限界框建议为条件的三元组变量的联合分布，从而消除迄今为止使用的三元组的独立分布。为了使学习三重联合分布可行，我们引入了一种新的技术，学习条件三重分布的形式，其归一化的低秩非负张量分解。归一化张量分解采取离散变量的混合分布的形式，因此能够捕获多模态。这使我们能够有效地学习高阶离散多峰分布，同时保持参数大小可管理。我们进一步建模的概率选择一个对象的建议对，并包括一个关系三元组在我们的模型。我们证明了模型的每个部分都提高了性能，并且组合在视觉基因组（VG）和视觉关系检测（VRD）数据集上的表现优于最先进的分数。
2019-11-22 cs.CV cs.LG
Grasp Proposal Networks: An End-to-End Solution for Visual Learning of Robotic Grasps
South China University of Technology（华南理工大学）；Samsung, USA（三星美国）
从视觉观察中学习机器人抓握是一项有前途但具有挑战性的任务。最近的研究表明，它通过准备和学习大规模的合成数据集的巨大潜力。对于目前流行的6自由度平行爪夹持器的抓取设定，现有的方法大多采用随机采样抓取候选对象，然后使用学习的评分函数对其进行评价的策略。这种策略是有限的，在采样效率和覆盖范围之间的冲突的最佳把握。为此，我们提出了一种新的，端到端的\emph{Grasp Proposal Network (GPNet)}，在这项工作中，预测一个看不见的对象从一个单一的和未知的相机视图观察到的6自由度把握不同的设置。GPNet建立在抓取建议模块的关键设计之上，该模块在离散但规则的3D网格拐角处定义了\emph{anchors of grasp centers}，该模块可以灵活地支持更精确或更多样化的抓取预测。为了测试GPNet，我们提供了一个6自由度物体抓取的合成数据集;使用基于规则的标准，模拟测试和真实测试进行评估。比较结果表明，我们的方法比现有的优势。值得注意的是，GPNet通过指定的覆盖率获得了更好的模拟结果，这有助于在实际测试中实现现成的翻译。我们将公开我们的数据集。
2020-09-26 cs.CV
Synthetically Trained Icon Proposals for Parsing and Summarizing Infographics
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
本文提出一种合成数据生成策略，利用互联网抓取的图标增强信息图背景，训练图标提议机制，以38%精确率和34%召回率定位图标，并结合图标分类与文本提取实现多模态总结应用。
2018-07-27 cs.CV
CPARR: Category-based Proposal Analysis for Referring Relationships
University of Southern California（南加州大学）
引用关系的任务是在满足关系查询的图像中定位主体和对象实体，该关系查询以\texttt{<subject, predicate, object>}的形式给出。这需要同时本地化指定关系中的主体和客体实体。我们介绍了一种简单而有效的基于提议的推荐关系的方法。与现有的方法，如SSAS不同，我们的方法可以产生一个高分辨率的结果，同时降低其复杂性和模糊性。我们的方法是由两个模块组成：一个基于类别的建议生成模块，以选择相关的实体和谓词分析模块，以得分的兼容性对选定的建议。我们在两个公共数据集上展示了引用关系任务的最新性能：视觉关系检测和视觉基因组。
2020-04-17 cs.CV
Learning Deep Neural Networks for Vehicle Re-ID with Visual-spatio-temporal Path Proposals
The Chinese University of Hong Kong（香港中文大学）；SenseTime Group Limited（商汤集团有限公司）
车辆识别是视频监控和智能交通中的一个重要问题，在智能交通中有着广泛的应用。由于近年来个人身份识别技术的发展，它越来越受到人们的关注。然而，与人的重新识别不同，成对车辆图像之间的视觉差异通常是微妙的，甚至对人类来说是具有挑战性的。附加的时空信息的解释是解决具有挑战性的重新识别任务至关重要。现有的车辆重新识别方法忽视或使用过于简化的车辆图像时空关系模型。在本文中，我们提出了一个两阶段的框架，结合复杂的时空信息，有效地正则化的重新识别结果。给定一对具有时空信息的车辆图像，首先通过具有深度学习的势函数的链式MRF模型生成候选视觉时空路径，其中每个视觉时空状态对应于具有时空信息的实际车辆图像。Siamese-CNN+Path-LSTM模型采用候选路径以及成对查询来生成它们的相似性得分。大量的实验和分析表明，我们提出的方法和个别组件的有效性。
2017-08-13 cs.CV
Where is my Wallet? Modeling Object Proposal Sets for Egocentric Visual Query Localization
Meta AI；KAUST（阿卜杜拉国王科技大学）
针对自我中心视觉查询定位中的隐式偏差，提出通过扩展标注、动态丢弃物体候选及基于Transformer的CocoFormer模块进行改进，在VQ2D和VQ3D任务及少样本检测中取得领先成绩。
2023-04-06 cs.CV
Deformable-Heatmap-Segmentation for Automobile Visual Perception
针对汽车视觉感知中道路元素语义分割任务，提出融合可变形卷积、U型高低层特征融合及热图提议机制的DHSNet，可精准检测多形状多尺度静态道路目标。
2024-07-10 cs.CV
Visual Grounding with Transformers
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
在本文中，我们提出了一种基于Transformer的方法来实现可视化接地。与以前的proposal-and-rank框架严重依赖于预训练的对象检测器或无proposal-free框架通过融合文本嵌入来升级现成的一级检测器不同，我们的方法构建在Transformer编码器-解码器之上，并且独立于任何预训练的检测器或词嵌入模型。我们的方法被称为VGTR -- Visual Grounding with Transformers，旨在在文本描述的指导下学习具有语义区分性的视觉特征，而不会损害它们的定位能力。这种信息流使我们的VGTR具有很强的能力，在捕获视觉和语言模态的上下文级别的语义，使我们能够聚集准确的视觉线索暗示的描述，以定位感兴趣的对象实例。实验表明，我们的方法优于国家的最先进的无命题的方法在五个基准相当大的利润，同时保持快速的推理速度。
2022-03-14 cs.CV
Joint Top-Down and Bottom-Up Frameworks for 3D Visual Grounding
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
本文提出一种联合自顶向下与自底向上的三维视觉定位框架，先以轻量级模块生成粗略候选，再利用图设计整合候选上下文，在ScanRefer上取得最优性能。
2024-10-21 cs.CV
PropVG: End-to-End Proposal-Driven Visual Grounding with Multi-Granularity Discrimination
Southeast University（东南大学）；Zhejiang University（浙江大学）；Baidu VIS（百度视觉）；Jiangnan University（江南大学）
针对现有端到端视觉定位方法忽略潜在目标、缺乏多粒度判别的问题，提出PropVG框架，融合提议生成与指称理解，搭配CRS、MTD模块，在多个基准上验证了有效性。
2025-09-05 cs.AI cs.CV
Knowledge Aided Consistency for Weakly Supervised Phrase Grounding
University of Southern California（南加利福尼亚大学）
给定自然语言查询，短语基础系统旨在定位图像中提到的对象。在弱监督场景中，图像区域之间的映射（即，建议）和语言在培训集中不可用。先前的方法通过训练基础系统来解决这个缺陷，该基础系统通过学习从预测的建议重构输入查询中包含的语言信息来训练。然而，优化仅仅是由语言模态的重建损失，并忽略了丰富的视觉信息中包含的建议和有用的线索，从外部知识。在本文中，我们探讨了视觉和语言形式的一致性，并利用互补的外部知识，以促进弱监督接地。提出了一种新的知识辅助一致性网络（KAC网），通过重构输入查询和建议的信息进行优化。为了利用视觉特征中包含的互补知识，我们引入了基于知识的池（KBP）门，专注于查询相关的建议。实验表明，KAC网在两个流行的数据集上提供了显着的改进。
2018-03-11 cs.CV
SportsGrounder: Proposal-Aided Interleaved Grounding for Dense Sports Video Reasoning
Zhejiang University（浙江大学）；Beijing Jiaotong University（北京交通大学）
针对LMMs难以处理密集体育视频细粒度推理的问题，提出SportsGrounder框架，结合IGF机制与AAS模块，在SoccerNet等数据集上实现最优准确率。
2026-08-21 cs.CV
Object-Adaptive LSTM Network for Real-time Visual Tracking with Adversarial Data Augmentation
Xiamen University（厦门大学）；Tsinghua University（清华大学）；Xiamen University of Technology（厦门理工学院）；Queen’s University Belfast（贝尔法斯特女王大学）
近年来，由于卷积神经网络（CNN）强大的特征表示能力，基于深度学习的视觉跟踪方法取得了巨大的成功。在这些方法中，基于分类的跟踪方法表现出优异的性能，但它们的速度受到大规模建议特征提取的昂贵计算的严重限制。相比之下，基于匹配的跟踪方法（如暹罗网络）具有显着的速度优势。然而，在线更新的缺乏使得这些方法不适用于显著的对象外观变化。本文提出了一种新的实时的【形】视觉跟踪方法，该方法采用对象自适应LSTM网络来有效地捕获视频序列依赖性，并自适应地学习对象外观变化。为了提高计算效率，我们还提出了一种快速建议选择策略，该策略利用基于匹配的跟踪方法来预先估计密集建议，并选择高质量的建议馈送到LSTM网络进行分类。该策略有效地过滤掉了一些不相关的建议，避免了特征提取的冗余计算，这使得我们的方法比传统的基于分类的跟踪方法更快。此外，为了解决在线跟踪过程中样本不足和类别不平衡的问题，我们采用了基于生成对抗网络（GAN）的数据增强技术来促进LSTM网络的训练。在四个视觉跟踪基准上的实验表明，该方法在跟踪精度和速度上都达到了最高水平，显示了递归结构在视觉跟踪中的巨大潜力.
2020-02-07 cs.CV
PIRC Net : Using Proposal Indexing, Relationships and Context for Phrase Grounding
University of Southern California（南加州大学）
短语接地的目的是检测和定位图像中的对象，所述对象由自然语言短语引用和查询。短语基础在诸如视觉对话、视觉搜索和图像-文本共指解析等任务中找到应用。在本文中，我们提出了一个框架，利用信息，如短语类别，相邻短语之间的关系在一个句子和上下文，以提高短语接地系统的性能。我们提出了三个模块：建议索引网络（PIN）;短语间回归网络（IRN）和建议排名网络（PRN），每个网络都通过合并上述信息以增加的细节水平分析图像的区域建议。此外，在没有地面实况的空间位置的短语（弱监督），我们提出了知识转移机制，利用PIN模块的框架。我们证明了我们的方法在Flickr 30 k实体和ReferItGame数据集上的有效性，我们在监督和弱监督变体中实现了对最先进方法的改进。
2018-12-07 cs.CV
You Only Look & Listen Once: Towards Fast and Accurate Visual Grounding
视觉基础（VG）的目的是基于灵活的自然语言查询而不是预定义的标签来定位图像中最相关的区域，因此在实际应用中它可以是比目标检测更有用的技术。VG中的大多数最先进的方法以两阶段的方式操作，其中第一阶段采用对象检测器来从输入图像生成一组对象建议，第二阶段简单地被公式化为跨模态匹配问题，该问题找到语言查询和所有区域建议之间的最佳匹配。这是相当低效的，因为在第一阶段可能产生了数百个建议，需要在第二阶段进行比较，更不用说这种策略的执行不准确。在本文中，我们提出了一个简单，直观，更优雅的一个阶段的检测为基础的方法，联合区域的建议和匹配阶段作为一个单一的检测网络。该检测是以输入查询为条件的，具有一堆新颖的注意力模块，将图像与查询的关系转换为关系图，该关系图用于直接预测限界框，而不提出大量无用的区域建议。在推理过程中，我们的方法比以前的方法快20倍~ 30倍，并且在几个基准数据集上的最新结果之上，它实现了18% ~ 41%的绝对性能提高。我们在https://github.com/openblack/rvg上发布我们的代码和所有预训练的模型。
2019-03-17 cs.CV
Multi-Modulation Network for Audio-Visual Event Localization
University of Science and Technology of China（中国科学技术大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Rochester（罗切斯特大学）
我们研究的问题，本地化的视听事件，都是可听和可见的视频。现有的工作集中在编码和调整音频和视觉功能在段级，而忽略了两种模式的段之间的信息相关性和多尺度事件的建议。我们提出了一种新的多调制网络（M2N）来学习上述相关性，并利用它作为语义指导来调制相关的听觉，视觉和融合功能。特别是，在特征编码过程中，我们提出了跨模态归一化和模态内归一化。前者通过建立和利用跨模态关系来调节两种模态的特征。后者通过同一情态的事件相关语义引导来调节单个情态的特征。在融合阶段，我们提出了一个多尺度的建议调制模块和多对齐段调制模块，以引入多尺度的事件建议，并使交叉模态段之间的密集匹配。M2N利用视听事件相关信息调制的听觉、视觉和融合特征进行精确的事件定位。在AVE数据集上进行的大量实验表明，我们提出的方法在监督事件定位和跨模态定位方面都优于现有技术。
2021-08-30 cs.CV
IPFormer: Visual 3D Panoptic Scene Completion with Context-Adaptive Instance Proposals
Fraunhofer Institute IVI（弗劳恩霍夫研究所IVI）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of California, Los Angeles（加州大学洛杉矶分校）
IPFormer通过上下文自适应实例提案实现视觉3D全景场景补全，提升场景理解与泛化能力。
2026-01-24 cs.CV
A Novel Deep ML Architecture by Integrating Visual Simultaneous Localization and Mapping (vSLAM) into Mask R-CNN for Real-time Surgical Video Analysis
The Harker School（哈克学校）
每年有700万人遭受手术并发症，但通过充分的手术培训和审查，50%的并发症是可以预防的。为了提高手术性能，现有研究使用各种深度学习（DL）技术，包括卷积神经网络（CNN）和递归神经网络（RNN）来自动化手术工具和工作流程检测。然而，还有提高准确性的空间;由于CNN的复杂性，实时分析也是最小的。在这项研究中，提出了一种新的DL架构，将视觉同时定位和映射（vSLAM）集成到Mask R-CNN中。这种架构vSLAM-CNN（vCNN）首次整合了两个世界的最佳方案，包括（1）用于对象检测的vSLAM，专注于区域建议的几何信息，以及（2）用于对象识别的CNN，专注于图像分类的语义信息，将它们组合成一个联合的端到端训练过程。该方法使用时空信息以及视觉特征，在M2 CAI 2016挑战数据集上进行了评估，实现了最先进的结果，工具检测为96.8 mAP，工作流检测为97.5平均Jaccard得分，超过了所有以前的作品，并达到了50 FPS的性能，比基于区域的CNN快10倍。区域建议模块（RPM）取代了Mask R-CNN中的区域建议网络（RPN），准确地放置边界框并减少了注释要求。此外，微软还开发了一个HoloLens 2应用程序，为手术培训和辅助提供基于增强现实（AR）的解决方案。
2022-04-18 cs.CV eess.IV
SeqVLM: Proposal-Guided Multi-View Sequences Reasoning via VLM for Zero-Shot 3D Visual Grounding
School of Informatics, Xiamen University（厦门大学信息学院）；School of Computer Science, Nanjing University（南京大学计算机科学学院）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（教育部多媒体可信感知与高效计算重点实验室，厦门大学）
SeqVLM提出一种零样本3D视觉定位框架，通过语义过滤生成3D实例提案并投影到多视图图像序列，结合动态调度与VLM跨模态推理，在ScanRefer和Nr3D上取得领先性能。
2025-08-28 cs.AI cs.CV
Siamese Cascaded Region Proposal Networks for Real-Time Visual Tracking
Temple University（天普大学）
区域建议网络（RPN）最近已与暹罗网络相结合，用于跟踪，并显示出良好的精度和高效率。然而，以前提出的一个阶段的暹罗RPN跟踪退化存在类似的干扰和大规模的变化。针对这些问题，我们提出了一个多阶段的跟踪框架，暹罗级联RPN（C-RPN），它由一系列的RPN级联从深层次的高层到浅层次的低层次的暹罗网络。与以前的解决方案相比，C-RPN有几个优点：（1）每个RPN都是使用前一阶段RPN的输出进行训练的。这样的过程刺激了硬负采样，导致更平衡的训练样本。因此，RPN在区分困难背景（即，类似的干扰物）。(2)通过针对每个RPN的新颖的特征传递块（FTB）充分利用多级特征，进一步使用高级语义和低级空间信息来提高C-RPN的可辨别性。(3)通过多步回归，C-RPN利用前一阶段调整的锚框逐步细化每个RPN中目标的位置和形状，使定位更加准确。C-RPN使用多任务损失函数进行端到端训练。在推理中，C-RPN被部署为实时的【形】跟踪，而没有任何时间适应。在OTB-2013、OTB-2015、VOT-2016、VOT-2017、LaSOT和TrackingNet上进行的大量实验中，C-RPN始终实现最先进的结果并实时的【形】运行。
2018-12-14 cs.CV
Robust Tracking Using Region Proposal Networks
SenseTime Group Limited（商汤集团有限公司）
视觉跟踪的最新进展表明，为图像分类训练的深度卷积神经网络（CNN）可以成为区分性跟踪器的强大特征提取器。然而，由于图像分类和跟踪之间的巨大差异，额外的处理，如模型集成和特征工程必须进行桥梁的两个领域。这样的过程要么很耗时，要么很难在数据集上很好地推广。在本文中，我们发现区域建议网络（RPN）的顶层特征的内部结构可以用于鲁棒的视觉跟踪。我们发现，这种属性必须释放一个新的损失函数，同时考虑分类精度和限界框质量。在没有集成和对特征图进行任何额外处理的情况下，我们提出的方法在包括OTB50，OTB100和VOT 2016在内的几个大规模基准上取得了最先进的结果。我们将公开我们的代码。
2017-05-30 cs.CV
GVC-Seg: Training-Free 3D Instance Segmentation via Geometric Visual Correspondence
Victoria University of Wellington（惠灵顿维多利亚大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Southern University of Science and Technology（南方科技大学）
提出GVC-Seg，一种免训练的3D实例分割方法，通过几何与视觉特征对应消除多模型集成中的置信度偏差，在多个基准上达到最优性能。
2026-06-06 cs.AI cs.CV
YOLO -- You only look 10647 times
Bielefeld University（比勒费尔德大学）
通过这项工作，我们解释了“你只看一次”（YOLO）的单阶段目标检测方法作为一个平行的分类10647固定区域的建议。我们支持这一观点，通过显示每个YOLO输出像素都关注先前层的特定子区域，相当于局部区域建议。这种理解减少了类似YOLO的单阶段目标检测模型、类似RCNN的基于两阶段区域建议的模型和类似ResNet的图像分类模型之间的概念差距。此外，我们还创建了交互式探索工具，以便更好地直观了解YOLO信息处理流：https://limchr.github.io/yolo_visualization
2022-01-21 cs.CV
Detecting small polyps using a Dynamic SSD-GAN
University College London（伦敦大学学院）；Odin Vision（奥丁视觉（Odin Vision））；Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS)（惠康/工程与物理科学研究委员会介入与外科科学中心（WEISS））
内窥镜检查用于检查喉咙，胃和肠的息肉，这些息肉可能发展成癌症。可以训练机器学习系统来处理结肠镜检查图像并检测息肉。然而，这些系统往往对图像中视觉上看起来很小的对象表现不佳。这里显示，将单次检测器作为区域建议网络与逆向训练的生成器相结合以上采样小区域建议可以显着提高视觉小息肉的检测。与传统的FCN基线相比，本文介绍的动态SSD-GAN管道在视觉上小的息肉上实现了12%的灵敏度提高。
2020-10-29 cs.CV cs.LG
ProposalCLIP: Unsupervised Open-Category Object Proposal Generation via Exploiting CLIP Cues
Monash University（蒙纳士大学）
目标建议生成是计算机视觉中一项重要而基础的任务。在本文中，我们提出了ProposalCLIP，一种无监督的开放类别对象提案生成方法。不像以前的作品，需要大量的限界框注释和/或只能生成有限的对象类别的建议，我们的ProposalCLIP是能够预测的建议，为大量的各种各样的对象类别没有注释，通过利用CLIP（对比语言图像预训练）线索。首先，我们分析了CLIP的无监督开放类别的建议书生成和设计的基础上，我们对建议书选择的实证分析的客观性评分。其次，提出了一个基于图的合并模块，解决了CLIP提示的局限性，合并碎片化的建议。最后，我们提出了一个建议回归模块，该模块基于CLIP线索提取伪标签，并训练一个轻量级网络来进一步改进建议。在PASCAL VOC，COCO和Visual Genome数据集上的广泛实验表明，我们的ProposalCLIP可以比以前的最先进的方法更好地生成提案。我们的ProposalCLIP还显示了对下游任务的好处，例如无监督目标检测。
2022-01-18 cs.CV
Free-form Description Guided 3D Visual Graph Network for Object Grounding in Point Cloud
Xidian University（西安电子科技大学）；Hunan University（湖南大学）；The University of Western Australia（西澳大学）
3D对象接地旨在基于自由形式的语言描述在原始点云场景中定位最相关的目标对象。由于点云的不规则性和稀疏性，理解复杂多样的描述并将其直接提升为点云是一个新的具有挑战性的课题。3D对象接地主要有三个挑战：在复杂多样的描述中找到主要焦点;理解点云场景;定位目标对象。在本文中，我们将解决所有三个挑战。首先，我们提出了一个语言场景图模块来捕捉丰富的结构和长距离短语相关性。其次，我们引入了一个多层次的三维建议关系图模块来提取对象与对象、对象与场景的共现关系，增强了初始建议的视觉特征。最后，我们开发了一个描述引导的三维可视化图形模块，通过节点匹配策略对短语和建议的全局上下文进行编码。在具有挑战性的基准数据集（ScanRefer和Nr 3D）上进行的大量实验表明，我们的算法优于现有的最先进的算法。我们的代码可以在https://github.com/PNXD/FFL-3DOG上找到。
2021-03-30 cs.CV
MB-ORES: A Multi-Branch Object Reasoner for Visual Grounding in Remote Sensing
University Sorbonne Paris Nord（巴黎北索邦大学）；University Paris-Saclay（巴黎-萨克雷大学）；UVSQ（凡尔赛大学）
提出统一框架MB-ORES，通过多分支网络与目标推理网络集成目标检测与视觉定位，在OPT-RSVG和DIOR-RSVG数据集上显著优于现有方法。
2025-03-31 cs.AI cs.CL cs.CV
PPGN: Phrase-Guided Proposal Generation Network For Referring Expression Comprehension
Hunan University（湖南大学）；Microsoft Research Asia（微软亚洲研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
指称表达理解（REC）的目的是找到短语在给定图像中所指的位置。建议生成和建议表示是许多两阶段REC方法中的两种有效技术。然而，现有的大多数工作只关注提案表示，而忽视了提案生成的重要性。因此，这些方法产生的低质量的建议成为REC任务的性能瓶颈。在本文中，我们重新考虑的建议生成的问题，并提出了一种新的短语引导的建议生成网络（PPGN）。PPGN的主要实现原理是用文本细化视觉特征，并通过回归生成建议。实验表明，该方法是有效的，在基准数据集上达到了SOTA性能.
2020-12-20 cs.AI cs.CV cs.MM
HKVLM: Faithful Query--Region Binding for Frozen-Detector Visual Grounding
Bo Ma
提出HKVLM框架，通过将定位从语言路径中分离，利用冻结检测器和语言模型，仅训练轻量对齐钩子实现推理定位，在少样本冷启动场景下显著提升定位精度并减少幻觉。
2026-07-07 cs.CV
Proposal-free One-stage Referring Expression via Grid-Word Cross-Attention
Northwestern Polytechnical University（西北工业大学）；University of Adelaide（阿德莱德大学）
指称表达理解（REC）是视觉问答等视觉和语言任务的关键步骤，已成为视觉推理中最重要的任务之一。然而，由于两阶段方法计算量大，不可避免的误差积累，以及一阶段方法需要依赖大量的超参数（如锚点）来生成限界框，使得该方法在许多后续任务中没有得到广泛应用。在本文中，我们提出了一个无建议的一阶段（PFOS）模型，能够回归的区域的兴趣从图像，基于文本查询，在一个端到端的方式。而不是使用主导锚提案的时尚，我们直接采取密集的网格图像作为输入的交叉注意力Transformer，学习网格词的对应关系。直接从图像预测最终的限界框，而不像以前的方法那样需要耗时的锚点选择过程。我们的模型在四个引用表达式数据集上实现了最先进的性能，与以前最好的一阶段和两阶段方法相比，具有更高的效率。
2021-05-05 cs.CV
PGL-3D: Towards Progressive Geometric Learning for 3D Visual Query Localization
Wuhan University（武汉大学）；University of North Texas（北德克萨斯大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
PGL-3D提出预测-选择-细化-重新预测框架，利用中间立方体几何引导特征更新，提升3D视觉查询定位性能，stAP达0.270，并在GSOT3D上提升mAO至25.78%。
2026-09-30 cs.CV
Deep Attributes from Context-Aware Regional Neural Codes
Beihang University（北京航空航天大学）；Intel Labs China（英特尔中国研究院）；Columbia University（哥伦比亚大学）
近年来，许多研究采用卷积神经网络模型（CNN）的中间层输出作为不同视觉识别任务的特征。虽然在一些实证研究中取得了可喜的成果，这种类型的表征仍然受到众所周知的语义差距问题。本文从三个方面提出了所谓的深度属性框架来缓解这个问题。首先，我们引入目标区域建议作为中介来表示目标图像，并从区域建议中提取特征。其次，我们研究了聚合所有区域建议的不同CNN层的特征。聚合产生输入图像的整体而紧凑的表示。结果表明，跨区域最大池的软最大层输出优于所有其他层。由于soft-max层直接对应于语义概念，因此这种表示被称为“深层属性”。第三，我们观察到，只有一小部分的生成区域的对象建议算法相关的分类目标。因此，我们引入上下文感知的区域细化算法来挑选上下文区域并构建上下文感知的分类器。我们将所提出的深度属性框架应用于各种视觉任务。广泛的实验进行了三个视觉识别任务的标准基准，即，图像分类、细粒度识别和可视化实例检索。结果表明，深度属性方法实现了最先进的结果，并以显着的优势优于现有的对等方法，即使一些基准与预训练的CNN模型的概念几乎没有重叠。
2015-09-08 cs.CV cs.LG cs.NE
Correlation Tracking via Robust Region Proposals
Beijing Institute of Technology（北京理工大学）
最近，基于相关滤波器的跟踪器由于其简单性和优越的速度而受到广泛关注。然而，当目标由于预定义的采样策略而经历遮挡、视点改变或其他具有挑战性的属性时，这样的跟踪器表现不佳。为了解决这些问题，在本文中，我们提出了一种自适应区域建议方案来促进视觉跟踪。更具体地说，提出了一种新的跟踪监测指标来预测跟踪失败。之后，我们分别结合检测和缩放建议，以从模型漂移中恢复并处理纵横比变化。我们测试了几个具有挑战性的序列，这表明，所提出的跟踪器对国家的最先进的跟踪器表现良好的算法。
2018-06-14 cs.CV
Proposal-free Temporal Moment Localization of a Natural-Language Query in Video using Guided Attention
Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision (ACRV)（澳大利亚机器人视觉中心（ACRV））；Graduate School of Engineering, The University of Tokyo（东京大学工学研究生院）；The University of Tokyo（东京大学）；Graduate School of Engineering（东京大学工学研究生院）
研究了以自然语言为查询语言的长视频序列的时间矩定位问题。给定一个未修剪的视频和一个句子作为查询，目标是确定视频中与查询句子相对应的相关视觉时刻的开始和结束。虽然以前的作品已经解决了这个任务的建议和排名的方法，我们引入了一个更有效的，端到端的可训练的，和{ \em proposal-free approach}，依赖于三个关键组件：一个动态过滤器将语言信息传输到视觉域，一个新的损失函数，以指导我们的模型参加最相关的视频部分，和软标签模型注释的不确定性。我们在两个基准数据集Charades-STA和ActivityNet-Captions上评估了我们的方法。实验结果表明，我们的方法优于国家的最先进的方法在这两个数据集。
2020-03-12 cs.CV
A Unified Framework and Dataset for Oriented Object Visual Grounding in Remote Sensing
China University of Mining and Technology（中国矿业大学）；University of Ottawa（渥太华大学）
针对遥感图像中有向目标视觉定位，提出O$^2$-VG模型家族（含Transformer、通用提案预测和视觉语言模型）及DIOR-R-RSVG数据集，在多个基准上表现优越。
2026-09-29 cs.CV
AOE-Net: Entities Interactions Modeling with Adaptive Attention Mechanism for Temporal Action Proposals Generation
University of Arkansas（阿肯色大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Science, Ho Chi Minh City（胡志明市科学大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
时间动作建议生成是一项具有挑战性的任务，它需要在未经裁剪的视频中定位动作间隔。直觉，我们作为人类，通过演员，相关对象和周围环境之间的相互作用来感知动作。尽管TAPG取得了重大进展，但绝大多数现有方法通过将骨干网络作为黑盒应用于给定视频而忽略了人类感知过程的上述原理。在本文中，我们提出了一个多模态表示网络，即演员对象环境交互网络（AOE-Net），这些相互作用的模型。我们的AOE-Net由两个模块组成，即，基于感知的多模态表示（PMR）和边界匹配模块（BMM）。此外，我们在PMR中引入自适应注意力机制（AAM），只关注主要参与者（或相关对象），并对它们之间的关系进行建模。PMR模块通过视觉语言特征表示每个视频片段，其中主要演员和周围环境由视觉信息表示，而相关对象通过图像-文本模型由语言特征描述。BMM模块处理作为其输入的视觉语言特征序列，并生成行动建议。对ActivityNet-1.3和THUMOS-14数据集进行的全面实验和广泛的消融研究表明，我们提出的AOE-Net优于之前的最先进方法，在TPG和时间动作检测方面具有显着的性能和泛化能力。为了证明AOE-Net的鲁棒性和有效性，我们进一步对以自我为中心的视频（即EPIC-KITCHENS 100数据集）进行了消融研究。源代码在接受后可用。
2022-10-05 cs.CV
Learning Target-oriented Dual Attention for Robust RGB-T Tracking
Anhui University（安徽大学）
RGB-热目标跟踪尝试使用互补的视觉和热红外数据来定位目标对象。现有的RGB-T跟踪器通过鲁棒的特征表示学习或自适应模态加权来融合不同的模态。然而，如何整合双注意力机制来进行视觉跟踪，仍是一个尚未被研究的课题。在本文中，我们提出了两个视觉注意力机制鲁棒RGB-T目标跟踪。具体而言，通过利用RGB和热数据的共同视觉注意来训练深度分类器来实现局部注意。我们还介绍了全局注意力，这是一个多模态目标驱动的注意力估计网络。它可以为分类器提供全局建议以及从先前跟踪结果中提取的局部建议。在两个RGB-T基准数据集上的实验验证了该算法的有效性。
2019-08-12 cs.CV
Discriminative Latent Semantic Graph for Video Captioning
Newcastle University（纽卡斯尔大学）；University of New South Wales（新南威尔士大学）；Durham University（杜伦大学）；Hefei CAS Dihuge Automation Co., LTD（合肥中科迪虎自动化有限公司）
视频描述旨在自动生成能够描述给定视频的视觉内容的自然语言句子。现有的生成模型，如编码器-解码器框架，不能显式地从复杂的时空数据中探索对象级交互和帧级信息，以生成语义丰富的字幕。我们的主要贡献是确定未来的视频摘要任务的联合框架中的三个关键问题。1)增强的对象建议：我们提出了一种新的条件图，可以融合时空信息到潜在的对象建议。2)视觉知识：潜在的建议聚合，提出了动态提取视觉词与更高的语义水平。3)句子验证：提出了一种新的判别式语言验证器来验证生成的字幕，以便有效地保留关键语义概念。我们在两个公共数据集（MVSD和MSR-VTT）上的实验表明，在所有指标上，特别是BLEU-4和CIDEr上，与最先进的方法相比，都有显著的改进。我们的代码可在https://github.com/baiyang4/D-LSG-Video-Caption上获得。
2021-08-10 cs.CV
What leads to generalization of object proposals?
Facebook AI（Facebook 人工智能）
对象建议生成通常是许多检测模型的第一步。训练一个好的提案模型是有利可图的，它可以推广到看不见的类。这可以帮助将检测模型扩展到具有更少注释的更大数量的类。受此启发，我们研究了在一小组源类上训练的检测模型如何提供推广到看不见的类的建议。我们系统地研究了数据集的属性-视觉多样性和标签空间粒度-需要良好的泛化。我们展示了使用细粒度标签和粗标签之间的权衡。我们引入了原型类的思想：一组充分和必要的类，需要训练检测模型，以获得更有效的数据的方式广义的建议。在Open Images V4数据集上，我们发现只有25%的类可以被选择来形成这样一个原型集。在平均召回率（AR）方面，使用这些类训练的模型的结果仅比使用所有类差4.3%。我们还证明，与RetinaNet等单级网络相比，更快的R-CNN模型可以更好地推广建议。
2020-08-13 cs.CV
Active Object Localization in Visual Situations
Portland State University（波特兰州立大学）；Santa Fe Institute（圣塔菲研究所）
我们描述了一种用于在视觉情况下执行对象的主动定位的方法。视觉情境是一个抽象的概念-例如，“拳击比赛”、“生日聚会”、“遛狗”、“等公共汽车”--这些图像实例更多地是通过它们共同的空间和语义结构而不是低级别的视觉相似性来联系的。我们的系统结合了特定情况的结构的给定和学习的知识，并将该知识适应于新的情况实例，因为它积极搜索对象。更具体地，系统学习描述相关对象之间的空间关系和其他关系的一组概率分布。系统使用这些分布来迭代地对测试图像上的对象提议进行采样，而且还连续地使用来自这些对象提议的信息来基于系统已经检测到的内容自适应地修改分布。我们测试我们的方法的能力，有效地定位对象，使用特定情况的图像数据集由我们的小组创建。我们比较了我们的方法的几个基线和变化的结果，并证明了使用情况知识和主动上下文驱动的本地化的强大优势。最后，我们将我们的方法与其他几种使用上下文以及主动搜索图像中的对象定位的方法进行对比。
2016-07-02 cs.CV
Soft Proposal Networks for Weakly Supervised Object Localization
University of Chinese Academy of Sciences（中国科学院大学）；Duke University（杜克大学）
弱监督对象定位仍然具有挑战性，在训练过程中只有图像标签而不是边界框可用。对象建议是本地化中的一个有效组件，但通常计算量很大，并且无法与其他一些模块进行联合优化。在本文中，据我们所知，我们首次将弱监督对象建议以端到端的学习方式集成到卷积神经网络（CNN）中。我们设计了一个网络组件Soft Proposal（SP），可以插入任何标准卷积架构，以引入几乎无成本的对象提案，比最先进的方法快几个数量级。在SP增强的CNN中，被称为软提议网络（SPN），迭代进化的对象提议是基于深度特征图生成的，然后投影回来，并进一步与网络参数联合优化，仅具有图像级监督。通过统一的学习过程，SPN可以学习更好的以对象为中心的过滤器，发现更多有区别的视觉证据，并抑制背景干扰，从而显着提高弱监督对象定位和分类性能。我们报告了流行基准测试的最佳结果，包括PASCAL VOC，MS COCO和ImageNet。
2017-09-06 cs.CV
SF2SE3: Clustering Scene Flow into SE(3)-Motions via Proposal and Selection
University of Freiburg（弗赖堡大学）
我们提出了SF 2SE 3，一种新的方法来估计场景动态的分割成独立移动的刚性对象和它们的SE（3）运动的形式。SF 2SE 3可在两个连续的立体或RGB-D图像上运行。首先，噪声场景流通过应用现有的光流和深度估计算法获得。SF 2SE 3然后迭代地（1）采样像素集以计算SE（3）-运动建议，以及（2）相对于最大覆盖公式选择最佳SE（3）-运动建议。最后，通过基于与输入场景流的一致性和空间接近性将像素唯一地分配给所选择的SE（3）运动来形成对象。主要的新颖之处是一个更明智的战略抽样的议案和最大的覆盖范围制定的建议选择。我们进行评估多个数据集上的应用SF 2SE 3场景流估计，对象分割和视觉里程计。SF 2SE 3在场景流估计方面的表现与现有技术相当，并且在分割和测距方面更准确。
2022-09-26 cs.CV
Training-free Boost for Open-Vocabulary Object Detection with Confidence Aggregation
Zhejiang University（浙江大学）
针对开放词汇目标检测中新类别实例因分数低被抑制的问题，提出免训练后处理方案AggDet，通过聚合定位质量与文本引导相似度调整置信度，在OV-COCO和OV-LVIS基准上分别提升3.3%和1.5%的性能。
2024-04-12 cs.CV
ThinkAfford: Affordance-Centric Reasoning for Fine-Grained 3D Grounding in Cluttered Scenes
该研究提出ThinkAfford模型，通过解耦可供性提议生成与指令推理，结合GRPO优化，在SceneFun3D验证集上的3D grounding指标优于基线方法。
2026-08-12 cs.CV
Proposal, Tracking and Segmentation (PTS): A Cascaded Network for Video Object Segmentation
Huazhong University of Science and Technology（华中科技大学）；Horizon Robotics（地平线机器人）
视频对象分割（VOS）的目的是在像素级的对象跟踪给定的第一帧中的注释。由于视频中对象的视觉变化大，训练样本的缺乏，尽管深度学习的发展方兴未艾，但它仍然是一项艰巨的任务。为了解决VOS问题，我们提出了由对象建议，跟踪和分割组件组成的统一框架，带来了一些新的见解。对象建议网络将对象信息作为通用知识传输到VOS中;跟踪网络从建议中识别目标对象;并且分割网络基于跟踪结果与新的基于动态参考的模型自适应方案来执行。在DAVIS'17数据集和YouTube-VOS数据集上进行了大量的实验，我们的方法在几个视频对象分割基准上达到了最先进的性能。我们在https://github.com/sydney0zq/PTSNet上公开提供代码。
2019-07-04 cs.CV
Action-Driven Object Detection with Top-Down Visual Attentions
KAIST（韩国科学技术院）；Lunit Inc.（Lunit公司）；Adobe Research（Adobe研究院）
基于深度学习的目标检测的主导范例依赖于使用类不可知提议的“被动”评分的“自下而上”方法。这些方法是有效的，但缺乏对场景级上下文的整体分析。在本文中，我们提出了一个“行动驱动”的检测机制，使用我们的“自上而下”的视觉注意力模型。我们通过采取注意力模型提供的顺序动作来定位对象。以图像区域为条件的注意力模型提供了更接近目标对象所需的动作。每个时间步的动作本身是弱的，但是顺序动作的集合使得边界盒精确地收敛到目标对象边界。这个我们称之为AttentionNet的注意力模型由一个卷积神经网络组成。在我们的整个检测过程中，我们只使用来自单个AttentionNet的动作，而没有任何用于对象建议的模块，也没有后边界框回归。我们评估了我们的自上而下的检测机制在PASCAL VOC系列和ILSVRC CLS-STANDARD数据集，并实现了最先进的性能相比，主要的自下而上的检测方法。特别是，当我们将阳性检测的IoU阈值提高到0.7时，我们的检测机制在精细定位方面表现出了强大的优势，表现优于Faster R-CNN，比PASCAL VOC 2007高出+7.1%。
2016-12-20 cs.AI cs.CV cs.LG
Object Detection in Videos with Tubelet Proposal Networks
Shenzhen Key Lab of Comp. Vis. & Pat. Rec., Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院计算机视觉与模式识别深圳市重点实验室）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Group Limited（商汤集团有限公司）；Tsinghua University（清华大学）；The University of Sydney（悉尼大学）
随着大规模ImageNet VID数据集的引入，视频中的目标检测越来越受到关注。与静态图像中的目标检测不同，视频中的时间信息对于目标检测至关重要。为了充分利用时间信息，最先进的方法是基于时空tubelet，这基本上是跨时间的相关联的边界框的序列。然而，现有的方法在产生小管的质量和效率方面具有很大的局限性。基于运动的方法能够有效地获得密集的tubelet，但长度通常只有几个帧，这对于结合长期的时间信息不是最佳的。基于外观的方法，通常涉及通用对象跟踪，可以生成长的tubelet，但通常是计算昂贵的。在这项工作中，我们提出了一个视频中目标检测的框架，该框架由一个新的tubelet建议网络和一个长短期记忆（LSTM）网络组成，前者有效地生成时空建议，后者结合了来自tubelet建议的时间信息，以实现视频中的高目标检测准确性。在大规模ImageNet VID数据集上的实验证明了该框架在视频目标检测中的有效性。
2017-04-10 cs.CV
Online Object Tracking with Proposal Selection
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗讷阿尔卑斯分院）；Laboratoire Jean Kuntzmann（让·昆茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）
检测跟踪方法是近年来最成功的目标跟踪方法之一。他们的成功在很大程度上取决于他们最初学习的检测器模型，然后随着时间的推移进行更新。然而，在具有挑战性的条件下，物体可能会发生变化，例如，严重的旋转，这些方法被发现是缺乏的。在本文中，我们解决这个问题，制定它作为一个建议的选择任务，并作出两个贡献。第一个是引入新的建议，估计从所经历的对象的几何变换，并建立一个丰富的候选集预测对象的位置。第二个是设计一种新的选择策略，使用多个线索，即，检测分数和边缘分数从现有技术的对象边缘和运动边界计算。我们在视觉对象跟踪2014挑战赛和在线跟踪基准数据集上广泛评估了我们的方法，并显示出最佳性能。
2015-09-30 cs.CV
