GOT-10k: A Large High-Diversity Benchmark for Generic Object Tracking in the Wild
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
我们在这里介绍一个大型跟踪数据库，它提供了一个前所未有的广泛覆盖的常见移动对象在野外，称为GOT-10 k。具体来说，GOT-10 k是建立在WordNet结构的基础上的，它填充了560多类移动对象和87种运动模式中的大多数，比最近的类似规模的同行更广泛。本文的贡献总结如下：（1）GOT-10 k提供了超过10，000个视频片段，超过150万个手动标记的边界框，可以实现深度跟踪器的统一训练和稳定评估。(2)GOT-10 k是迄今为止第一个使用WordNet的语义层次来指导类填充的视频轨迹数据集。(3)GOT-10 k首次引入了用于跟踪器评估的一次性协议，其中训练和测试类零重叠。该协议避免了对熟悉的对象有偏见的评价结果，它促进了跟踪器开发的泛化。(4)本文在GOT-10 k上对39种典型的跟踪算法进行了广泛的跟踪实验，并对实验结果进行了分析。(5)最后，我们为跟踪社区开发了一个全面的平台，提供功能齐全的评估工具包，在线评估服务器和响应式排行榜。GOT-10 k的测试数据的注释是保密的，以避免在其上调整参数。数据库、工具包、评估服务器和基线结果可在http://got-10k.aitestunion.com上获得。
2019-11-20 cs.CV
Domain Adaptive SiamRPN++ for Object Tracking in the Wild
Chongqing University（重庆大学）
受益于大规模的训练数据，基于Siamese的目标跟踪的最新进展在正常序列上取得了令人信服的结果。而基于Siamese的跟踪器假设训练和测试数据遵循相同的分布。假设有一组雾或下雨的测试序列，不能保证在正常图像上训练的跟踪器在属于其他域的数据上表现良好。训练和测试数据之间的域转移问题已经在目标检测和语义分割领域中讨论过，然而，还没有针对视觉跟踪进行研究。为此，在SiamRPN++的基础上，我们引入了一种域自适应SiamRPN++，即DASiamRPN++，以提高跟踪器的跨域可移植性和鲁棒性。受A-距离理论的启发，我们提出了两个领域自适应模块：像素领域自适应（PDA）和语义领域自适应（SDA）。PDA模块对齐模板和搜索区域图像的特征图，以消除由天气、光照等引起的像素级域偏移。SDA模块对齐跟踪目标外观的特征表示，以消除语义级域偏移。PDA和SDA模块通过以对抗训练方式学习域分类器来减少域差异。域分类器强制网络学习域不变特征表示。在两个不同领域的标准数据集上进行了大量的实验，包括合成雾和TIR序列，这表明了所提出的跟踪器的可移植性和领域适应性。
2021-06-15 cs.CV
InterTracker: Discovering and Tracking General Objects Interacting with Hands in the Wild
Zhejiang University of Technology（浙江工业大学）；Zhejiang University（浙江大学）；Sun Yat-sen University（中山大学）；Australian National University（澳大利亚国立大学）
本文提出InterTracker，利用手物空间关系自适应发现交互物体，并结合连续帧外观一致性进行跟踪，在基于100DOH构建的视频数据集上AP较现有方法提升约10%。
2023-08-14 cs.CV
Multi-Object Tracking Consistently Improves Wildlife Inference
World Wide Fund (WWF)（世界自然基金会）；Centre for Artificial Intelligence Research (CAIR)（人工智能研究中心）
本文利用多目标跟踪技术提升野生动物分类模型的鲁棒性，通过融合轨迹信息改进分类结果，实验表明在三个数据集上均提升了性能。
2026-05-15 cs.AI cs.CV cs.LG
Search Tracker: Human-derived object tracking in-the-wild through large-scale search and retrieval
Georgia Institute of Technology（佐治亚理工学院）；Anonymous University（匿名大学）
在复杂的光照变化、场景混乱和遮挡的情况下，人类使用上下文和场景知识来轻松地定位移动对象。在本文中，我们提出了一种方法来利用人类知识的形式注释的视频库在一个新的搜索和检索为基础的设置来跟踪对象看不见的视频序列。对于每个视频序列，生成表示运动信息的文档。在多个尺度下针对库查询未看到的视频的文档，以找到具有相似运动特征的视频。这为我们提供了未看到的视频中的对象的粗略定位。我们进一步调整这些检索到的对象位置，以新的视频使用一个有效的变形方案。所提出的方法在野外视频监控数据集上进行了验证，在这些数据集上，我们的性能优于最先进的基于外观的跟踪器。我们还引入了一个新的具有挑战性的数据集，具有复杂的对象外观变化。
2016-02-05 cs.CV cs.MM
Tracking through Containers and Occluders in the Wild
Columbia University（哥伦比亚大学）；Toyota Research Institute（丰田研究院）；Woven Planet
针对杂乱动态环境下目标跟踪难题，本文提出TCOW基准与模型，构建合成加真实标注的混合数据集，评估发现现有Transformer视频模型距真正具备物体恒存性仍有较大性能差距。
2023-05-04 cs.AI cs.CV cs.LG
TrackVLA: Embodied Visual Tracking in the Wild
Peking University（北京大学）；Galbot；Beihang University（北京航空航天大学）；Beijing Normal University（北京师范大学）；BAAI（北京智源人工智能研究院）
提出TrackVLA模型，通过共享LLM主干结合语言建模头与基于锚点的扩散模型，学习目标识别与轨迹规划的协同作用，并构建EVT-Bench数据集，在零样本公开基准和真实环境中实现了SOTA的具身视觉跟踪性能。
2025-05-29 cs.CV cs.RO
BrackishMOT: The Brackish Multi-Object Tracking Dataset
Aalborg University（奥尔堡大学）；Pioneer Center for AI（人工智能先锋中心）
目前还没有公开的带注释的水下多目标跟踪（MOT）数据集在混浊的环境中捕获。为了解决这个问题，我们提出了BrackishMOT数据集，重点是跟踪小鱼群，这是一个非常困难的MOT任务。BrackishMOT由在野生环境中捕获的98个序列组成。除了新的数据集，我们还通过训练最先进的跟踪器来呈现基线结果。此外，我们提出了一个框架来创建合成序列，以扩大数据集。该框架由动画鱼模型和逼真的水下环境组成。我们分析了在训练过程中包括合成数据的效果，并表明真实和合成水下训练数据的组合可以提高跟踪性能。代码和数据的链接可以在https://www.vap.aau.dk/brackishmot上找到
2023-02-21 cs.CV
MONCE Tracking Metrics: a comprehensive quantitative performance evaluation methodology for object tracking
Lockheed Martin AI Center（洛克希德·马丁人工智能中心）
评估跟踪模型的性能是一项复杂的任务，特别是对于在国防应用中至关重要的非连续多目标跟踪器。虽然有各种优秀的跟踪基准，这项工作将它们扩展到量化长期，非连续，多目标和检测模型辅助跟踪器的性能。我们提出了一套MONCE（多对象非连续性实体）图像跟踪指标，提供客观的跟踪模型性能基准以及诊断洞察力，以预期平均重叠，短期/长期重新识别，跟踪召回，跟踪精度，寿命，定位和缺席预测的形式驱动跟踪模型的开发。
2022-04-11 cs.CV
An equalised global graphical model-based approach for multi-camera object tracking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；National Laboratory of Pattern Recognition（模式识别国家重点实验室）
非重叠多摄像机视觉目标跟踪通常包括两个步骤：单摄像机目标跟踪和摄像机间目标跟踪。大多数跟踪方法都是针对同一场景下的单摄像机目标跟踪，而对于实际监控场景，需要进行多摄像机间的目标跟踪，单摄像机跟踪方法无法有效地实现目标跟踪。在本文中，我们试图提高整体的多摄像机目标跟踪性能的全局图模型与改进的相似性度量。该方法区别对待单摄像机跟踪和摄像机间跟踪的相似性，并在全局图模型中得到优化。实验结果表明，该方法在单摄像机跟踪效果较差的情况下也能取得较好的效果。
2016-07-19 cs.CV
3D Face Tracking and Texture Fusion in the Wild
Reutlingen University（罗伊特林根大学）
我们提出了一个全自动的方法，实时三维人脸重建从单眼在野外的视频。通过使用基于级联回归的人脸跟踪和3D Morphable Face Model形状拟合，我们得到了一个半稠密的3D人脸形状。我们进一步使用来自多个帧的纹理信息来从视频帧构建整体3D人脸表示。我们的系统能够捕捉面部表情，不需要任何针对个人的培训。我们在具有挑战性的300个野生视频（300-VW）数据集上展示了我们方法的鲁棒性。我们的实时拟合框架可以在http://4dface.org上作为开源库获得。
2016-05-22 cs.CV
Nymeria: A Massive Collection of Multimodal Egocentric Daily Motion in the Wild
Meta Reality Labs Research（Meta现实实验室）；Stanford University（斯坦福大学）；Nanyang Technological University（南洋理工大学）；University of Tübingen（蒂宾根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
Nymeria是野外大规模多模态自我中心人体运动数据集，提供同步定位的多设备数据及分层语言描述，支持运动跟踪、合成和动作识别研究。
2024-09-20 cs.CV cs.GR
Zero-Shot Multi-Animal Tracking in the Wild
Institute of Computer Science and Campus Institute Data Science（计算机科学研究所和校园数据科学研究院）
本文基于视觉基础模型，结合Grounding DINO与SAM 2，通过三项针对性修改实现无需重新训练或调参的零样本多动物跟踪，在多个数据集上取得最优结果。
2026-06-01 cs.CV
Long-term Tracking in the Wild: A Benchmark
University of Oxford（牛津大学）；FiveAI；University of Amsterdam（阿姆斯特丹大学）
我们介绍了OxUvA数据集和基准评估单对象跟踪算法。基准测试通过定义对大量不同视频的标准化评估，在对象跟踪领域取得了长足的进步。然而，这些作品只专注于长度只有几十秒的序列，并且目标总是可见的。因此，大多数研究人员都设计了适合这种“短期”情况的方法，这是很难代表从业者的需求。为了解决这一差距，我们编制了一个长期的，大规模的跟踪序列的数据集，平均长度大于两分钟，频繁的目标对象消失。OxUvA数据集比近年来的对象跟踪数据集要大得多：它包括366个序列，跨越14小时的视频。我们评估几种算法的性能，同时考虑到定位目标的能力，并确定它是否存在或不存在。我们的目标是为社区提供一个大型和多样化的基准，使跟踪方法的设计和评估准备用于“在野外”。项目网址为http://oxuva.net
2018-08-10 cs.CV
Tracking and Reconstructing Hand Object Interactions from Point Cloud Sequences in the Wild
Peking University（北京大学）；Beijing Institute for General AI（北京通用人工智能研究院）；Virginia Tech（弗吉尼亚理工大学）；Stanford University（斯坦福大学）；Tsinghua University（清华大学）；Columbia University（哥伦比亚大学）
在这项工作中，我们解决了具有挑战性的任务，联合跟踪手对象的姿势和重建他们的形状从深度点云序列在野外，给定的初始姿势在帧0。我们首次提出了一个基于点云的手关节跟踪网络，HandTrackNet，估计帧间的手关节运动。我们的HandTrackNet提出了一种新的手部姿势规范化模块，以减轻跟踪任务，产生准确和强大的手关节跟踪。然后，我们的管道通过将预测的手部关节转换为基于模板的参数化手部模型MANO来重建整只手。对于对象跟踪，我们设计了一个简单而有效的模块，估计对象SDF从第一帧，并进行基于优化的跟踪。最后，采用联合优化步骤进行手和物体的联合推理，消除了遮挡引起的模糊性，并进一步细化了手的姿态。在训练期间，整个流水线只看到纯粹的合成数据，这些数据是用足够的变化和深度模拟合成的，以便于泛化。整个管道与泛化差距有关，因此可以直接转换为真实的野外数据。我们在两个真实的手部对象交互数据集上评估了我们的方法，例如HO3D和DexYCB，没有任何微调。我们的实验表明，所提出的方法显着优于以前的国家的最先进的基于深度的手和对象的姿态估计和跟踪方法，运行在帧速率为9 FPS。
2022-09-24 cs.CV
AnimalTrack: A Benchmark for Multi-Animal Tracking in the Wild
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nanjing Institute of Software Technology（南京软件技术研究院）；University of North Texas（北德克萨斯大学）
多动物跟踪（MAT）是一种多目标跟踪（MOT）问题，是动物运动和行为分析的关键，在生物学、生态学和动物保护等领域有着重要的应用。尽管它的重要性，MAT在很大程度上是未被开发的其他MOT问题相比，如多人跟踪由于缺乏专用的基准。为了解决这个问题，我们引入了AnimalTrack，这是一个用于野外多动物跟踪的专用基准。具体来说，AnimalTrack由来自10种常见动物类别的58个序列组成。平均而言，每个序列包括33个用于跟踪的目标对象。为了确保高质量，AnimalTrack中的每一帧都经过仔细检查和优化手动标记。据我们所知，AnimalTrack是第一个致力于多动物跟踪的基准。此外，为了了解现有MOT算法在AnimalTrack上的表现并为未来的比较提供基线，我们广泛评估了14种最先进的代表性跟踪器。评估结果表明，毫不奇怪，由于行人和动物在各个方面的差异，这些跟踪器中的大多数变得退化（例如，姿势、运动和外观），并且期望更多的努力来改进多动物跟踪。我们希望AnimalTrack与评估和分析一起将促进多动物跟踪的进一步进展。数据集和评估以及我们的分析将在https://hengfan2010.github.io/projects/AnimalTrack/上提供。
2022-11-08 cs.CV
HOIST-Former: Hand-held Objects Identification, Segmentation, and Tracking in the Wild
Stony Brook University（石溪大学）；VinAI Research（VinAI研究院）
针对手持物体因遮挡和短暂性难以识别、分割与跟踪的问题，提出基于transformer的HOIST-Former架构，利用手与物体特征迭代汇聚和接触损失进行优化，并构建包含4,125个视频的HOIST数据集，有效提升了分割与跟踪性能。
2024-04-22 cs.CV
Long-term face tracking in the wild using deep learning
Wayne State University（韦恩州立大学）
本文研究了长期的人脸跟踪特定的人给定他/她的脸图像在一个单一的帧作为查询的视频流。通过利用大数据上的预训练深度学习模型，开发了一种新的系统，用于在不受约束的环境中精确跟踪视频人脸，描绘各种人和物体在帧内和帧外移动。在建议的系统中，我们提出了一个检测验证跟踪方法（被称为“DVT”），它完成了长期的人脸跟踪任务，通过人脸检测，人脸验证和（短期）人脸跟踪的合作。基于级联卷积神经网络的离线训练的检测器定位出现在帧中的所有面部，并且基于深度卷积神经网络和相似性度量学习的离线训练的面部验证器决定是否有面部或哪个面部对应于查询的人。一个在线训练的跟踪器从一帧到另一帧跟踪人脸。当在情景喜剧和电视节目上验证时，DVT方法在召回率和准确率方面优于跟踪学习检测（tracking-learning-detection，缩写为SVM）和人脸识别。该系统还测试了许多其他类型的视频，并显示出非常有前途的结果。
2018-05-19 cs.CV
Ego-Exo 3D Hand Tracking in the Wild with a Mobile Multi-Camera Rig
Meta Reality Labs；Yale University（耶鲁大学）
针对自中心视觉手部3D跟踪数据集环境受限、泛化性差的问题，提出结合背部外相机与Meta Quest 3头显的无标记多相机系统及自-外跟踪流水线，可在野外环境下生成高精度3D手部标注，平衡真实感与标注精度。
2025-10-02 cs.CV
Multi-Modal Video Dialog State Tracking in the Wild
University of Stuttgart（斯图加特大学）
本文提出MST-MIXER视频对话模型，通过多模态状态跟踪、局部潜在图学习与全局图细化增强VLM隐藏状态，在五个基准上取得最优性能。
2024-07-05 cs.CV
MobiFace: A Novel Dataset for Mobile Face Tracking in the Wild
Imperial College London（帝国理工学院）
人脸跟踪是移动应用程序中关键的第一步，它试图在移动环境中分析目标人脸。然而，这个问题很少受到关注，主要是由于缺乏专门的人脸跟踪基准。在这项工作中，我们介绍了在移动情况下的单人脸跟踪的第一个数据集，人脸。它由70个不同的智能手机用户在完全不受约束的环境中拍摄的80个未经编辑的实时流媒体移动视频组成。手动标记超过$95K$的边界框。这些视频经过精心挑选，以涵盖典型的智能手机使用情况。视频还标注了14个属性，包括6个新提出的属性和8个常见的对象跟踪。评估了36个最先进的跟踪器，包括面部标志跟踪器，通用对象跟踪器和我们已经微调或改进的跟踪器。结果表明，移动人脸跟踪不能通过现有的方法来解决。此外，我们还发现，对人脸训练数据进行微调可以显著提高基于深度学习的跟踪器的性能，这表明人脸捕捉到了移动人脸跟踪的独特特征。我们的目标是为社区提供多样化的数据集，以实现移动人脸跟踪器的设计和评估。数据集、注释和评价服务器将位于\url{https://mobiface.github.io/}上。
2019-01-22 cs.CV
DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild
State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出DATAP-SfM方法，通过动态感知任意点跟踪结合一致视频深度先验，对静态可见点执行全局光束法平差，从而在野外动态视频中实现鲁棒的相机位姿估计与稠密重建。
2024-11-20 cs.CV
A Comprehensive Performance Evaluation of Deformable Face Tracking "In-the-Wild"
Imperial College London（帝国理工学院）；Seeing Machines Ltd.（Seeing Machines 有限公司）
最近，诸如面部检测、面部地标定位以及面部识别和验证等技术已经足够成熟，可以为在任意条件下（称为“野外”）捕获的图像提供有效和高效的解决方案。这部分归因于已经为人脸检测、地标定位和识别/验证开发了全面的“野外”基准。一个非常重要的技术，还没有得到彻底的评估是可变形的人脸跟踪“在野外”。到目前为止，性能主要是通过在短视频上视觉评估可变形人脸跟踪技术的结果来定性评估的。在本文中，我们进行了第一次，尽我们所知，彻底评估国家的最先进的可变形人脸跟踪管道使用最近推出的300 VW基准。我们评估了许多不同的体系结构，主要集中在在线可变形人脸跟踪的任务。特别是，我们比较了以下一般策略：（a）通用人脸检测加上通用面部地标定位，（b）通用模型免费跟踪加上通用面部地标定位，以及（c）混合方法使用国家的最先进的人脸检测，模型免费跟踪和面部地标定位技术。我们的评估揭示了未来的途径，进一步研究的主题。
2017-02-28 cs.AI cs.CV
ARROW: Arbitrary Reconstruction and Tracking of 4D Observations in the Wild
RWTH Aachen University（亚琛工业大学）
ARROW是一种前馈模型，通过顺序不变查询方法统一任意图像集的3D重建与点跟踪，在WorldTrack和TAPVid-3D上达到最先进水平，并优于专用多视图跟踪器。
2026-10-02 cs.CV
ArtTrack: Articulated Multi-person Tracking in the Wild
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
在本文中，我们提出了一种方法，在不受约束的视频多人的关节式跟踪。我们的出发点是一个类似于现有单帧姿态估计架构的模型，但速度要快得多。我们通过两种方式实现这一点：（1）通过简化和稀疏化身体部位关系图，并利用最新的方法进行更快的推理，以及（2）通过将大量计算分担到前馈卷积架构上，该架构即使在混乱中也能够检测和关联同一个人的身体关节。我们使用这个模型来生成身体关节位置的建议，并制定了这样的建议的时空分组铰接跟踪。这允许通过时间传播来自强检测的证据并强制每个建议只能分配给一个人的约束来联合解决场景中所有人的关联问题。我们报告了一个公共MPII人体姿势基准测试和一个新的MPII视频姿势图像序列数据集与多个人的结果。我们证明了我们的模型在仅使用一小部分时间的情况下实现了最先进的结果，并且能够利用时间信息来提高拥挤场景的最先进水平。
2017-05-09 cs.CV
SCOUT-SLAM: Structurally-Coupled Dual Uncertainty-Aware 3DGS SLAM in the Wild
Indian Institute of Science（印度科学理工学院）
SCOUT-SLAM提出结构耦合双不确定性框架，通过共享网络和低秩适应估计跟踪不确定性，打破跟踪与重建的循环依赖，在动态基准上实现最先进跟踪精度与无伪影静态重建。
2026-09-15 cs.CV
VoxelTrack: Multi-Person 3D Human Pose Estimation and Tracking in the Wild
Microsoft Research Asia（微软亚洲研究院）；Huazhong University of Science and Technology（华中科技大学）
我们提出了VoxelTrack多人3D姿态估计和跟踪从几个摄像机被分开的宽基线。它采用多分支网络来联合估计环境中所有人的3D姿态和重新识别（Re-ID）特征。与之前需要基于噪声2D姿态估计建立跨视图对应关系的努力相比，它直接从从多视图图像构建的基于3D体素的表示来估计和跟踪3D姿态。我们首先通过常规体素将3D空间离散化，并通过平均从所有视图逆投影的身体关节热图来计算每个体素的特征向量。我们通过预测每个体素是否包含特定的身体关节来从体素表示估计3D姿态。类似地，为每个体素计算Re-ID特征，其用于随时间跟踪估计的3D姿态。该方法的主要优点是它避免了基于单个图像做出任何艰难的决定。该方法可以鲁棒地估计和跟踪3D姿态，即使在一些相机中的人被严重遮挡。它在包括Shelf，Campus和CMU Panoptic在内的三个公共数据集上的表现远远优于最先进的方法。
2021-08-05 cs.CV
BaboonLand Dataset: Tracking Primates in the Wild and Automating Behaviour Recognition from Drone Videos
Mpala Research Centre（姆帕拉研究中心）
本研究提出了BaboonLand数据集，利用无人机视频进行狒狒检测、追踪和行为识别，并通过深度学习模型实现了高精度的自动化分析，为非侵入式理解群体行为提供了新途径。
2024-06-03 cs.CV
Tracking Virtual Meetings in the Wild: Re-identification in Multi-Participant Virtual Meetings
Novacy（诺瓦西公司）
针对虚拟会议中参与者视频窗口非线性移动导致通用追踪方法误差高的问题，提出利用时空先验的参与者追踪重识别方法，较YOLO基线平均降错95%。
2024-09-15 cs.CV
Seeing Around Street Corners: Non-Line-of-Sight Detection and Tracking In-the-Wild Using Doppler Radar
Algolux；Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Princeton University（普林斯顿大学）；Ulm University（乌尔姆大学）；University of Kassel（卡塞尔大学）
传统的传感器系统记录有关直接可见物体的信息，而被遮挡的场景成分被认为在测量过程中丢失。非视线（NLOS）方法试图从间接反射中恢复这些隐藏的对象-微弱的信号分量，传统上被视为测量噪声。现有的NLOS方法很难在实验室外记录这些低信号分量，并且无法扩展到大规模户外场景和高速运动，这在汽车场景中很常见。特别地，光学NLOS捕获从根本上受到漫间接反射的四次强度衰减的限制。在这项工作中，我们离开可见光波长的方法，并证明检测，分类和跟踪隐藏的物体在大规模的动态环境中使用多普勒雷达，可以在低成本的批量生产。为了解开嘈杂的间接和直接反射，我们从多普勒速度和位置测量的时间序列中学习，随着时间的推移，我们在一个联合的NLOS检测和跟踪网络中融合。我们在野外汽车场景中验证了该方法，包括停放的汽车或房屋立面作为中继表面的序列，并在动态汽车环境中展示了低成本，实时的NLOS。
2020-03-31 cs.CV eess.IV
GloPro: Globally-Consistent Uncertainty-Aware 3D Human Pose Estimation & Tracking in the Wild
Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国学院）
GloPro首次融合视觉线索与运动模型，预测包含形状、姿态和根姿态的3D人体网格不确定性分布，在严重遮挡下仍能实时实现高精度全局一致的人体轨迹估计与跟踪。
2023-09-20 cs.CV cs.RO
Thermal RGB Fusion for Micro-UAV Wildfire Perimeter Tracking with Minimal Comms
Marmara Üniversitesi（马尔马拉大学）
本研究提出了一种用于微型无人机在有限通信条件下追踪 wildfire 周边的热 RGB 融合方法，通过热图像和 RGB 图像的结合，提高了追踪精度和稳定性，同时降低了计算和通信开销。
2025-12-13 cs.AI cs.CV
RGBD Objects in the Wild: Scaling Real-World 3D Object Learning from RGB-D Videos
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UC San Diego（加州大学圣地亚哥分校）；NVIDIA（英伟达）
引入WildRGB-D数据集，通过大规模野外采集的RGB-D物体视频，提供丰富3D标注并基准测试四项任务，显著推进真实世界3D物体学习。
2024-07-28 cs.CV
WildSeg3D: Segment Any 3D Objects in the Wild from 2D Images
Xiamen University（厦门大学）；National University of Singapore（新加坡国立大学）
针对现有3D分割方法依赖场景特定训练且速度受限的问题，本文提出WildSeg3D，通过DGA和MGM实现无需场景训练的实时任意3D物体分割，精度达到SOTA且速度提升40倍。
2025-03-17 cs.CV
Reconstructing Hand-Object Interactions in the Wild
University of California, Berkeley（加州大学伯克利分校）
在这项工作中，我们探讨重建手物体在野外的相互作用。这个问题的核心挑战是缺乏适当的3D标记数据。为了克服这个问题，我们提出了一个基于优化的程序，不需要直接的3D监督。我们采用的一般策略是利用所有可用的相关数据（2D边界框，2D手部关键点，2D实例掩码，3D对象模型，3D实验室MoCap）为3D重建提供约束。我们不是单独优化手和物体，而是联合优化它们，这允许我们根据手-物体接触、碰撞和遮挡施加额外的约束。我们的方法对来自EPIC Kitterfly和100 Days of Hands数据集的具有挑战性的野外数据进行了令人信服的重建，涵盖了一系列对象类别。定量，我们证明，我们的方法相比，有利的现有方法在实验室设置中，地面实况3D注释可用。
2021-12-30 cs.CV
Object segmentation in the wild with foundation models: application to vision assisted neuro-prostheses for upper limbs
针对上肢视觉辅助神经假体的杂乱场景，本文提出基于注视点生成提示引导 SAM 并在第一视角数据上微调的方法，在 Grasping-in-the-Wild 上使 IoU 最高提升 0.51。
2025-07-24 cs.CV
Attention-GAN for Object Transfiguration in Wild Images
Shanghai Jiao Tong University（上海交通大学）；University of Technology, Sydney（悉尼科技大学）；University of Sydney（悉尼大学）
研究了野外图像中的目标变形问题。经典GANs中用于对象变形的生成网络通常承担双重责任：检测感兴趣的对象并将对象从源域转换到目标域。相比之下，我们将生成网络分解为两个单独的网络，每个网络仅专用于一个特定的子任务。注意力网络预测图像的空间注意力图，而转换网络专注于翻译对象。注意力网络产生的注意力地图被鼓励是稀疏的，以便可以将主要注意力放在感兴趣的对象上。无论在物体变形之前还是之后，注意地图都应该保持不变。此外，学习注意力网络可以接收更多的指令，给定可用的图像分割注释。实验结果表明，在物体变形中研究注意力的必要性，以及该算法可以学习准确的注意力，以提高生成的图像质量。
2018-03-19 cs.CV
Object counting from aerial remote sensing images: application to wildlife and marine mammals
INRAE, AgroParisTech（法国国家农业食品与环境研究院、巴黎高科农业学院）
针对航空遥感图像中的野生动物计数问题，提出基于UNet和多种骨干网络的高斯密度图回归方法，无需检测器即可计数，在非洲象和海豚数据集上验证了有效性，助力野生动物保护。
2023-06-17 cs.CV
Unknown-Aware Object Detection: Learning What You Don't Know from Videos in the Wild
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
构建可靠的对象检测器，可以检测出的分布（OOD）对象是至关重要的，但探索不足。其中一个关键挑战是模型缺乏来自未知数据的监督信号，从而对OOD对象产生过度自信的预测。我们提出了一个新的未知感知的目标检测框架，通过时空未知蒸馏（STUD），从视频中提取未知的对象在野外和有意义地正则化模型的决策边界。STUD首先在空间维度中识别未知候选对象提议，然后跨多个视频帧聚合候选对象以形成靠近决策边界的未知对象的不同集合。此外，我们采用了基于能量的不确定性正则化损失，它对比地塑造了分布和提取的未知对象之间的不确定性空间。STUD在OOD检测任务中建立了最先进的目标检测性能，与以前的最佳方法相比，FPR 95分数降低了10%以上。代码可在https://github.com/deeplearning-wisc/stud上获得。
2022-03-08 cs.CV
Perceiving 3D Human-Object Spatial Arrangements from a Single Image in the Wild
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook 人工智能研究院）；Argo AI；UC Berkeley（加州大学伯克利分校）
我们提出了一种方法，推断空间的安排和形状的人和物体在全球一致的3D场景，所有从一个单一的图像在野外捕获在一个不受控制的环境。值得注意的是，我们的方法在没有任何场景或对象级3D监督的情况下在数据集上运行。我们的关键见解是，考虑人和物体共同产生的“三维常识”的约束，可用于解决歧义。特别是，我们引入了一个尺度损失，可以从数据中学习对象大小的分布;一个遮挡感知的轮廓重新投影损失，以优化对象姿态;以及一个人与对象交互损失，以捕获人类与之交互的对象的空间布局。我们的经验验证，我们的约束大大减少了可能的3D空间配置的空间。我们展示了我们的方法上具有挑战性的，在野外的人类与大型物体（如自行车，摩托车和冲浪板）和手持物体（如笔记本电脑，网球拍和滑板）互动的图像。我们量化了我们的方法恢复人-物安排的能力，并概述了在这个相对领域中仍然存在的挑战。该项目的网页可在https://jasonyzhang.com/phosa上找到。
2020-08-19 cs.CV
Objectron: A Large Scale Dataset of Object-Centric Videos in the Wild with Pose Annotations
Google（谷歌）
由于在机器人、增强现实、自主和图像检索中的许多应用，3D目标检测最近变得流行。我们引入Objectron数据集，以推进3D目标检测的最新技术水平，并促进新的研究和应用，如3D对象跟踪，视图合成，并改进3D形状表示。该数据集包含以对象为中心的短视频，具有9个类别的姿势注释，并包括14，819个注释视频中的400万个注释图像。我们还提出了一个新的评价指标，3D交集超过联盟，三维目标检测。我们证明了我们的数据集在3D目标检测任务中的有用性，通过提供在此数据集上训练的基线模型。我们的数据集和评估源代码可在http://www.objectron.dev上在线获得
2020-12-18 cs.CV
3D Object Class Detection in the Wild
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在强大的统计学习技术与强大的图像表示相结合的成功推动下，对象类检测长期以来一直是2D限界框定位的同义词。直到最近，人们对重温早期计算机视觉的承诺越来越感兴趣：在3D中逐对象地精确描绘视觉场景的内容。在本文中，我们从最近的进展，目标检测和2D-3D对象提升，以设计一个对象类检测器，特别是针对3D对象类检测。我们的3D对象类检测方法包括几个阶段，逐渐丰富的目标检测输出与对象的观点，关键点和3D形状估计。经过精心设计，在每个阶段，它不断提高性能，并在具有挑战性的Pascal 3D+数据集上同时进行2D限界框和视点估计时达到最先进的性能。
2015-03-17 cs.CV
Towards in-the-wild Egocentric 3D Hand-Object Pose Estimation
University of Bristol（布里斯托大学）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
针对野外自我中心RGB图像中手-物体姿态估计的遮挡和接触模糊问题，提出EPIC-Contact数据集和HOPformer端到端Transformer模型，联合预测双手和物体姿态，在ARCTIC和EPIC-Contact上显著提升成功率并降低接触偏差。
2026-06-29 cs.CV
Show Me When and Where: Towards Referring Video Object Segmentation in the Wild
本文提出了一种新的野外指称视频对象分割任务，引入了包含更多时长和场景的YoURVOS数据集，并提出OMFormer方法以实现高效的时空定位。
2026-03-15 cs.CV
Representation learning from videos in-the-wild: An object-centric approach
Google AI（谷歌人工智能）；Google Research（谷歌研究院）
我们提出了一种从未经策划的视频中学习图像表示的方法。我们结合了监督损失从现成的对象检测器和自我监督的损失，自然产生的视频拍摄帧对象层次存在于每个视频。我们报告了视觉任务适应基准（VTAB）的19个迁移学习任务和8个分布泛化任务的竞争结果，并讨论了所提出的方法的优点和缺点。特别是，它在所有18/19的少样本学习任务和8/8的分布外泛化任务上都比基线有所改善。最后，我们进行了几项消融研究，并分析了预先训练的对象检测器对这套任务性能的影响。
2021-02-09 cs.CV
LabelAny3D: Label Any Object 3D in the Wild
University of Virginia（弗吉尼亚大学）
LabelAny3D通过分析-合成框架生成高质量3D标注，提升单目3D检测性能，推动真实世界3D识别发展。
2026-01-04 cs.CV
Extended Labeled Faces in-the-Wild (ELFW): Augmenting Classes for Face Segmentation
Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心Eurecat）
现有的人脸数据集往往缺乏足够的遮挡对象的表示，这可能会阻碍识别，但也提供了有意义的信息来理解视觉上下文。在这项工作中，我们引入了扩展标签人脸野外（ELFW），一个数据集补充了额外的人脸相关类别-以及额外的面孔-最初发布的语义标签在广泛使用的标签人脸野外（LFW）数据集中。此外，两个基于对象的数据增强技术被部署到综合丰富的代表性不足的类别，在基准测试实验中，揭示，不仅分割增强类别改善，但也其余的受益。
2020-06-24 cs.CV
Few-Shot Object Detection and Viewpoint Estimation for Objects in the Wild
LIGM（加斯帕尔·蒙日信息学实验室）；Ecole des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
目标检测和视点估计是三维场景理解的关键任务。最近的方法已经取得了很好的结果非常大的基准目标检测和视点估计。然而，性能仍然落后于新的对象类别与样本少。在本文中，我们解决的问题，Few-Shot目标检测和Few-Shot的观点估计。我们在这两项任务中展示了使用从不同模式的数据中提取的类代表性特征指导网络预测的好处：用于目标检测的图像补丁，以及用于视点估计的对齐3D模型。尽管它的简单性，我们的方法优于国家的最先进的方法在一系列的数据集，包括PASCAL和COCO的Few-Shot目标检测，和Pascal3D+和ObjectNet3D的Few-Shot视点估计的大幅度。此外，当3D模型不可用时，我们引入了一种简单的类别无关的视点估计方法，该方法利用不同类别之间的几何相似性和一致的姿势标记。虽然它适度地降低了性能，但这种方法在这种设置中仍然比以前的方法获得了更好的结果。最后，我们第一次解决了这两个Few-Shot任务的组合，在野外，ObjectNet3D，Pascal3D+和Pix3D的视点估计的三个具有挑战性的基准，显示出非常有前途的结果。
2022-10-12 cs.CV
EV-Flying: an Event-based Dataset for In-The-Wild Recognition of Flying Objects
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
本文提出事件基飞行物体数据集EV-Flying，并采用受PointNet启发的轻量级点云方法对鸟类、昆虫和无人机进行分类，以解决传统RGB方法在高速小目标识别中的难题。
2025-06-04 cs.CV
SRN: Side-output Residual Network for Object Symmetry Detection in the Wild
University of Chinese Academy of Sciences（中国科学院大学）；University of Oulu（奥卢大学）
在本文中，我们通过提出一个新的基准和一种端到端的深度学习方法，为复杂背景下的物体对称性检测建立了一个基线，为野外对称性检测开辟了一个有前途的方向。新的基准测试名为Sym-PASCAL，涵盖了对象多样性、多对象、部分不可见性和各种复杂背景等挑战，这些挑战远远超出了现有数据集。所提出的对称性检测方法，称为侧输出残差网络（SRN），利用输出残差单元（RU）来拟合对象对称性地面真值和RU输出之间的误差。通过以由深到浅的方式堆叠RU，SRN利用多个尺度之间的误差“流”来缓解用有限的层拟合复杂输出、抑制复杂背景以及有效地匹配不同尺度的对象对称性的问题。实验结果验证了基准测试及其与真实图像相关的挑战性方面，以及我们的对称检测方法的最新性能。SRN的基准测试和代码可在https://github.com/KevinKecc/SRN上公开获得。
2017-04-01 cs.CV
Object Proposals for Text Extraction in the Wild
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
对象建议是一种最近的计算机视觉技术，越来越受到研究界的关注。其主要目标是生成一组相对较小的限界框建议，这些建议最有可能包含感兴趣的对象。将Object Proposals技术应用于场景文本理解领域具有创新性。受强大而昂贵的技术以整体方式识别单词的成功的激励，Object Proposals技术作为传统文本检测器的替代品出现。在本文中，我们研究在何种程度上现有的通用对象建议的方法可能是有用的场景文本理解。此外，我们提出了一个新的对象提案算法，是专门为文本设计的，并将其与其他通用的方法在最先进的状态进行比较。实验表明，我们的建议是优越的，在其能力，生产高质量的文字建议，在一个有效的方式。我们的方法的源代码是公开的。
2015-09-08 cs.CV
Fine-Grained Visual Classification of Plant Species In The Wild: Object Detection as A Reinforced Means of Attention
West Virginia University（西弗吉尼亚大学）
野生植物物种识别是一个困难的问题，部分原因是由于输入数据的高度可变性，但也因为由数据集分布的长尾效应引起的复杂性。受到最近的细粒度视觉分类方法的启发，这些方法是基于注意力来减轻数据变化的影响，我们探索了使用目标检测作为注意力的一种形式的想法。我们介绍了一种自下而上的方法，基于检测植物器官和融合的预测变量数量的器官为基础的物种分类。我们还策划了一个新的数据集，具有长尾分布，用于评估植物器官检测和基于器官的物种识别，这是公开的。
2021-06-03 cs.CV
Interactive Video Object Segmentation in the Wild
在本文中，我们提出了我们的系统的人在环视频对象分割。我们的系统的骨干是一个单镜头视频对象分割的方法。虽然速度很快，但这种方法需要一个（或几个）帧作为输入的精确像素级分割。由于手动注释这样的分割是不切实际的，我们提出了一种深度交互式图像分割方法，可以准确地分割对象，只有少数点击。在GrabCut数据集上，我们的方法平均只需3.8次点击即可获得90%的IOU，开创了最新的技术水平。此外，由于我们的方法迭代地细化初始分割，它可以有效地纠正视频对象分割失败的帧，从而使用户即使在具有挑战性的序列上也能快速获得高质量的结果。最后，我们调查使用模式，并提供用户注释框架的步骤，他们提供什么样的更正等方面的见解，从而为进一步改进交互式视频分割提供重要的见解。
2017-12-31 cs.CV
Emergence of a Shared Canonical Object Frame from In-the-Wild Videos
University of Technology Nuremberg（图腾技术大学努尔堡分校）；Google（谷歌）；CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍茨中心CISPA）
提出一种自监督方法，利用野外物体视频和SfM噪声相机位姿，通过共享粗规范网格学习密集对应，无需标注即可涌现规范框架，在类别级位姿估计上达到竞争性精度。
2026-11-09 cs.CV
