Offline Tracking with Object Permanence
Delft University of Technology（代尔夫特理工大学）
本文提出一种利用物体永久性概念的离线跟踪模型，通过Re-ID模块和轨迹补全模块恢复被遮挡物体的轨迹，显著提升3D多目标跟踪性能，可用于离线自动标注。
2024-05-04 cs.CV
Improving Object Permanence using Agent Actions and Reasoning
心理学中的客体恒存性意味着知道物体仍然存在，即使它们不再可见。机器人在不受控制的环境中自主操作是一个至关重要的概念。现有的方法从低级感知中学习物体持久性，但在更复杂的场景中表现不佳，例如当物体被其他物体包含和携带时。关于在物体消失之前对物体执行的操作的知识允许我们推断其位置，例如，该物体已被放置在载体中。在本文中，我们认为，对象持久性可以提高机器人使用的知识执行的行动，并描述了一种方法来推断隐藏的对象状态代理的行动。我们表明，考虑代理的行动，不仅提高了基于规则的推理模型，但也纯神经方法，显示其普遍适用性。然后，我们使用1，371个合成视频的数据集对告密者定位任务进行定量实验，在那里我们比较了有和没有动作注释的不同物体持久性模型的性能。我们证明，带有动作注释的模型可以显着提高神经方法和基于规则的方法的性能。最后，我们评估我们的方法在现实世界中的应用程序的可用性进行定性实验与两个通用机器人（UR5和UR16e）在实验室和工业环境。机器人完成了变速箱装配的基准任务，并在工业环境中使用真实的传感器数据展示了物体持久性能力。
2021-10-01 cs.CV cs.RO
Training Object Permanence in World Models
University of Southern California（南加州大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Johns Hopkins University（约翰霍普金斯大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Columbia University（哥伦比亚大学）；University of Toronto（多伦多大学）；University of Bristol（布里斯托大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；University of Waterloo（滑铁卢大学）；Friedrich-Alexander-Universität Erlangen（埃尔朗根-纽伦堡大学）；University of Oxford（牛津大学）；New York University（纽约大学）；Stanford University（斯坦福大学）；Harvard University（哈佛大学）
本文提出WROP数据集和PWM-WROP模型，通过认知科学启发的任务训练视频生成模型，以提升其对象持久性推理能力，并在300题考试中取得领先成绩。
2026-09-25 cs.AI cs.CV
Hopper: Multi-hop Transformer for Spatiotemporal Reasoning
Rutgers University（罗格斯大学）；NEC Laboratories America, Inc.（美国恩益禧实验室）
本文研究视频中时空对象中心推理问题。我们的方法的核心是客体永存性的概念，即，当对象在视频中移动而被其他对象遮挡、包含或携带时，推理对象位置的能力。现有的基于深度学习的方法在应用于视频推理问题时经常遭受时空偏差。我们提出Hopper，它使用多跳Transformer推理视频中的对象持久性。给定一个视频和一个定位查询，Hopper通过图像和对象轨迹进行推理，以迭代的方式自动跳过关键帧，以预测感兴趣对象的最终位置。我们证明了使用对比损失，以减少时空偏差的有效性。我们在CATER数据集上进行了评估，发现Hopper仅使用1 FPS通过跳过几个关键帧就达到了73.2%的Top-1准确率。我们还证明了Hopper可以通过构建CATER-h数据集来执行长期推理，该数据集需要多步推理才能正确定位感兴趣的对象。
2021-03-22 cs.CV
Tracking Is Not Permanence: What Video World Models Keep of a Hidden Object
Technical University of Munich（慕尼黑工业大学）
本研究探讨视频世界模型对隐藏物体的追踪持久性，发现预测器快速丢失隐藏物体，而编码器保留信息，且可通过训练低成本植入持久性先验。
2026-10-07 cs.CL cs.CV
PersistGS: Differentiable Physics for Object Permanence in 4D Gaussian Splatting
University of Waterloo（滑铁卢大学）
提出PersistGS方法，通过将可微刚体模拟与3D高斯溅射耦合，在物体被遮挡期间利用物理规律预测其SE(3)轨迹，从而恢复物体持久性，并引入质心轮廓损失降低轨迹误差。
2026-06-02 cs.CV cs.GR
Motion-inductive Self-supervised Object Discovery in Videos
Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；Huawei Inc.（华为技术有限公司）
在本文中，我们考虑在视频中的无监督对象发现的任务。先前的工作已经显示出通过处理光流来分割对象的有希望的结果。然而，将流作为输入带来了两个缺点。首先，当物体保持静止或部分被遮挡时，流动无法捕捉足够的线索。其次，由于缺少纹理信息，从仅流输入建立时间相干性是具有挑战性的。为了解决这些限制，我们提出了一个模型，直接处理连续的RGB帧，并推断任何一对帧之间的光流使用分层表示，与不透明度通道被视为分割。此外，为了增强对象持久性，我们对来自随机配对帧的推断掩码应用时间一致性损失，这些帧指的是不同速度的运动，并鼓励模型分割对象，即使它们在当前时间点可能不会移动。在实验中，我们在三个公共视频分割数据集（DAVIS 2016，SegTrackv 2和FBMS-59）上展示了优于先前最先进方法的性能，同时通过避免计算光流作为输入的开销来提高计算效率。
2022-10-01 cs.CV
Betrayed by Motion: Camouflaged Object Discovery via Motion Segmentation
University of Oxford（牛津大学）
本文的目标是设计一种计算架构，用于发现视频中的伪装对象，特别是通过利用运动信息来执行对象分割。我们作出以下三项贡献：（i）我们提出了一种新的架构，该架构由两个基本组件组成，用于打破伪装，即，基于背景对齐连续帧的可区分配准模块，其有效地强调了差异图像中的对象边界，以及具有发现移动对象的存储器的运动分割模块，同时保持物体恒存性，即使在某一点上没有运动。(ii)我们收集了第一个大规模的移动摄影年龄动物（MoCA）视频数据集，其中包括超过140个片段，涵盖各种动物（67个类别）。(iii)我们在MoCA上证明了所提出的模型的有效性，并且仅依靠运动在DAVIS2016上的无监督分割协议上实现了具有竞争力的性能。
2020-11-23 cs.CV
Using Diffusion Priors for Video Amodal Segmentation
Carnegie Mellon University（卡内基梅隆大学）
本文将视频非模态分割建模为条件生成任务，利用视频扩散先验和伪深度条件推断并补全被遮挡对象的完整范围，在四个数据集上较现有方法最高提升13%。
2024-12-05 cs.CV
Segmenting Moving Objects via an Object-Centric Layered Representation
University of Oxford（牛津大学）；Shanghai Jiao Tong University（上海交通大学）
本文的目标是一个模型，能够发现，跟踪和分割视频中的多个运动对象。我们做了四个贡献：首先，我们引入了一个以对象为中心的分割模型与深度排序层表示。这是使用摄取光流的Transformer架构的变体来实现的，其中每个查询向量为整个视频指定一个对象及其层。该模型可以有效地发现多个运动对象并处理相互遮挡;其次，我们引入了一个可扩展的管道，用于通过层组合生成多对象合成训练数据，用于训练所提出的模型，显着减少了劳动密集型注释的要求，并支持Sim 2 Real泛化;第三，我们进行了彻底的消融研究，表明该模型能够学习对象持久性和时间形状一致性，并能够预测非模态分割掩模;第四，我们评估我们的模型，只在合成数据上训练，在标准视频分割基准，DAVIS，MoCA，SegTrack，FBMS-59上，并在不依赖任何手动注释的现有方法中实现最先进的性能。通过测试时自适应，我们观察到进一步的性能提升。
2022-11-12 cs.CV
Revealing Occlusions with 4D Neural Fields
Columbia University（哥伦比亚大学）；Toyota Research Institute（丰田研究院）
对于计算机视觉系统在动态情况下运行，它们需要能够表示和推理物体永久性。我们引入了一个框架，用于学习从单眼RGB-D估计4D视觉表示，该框架能够持久化对象，即使它们被遮挡遮挡。与传统的视频表示不同，我们将点云编码为连续表示，这允许模型在时空背景下参与解决遮挡问题。在我们与本文一起发布的两个大型视频数据集上，我们的实验表明，该表示能够成功地揭示几个任务的遮挡，而无需任何架构更改。可视化显示，注意力机制自动学习跟随被遮挡的物体。由于我们的方法可以进行端到端的训练，并且很容易适应，我们相信它将有助于处理许多视频理解任务中的遮挡。数据、代码和模型可在https://occlusions.cs.columbia.edu/上获得。
2022-04-22 cs.CV cs.LG
Towards Spatio-Temporal World Scene Graph Generation from Monocular Videos
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Indian Institute of Technology Delhi（印度理工学院德里）
本文提出World Scene Graph Generation任务，通过ActionGenome4D数据集，引入三种方法解决未观测物体推理问题，推动视频场景理解向世界中心、时间持久和可解释的方向发展。
2026-03-13 cs.CV
REM: Evaluating LLM Embodied Spatial Reasoning through Multi-Frame Trajectories
Department of Computer Science（计算机科学系）；Carnegie Mellon University（卡内基梅隆大学）
REM通过多帧轨迹评估大语言模型的空间推理能力，揭示其在复杂空间任务中的不足，推动更 robust 的空间表示研究。
2025-11-30 cs.AI cs.CV cs.LG
Can 4D Foundation Models Remember?
Cornell University（康奈尔大学）
针对4D基础模型视觉记忆能力不足的问题，提出PersistBench基准，利用360°视频作为真实标注，从物体恒存性、运动连续性和外观保持性三方面评估，揭示当前模型仅能维持短期一致性，为未来发展提供指导。
2026-09-22 cs.CV
Detecting Temporally Consistent Objects in Videos through Object Class Label Propagation
用于检测移动或静态视频对象的对象提案需要解决诸如速度、存储器复杂性和时间一致性之类的问题。我们提出了一个有效的视频对象建议（VOP）生成方法，并显示其有效性，学习一个更好的视频对象检测器。使用所提出的VOP学习的基于深度学习的视频对象检测器在Youtube对象数据集上实现了最先进的检测性能。我们进一步提出了一个集群的VOPs，可以有效地用于检测对象的视频流的方式。与应用基于逐帧卷积神经网络（CNN）的目标检测相反，我们提出的称为视频使能器中的对象粗糙标签传播（OVERLESS）的方法只需要通过对象建议的流聚类和类别标签传播来对每个视频帧中的所有候选建议的一小部分进行分类。源代码将很快提供。
2016-01-20 cs.CV
VORNet: Spatio-temporally Consistent Video Inpainting for Object Removal
National Taiwan University（台湾大学）
视频对象去除是视频处理中的一项具有挑战性的任务，通常需要大量的人工努力。给定每帧中前景对象的掩模，目标是完成（补绘）对象区域并生成没有目标对象的视频。虽然最近基于深度学习的方法在图像修补任务上取得了巨大成功，但当应用于视频时，它们通常会导致帧之间的结果不一致。在这项工作中，我们提出了一种新的基于学习的视频对象去除网络（VORNet）解决视频对象去除任务的时空一致的方式，通过结合光流翘曲和基于图像的修复模型。在基于YouTube-VOS视频分割数据集的合成视频对象去除（SVOR）数据集上进行了实验，客观和主观评价都表明，与现有方法相比，VORNet生成的视频在空间和时间上都更加一致。
2019-04-14 cs.CV
Towards Large-Scale Video Video Object Mining
RWTH Aachen University（亚琛工业大学）
我们建议利用一个通用的对象跟踪器，以便在大规模的未标记的视频中进行对象挖掘，在一个现实的汽车设置中捕获。我们提出了一个超过360'000自动挖掘的对象跟踪从10+小时的视频数据（560'000帧）的数据集，并提出了一种方法，自动新颖的类别发现和检测器学习。此外，我们展示了使用挖掘的轨道对象检测器适应的初步结果。
2018-09-19 cs.CV
PReMVOS: Proposal-generation, Refinement and Merging for Video Object Segmentation
RWTH Aachen University（亚琛工业大学）
我们解决了半监督视频对象分割，自动生成准确和一致的像素掩模的视频序列中的对象，给定的第一帧地面实况注释的任务。为了实现这一目标，我们提出了PReMVOS算法（建议生成，细化和合并视频对象分割）。我们的方法将这个问题分为两个步骤，首先为每个视频帧生成一组准确的对象分割掩码建议，然后选择这些建议并将其合并为视频序列上准确且时间上一致的像素级对象轨迹，其目的是专门解决跨视频序列分割多个对象所涉及的困难挑战。我们的方法超越了DAVIS 2017视频对象分割基准测试的所有先前最先进的结果，在测试开发数据集上的J & F平均得分为71.6，并在DAVIS 2018视频对象分割挑战赛和YouTube-VOS第一次大规模视频对象分割挑战赛中获得第一名。
2018-11-03 cs.CV
Learning What and Where: Disentangling Location and Identity Tracking Without Supervision
University of Tübingen（图宾根大学）
我们的大脑几乎可以毫不费力地将视觉数据流分解为背景和突出对象。此外，它可以预测对象的运动和相互作用，这是概念规划与推理的关键能力。最近的对象推理数据集，如CATER，揭示了当前基于视觉的人工智能系统的根本缺点，特别是在针对显式对象表示，对象持久性和对象推理时。在这里，我们介绍了一个自我监督的定位和身份跟踪系统（Loci），它在CATER跟踪挑战中表现出色。受大脑中背侧和腹侧通路的启发，Loci通过处理“什么”和“哪里”的单独的、槽式编码来解决绑定问题。Loci的预测编码类处理鼓励积极的错误最小化，使得各个插槽倾向于编码各个对象。对象之间的相互作用和对象动态的处理中解开潜在的空间。通过时间截断的反向传播与向前资格累积相结合，显著加快了学习速度，提高了记忆效率。除了在当前的基准测试中表现出卓越的性能外，Loci还能有效地从视频流中提取对象，并将其分离为位置和完形组件。我们认为，这种分离提供了一种表示法，将有助于在概念层面上进行有效的规划与推理。
2023-02-07 cs.CV
Automatic detection of moving objects in video surveillance
University of Batna 2（巴特纳第二大学）
这项工作是在视频监控领域，包括运动检测。在视频监控系统中，视频监控是自动视频分析的关键技术之一。我们的工作的目的是提出解决方案的自动检测运动物体的实时的与监控摄像头。检测到的对象是具有某种几何形状（圆形、椭圆形、正方形和矩形）的对象。
2016-08-11 cs.CV
Flow-free Video Object Segmentation
Indian Institute of Technology Gandhinagar（甘地纳加尔印度理工学院）
从视频中分割前景对象是一项具有挑战性的任务，因为对象的大变形，遮挡和背景杂波。在本文中，我们提出了一种逐帧但计算效率高的视频对象分割方法，通过聚类在整个视频中视觉上相似的通用对象段。我们的算法分割出现在视频中的各种对象实例，然后进行聚类，以便将视觉上相似的片段分组到一个集群中。由于需要分割的对象出现在视频的大部分，我们可以从具有最大片段数量的聚类中检索前景片段，从而过滤掉不代表任何对象的噪声片段。然后，我们应用跟踪和填充的方法，以本地化的对象在帧中的对象分割框架未能分割任何对象。我们的算法在DAVIS数据集上进行基准测试时，与最近的视频对象分割自动方法相比，计算速度要快得多。
2017-06-29 cs.CV
Object Detection, Tracking, and Motion Segmentation for Object-level Video Segmentation
University of Freiburg（弗莱堡大学）
我们提出了一种方法，结合帧级的目标检测的概念，从对象跟踪和运动分割的视频对象分割。该方法基于现成的检测器提取时间上一致的对象管。除了每个管的类别标签之外，这还提供了独立于运动的位置先验。对于最终的视频分割，我们将这些信息与运动线索相结合。该方法克服了弱监督/无监督视频分割的典型问题，如没有运动的场景，占主导地位的摄像机运动，以及作为一个单元移动的对象。与大多数跟踪方法相比，它提供了一个准确的，时间上一致的分割每个对象。我们报告了四个视频分割数据集的结果：YouTube Objects，SegTrackv 2，egoMotion和FBMS。
2016-08-10 cs.CV
Latent Bi-constraint SVM for Video-based Object Recognition
Imperial College London（帝国理工学院）；Stony Brook University, SUNY（纽约州立大学石溪分校）
我们解决了从视频输入中识别对象的任务。与基于图像的对象识别相比，这个重要的问题相对未被探索。为此，我们作出以下贡献。首先，我们介绍了两个用于基于视频的对象识别的综合数据集。其次，我们提出了潜在的双约束SVM（LBSVM），一个基于视频的对象识别的最大间距框架。LBSVM是基于结构化输出SVM，但它扩展到处理噪声视频数据，并确保整个时间的输出决策的一致性。我们应用LBSVM识别办公室对象和博物馆雕塑，我们证明了它的好处，基于图像，基于集合，和其他基于视频的对象识别。
2016-05-31 cs.CV
Object-Centric Video Prediction via Decoupling of Object Dynamics and Interactions
University of Bonn（波恩大学）
提出OCVP transformer模块解耦时间动态与物体交互，在两个数据集上优于物体无关模型，保持一致准确的物体表示。
2023-07-31 cs.CV
Calculate distance to object in the area where car, using video analysis
该方法使用安装在汽车上的视频摄像机，计算物体在其运动区域的距离。
2015-11-25 cs.CV
Hierarchical Deep Co-segmentation of Primary Objects in Aerial Videos
Beihang University（北京航空航天大学）；Peking University（北京大学）；Pengcheng Laboratory（鹏城实验室）
主要目标分割在无人机视频理解中起着重要作用。在本文中，我们提出了一个大规模的数据集与500个空中视频和手动注释的主要对象。据我们所知，它是迄今为止用于航空视频中主要对象分割的最大数据集。从这个数据集中，我们发现大多数航拍视频包含大规模的场景，小的主要对象以及一致变化的尺度和视角。受此启发，我们提出了一种分层深度共分割方法，该方法将视频重复划分为分别由奇数帧和偶数帧形成的两个子视频。通过这种方式，子视频共享的主要对象可以通过训练双流CNN来共同分割，并最终在邻域可逆流内进行细化。实验结果表明，我们的方法显着优于17个国家的最先进的方法在分割主要对象在各种类型的航空视频。
2018-11-05 cs.CV
Explicit Layer Modeling for Video Object Insertion and Video Layer Decomposition
POSTECH（浦项科技大学）
研究针对视频编辑系统缺乏显式分层表示的问题，提出TriLayer数据集及DBL-Diffusion框架，用于视频对象插入和层分解任务，显著提升了插入保真度和分解质量。
2026-09-29 cs.CV
VideoHandles: Editing 3D Object Compositions in Videos Using Video Generative Priors
KAIST（韩国科学技术院）；Adobe Research（奥多比研究院）
提出VideoHandles，一种无需训练的视频3D物体组合编辑方法，通过将生成模型特征提升至共享3D重建并编辑后投影回各帧，实现时间一致的3D位置编辑，优于图像编辑基线。
2025-03-27 cs.CV
MOSO: Decomposing MOtion, Scene and Object for Video Prediction
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）
运动、场景和对象是视频的三个主要视觉组成部分。具体而言，对象表示前景，场景表示背景，并且运动跟踪它们的动态。基于这一认识，我们提出了一个两阶段的运动，场景和对象分解框架（MOSO）的视频预测，包括MOSO-VQVAE和MOSO-Transformer。在第一阶段中，MOSO-VQVAE将先前的视频片段分解为运动、场景和对象分量，并将它们表示为不同的离散令牌组。然后，在第二阶段，MOSO-Transformer基于先前的令牌预测后续视频剪辑的对象和场景令牌，并在令牌级别将动态运动添加到生成的对象和场景令牌。我们的框架可以很容易地扩展到无条件的视频生成和视频帧插值任务。实验结果表明，我们的方法在视频预测和无条件视频生成的五个具有挑战性的基准测试中实现了新的最先进性能：BAIR、RoboNet、KTH、KITTI和UCF 101。此外，MOSO可以通过组合来自不同视频的对象和场景来制作逼真的视频。
2023-03-16 cs.CV
MVOC: a training-free multiple video object composition method with diffusion models
Sobey Media Intelligence Laboratory（索贝媒体智能实验室）；University of Electronic Science and Technology of China（电子科技大学）
针对视频对象合成需兼顾交互效果与运动身份一致性的难题，提出免训练的MVOC方法，通过DDIM反演、首帧编辑及带视频对象依赖模块的图生视频，性能优于现有SOTA方法。
2024-06-22 cs.CV
Multiple Moving Object Recognitions in video based on Log Gabor-PCA Approach
Dayananda Sagar College of Engineering（达亚南达·萨加尔工程学院）
视频序列或图像中的目标识别是计算机视觉的一个分支。从视频序列中识别运动目标是一个很有吸引力的课题，在机场安全，入侵监视，视频监控，智能高速公路等领域的应用。运动目标识别是智能视频监控系统中最具挑战性的任务。在这方面，已经基于不同的方法提出了许多技术。尽管它的重要性，在复杂环境中的运动目标识别仍然远远没有完全解决低分辨率视频，雾视频，也暗淡的视频序列。总而言之，这些使得有必要开发非常强大的技术。本文介绍了多个运动目标识别的视频序列的基础上LoG的Gabor-PCA方法和角度的距离相似性措施的技术，用于识别对象作为一个人，车辆等进行了实验的数量为室内和室外的视频序列的标准数据集，也是我们自己收集的视频序列，包括部分夜视视频序列。实验结果表明，我们提出的方法取得了良好的识别率。所得结果令人满意且合格。
2014-07-03 cs.CV
Unsupervised Adversarial Visual Level Domain Adaptation for Learning Video Object Detectors from Images
IIT Kharagpur（印度理工学院卡拉格普尔分校）
基于深度学习的对象检测器需要数千个多样化的限界框和类注释示例。虽然近年来随着多个大规模静态图像数据集的发布，图像对象检测器已经显示出快速的进展，但是由于带注释的视频帧的稀缺，视频上的目标检测仍然是一个公开的问题。拥有一个强大的视频对象检测器是视频理解和策划视频中的大规模自动注释的重要组成部分。图像和视频之间的域差异使得图像对象检测器到视频的可移植性次优。最常见的解决方案是使用弱监督注释，其中必须标记视频帧是否存在对象类别。这仍然需要手动操作。在本文中，我们向前迈出了一步，采用了无监督对抗性图像到图像翻译的概念，以扰动静态高质量图像，使其在视觉上与一组视频帧无法区分。我们假设存在完全注释的静态图像数据集和未注释的视频数据集。使用原始数据集的注释在逆向变换的图像数据集上训练对象检测器。使用两个当代基线对象检测器对Youtube-Objects和Youtube-Objects-Subset数据集进行的实验表明，与直接应用原始图像对象检测器相比，这种无监督像素级领域自适应提高了视频帧的泛化性能。此外，与弱监督方法的最新基线相比，我们实现了具有竞争力的性能。本文可以看作是图像平移在跨域目标检测中的一个应用。
2018-10-04 cs.CV
ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了一个数据增强方法的动作识别使用实例分割。虽然许多数据增强方法已被提出用于图像识别，但其中很少有针对动作识别的。我们提出的方法，ObjectMix，提取每个对象区域从两个视频使用实例分割，并将它们结合起来，以创建新的视频。在UCF 101和HMDB 51两个动作识别数据集上的实验表明了该方法的有效性，并显示了其优于VideoMix的优势。
2022-11-14 cs.CV
Plug & Play Convolutional Regression Tracker for Video Object Detection
University of Twente（特温特大学）；Wuhan University（武汉大学）
视频目标检测的目标是同时定位对象的边界框并在给定视频中识别它们的类别。视频目标检测的一个挑战是在整个视频中一致地检测所有对象。由于对象的外观可能在某些帧中恶化，因此通常使用来自其他帧的特征或检测来增强预测。在本文中，我们提出了一个即插即用的规模自适应卷积回归跟踪器的视频目标检测任务，它可以很容易地和兼容地植入到当前国家的最先进的检测网络。由于跟踪器重复使用来自检测器的特征，因此对检测网络来说，这是一个非常轻的增量。整个网络的运行速度接近标准的目标检测器。通过我们新的视频目标检测流水线设计，图像目标检测器可以轻松地变成高效的视频目标检测器，而无需修改任何参数。性能在大规模ImageNet VID数据集上进行了评估。我们的即插即用设计将图像检测器的mAP分数提高了约5%，速度仅下降很少。
2020-03-02 cs.CV
Learning Stochastic Bridges for Video Object Removal via Video-to-Video Translation
提出基于随机桥接模型的视频到视频翻译框架，利用输入视频的结构先验引导对象移除，并通过自适应掩码调制策略平衡背景保真度与生成灵活性，显著提升视觉质量和时间一致性。
2026-06-29 cs.CV
VideoClick: Video Object Segmentation with a Single Click
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）；MIT（麻省理工学院）
用对象分割遮罩注释视频通常涉及两个阶段的过程，即为所有帧的每个对象实例绘制多边形，然后通过时间将它们链接起来。虽然简单，但这是一个非常繁琐，耗时和昂贵的过程，使得只有资金充足的实验室才能大规模创建准确的注释。如果我们能够在整个视频中分割一个对象，只需单击一下，会怎样？这将以非常低的预算实现大规模的视频分割，为许多应用打开大门。为了实现这一目标，在本文中，我们提出了一种自自底向上的的方法，在视频中对每个对象单击一次，我们就可以获得完整视频中这些对象的分割掩码。特别是，我们构建了一个相关体积，将目标帧中的每个像素分配给参考帧或背景中的对象之一。然后，我们通过一个循环注意力模块来细化这个相关量，并对最终的分割进行解码。为了评估性能，我们用视频对象分割标记了流行且具有挑战性的Cityscapes数据集。这个新的CityscapesVideo数据集的结果表明，我们的方法在这个具有挑战性的环境中优于所有基线。
2021-01-16 cs.CV
Weakly Supervised Human-Object Interaction Detection in Video via Contrastive Spatiotemporal Regions
MIT（麻省理工学院）；CIIRC CTU（捷克理工大学计算机科学与人工智能研究所）；Adobe（奥多比）
我们介绍了弱监督学习的任务，用于检测视频中的人和对象的交互。我们的任务带来了独特的挑战，因为系统不知道视频中存在什么类型的人与物体的交互，也不知道人与物体的实际时空位置。为了解决这些挑战，我们引入了一种对比性弱监督训练损失，旨在将视频中的时空区域与动作和对象词汇相关联，并鼓励移动对象的视觉外观的时间连续性作为自我监督的一种形式。为了训练我们的模型，我们引入了一个数据集，该数据集包括超过6.5k个带有人机交互注释的视频，这些注释是从与视频相关的句子标题中半自动策划的。我们证明了在弱监督基线上改进的性能，这些基线适合我们在视频数据集上的任务。
2021-10-07 cs.CV
TransFlow: Motion Knowledge Transfer from Video Diffusion Models to Video Salient Object Detection
GenGenAI；Yonsei University（延世大学）
针对视频 SOD 训练数据稀缺及合成光流不真实的问题，本文提出 TransFlow，利用预训练视频扩散模型的语义运动先验从静态图像生成自然且时空一致的光流训练数据，并在多个基准上提升检测性能。
2025-07-26 cs.CV
When Few-Shot Learning Meets Video Object Detection
Wyze Labs, Inc.（Wyze实验室公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Zhejiang University（浙江大学）；University of Rochester（罗切斯特大学）
与静态图像不同，视频包含额外的时间和空间信息，用于更好的目标检测。然而，获得大量具有受监督的深度学习所需的限界框注释的视频是昂贵的。虽然人类可以通过观看几个视频片段轻松地学会识别新物体，但深度学习通常会遇到过拟合问题。这就引出了一个重要的问题：如何有效地从几个标记的视频片段中学习视频对象检测器？本文研究了视频目标检测中的少样本学习问题。我们首先定义了Few-Shot设置，并为Few-Shot视频目标检测创建了一个新的基准数据集，该数据集来自广泛使用的ImageNet VID数据集。我们采用了一个迁移学习框架，有效地训练大量的基础类对象和一些视频剪辑的新类对象的视频对象检测器。通过分析在此框架下的两种方法（联合和冻结）在我们设计的弱基和强基数据集上的结果，我们发现了不足和过拟合问题。一个简单而有效的方法，称为解冻，自然发展权衡这两个问题，并验证我们的分析。在不同场景下对我们提出的基准数据集进行的广泛实验证明了我们的新型分析在这个新的少镜头视频Few-Shot对象检测问题中的有效性。目标检测问题。
2022-08-18 cs.CV
Accelerating Video Object Segmentation with Compressed Video
National University of Singapore（新加坡国立大学）
我们提出了一个有效的即插即用的加速框架，半监督视频对象分割，通过利用压缩比特流所呈现的视频中的时间冗余。具体来说，我们提出了一种基于运动矢量的变形方法，用于以双向和多跳的方式将分割掩模从关键帧传播到其他帧。此外，我们引入了一个基于残差的校正模块，可以修复错误传播的分割掩模从噪声或错误的运动矢量。我们的方法是灵活的，可以添加到几个现有的视频对象分割算法。我们在DAVIS 17和YouTube-VOS上的各种基础模型上取得了极具竞争力的结果，速度大幅提升至3.5倍，准确性略有下降。
2022-04-06 cs.CV
VINO: Video-driven Invariance for Non-contextual Objects via Structural Prior Guided De-contextualization
Nota AI GmbH（Nota AI公司）
VINO通过结构先验引导的去上下文化方法，有效分离视频中前景与背景，提升非上下文物体的表示鲁棒性。
2026-03-07 cs.AI cs.CV
Is an Object-Centric Video Representation Beneficial for Transfer?
University of Oxford（牛津大学）；DeepMind（深度思维）
这项工作的目标是学习以对象为中心的视频表示，目的是提高新任务的可转移性，即，任务不同于动作分类的预训练任务。为此，我们引入了一个新的以对象为中心的视频识别模型的基础上的Transformer架构。该模型为视频学习一组以对象为中心的摘要向量，并使用这些向量来融合视频剪辑的视觉和时空轨迹“模态”。我们还引入了一种新的轨迹对比度损失，以进一步增强这些摘要向量中的对象性。通过对四个数据集- SomethingSomething-V2，SomethingElse，Action Genome和EpicKitchen-的实验，我们表明以对象为中心的模型优于先前的视频表示（对象不可知和对象感知），当：（1）对看不见的对象和看不见的环境的动作进行分类;（2）新类的低拍摄学习;（3）对其他下游任务的线性探测;以及（4）用于标准动作分类。
2022-10-08 cs.CV
Rethinking Image-to-Video Adaptation: An Object-centric Perspective
The Chinese University of Hong Kong（香港中文大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
该研究从以物体为中心的视角提出高效图像到视频适配策略，通过槽注意力提炼物体token、物体-时间交互层建模时序变化，在动作识别上以更少参数达SOTA，零样本视频分割表现优异。
2024-07-09 cs.CV
Gamifying Video Object Segmentation
University of Catania（卡塔尼亚大学）
视频对象分割是计算机视觉中最具挑战性的问题之一。事实上，到目前为止，还没有现有的解决方案能够有效地处理现实世界视频的特殊性，特别是在关节运动和对象遮挡的情况下;当我们将它们的性能与人类的性能进行比较时，这些限制显得更加明显。然而，手动分割视频中的对象在很大程度上是不切实际的，因为它需要大量的时间和精力。为了解决这个问题，在本文中，我们提出了一个交互式的视频对象分割方法，它利用，一方面，人类的能力，以正确地识别视觉场景中的对象，另一方面，集体人类的脑力来解决具有挑战性的任务。特别是，我们的方法依赖于一个网页游戏来收集人类输入的对象位置，然后通过优化的能量函数编码对象区域之间的空间和时间约束，以及人类提供的输入实现准确的分割阶段。对一些用户玩游戏的具有挑战性的视频数据集进行的性能分析表明，与交互式视频注释和自动视频对象分割方法相比，我们的方法在注释时间和分割精度之间显示出更好的权衡。
2016-01-05 cs.CV
A Generic Object Re-identification System for Short Videos
Fudan University（复旦大学）；Tencent（腾讯）
像TikTok和Kwai这样的短视频应用最近很受欢迎。为了满足日益增长的需求并充分利用短视频中的视觉信息，需要将每个短视频中的对象定位和分析作为上游任务。因此，提出了一个问题-如何提高目标检测，跟踪和重新识别的准确性和鲁棒性，在数以百计的类别和复杂的视觉效果（VFX）的短视频吨。为此，本文提出了一种由检测模块、跟踪模块和类属对象重识别模块组成的系统，该系统从短视频中提取主要对象的特征。特别是，针对短视频实际应用中的高效率需求，在目标检测模块中提出了一种时间信息融合网络（TIFN），该网络具有与现有视频目标检测器相当的精度和更高的时间效率。此外，为了解决短视频中轨迹片段的碎片化问题，在跟踪模块中提出了一种跨层逐点连体网络（CPSN）来增强外观模型的鲁棒性。此外，为了评估所提出的系统，两个挑战数据集包含现实世界的短视频建立视频对象轨迹提取和通用对象重新识别。总体而言，对每个模块和整个系统的广泛实验证明了我们的系统的有效性和效率。
2021-02-10 cs.CV
Classifying, Segmenting, and Tracking Object Instances in Video with Mask Propagation
Facebook AI（脸书人工智能研究院）
我们介绍了一种方法，同时分类，分割和跟踪对象实例的视频序列。我们的方法名为MaskProp，通过添加掩码传播分支将流行的Mask R-CNN适应视频，该分支将帧级对象实例掩码从每个视频帧传播到视频剪辑中的所有其他帧。这使得我们的系统能够预测剪辑级实例轨道相对于对象实例分割在中间帧的剪辑。剪辑级实例轨道生成密集的序列中的每一帧，最后聚合产生视频级对象的实例分割和分类。我们的实验表明，我们的剪辑级实例分割，使我们的方法在视频中的运动模糊和对象遮挡鲁棒。MaskProp在YouTube-VIS数据集上实现了最佳报告准确性，优于ICCV 2019年视频实例分割挑战赛冠军，尽管它更简单，使用的标记数据数量级更少（130万与1B图像和860 K与14 M边界框）。
2021-07-09 cs.CV
Unidentified Video Objects: A Benchmark for Dense, Open-World Segmentation
Facebook AI Research (FAIR)（Facebook人工智能研究院）
当前最先进的目标检测和分割方法在封闭世界假设下工作良好。此封闭世界设置假定对象类别列表在训练和部署期间可用。然而，许多现实世界的应用需要检测或分割新的对象，即，在训练期间从未见过的对象类别。在本文中，我们提出，UVO（未识别的视频对象），一个新的基准开放世界类无关的对象分割的视频。除了将问题焦点转移到开放世界设置之外，UVO还明显更大，与DAVIS相比，提供了大约8倍的视频，与YouTube-VOS和YouTube-VIS相比，每个视频的遮罩（实例）注释多了7倍。UVO也更具挑战性，因为它包括许多具有拥挤场景和复杂背景运动的视频。我们证明了UVO可以用于其他应用，如对象跟踪和超体素分割，除了开放世界的对象分割。我们相信，UVo是一个多功能的测试平台，研究人员可以开发新的方法，用于开放世界的类不可知对象分割，并激发新的研究方向，以实现更全面的视频理解，超越分类和检测。
2021-04-10 cs.CV
Object Discovery in Videos as Foreground Motion Clustering
University of Washington（华盛顿大学）；NVIDIA（英伟达）
我们认为，在视频中的对象发现提供密集的分割掩模的问题。我们制定的对象发现问题的前景运动聚类，其中的目标是集群的前景像素在视频到不同的对象。我们介绍了一种新的像素轨迹递归神经网络，它可以学习跨时间链接的前景像素轨迹的特征嵌入。通过使用学习的特征嵌入对像素轨迹进行聚类，我们的方法在视频帧中的前景对象掩模之间建立了对应关系。为了证明我们的目标发现框架的有效性，我们对常用的运动分割数据集进行了实验，在那里我们实现了最先进的性能。
2019-04-05 cs.CV
Grounded Human-Object Interaction Hotspots from Video
UT Austin（得克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究院）
学习如何与对象交互是实现具体视觉智能的重要一步，但现有技术受到繁重的监督或传感要求的影响。我们提出了一种直接从视频中学习人机交互“热点”的方法。我们的方法不是将启示视为手动监督的语义分割任务，而是通过观看真实人类行为的视频并预测提供的动作来学习交互。给定一个新的图像或视频，我们的模型推断出一个空间热点图，表明一个对象将如何在潜在的交互中被操纵-即使该对象目前处于静止状态。通过第一人称和第三人称视频的结果，我们展示了在真实的人与物体交互中接地启示的价值。我们的弱监督热点不仅与强监督的启示方法竞争，而且它们还可以预测新对象类别的对象交互。
2019-04-02 cs.CV
Motion Vector Extrapolation for Video Object Detection
Ryerson University（瑞尔森大学）
尽管用于视频目标检测的计算高效的深度神经网络架构不断取得成功，但性能不断达到速度与准确性与计算资源的巨大三元悖论（选择两个）。当前利用视频数据中的时间信息来克服这一三难困境的尝试受到目标检测模型中的最新技术的检验。我们提出了一种技术，它通过使用现成的对象检测器并行现有的基于光流的运动估计技术，执行视频目标检测。通过在基准MOT20数据集上的一组实验，我们证明了我们的方法在不牺牲任何准确性的情况下显著降低了任何给定对象检测器的基线延迟。进一步减少延迟，比原始延迟低25倍，可以实现最小的准确性损失。MOVEX可在基于CPU的常见系统上实现低延迟视频目标检测，从而实现GPU计算领域之外的高性能视频目标检测。该代码可在https://github.com/juliantrue/movex上获得。
2021-06-13 cs.CV
Unsupervised Object Discovery and Tracking in Video Collections
Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
本文讨论了自动定位占主导地位的对象作为时空管在一个嘈杂的视频收集与最小甚至没有监督的问题。我们制定的问题作为两个互补的过程：发现和跟踪的组合。第一个建立视频中突出区域之间的对应关系，第二个将同一视频中连续的相似对象区域关联起来。有趣的是，我们的算法还发现了与跨不同视频的相同对象类的实例相关联的帧的隐式拓扑结构，这一角色通常留给传统图像和视频理解方法中的类标签形式的监督信息。事实上，正如我们的实验所证明的那样，我们的方法可以处理具有多个对象类的视频集合，并且在共定位方面大大优于现有技术，尽管它可以用更少的监督来解决更广泛的问题。
2015-05-14 cs.CV
EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing
Institute of Big Data, College of Computer Science and Artificial Intelligence, Fudan University, China（大数据研究院，计算机科学与人工智能学院，复旦大学，中国）
本文提出EffectErase方法，通过联合视频对象移除与插入，解决动态目标对象及其视觉效果的高质量擦除问题，利用大规模VOR数据集提升效果擦除质量。
2026-03-19 cs.CV
RGBD Objects in the Wild: Scaling Real-World 3D Object Learning from RGB-D Videos
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UC San Diego（加州大学圣地亚哥分校）；NVIDIA（英伟达）
引入WildRGB-D数据集，通过大规模野外采集的RGB-D物体视频，提供丰富3D标注并基准测试四项任务，显著推进真实世界3D物体学习。
2024-07-28 cs.CV
Video Object of Interest Segmentation
Alibaba Group（阿里巴巴集团）
在这项工作中，我们提出了一个新的计算机视觉任务命名为视频对象的兴趣分割（VOIS）。给定视频和目标图像，我们的目标是同时分割和跟踪视频中与目标图像相关的所有对象。该问题将传统的视频对象分割任务与指示用户关注的内容的附加图像相结合。由于没有现有的数据集完全适合这项新任务，我们专门构建了一个名为LiveVideos的大规模数据集，其中包含2418对目标图像和带有实例级注释的实时视频。此外，我们提出了一个基于变压器的方法来完成这项任务。我们重新审视了Swin Transformer，并设计了一种双路径结构来融合视频和图像特征。然后，一个Transformer解码器被用来从融合的特征中生成用于分割和跟踪的对象建议。在LiveVideos数据集上的大量实验表明了该方法的优越性。
2022-12-06 cs.CV
