Motion-Based Weak Supervision for Video Parsing with Application to Colonoscopy
Verily Life Sciences（Verily生命科学公司）
我们提出了一个两阶段的无监督的方法来解析视频成阶段。我们使用运动线索将视频分成粗略的片段。然后，噪声段标签用于弱监督基于外观的分类器。我们展示了该方法在结肠镜视频中相位检测的有效性。
2022-10-16 cs.CV cs.LG
Labelling unlabelled videos from scratch with multi-modal self-supervision
University of Oxford（牛津大学）；Facebook AI Research（Facebook人工智能研究）
深度学习目前的成功很大一部分在于数据的有效性--更准确地说：标记数据。然而，用人工注释标记数据集仍然需要很高的成本，尤其是对于视频。虽然在图像领域，最近的方法已经允许在没有监督的情况下为未标记的数据集生成有意义的（伪）标签，但这种发展在视频领域是缺失的，其中学习特征表示是当前的焦点。在这项工作中，我们a）表明视频数据集的无监督标记不会免费来自强特征编码器，b）提出一种新的聚类方法，通过利用音频和视觉模态之间的自然对应关系，允许在没有任何人类注释的情况下对视频数据集进行伪标记。一个广泛的分析表明，所产生的集群有很高的语义重叠地面真相人类标签。我们进一步介绍了常见视频数据集Kinetics，Kinetic-Sound，VGG-Sound和AVE的无监督标签的第一个基准测试结果。
2021-02-28 cs.CV cs.LG
VideoMDM: Towards 3D Human Motion Generation From 2D Supervision
Technion（以色列理工学院）；NVIDIA（英伟达）
提出VideoMDM框架，利用单目视频的2D姿态通过扩散模型学习3D运动先验，使用深度加权的2D重投影损失近似3D监督，在HumanML3D上接近全3D监督性能。
2026-06-12 cs.CV cs.LG
Action Recognition from Single Timestamp Supervision in Untrimmed Videos
University of Bristol（布里斯托大学）；University of Toronto（多伦多大学）；NVIDIA（英伟达）；Vector Institute（向量研究所）
识别视频中的动作依赖于训练过程中的标记监督，通常是每个动作实例的开始和结束时间。这种监督不仅是主观的，而且获得成本也很高。弱视频级监督已成功地用于未修剪视频中的识别，但当训练视频中不同动作的数量增加时，它受到挑战。我们提出了一种方法，是由位于每个动作实例周围的单个时间戳，在未修剪的视频监督。我们取代昂贵的动作界与采样分布初始化这些时间戳。然后，我们使用分类器的响应迭代更新采样分布。我们证明，这些分布收敛到歧视性的动作段的位置和程度。我们在三个数据集上评估了我们的方法，用于细粒度识别，每个视频的不同动作数量越来越多，并表明单个时间戳在识别性能和标记工作之间提供了合理的折衷，执行了完整的时间监督。我们的更新方法将top-1测试准确率提高了5.4%。在评估的数据集上。
2019-04-09 cs.CV
Time Is MattEr: Temporal Self-supervision for Video Transformers
KAIST（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）
了解视频的时间动态是学习更好的视频表示的一个重要方面。最近，基于变压器的架构设计已被广泛探索的视频任务，由于他们的能力，以捕捉长期依赖的输入序列。然而，我们发现，这些视频Transformers仍然偏向于学习空间动态，而不是时间的，和去偏的虚假相关性是至关重要的，他们的性能。基于观察结果，我们为视频模型设计了简单而有效的自监督任务，以更好地学习时间动态。具体来说，为了消除空间偏差，我们的方法学习视频帧的时间顺序作为额外的自我监督，并强制随机混洗帧具有低置信度输出。此外，我们的方法学习连续帧之间的视频令牌的时间流向，以增强对时间动态的相关性。在各种视频动作识别任务下，我们证明了我们的方法的有效性及其与最先进的视频Transformers的兼容性。
2022-07-19 cs.AI cs.CV cs.LG
Domain Adaptive Video Segmentation via Temporal Pseudo Supervision
Nanyang Technological University（南洋理工大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
视频语义分割在大量带标签的训练数据的监督下取得了很大的进展。然而，域自适应视频分割，它可以减轻数据标签的约束，从一个标记的源域适应到一个未标记的目标域，在很大程度上被忽视。我们设计了时间伪监督（TPS），这是一种简单有效的方法，它探索了一致性训练的想法，用于从未标记的目标视频中学习有效的表示。与传统的在空间空间中建立一致性的一致性训练不同，我们通过在增强的视频帧中执行模型一致性来探索时空空间中的一致性训练，这有助于从更多样化的目标数据中学习。具体来说，我们设计了跨帧伪标签，以提供从以前的视频帧伪监督，同时从增强的当前视频帧学习。跨帧伪标签鼓励网络产生高确定性的预测，这有助于有效地进行跨帧增强的一致性训练。在多个公开数据集上的实验表明，TPS算法实现简单，训练稳定性好，与现有算法相比，具有更高的视频分割精度.
2022-07-06 cs.CV
Active Learning for Efficient Annotation of Surgical Videos with Weak Supervision
University of Pennsylvania（宾夕法尼亚大学）
针对腹腔镜视频标注难题，提出人在回路知识获取框架，结合主动学习与双损失优化，利用基础模型及互补训练目标生成CAMs，迭代提出伪掩码引导标注，减少标注工作量50%，实现模型开发可扩展性及高效知识获取。
2026-07-16 cs.CV cs.LG
Web Stereo Video Supervision for Depth Prediction from Dynamic Scenes
Carnegie Mellon University（卡内基梅隆大学）；Adobe Inc.（奥多比公司）
我们提出了一个完全数据驱动的方法来计算深度从不同的单目视频序列，包含大量的非刚性对象，例如，人为了学习非刚性场景的重建线索，我们引入了一个新的数据集，包括立体视频刮在野外。该数据集具有各种场景类型，并具有大量非刚性对象，特别是人。由此，我们计算视差图以用作训练我们的方法的监督。我们提出了一个损失函数，使我们能够生成一个深度预测，即使未知的相机内在和立体基线的数据集。我们验证了大量的互联网视频的使用，通过评估我们的方法对现有的视频数据集与深度监督，包括SINTEL和KITTI，并表明我们的方法更好地推广到自然场景。
2019-04-25 cs.CV
Learning Temporal Coherence via Self-Supervision for GAN-based Video Generation
Technical University of Munich（慕尼黑工业大学）
我们的工作探索了基于GAN的视频生成任务的时间自我监督。虽然对抗性训练成功地为各种领域产生了生成模型，但生成数据中的时间关系却很少被探索。自然的时间变化对于顺序生成任务至关重要，例如视频超分辨率和不成对的视频翻译。对于前者，最先进的方法通常倾向于更简单的范数损失，例如$L^2$而不是对抗训练。然而，它们的平均性质容易导致时间上平滑的结果，而不期望地缺乏空间细节。对于不成对的视频翻译，现有的方法修改生成器网络，以形成时空循环映射。相比之下，我们专注于提高学习目标，并提出了一个时间自监督算法。对于这两个任务，我们表明时间对抗学习是在不牺牲空间细节的情况下实现时间连贯解决方案的关键。我们还提出了一种新的乒乓损失，以提高长期的时间一致性。它有效地防止了递归网络在时间上积累伪影，而不会抑制细节特征。此外，我们提出了第一组度量，以定量评估的准确性以及时间演变的感知质量。一系列的用户研究证实了这些指标计算的排名。代码、数据、模型和结果在https://github.com/thunil/TecoGAN上提供。项目页面https://ge.in.tum.de/publications/2019-tecogan-chu/包含补充材料。
2020-05-21 cs.CV cs.LG
Frame-Subtitle Self-Supervision for Multi-Modal Video Question Answering
Zhejiang University（浙江大学）
多模态视频问答的目标是预测正确答案并定位与问题相关的时间边界。问题的时间注释提高了QA性能和最近的作品的可解释性，但它们通常是经验性的和昂贵的。为了避免时间注释，我们设计了一个弱监督问题接地（WSQG）设置，其中只使用QA注释，并根据时间注意力分数生成相关的时间边界。为了替代时间标注，我们将帧和字幕之间的对应关系转换为帧-字幕（FS）自监督，这有助于优化时间注意分数，从而提高VideoQA模型中的视频-语言理解。在TVQA和TVQA+数据集上的大量实验表明，所提出的WSQG策略在问题基础上获得了相当的性能，而FS自我监督有助于提高仅QA监督和完全监督设置下的问答和基础性能。
2022-09-08 cs.CV cs.MM
Redirecting Teacher Supervision: Temporal-Response-Guided Latent Distillation for Video-Language Models
SF Technology（SF科技）
本文针对视频-语言模型的在线策略蒸馏方法，提出时间响应引导技术，在多个视频语言基准数据集上使4B学生模型宏观准确率较基线提升2.86个百分点。
2026-10-12 cs.CV
Audio-Visual Contrastive Learning with Temporal Self-Supervision
Adobe Research（Adobe研究院）；University of Surrey（萨里大学）
我们提出了一个自监督学习的视频，学习表示的RGB帧和伴随的音频没有人的监督方法。与捕捉静态场景外观的图像相比，视频还包含声音和时间场景动态。为了利用视频固有的时间和听觉维度，我们的方法将时间自我监督扩展到视听环境，并将其与多模态对比目标相结合。作为时间的自我监督，我们提出回放速度和方向识别在这两种方式，并提出内和跨模态的时间排序任务。此外，我们设计了一种新的对比目标，其中通常的对补充额外的样本依赖的积极和消极的演变特征空间采样。在我们的模型中，我们将这种损失应用于视频片段之间以及视频与其时间上对应的音频片段之间。我们在广泛的消融实验中验证了我们的模型设计，并在转移实验中评估了UCF 101和HMBD 51上的动作识别和检索，ESC 50上的音频分类以及VGG-Sound上的鲁棒视频指纹识别的视频和音频表示，并获得了最先进的结果。
2023-02-15 cs.CV
VDSM: Unsupervised Video Disentanglement with State-Space Modeling and Deep Mixtures of Experts
University of Surrey（萨里大学）
分解表示支持一系列下游任务，包括因果推理、生成建模和公平机器学习。不幸的是，没有监督或归纳偏见的结合，解开纠缠已经被证明是不可能的。鉴于监督通常是昂贵的或不可行的收购，我们选择将结构归纳偏差，并提出了一个无监督的，深状态空间模型的视频解纠缠（VDSM）。该模型通过采用分层结构、动态先验知识和混合专家模型解码器来消除潜在的时变和动态因素。VDSM学习视频中对象或人的身份以及正在执行的动作的单独的解纠缠表示。我们在一系列定性和定量的任务，包括身份和动力学转移，序列生成，Fréchet起始距离和因子分类评估VDSM。VDSM提供了最先进的性能，超过了对抗性方法，即使这些方法需要额外的监督。
2021-12-15 cs.CV cs.LG
Learning Temporally and Semantically Consistent Unpaired Video-to-video Translation Through Pseudo-Supervision From Synthetic Optical Flow
Honda Research Institute USA, Inc.（美国本田研究所）
非配对视频到视频翻译的目的是在源域和目标域之间翻译视频，而不需要配对的训练数据，使其更适合实际应用。不幸的是，翻译的视频通常遭受时间和语义不一致。为了解决这个问题，许多现有的作品采用时空一致性约束，结合基于运动估计的时间信息。然而，在运动估计的不准确性恶化的质量的指导对时空的一致性，这导致不稳定的翻译。在这项工作中，我们提出了一种新的范式，正则化的时空一致性合成运动在输入视频与生成的光流，而不是估计它们。因此，可以在正则化范例中应用合成运动，以保持跨域的运动一致，而没有运动估计中的错误风险。此后，我们利用我们的无监督的回收和无监督的空间损失，由合成光流提供的伪监督的指导下，准确地执行时空一致性在这两个领域。实验表明，我们的方法是通用的，在各种情况下，并实现了最先进的性能，在生成时间和语义一致的视频。代码可在：https://github.com/wangkaihong/Unsup_Recycle_GAN/.
2022-12-21 cs.CV
Learning Question-Aware Keyframe Selection with Synthetic Supervision for Video Question Answering
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出一种问题感知的关键帧选择框架，通过伪关键帧标签和覆盖正则化提升视频问答的准确率，尤其在时间与因果问题上表现突出。
2026-03-16 cs.AI cs.CV
Surveillance Video Parsing with Single Frame Supervision
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Microsoft Research（微软研究院）
监控视频解析，将视频帧分割成若干标签，例如，面、裤、左腿，有着广泛的应用。然而，逐像素地注释所有帧是乏味且低效的。在本文中，我们提出了一种单帧视频解析（SVP）方法，该方法在训练阶段只需要每个视频一个标记帧。为了解析一个特定帧，联合考虑该帧之前的视频片段。SVP（1）粗略地解析视频片段内的帧，（2）估计帧之间的光流，以及（3）融合由光流变形的粗略解析结果以产生精细解析结果。SVP的三个组成部分，即帧解析，光流估计和时间融合集成在一个端到端的方式。在两个监控视频数据集上的实验结果表明了SVP算法的优越性。
2016-11-29 cs.CV
Learning Video Representations from Textual Web Supervision
University of Michigan（密歇根大学）；Google Research（谷歌研究院）；Princeton University（普林斯顿大学）
互联网上的视频与文本片段配对，例如标题和描述。此文本通常描述视频中最重要的内容，例如场景中的对象和正在执行的动作。基于这一观察，我们建议使用文本作为学习视频表示的方法。为了实现这一点，我们提出了一个数据汇集过程，并使用它来收集70 M的视频剪辑在互联网上公开共享，然后我们训练一个模型来配对每个视频与其相关的文本。我们评估了几个下游动作识别任务，包括动力学，HMDB-51和UCF-101的模型。我们发现这种方法是一种有效的预训练视频表示的方法。具体来说，它优于所有现有的自监督和跨模态视频表示学习方法。
2021-08-27 cs.CV
Learning Representations of Endoscopic Videos to Detect Tool Presence Without Supervision
The Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medical Institutions（约翰斯·霍普金斯医学机构）；Laboratory for Computational Sensing and Robotics, The Johns Hopkins University（约翰斯·霍普金斯大学计算感知与机器人实验室）
在这项工作中，我们探讨是否有可能学习内窥镜视频帧的表示来执行任务，例如在没有监督的情况下识别手术工具存在。我们使用最大平均差异（MMD）变分自编码器（VAE）来学习内窥镜视频的低维潜在表示，并操纵这些表示来区分包含工具的帧和不包含工具的帧。我们使用三种不同的方法来操纵这些潜在的表示，以预测工具的存在，在每个帧。我们的完全无监督方法可以识别内窥镜视频帧是否包含工具，平均精度分别为71.56，73.93和76.18，与监督方法相当。我们的代码可在https://github.com/zdavidli/tool-presence/上获得
2020-08-27 cs.CV
VideoSAVi: Self-Aligned Video Language Models without Human Supervision
Arizona State University（亚利桑那州立大学）
提出VideoSAVi自训练流程，通过自我批评机制生成偏好对并应用DPO迭代训练，无需外部监督即显著提升视频语言模型的时空推理能力。
2025-08-09 cs.CV
Learning video embedding space with Natural Language Supervision
本文提出一种两阶段方法，利用预训练CNN提取视频帧特征并结合CLIP模型编码视觉特征与文本，将视频嵌入空间映射至自然语言，在UCF101和HMDB51数据集上达到SOTA。
2023-04-08 cs.CV
Unsupervised Discovery of 3D Physical Objects from Video
MIT（麻省理工学院）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）
我们研究了无监督的物理对象发现问题。虽然现有的框架旨在根据每个对象的外观将场景分解为2D片段，但我们探索了物理学，特别是对象交互，如何以无监督的方式从视频中解开3D几何形状和对象位置。从发展心理学中汲取灵感，我们的物理对象发现网络（POD-Net）使用多尺度像素线索和物理运动线索来准确分割不同大小的可观察和部分遮挡对象，并推断这些对象的属性。我们的模型可靠地分割合成和真实场景中的对象。发现的对象属性也可以用于推理物理事件。
2021-03-23 cs.CV cs.LG
Learning Person Re-identification Models from Videos with Weak Supervision
Hunan University（湖南大学）；University of California, Riverside（加州大学河滨分校）
针对行人重识别标注成本高的问题，提出基于视频级弱监督标签的多实例注意力学习框架，利用共同行人注意力机制挖掘视频间相似性关联，在弱标注数据集上表现优异。
2020-07-21 cs.CV
Weak Supervision and Referring Attention for Temporal-Textual Association Learning
Arizona State University（亚利桑那州立大学）；Carnegie Mellon University（卡内基梅隆大学）；Beihang University（北京航空航天大学）；University of California, Irvine（加利福尼亚大学尔湾分校）
捕捉视频帧和文本查询之间的关联的系统提供了更好的视频分析的巨大潜力。然而，以完全监督的方式训练这样一个系统不可避免地需要一个精心策划的具有时间-文本注释的视频数据集。因此，我们提供了一个弱监督的替代方案，我们提出的参考注意力机制学习时间-文本关联（称为WSRA）。弱监督仅仅是文本表达（例如，短短语或句子），指示该视频包含相关帧。参考注意力是我们设计的机制，作为一个评分功能接地给定的查询帧时间。它包括多个新的损失和采样策略，以更好地训练。我们设计的机制的原理是充分利用1）通过考虑来自与文本查询锚定的视频内片段的信息和区分线索的弱监督，2）与单个视频相比的多个查询，以及3）跨视频视觉相似性。我们通过大量的实验验证了我们的WSRA时间接地的语言，证明它优于最先进的弱监督方法显着。
2020-06-27 cs.CV
Video-STaR: Self-Training Enables Video Instruction Tuning with Any Supervision
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
针对现有视频指令微调数据集多样性不足、已有标注视频数据集难整合的问题，提出首个视频自训练方法Video-STaR，通过指令生成与微调的循环，利用现有视频标签作为弱监督，显著提升通用视频问答及下游任务性能。
2024-07-08 cs.AI cs.CV
Advancing Video-Text Pretraining with Multi-View Captions
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Liège（列日大学）
本文提出一种基于多模态大语言模型的多视角字幕生成框架，通过互补摘要与详细字幕、推理细化及语义正样本生成，提升视频-文本预训练中语言监督的质量，并在多个检索基准上以更小语料实现更优性能。
2026-09-29 cs.CV
MotionSpec: Spectral Trajectory Supervision for Motion-Consistent Video Generation
Cardiff University（卡迪夫大学）；University of Science and Technology of China（中国科学技术大学）；East China Normal University（华东师范大学）
提出MotionSpec框架，通过谱轨迹一致性（STC）和局部流一致性（LFC）监督，提升视频生成中的运动一致性、时间连贯性与合理性，同时保持视觉保真度。
2026-09-24 cs.CV
Spatio-Temporal Instance Learning: Action Tubes from Class Supervision
University of Amsterdam（阿姆斯特丹大学）
这项工作的目标是在视频中的时空动作定位，只使用视频级类标签的监督。国家的最先进的铸造这种弱监督的动作定位制度作为一个多实例学习问题，其中的实例是先验计算的时空建议。我们提出了时空实例学习，而不是将时空学习与训练断开，它可以直接从视频帧中的框建议中进行动作定位。我们概述了我们的模型的假设，并提出了一个最大利润目标和优化与潜变量，使时空学习的行动，从视频标签。我们还提供了一个有效的链接算法和两个重排序策略，以促进和进一步提高动作定位。四个动作数据集上的实验评估表明，我们的方法的有效性，从弱监督本地化。此外，我们展示了如何将其他监督水平和混合物，作为确定最佳监督策略的行动本地化的一步。
2018-11-21 cs.CV
P3IV: Probabilistic Procedure Planning from Instructional Videos with Weak Supervision
Samsung AI Centre Toronto（三星人工智能中心多伦多）；York University（约克大学）
本文研究了教学视频中的过程规划问题。在这里，智能体必须产生一个合理的动作序列，可以将环境从给定的开始状态转换为期望的目标状态。当从教学视频中学习程序规划时，最近的工作利用中间视觉观察作为监督，这需要昂贵的注释工作来精确地定位培训视频中的所有教学步骤。相比之下，我们删除了昂贵的时间视频注释的需要，并提出了一个弱监督的方法，从自然语言指令学习。我们的模型是基于一个Transformer配备了一个内存模块，它映射的开始和目标的意见，一系列合理的行动。此外，我们用概率生成模块来增强我们的模型，以捕获程序规划所固有的不确定性，这是以前的工作在很大程度上忽略的一个方面。我们在三个数据集上评估了我们的模型，并表明我们的弱监督方法在多个指标上优于以前的完全监督的最先进模型。
2022-05-04 cs.CV
Towards Self-Supervision for Video Identification of Individual Holstein-Friesian Cattle: The Cows2021 Dataset
University of Bristol（布里斯托大学）
在本文中，我们发布了最大的身份注释Holstein-Friesian牛数据集Cows 2021和第一个用于个体动物视频识别的自我监督框架。该数据集包含10，402个带有定位和身份标签的RGB图像以及来自同一牛群的301个视频。数据显示了自上而下的谷仓图像，捕捉到了该品种独特的黑色和白色被毛模式。受构建视觉牛识别系统所涉及的标签负担的启发，我们建议利用视频中的时间皮毛图案外观作为动物身份学习的自我监督信号。使用产生定向边界框的个体不可知的牛检测器，通过检测跟踪形成个体的旋转归一化轨迹，并通过增强来丰富。这会为每个tracklet生成一个“正”样本集，并与从其他视频的随机牛中采样的“负”样本集配对。然后采用框架三元组对比学习来构造度量潜在空间。将高斯混合模型拟合到该空间产生牛身份分类器。结果显示，与地面实况相比，前1名的准确度为57.0%，前4名的准确度为76.9%，调整后的兰德指数为0.53。虽然监督培训超过这个基准的大幅度，我们的结论是，自我监督，但可以发挥非常有效的作用，加快标签的努力，最初建设监督信息。我们提供所有数据和完整的源代码以及对系统的分析和评估。
2021-05-05 cs.CV
TransVCL: Attention-enhanced Video Copy Localization Network with Flexible Supervision
Ant Group（蚂蚁集团）；Copyright Protection Center of China（中国版权保护中心）
在视频检索应用中，视频拷贝定位的目标是精确定位一对未修剪视频中的所有拷贝片段。以往的方法通常从输入视频对的帧级特征之间的余弦相似性生成的帧到帧的相似性矩阵开始，然后在时间约束下在相似性矩阵上检测和细化复制片段的边界。在本文中，我们提出了transVCL：一个注意力增强的视频复制定位网络，它是直接从初始帧级功能优化和训练端到端的三个主要组成部分：一个定制的Transformer的功能增强，相关性和softmax层的相似性矩阵生成，和一个时间对齐模块复制段本地化。与以前的方法要求手工制作的相似性矩阵相比，TransVCL使用自我和交叉注意层将特征序列对之间的长距离时间信息结合起来。通过对三个组件的联合设计和优化，可以学习相似性矩阵以呈现更具鉴别力的复制模式，从而在片段级标记数据集（VCSL和VCDB）上比以前的方法有显着改进。除了在完全监督设置中的最先进的性能外，注意力架构还有助于TransVCL进一步利用未标记或简单的视频级标记数据。补充视频级标记数据集（包括SVD和FIVR）的其他实验表明，TransVCL从全监督到半监督（有或没有视频级注释）具有很高的灵活性。代码可在https://github.com/transvcl/TransVCL上公开获取。
2022-11-24 cs.CV
Self-supervision versus synthetic datasets: which is the lesser evil in the context of video denoising?
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Centre Borelli（博雷利中心）
监督训练在图像和视频去噪方面取得了最先进的成果。然而，它的实际数据的应用是有限的，因为它需要大量的数据集的噪声干净的对是很难获得的。出于这个原因，网络通常是在真实的合成数据上训练的。最近，已经提出了一些自监督框架，用于直接在噪声数据上训练这种去噪网络，而不需要地面实况。在合成去噪问题上，监督训练优于自监督方法，但近年来差距越来越小，特别是对于视频。在本文中，我们提出了一项研究，旨在确定哪种是最好的方法来训练去噪网络的真实原始视频：监督合成现实数据或自我监督的真实数据。在具有真实运动的自然视频的情况下，具有定量结果的完整研究是不可能的，因为不存在具有干净噪声对的数据集。我们通过考虑三个独立的实验来解决这个问题，在这些实验中，我们比较了两个框架。我们发现，对真实数据的自我监督优于对合成数据的监督，并且在正常照明条件下，性能下降是由于合成地面实况生成，而不是噪声模型。
2022-04-25 cs.CV eess.IV
Watch and Learn: Mapping Language and Noisy Real-world Videos with Self-supervision
Malong LLC（码隆科技有限公司）；University of Oxford（牛津大学）；Heriot-Watt University（赫瑞-瓦特大学）；Imperial College London（帝国理工学院）
在本文中，我们教机器理解视觉和自然语言，通过学习句子和嘈杂的视频片段之间的映射，没有明确的注释。首先，我们定义了一个自监督学习框架，该框架捕获跨模态信息。然后引入一种新的对抗性学习模块来显式地处理自然视频中的噪声，其中字幕句子不能保证与视频片段强对应。为了训练和评估，我们贡献了一个新的数据集“ApartmenTour”，其中包含大量的在线视频和字幕。我们对句子和视频之间的双向检索任务进行了实验，结果表明，我们提出的模型在两个检索任务上都达到了最先进的性能，并且超过了几个强基线。该数据集可以在https://github.com/zyj-13/WAL下载。
2021-01-11 cs.CV
Cross-modal Supervision for Learning Active Speaker Detection in Video
KU Leuven（荷语鲁汶大学）
在本文中，我们展示了如何使用音频来监督视频中主动说话人检测的学习。语音活动检测（VAD）以弱监督的方式指导基于视觉的分类器的学习。分类器使用时空特征来编码与说话相关联的上身运动-面部表情和手势。我们进一步提高了一个通用的主动说话人检测模型，通过学习人的具体模型。最后，我们展示了在一个数据集上学习的通用模型的在线适应，以适应新数据集中以前看不见的人，再次使用音频（VAD）进行弱监督。时间连续性的使用克服了缺乏干净的训练数据。我们是第一个提出主动说话人检测系统的人，该系统在一个视听数据集上学习，并自动适应新数据集中的说话人。这项工作可以被视为一个例子，说明多模态数据的可用性如何使我们能够通过将知识从一种模态转移到另一种模态来学习模型，而无需监督。
2016-03-29 cs.CV
PreViTS: Contrastive Pretraining with Video Tracking Supervision
Columbia University（哥伦比亚大学）；Salesforce Research（Salesforce研究院）
由于对象的自然时间变换的存在，视频是视觉表示的自监督学习（SSL）的丰富来源。然而，目前的方法通常随机采样视频剪辑用于学习，这导致不完美的监督信号。在这项工作中，我们提出了PreViTS，SSL框架，利用无监督的跟踪信号选择包含相同对象的剪辑，这有助于更好地利用对象的时间变换。PreViTS进一步使用跟踪信号来空间约束帧区域，以通过对Grad-CAM注意力图进行监督来学习和训练模型以定位有意义的对象。为了评估我们的方法，我们用PreViTS在VGG-Sound和Kinetics-400数据集上训练动量对比（MoCo）编码器。使用PreViTS进行训练在视频下游任务上优于单独通过对比策略学习的表示，在动作分类上获得最先进的性能。PreViTS有助于学习对背景和上下文变化更鲁棒的特征表示，正如在背景变化的数据集上进行的实验所示。使用PreViTS从大规模视频中学习可以带来更准确和更强大的视觉特征表示。
2022-09-27 cs.CV
SAVi++: Towards End-to-End Object-Centric Learning from Real-World Videos
Google Research（谷歌研究院）
视觉世界可以用具有稀疏交互的不同实体来简约地表征。在动态视觉场景中发现这种组成结构已经证明对于端到端计算机视觉方法具有挑战性，除非提供显式的实例级监督。利用运动线索的基于插槽的模型最近在学习表示，分割和跟踪对象方面表现出了很大的希望，而无需直接监督，但它们仍然无法扩展到复杂的现实世界多对象视频。为了弥合这一差距，我们从人类发展中汲取灵感，并假设以深度信号形式的场景几何信息可以促进以对象为中心的学习。我们介绍SAVi++，这是一种以对象为中心的视频模型，经过训练可以从基于槽的视频表示中预测深度信号。通过进一步利用模型缩放的最佳实践，我们能够训练SAVi++分割使用移动摄像机记录的复杂动态场景，包含自然背景上不同外观的静态和移动对象，而无需分割监督。最后，我们证明了通过使用从LiDAR获得的稀疏深度信号，SAVi++能够从真实世界的Waymo Open数据集中的视频中学习紧急对象分割和跟踪。
2022-12-23 cs.CV cs.LG
What is Point Supervision Worth in Video Instance Segmentation?
University of Maryland, College Park（马里兰大学学院公园分校）；NVIDIA（英伟达公司）；Caltech（加州理工学院）
本文研究视频实例分割中的点监督价值，提出类别无关候选生成与时空点匹配器，仅用每对象一个点标注即接近全监督性能。
2024-04-01 cs.CV
Distilled Semantics for Comprehensive Scene Understanding from Videos
University of Bologna（博洛尼亚大学）
对周围环境的全面了解对自主系统至关重要。最近的研究表明，深度神经网络可以从单目视频中学习几何（深度）和运动（光流），而无需来自地面实况注释的任何显式监督，特别是很难为这两项任务提供资源。在本文中，我们通过学习深度和运动以及语义，向单目相机的整体场景理解迈出了额外的一步，后者由预训练的网络提供监督，提取代理地面实况图像。我们解决了这三个任务联合a）一个新的训练协议的基础上知识蒸馏和自我监督和b）一个紧凑的网络架构，使高效的场景理解的功耗高的GPU和低功耗的嵌入式平台。我们彻底评估我们的框架的性能，并表明，它产生的单目深度估计，光流和运动分割的最先进的结果。
2020-03-31 cs.CV cs.LG
Weakly Supervised Keypoint Discovery
California Institute of Technology（加州理工学院）
在本文中，我们提出了一种方法，从一个2D图像的关键点发现使用图像级监督。最近的无监督关键点发现工作可靠地发现对齐实例的关键点。然而，当目标实例具有高视点或外观变化时，所发现的关键点不匹配不同图像上的语义对应。我们的工作旨在发现关键点，即使目标实例具有高的观点和外观变化，通过使用图像级监督。受弱监督学习方法的启发，我们的方法利用图像级监督来识别有区别的部分并推断目标实例的视点。为了发现不同的部分，我们采用了一种有条件的图像生成方法，使用一对结构变形的图像。最后，我们强制执行基于视点的等方差约束，使用图像级监督的关键点，以解决空间相关性问题，始终出现在从各种角度拍摄的图像。我们的方法实现了国家的最先进的性能的关键点估计的任务，在有限的监督情况下。此外，所发现的关键点直接适用于下游任务，而不需要任何关键点标签。
2021-09-28 cs.CV
Support-Set Based Cross-Supervision for Video Grounding
Xidian University（西安电子科技大学）；Alibaba Group（阿里巴巴集团）；The Hong Kong University of Science and Technology（香港科技大学）；National University of Singapore（新加坡国立大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
目前的视频接地方法提出了各种复杂的架构来捕捉视频-文本关系，并取得了令人印象深刻的改进。然而，实际上仅仅通过架构设计是很难理解复杂的多模态关系的。在本文中，我们介绍了一种新的基于支持集的交叉监督（Sscs）模块，它可以在训练阶段改进现有的方法，而无需额外的推理成本。拟议的Sscs模块包含两个主要组件，即，区分性对比目标和生成性标题目标。对比目标旨在通过对比学习来学习有效的表示，而字幕目标可以训练一个强大的文本监督的视频编码器。由于一些视觉实体在地面实况和背景间隔中的共存，即，相互排斥、单纯的对比学习不适合视频接地。我们解决这个问题，通过提高交叉监督与支持集的概念，它收集整个视频的视觉信息，消除实体的互斥。结合原有的目标，SSCS可以增强现有方法的多模态关系建模能力。我们在三个具有挑战性的数据集上广泛地评估了Sscs，并表明我们的方法可以大幅提高当前最先进的方法，特别是在Charades-STA上的R1@0.5方面提高了6.35%。
2021-08-24 cs.CV
PropFly: Learning to Propagate via On-the-Fly Supervision from Pre-trained Video Diffusion Models
KAIST（韩国科学技术院）；Kyungpook National University（庆北国立大学）；Adobe Research（Adobe研究院）
PropFly通过预训练视频扩散模型的实时监督学习，实现基于传播的视频编辑，无需配对数据集，提升编辑质量和一致性。
2026-02-24 cs.CV
Identify, locate and separate: Audio-visual object extraction in large video collections using weak supervision
Technicolor（特艺集团）
我们解决了弱标记数据的视听景物分析问题。为此，我们建立在我们以前的视听表示学习框架，在嘈杂的声学环境中进行对象分类，并集成音频源增强功能。这是可能的，通过一种新的使用非负矩阵分解的音频模态。我们的方法是建立在多实例学习范式。它的有效性是通过对具有挑战性的乐器表演视频数据集的实验来建立的。我们还显示了令人鼓舞的视觉对象定位结果。
2018-11-09 cs.CV cs.NE
Hierarchical Long-term Video Prediction without Supervision
Google Brain（谷歌大脑）；University of Michigan（密歇根大学）
最近的大部分研究都致力于视频预测和生成，但大多数以前的作品在短期内生成视频方面只取得了有限的成功。Villegas等人（2017）的分层视频预测方法是用于长期视频预测的最先进方法的一个示例，但他们的方法是有限的，因为它需要高层结构的地面实况注释（例如，人关节界标）。我们的网络对输入帧进行编码，预测未来的高级编码，然后访问第一帧的解码器从预测编码中生成预测图像。解码器还产生描绘预测前景对象的轮廓的掩模（例如，人）作为副产品。与Villegas et al.（2017）不同，我们开发了一种新的训练方法，可以在没有高级监督的情况下联合训练编码器，预测器和解码器;我们通过在特征空间中使用对抗性损失来训练预测器来进一步改进。我们的方法可以预测未来大约20秒，并且与Denton和Fergus（2018）和Finn等人（2016）在人类3.6M数据集上相比，提供了更好的结果。
2018-06-12 cs.CV
Track and Transfer: Watching Videos to Simulate Strong Human Supervision for Weakly-Supervised Object Detection
University of California, Davis（加州大学戴维斯分校）
训练对象检测器的现状方法需要昂贵的限界框注释。我们的框架采取了一个明显不同的方向：我们将跟踪的对象框从弱标记视频转移到弱标记图像，以自动生成伪地面实况框，取代手动注释的边界框。我们首先在弱标记图像集合中挖掘经常/很少出现在正/负像中的区分区域。然后，我们将这些区域与视频进行匹配，并检索相应的跟踪对象框。最后，我们设计了一个霍夫变换算法来投票选出最好的盒子作为每个图像的伪GT，并使用它们来训练目标检测器。总之，这些导致了PASCAL 2007和2010数据集上最先进的弱监督检测结果。
2016-04-19 cs.CV
Teacher-Guided Pseudo Supervision and Cross-Modal Alignment for Audio-Visual Video Parsing
针对弱监督音视频解析缺乏片段级监督与跨模态对齐的问题，提出EMA引导的伪监督框架与类感知CMA损失，在LLP和UnAV-100数据集上达到SOTA。
2025-09-17 cs.CV cs.MM
A flexible model for training action localization with varying levels of supervision
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
视频中的时空动作检测通常在完全监督的设置中解决，每个帧都需要对训练视频进行手动注释。由于这样的注释非常繁琐，并且限制了可伸缩性，因此显然需要最大限度地减少手动监督的数量。在这项工作中，我们提出了一个统一的框架，可以处理和结合不同类型的要求不高的弱监督。我们的模型是基于判别聚类，并集成了不同类型的监督约束的优化。我们研究了这样一个模型的应用，以训练设置与替代监督信号，从视频级类标签的动作边界框的完整的每帧注释。在具有挑战性的UCF 101 -24和DALY数据集上的实验表明，我们的方法在以前方法所使用的监督的一部分上具有竞争力的性能。我们的模型的灵活性使得能够从具有不同注释级别的数据中联合学习。实验结果表明，通过添加一些完全监督的例子，否则弱标记的视频显着增益。
2018-11-27 cs.CV
BoxMask: Revisiting Bounding Box Supervision for Video Object Detection
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们提出了一种新的，简单而有效的方法来提升视频目标检测。我们观察到，以前的作品上的实例级的功能聚合，立即忽略了细化像素级的表示，导致共享相似的外观或运动特性的对象之间的混乱。为了解决这一限制，我们提出了BoxMask，它通过结合类感知的像素级信息来有效地学习判别表示。我们简单地考虑限界框级注释作为每个对象的粗略掩码来监督我们的方法。所提出的模块可以毫不费力地集成到任何基于区域的检测器中，以提高检测能力。在ImageNet VID和EPIC KITCHENS数据集上进行的大量实验表明，当我们将BoxMask模块插入到许多最新的最先进的方法中时，性能得到了一致和显著的改善。
2022-10-12 cs.CV
Free Lunch for Surgical Video Understanding by Distilling Self-Supervisions
The Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technological University（南洋理工大学）；The Hong Kong University of Science and Technology Shenzhen Research Institute（香港科技大学深圳研究院）
自监督学习在视觉和自然语言处理方面取得了巨大的进展，最近，它也引起了人们对各种医学成像模式，如X射线，CT和MRI的关注。现有的方法主要集中在根据医学图像的特点，建立新的借口自我监督任务，如重建，方向和掩蔽识别。然而，公开的自我监督模型没有得到充分利用。在本文中，我们提出了一个强大而有效的自我监督框架的手术视频理解。我们的关键见解是从在大型通用机器人4上训练的公开可用模型中提取知识，以促进手术视频的自监督学习。为此，我们首先引入一个语义保持训练方案来获得我们的教师模型，该模型不仅包含来自公开可用模型的语义，而且可以为手术数据生成准确的知识。除了仅使用对比学习进行训练外，我们还引入了一个蒸馏目标，将教师模型中丰富的学习信息转移到手术数据的自监督学习中。两个手术阶段识别基准的广泛实验表明，我们的框架可以显着提高现有的自监督学习方法的性能。值得注意的是，我们的框架在低数据制度下表现出令人信服的优势。我们的代码可在https://github.com/xmed-lab/DistillingSelf上获得。
2022-09-26 cs.CV
LASER: A Neuro-Symbolic Framework for Learning Spatial-Temporal Scene Graphs with Weak Supervision
University of Pennsylvania（宾夕法尼亚大学）；University of Central Florida（中央佛罗里达大学）
针对时空场景图学习依赖人工标注的问题，提出神经符号框架LASER，以视频字幕为弱监督，通过大语言模型提取逻辑规范并结合多损失与可微分符号推理器训练生成器，在多个数据集上性能超越全监督基线。
2025-10-27 cs.CV cs.LG cs.LO
Tubelet-Contrastive Self-Supervision for Video-Efficient Generalization
University of Amsterdam（阿姆斯特丹大学）
提出 Tubelet 对比自监督方法，通过合成运动轨迹学习外观不同但局部运动一致的视频表示，在仅用 25% 预训练视频时保持性能并展现跨域泛化能力。
2023-09-28 cs.AI cs.CV
Object Discovery in Videos as Foreground Motion Clustering
University of Washington（华盛顿大学）；NVIDIA（英伟达）
我们认为，在视频中的对象发现提供密集的分割掩模的问题。我们制定的对象发现问题的前景运动聚类，其中的目标是集群的前景像素在视频到不同的对象。我们介绍了一种新的像素轨迹递归神经网络，它可以学习跨时间链接的前景像素轨迹的特征嵌入。通过使用学习的特征嵌入对像素轨迹进行聚类，我们的方法在视频帧中的前景对象掩模之间建立了对应关系。为了证明我们的目标发现框架的有效性，我们对常用的运动分割数据集进行了实验，在那里我们实现了最先进的性能。
2019-04-05 cs.CV
ACD: Direct Conditional Control for Video Diffusion Models via Attention Supervision
Sun Yat-sen University（中山大学）；Yonsei University（延世大学）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室）；X-Era AI Lab（X-Era人工智能实验室）
ACD通过注意力监督实现视频扩散模型的直接条件控制，引入稀疏3D-aware对象布局和专用布局控制网络，提升视频生成的可控性和一致性。
2025-12-24 cs.CV
Learning Transferable Self-attentive Representations for Action Recognition in Untrimmed Videos with Weak Supervision
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Youedata Co., Ltd.（优数数据有限公司）；University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology Beijing（北京科技大学）
视频中的动作识别在过去十年中吸引了很多关注。为了学习鲁棒的模型，以前的方法通常假设视频被修剪为短序列，并且需要每个视频帧/序列的地面实况注释，这是非常昂贵和耗时的。在本文中，只给出视频级注释，我们提出了一种新的弱监督框架，同时定位动作帧，以及识别未修剪视频中的动作。我们提出的框架包括两个主要组成部分。首先，对于动作帧定位，利用自注意力机制对每一帧进行加权，从而有效地消除背景帧的影响。其次，考虑到有修剪的视频公开提供，他们也包含有用的信息来利用，我们提出了一个额外的模块来转移知识修剪的视频，以提高分类性能在未修剪的。在两个基准数据集上进行了广泛的实验（即，THUMOS 14和ActivityNet 1.3），实验结果清楚地证实了我们的方法的有效性。
2019-02-20 cs.CV
From Dense Prediction to Visual Editing: Structured Supervision for Unified Image and Video Creation
The Hong Kong University of Science and Technology（香港科技大学）；Celia Research HK；City University of Hong Kong（香港城市大学）
该研究提出基于深度与表面法向量预测的结构化视觉监督框架，共享MMDiT主干实现统一图像视频创作，提升了相关基准任务分数，证明密集监督对下游创作的结构知识迁移价值。
2026-08-25 cs.CV
Multi-Resolution Weak Supervision for Sequential Data
Stanford University（斯坦福大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
由于手动标记训练数据缓慢且昂贵，最近的工业和科学研究工作已经转向更弱或更嘈杂的监督源形式。然而，现有的弱监督方法无法对序列数据（如视频）的多分辨率源进行建模，这些数据可以将标签分配给序列中的单个元素或元素集合。弱监管的一个关键挑战是在不使用标记数据的情况下估计这些源的未知精度和相关性。多分辨率源加剧了这一挑战，这是由于复杂的相关性和样本复杂性在序列的长度上缩放。我们提出了Dugong，这是第一个对具有复杂相关性的多分辨率弱监督源进行建模的框架，可以为训练数据分配概率标签。在理论上，我们证明了儒艮，在温和的条件下，可以唯一地恢复未观察到的精度和相关参数，并使用参数共享，以改善样本的复杂性。我们的方法将临床医生验证的标签分配给人口规模的生物医学视频存储库，帮助超过传统监督36.8 F1点，并解决了机器学习因缺乏专家标记数据而受到严重限制的关键用例。平均而言，在几个视频和传感器分类任务中，Dugong比传统监督方法提高了16.0 F1点，比现有的弱监督方法提高了24.2 F1点。
2019-10-21 cs.CV cs.LG stat.ML
