LoGAN: Latent Graph Co-Attention Network for Weakly-Supervised Video Moment Retrieval
Boston University（波士顿大学）；University of California, Berkeley（加州大学伯克利分校）
弱监督视频矩检索的目标是定位与给定自然语言查询最相关的视频片段，而无需在训练期间访问时间注释。之前的强监督和弱监督方法通常利用共同注意力机制来学习用于本地化的视觉语义表示。然而，虽然这样的方法倾向于集中于识别视频的元素和语言模态之间的关系，但在给定查询的语义上下文的情况下，对视频帧之间的关系上下文建模的强调较少。因此，建立在局部框架特征上的上述视觉语义表示不包含太多上下文信息。为了解决这一限制，我们提出了一个潜在的图形共同注意力网络（LoGAN），利用细粒度的逐词交互帧之间的对应关系的原因，给定的语义上下文的查询。在两个数据集DiDeMo和Charades-Sta上进行的综合实验证明了我们提出的潜在共同注意力模型的有效性，它比当前最先进的（SOTA）弱监督方法有很大的优势。值得注意的是，它甚至比DiDeMo上的强监督SOTA方法的Recall@1准确率提高了11%。
2020-03-28 cs.CV cs.LG eess.IV
SLIC: Self-Supervised Learning with Iterative Clustering for Human Action Videos
University of Toronto（多伦多大学）
自监督方法已经大大缩小了与用于图像分类的端到端监督学习的差距。然而，在人类动作视频的情况下，外观和运动都是变化的重要因素，这种差距仍然很大。其中一个关键原因是，对相似视频片段进行采样，这是许多自监督对比学习方法的必要步骤，目前是保守地进行的，以避免误报。一个典型的假设是，类似的剪辑只发生在时间上接近在一个单一的视频，导致运动相似性的例子不足。为了缓解这一问题，我们提出了SLIC，一种基于聚类的自监督对比学习方法，用于人类动作视频。我们的主要贡献是，我们改进了传统的视频内正采样使用迭代聚类组相似的视频实例。这使得我们的方法能够利用来自聚类分配的伪标签来采样更硬的阳性和阴性。SLIC在UCF 101上的前1名召回率方面比最先进的视频检索基线高出+15.4%，直接转移到HMDB 51时高出+5.7%。通过对动作分类的端到端微调，SLIC在UCF 101上实现了83.2%的top-1准确率（+0.8%），在HMDB 51上实现了54.5%（+1.6%）。在Kinetics 400上进行自我监督预训练后，SLIC在动作分类方面也具有竞争力。
2022-06-25 cs.CV
Weakly Supervised Video Individual CountingWeakly Supervised Video Individual Counting
University of Chinese Academy of Science（中国科学院大学）；Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；University of California, Merced（加州大学默塞德分校）；Peng Cheng Laboratory（鹏城实验室）
本文提出无轨迹标签、仅用流入/流出标签的弱监督视频个体计数任务，给出组级匹配软对比学习基线，并构建 UAVVIC 数据集，性能优于监督方法。
2023-12-10 cs.CV
SELF-VS: Self-supervised Encoding Learning For Video Summarization
Shahid Bahonar University of Kerman（克尔曼沙希德·巴霍纳尔大学）；University of Manitoba（曼尼托巴大学）
尽管其应用范围广泛，但视频摘要仍然受到广泛数据集稀缺的阻碍，这主要是由于帧级注释的劳动密集型和昂贵的性质。因此，现有的视频摘要方法易于过拟合。为了缓解这一挑战，我们提出了一种新的自我监督的视频表示学习方法，使用知识蒸馏预训练的Transformer编码器。我们的方法匹配其语义视频表示，这是相对于帧的重要性分数，表示来自一个CNN训练视频分类。基于相关性的指标，如肯德尔的$τ$和斯皮尔曼的$ρ$的实证评估表明，我们的方法相比，现有的国家的最先进的方法在分配相对分数的输入帧的优越性。
2023-03-28 cs.CV
SelfHVD: Self-Supervised Handheld Video Deblurring
Harbin Institute of Technology（哈尔滨工业大学）
本文提出SelfHVD方法，通过提取视频中的清晰线索进行自监督学习，结合SEVD和SCSCM技术提升手持视频去模糊性能，实验表明其优于现有方法。
2026-04-10 cs.CV
Self-supervised Video Retrieval Transformer Network
Alibaba DAMO Academy（阿里巴巴达摩院）
基于内容的视频检索旨在从大型视频数据库中找到与给定查询视频相似甚至接近重复的视频。视频表示和相似性搜索算法是任何视频检索系统的关键。为了获得有效的视频表示，大多数视频检索系统需要大量的手动标注的数据进行训练，这使得它成本高昂，效率低下。此外，大多数检索系统是基于帧级特征的视频相似性搜索，使其昂贵的存储和搜索明智的。我们提出了一种新的视频检索系统，称为SVRTN，有效地解决了上述缺点。它首先应用自监督训练来有效地从未标记的数据中学习视频表示，以避免手动注释的昂贵成本。然后利用Transformer结构将帧级特征聚合到剪辑级，以减少存储空间和搜索复杂度。它可以从剪辑帧之间的相互作用中学习互补和判别信息，并获得帧排列和丢失不变量的能力，以支持更灵活的检索方式。在FIVR-200 K和SVD两个具有挑战性的视频检索数据集上进行的综合实验验证了本文提出的SVRTN方法的有效性，在准确率和效率上均达到了视频检索的最佳性能。
2021-04-16 cs.CV
Cooperative Learning of Audio and Video Models from Self-Supervised Synchronization
Dartmouth College（达特茅斯学院）；Facebook Research（脸书研究院）
视频的视觉和听觉元素之间存在自然的相关性。在这项工作中，我们利用这种连接来学习一般和有效的模型，从自我监督的时间同步的音频和视频分析。我们证明了一个校准的课程学习计划，仔细选择的负面例子，并使用对比损失的关键成分，以获得强大的多感官表示模型优化，以辨别时间同步的音频-视频对。无需进一步微调，所产生的音频特征在已建立的音频分类基准（DCASE 2014和ESC-50）上实现优于或相当于最先进的性能。与此同时，我们的视觉子网提供了一个非常有效的初始化，以提高基于视频的动作识别模型的准确性：与从头开始学习相比，我们的自我监督预训练在UCF 101上的动作识别准确性显著提高了+19.9%，在HMDB 51上提高了+17.7%。
2018-11-09 cs.CV
Auxiliary Learning for Self-Supervised Video Representation via Similarity-based Knowledge Distillation
University of Bristol（布里斯托大学）
尽管用于视频表示学习的自监督预训练方法取得了巨大的成功，但当用于预训练的未标记数据集很小时，或者源任务（预训练）中的未标记数据与目标任务（微调）中的标记数据之间的域差异很大时，它们的泛化能力很差。为了缓解这些问题，我们提出了一种新的方法，通过辅助预训练阶段来补充自我监督预训练，基于知识相似性蒸馏auxSKD，以更好地概括更少量的视频数据，例如Kinetics-100而不是Kinetics-400。我们的方法部署了一个教师网络，通过捕获未标记视频数据段之间的相似性信息，迭代地将其知识提取到学生模型中。学生模型同时解决了一个借口任务，利用这种先验知识。我们还引入了一个新的借口任务，视频段节奏预测或VSPP，这需要我们的模型来预测输入视频的随机选择段的回放速度，以提供更可靠的自我监督表示。我们的实验结果显示，在苹果对苹果的比较中，在K100上进行预训练时，在UCF 101和HMDB 51数据集上的结果优于现有技术。此外，我们还证明了我们的辅助预训练auxSKD，当作为额外的预训练阶段添加到最新的自监督方法（即VCOP，VideoPace和RSPNet）中时，可以改善他们在UCF 101和HMDB 51上的结果。我们的代码可在https://github.com/Plrbear/auxSKD上获得。
2022-04-25 cs.CV
Masked Video Distillation: Rethinking Masked Feature Modeling for Self-supervised Video Representation Learning
Microsoft Cloud + AI（微软云与人工智能部门）
得益于掩蔽视觉建模，自监督视频表示学习取得了显著的进展。然而，现有的方法专注于通过重建原始像素RGB值等低级特征从头开始学习表示。在本文中，我们提出了掩蔽视频蒸馏（MVD），这是一种简单而有效的用于视频表示学习的两阶段掩蔽特征建模框架：首先，我们通过恢复掩蔽补丁的低级特征来预训练图像（或视频）模型，然后我们使用得到的特征作为掩蔽特征建模的目标。对于教师模型的选择，我们观察到，由视频教师教授的学生在时间繁重的视频任务上表现更好，而图像教师在空间繁重的视频任务中转移了更强的空间表征。可视化分析还表明，不同的教师对学生产生不同的学习模式。基于这一观察，我们设计了一种时空协同教学的MVD方法。具体来说，我们提取学生模型从视频教师和图像教师掩蔽特征建模。大量的实验结果表明，用时空协同教学预训练的视频Transformers在大量视频数据集上的表现优于用单个教师提取的模型。与以前的监督或自监督方法相比，我们的MVD与vanilla ViT在几个具有挑战性的视频下游任务上实现了最先进的性能。例如，使用ViT-Large模型，我们的MVD在Kinetics-400和Something-Something-v2上达到了86.4%和76.7%的Top-1准确率，分别比VideoMAE高出1.2%和2.4%。当采用更大的ViT-Huge模型时，MVD在Something-Something-v2上实现了…
2023-03-06 cs.CV
Semi-Supervised Video Inpainting with Cycle Consistency Constraints
Nanjing University of Science and Technology（南京理工大学）；Illinois Institute of Technology（伊利诺伊理工学院）
基于深度学习的视频修复已经取得了令人鼓舞的成果，并越来越受到研究人员的关注。通常，这些方法通常假设每帧的损坏区域掩模是已知的并且容易获得。然而，这些面具的注释是劳动密集型和昂贵的，这限制了现有方法的实际应用。因此，我们希望通过定义一个新的半监督修复设置来放松这一假设，使网络能够使用仅一帧的注释掩码来完成整个视频的损坏区域。具体来说，在这项工作中，我们提出了一个端到端的可训练框架，由完成网络和掩码预测网络组成，它们被设计为使用已知掩码生成当前帧的损坏内容，并分别决定下一帧要填充的区域。此外，我们引入了一个循环一致性损失来正则化这两个网络的训练参数。以这种方式，完成网络和掩码预测网络可以相互约束，因此可以最大化训练模型的整体性能。此外，由于先验知识的自然存在（例如，损坏的内容和清晰的边界），当前的视频修复数据集不适合于半监督视频修复的上下文中。因此，我们通过模拟真实世界场景的损坏视频来创建一个新的数据集。大量的实验结果表明，我们的模型在视频修复任务的优越性。值得注意的是，尽管我们的模型是以半监督的方式训练的，但它可以实现与全监督方法相当的性能。
2022-11-17 cs.CV
Weakly-Supervised Online Action Segmentation in Multi-View Instructional Videos
Honda Research Institute, USA（美国本田研究院）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出了一个新的问题，弱监督在线动作分割教学视频。我们提出了一个框架，分割流媒体视频在线测试时，使用动态规划，并显示其优势，贪婪滑动窗口方法。我们通过引入在线离线离散损失（OODL）来改进我们的框架，以鼓励分割结果具有更高的时间一致性。此外，仅在训练期间，我们利用多个视图之间的帧对应作为训练弱标记教学视频的监督。特别是，我们研究了三种不同的多视图推理技术，以生成更准确的逐帧伪地面实况，而无需额外的注释成本。我们目前的结果和消融研究的两个基准多视图数据集，早餐和宜家ASM。实验结果表明，所提出的方法在定性和定量两个领域的烹饪和组装的有效性。
2022-03-24 cs.CV
Semi-Supervised Domain Adaptation for Weakly Labeled Semantic Video Object Segmentation
Aalto University（阿尔托大学）；Lappeenranta University of Technology（拉彭兰塔理工大学）；Nokia Labs（诺基亚实验室）
深度卷积神经网络（CNN）在许多大型标记数据集的高级计算机视觉任务中取得了巨大成功。然而，对于视频语义对象分割，标签稀缺的领域，有效地利用有限的训练数据的CNN的表示能力仍然是一个挑战。简单地借用现有的预训练CNN图像识别模型进行视频分割任务会严重损害性能。我们提出了一种半监督的方法来适应CNN图像识别模型训练标记的图像数据的目标域利用从CNN学习的语义证据，和视频数据的内在结构。通过明确地建模和补偿从源域到目标域的域转移，该方法支持一个强大的语义对象分割方法对自然视频中的外观，形状和遮挡的变化。我们在具有挑战性的数据集上进行了广泛的实验，证明了我们的方法与最先进的方法相比具有优越的性能。
2016-06-07 cs.CV
MVBIND: Self-Supervised Music Recommendation For Videos Via Embedding Space Binding
Shanghai Jiao Tong University（上海交通大学）
针对短视频缺乏自动背景音乐推荐方法的问题，提出自监督跨模态检索模型MVBind，通过嵌入空间绑定实现音乐推荐，构建SVM-10K数据集，性能优于基线方法且将开源数据与代码。
2024-05-15 cs.CV cs.MM
Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey
The Graduate Center, The City University of New York（纽约市立大学研究生中心）
大规模标记数据通常需要训练深度神经网络，以便在从图像或视频学习视觉特征以用于计算机视觉应用中获得更好的性能。为了避免采集和标注大规模数据集的巨大成本，作为无监督学习方法的一个子集，自监督学习方法被提出来从大规模未标注数据中学习一般图像和视频特征，而不使用任何人工标注的标签。本文对基于深度学习的图像或视频自监督一般视觉特征学习方法进行了广泛的回顾。首先，该领域的动机，一般管道，和术语进行了描述。然后总结了用于自监督学习的常用深度神经网络结构。接下来，回顾了自监督学习方法的主要组成部分和评价指标，然后是常用的图像和视频数据集以及现有的自监督视觉特征学习方法。最后，对基准数据集上的评价方法的定量性能比较进行了总结和讨论，用于图像和视频特征学习。最后，对本文进行了总结，并提出了自监督视觉特征学习的未来发展方向。
2019-02-16 cs.CV
Self-Supervised Learning for Videos: A Survey
University of Central Florida（中佛罗里达大学）；Center for Research in Computer Vision（计算机视觉研究中心）
该综述聚焦视频自监督学习，按学习目标将现有方法分为四类，同时介绍了常用数据集、下游任务，分析了现有局限并展望了未来方向。
2023-07-19 cs.CV cs.MM
Multiview Pseudo-Labeling for Semi-supervised Learning from Video
Facebook AI Research (FAIR)（脸书人工智能研究院）
我们提出了一个多视图伪标记的方法来视频学习，一个新的框架，使用互补的意见的形式的外观和运动信息的半监督学习在视频。互补视图有助于在未标记的视频上获得更可靠的伪标签，以学习比纯监督数据更强的视频表示。虽然我们的方法利用了多个视图，但它仍然训练了一个跨外观和运动输入共享的模型，因此，通过设计，在推理时不会产生额外的计算开销。在多个视频识别数据集上，我们的方法大大优于其监督对应，并与以前在自监督视频表示学习中的标准基准上的工作相比毫不逊色。
2021-04-01 cs.AI cs.CV cs.LG
A Penny for Your (visual) Thoughts: Self-Supervised Reconstruction of Natural Movies from Brain Activity
The Weizmann Institute of Science（魏茨曼科学研究所）
从fMRI大脑记录重建自然视频是非常具有挑战性的，主要有两个原因：（i）由于fMRI数据采集很困难，我们只有有限数量的监督样本，这不足以覆盖自然视频的巨大空间;（ii）fMRI记录的时间分辨率远低于自然视频的帧速率。在本文中，我们提出了一种自监督的自然电影重建方法。通过在编码-解码自然视频上使用周期一致性，我们可以：（i）利用训练视频的完整帧速率，而不仅仅限于与fMRI记录相对应的剪辑;（ii）利用受试者从未在fMRI机器内看到的大量外部自然视频。这些使得能够将适用的训练数据增加几个数量级，将自然视频先验以及时间相干性引入解码网络。我们的方法明显优于竞争的方法，因为那些训练只在有限的监督数据。我们进一步引入了一个新的和简单的时间先验的自然视频，它-当折叠到我们的fMRI解码器进一步-允许我们重建视频在一个更高的帧速率（HFR）高达x8的原始fMRI采样率。
2022-06-10 cs.AI cs.CV cs.LG
Self-Supervised Video Representation Learning with Meta-Contrastive Network
University of Washington（华盛顿大学）；Microsoft Research Asia（微软亚洲研究院）
自监督学习已成功应用于预训练视频表示，其目的是从预训练域到下游任务的有效适应。现有的方法仅仅利用对比损失来学习实例级区分。然而，缺乏类别信息将导致硬正问题，限制了这类方法的推广能力。我们发现元学习的多任务过程可以为这个问题提供解决方案。在本文中，我们提出了一个元对比网络（MCN），它结合了对比学习和元学习，以提高现有的自监督方法的学习能力。我们的方法包含两个基于模型不可知元学习（MAML）的训练阶段，每个阶段由一个对比分支和一个元分支组成。广泛的评估表明我们的方法的有效性。对于两个下游任务，即，在视频动作识别和视频检索方面，MCN在UCF 101和HMDB 51数据集上的性能优于最先进的方法。更具体地说，使用R（2 + 1）D主干，MCN在视频动作识别方面达到了84.8%和54.5%的Top-1准确率，在视频检索方面达到了52.5%和23.7%。
2021-08-23 cs.AI cs.CV cs.LG
Self-supervised Spatiotemporal Representation Learning by Exploiting Video Continuity
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Manitoba（曼尼托巴大学）
最近的自我监督视频表示学习方法已经发现了显着的成功，通过探索视频的基本属性，例如速度，时间顺序等。这项工作利用了一个重要的，但未充分探索的视频，视频连续性，以获得监督信号的自我监督表示学习。具体来说，我们制定了三个新的连续性相关的借口任务，即连续性的理由，不连续性本地化，缺失部分近似，共同监督视频表示学习的共享骨干。这种自我监督的方法，被称为连续性感知网络（CPNet），解决了这三个任务，并鼓励骨干网络学习本地和远程运动和上下文表示。它在多个下游任务上优于现有技术，例如动作识别，视频检索和动作定位。此外，视频连续性可以与用于表示学习的其他粗粒度视频属性互补，并且将所提出的借口任务集成到现有技术可以产生很大的性能增益。
2022-01-12 cs.CV cs.LG
Cycle-Contrast for Self-Supervised Video Representation Learning
Lumada Data Science Lab. Hitachi, Ltd.（日立有限公司卢马达数据科学实验室）
我们提出了循环对比学习（CCL），一种新的自我监督的方法学习视频表示。根据视频与其帧之间存在着一种属于和包含关系的性质，CCL被设计为分别考虑其域中的对比表示来发现帧和视频之间的对应关系。它与最近的方法不同，这些方法只是学习跨帧或剪辑的对应关系。在我们的方法中，帧和视频表示是从基于R3D架构的单个网络中学习的，在周期对比丢失之前，使用共享的非线性变换来嵌入帧和视频特征。我们证明了CCL学习的视频表示可以很好地转移到视频理解的下游任务中，在UCF 101，HMDB 51和MMAct上的最近邻检索和动作识别任务中优于以前的方法。
2020-10-28 cs.CV cs.LG
Self-Supervised Learning of Video-Induced Visual Invariances
Google Research（谷歌研究院）
我们提出了一个通用的框架，自监督学习的可转移的视觉表示的基础上视频诱导的视觉不变性（VIVI）。我们考虑视频中存在的隐式层次结构，并利用（i）帧级不变性（例如，对颜色和对比度扰动的稳定性），（ii）镜头/剪辑级不变性（例如，对对象方向和照明条件变化的鲁棒性），以及（iii）视频级不变性（镜头/剪辑之间场景的语义关系）来定义整体自监督损失。在YouTube-8 M（YT 8 M）数据集的视频上使用所提出的框架的不同变体训练模型，我们在视觉任务适应基准（VTAB）的19个不同下游任务上获得了最先进的自监督迁移学习结果，每个任务仅使用1000个标签。然后，我们展示了如何用标记图像联合训练我们的模型，在标记图像减少10倍的情况下，比ImageNet预训练的ResNet-50的性能高出0.8个点，并且使用完整的ImageNet数据集，比之前的最佳监督模型高出3.7个点。
2020-04-01 cs.CV cs.LG
Self-supervised Learning for Video Correspondence Flow
University of Oxford（牛津大学）
本文的目标是对适合匹配视频中的对应关系的特征嵌入进行自监督学习，我们称之为对应流。通过利用视频中的自然时空相干性，我们提出训练一个“指针”，通过从参考帧复制像素来重建目标帧。我们做了以下贡献：首先，我们引入了一个简单的信息瓶颈，迫使模型学习强大的功能对应匹配，并防止它学习平凡的解决方案，\eg匹配的基础上，低级别的颜色信息。其次，为了解决跟踪器漂移的挑战，由于复杂的对象变形，光照变化和遮挡，我们提出了训练递归模型在长时间窗口与预定的采样和周期一致性。第三，我们在DAVIS 2017视频分割和JHMDB关键点跟踪任务上实现了最先进的性能，远远优于之前所有的自监督学习方法。第四，为了阐明自监督学习在视频对应流任务上的潜力，我们通过对额外数据、\ie更多样化的视频进行训练来探索上限，进一步证明了视频分割的显着改进。
2019-07-27 cs.CV cs.LG
TimeBalance: Temporally-Invariant and Temporally-Distinctive Video Representations for Semi-Supervised Action Recognition
University of Central Florida（中佛罗里达大学）
与图像相比，半监督学习更有利于视频领域，因为它具有更高的注释成本和维度。此外，任何视频理解任务都需要在空间和时间维度上进行推理。为了学习半监督动作识别任务的静态和运动相关特征，现有方法依赖于硬输入感应偏差，例如使用两种模态（RGB和光流）或不同回放速率的两个流。我们没有通过不同的输入流使用未标记的视频，而是依赖于自监督视频表示，特别是，我们使用时间不变和时间独特的表示。我们观察到，这些表征根据动作的性质而相互补充。基于这一观察，我们提出了一个学生-教师半监督学习框架TimeBalance，在这个框架中，我们从一个时间不变的和一个时间不同的教师中提取知识。根据未标记的视频的性质，我们动态地结合这两个教师的知识的基础上，一种新的基于时间相似性的重新加权方案。我们的方法在三个动作识别基准测试中达到了最先进的性能：UCF 101，HMDB 51和Kinetics 400。代码：https://github.com/DAVEISHAN/TimeBalance
2023-03-28 cs.CV cs.LG
Video Violence Recognition and Localization Using a Semi-Supervised Hard Attention Model
Amirkabir University of Technology（阿米尔卡比尔理工大学）
监控摄像机网络的显著增长需要可扩展的AI解决方案来有效分析这些网络产生的大量视频数据。视频暴力检测作为对监控录像进行分析的一种典型方法，近年来受到了广泛的关注。大多数研究集中在使用监督方法改进现有方法，很少关注半监督学习方法。在这项研究中，一个强化学习模型，可以通过半监督的方法优于现有的模型。该方法的主要创新之处在于引入了半监督硬注意力机制。使用硬注意力，视频的重要区域被识别并与数据的非信息部分分离。通过去除冗余数据并以更高的分辨率关注有用的视觉信息来提高模型的准确性。使用半监督强化学习算法实现硬注意力机制消除了对视频暴力数据集中注意力注释的需要，从而使它们易于应用。该模型利用预训练的I3D骨干来加速和稳定训练过程。该模型在RWF和Hockey数据集上分别实现了90.4%和98.7%的最新准确度。
2022-09-05 cs.CV cs.LG
Enhancing Multi-Modal Video Sentiment Classification Through Semi-Supervised Clustering
Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加州大学）
针对视频情感分类依赖大量标注数据的问题，提出结合聚类半监督预训练与监督微调的多模态方法，利用视频、文本及声学特征提升分类效果，尤其适用于标注数据有限的场景。
2025-01-11 cs.CV cs.LG
Self-Supervised Video Representation Learning with Motion-Contrastive Perception
Fudan University（复旦大学）
纯视觉自监督学习在视频表示学习中取得了显著的进步。现有的相关方法鼓励模型通过利用对比学习或设计特定的借口任务来学习视频表示。然而，一些模型可能会关注背景，这对于学习视频表示并不重要。为了缓解这个问题，我们提出了一个新的视图称为远程残差帧，以获得更多的运动特定的信息。在此基础上，我们提出了运动对比感知网络（MCPNet），它包括两个分支，即运动信息感知（MIP）和对比实例感知（CIP），通过关注视频中的变化区域来学习通用视频表示。具体而言，MIP分支旨在学习细粒度的运动特征，CIP分支执行对比学习以学习每个实例的整体语义信息。在两个基准数据集UCF-101和HMDB-51上的实验表明，我们的方法优于当前最先进的视觉自监督方法。
2022-04-10 cs.AI cs.CV
Semi-Supervised Audio-Visual Video Action Recognition with Audio Source Localization Guided Mixup
Artificial Intelligence Graduate School（人工智能研究生院）；Ulsan National Institute of Science & Technology（蔚山国家科学技术研究院）
针对半监督视频动作识别中单一模态的局限性，提出同时利用视觉和音频的视听半监督框架，并引入考虑跨模态关系的声源定位引导 Mixup 方法，在多个数据集上取得卓越性能。
2025-03-04 cs.AI cs.CV
SS-VAERR: Self-Supervised Apparent Emotional Reaction Recognition from Video
Meta Reality Labs（Meta现实实验室）；Imperial College London（帝国理工学院）
这项工作的重点是明显的情绪反应识别（AERR）从视频只有输入，在自我监督的方式进行。该网络首先在不同的自我监督借口任务上进行预训练，然后在下游目标任务上进行微调。自监督学习有助于使用预训练的架构和较大的数据集，这些数据集可能被认为不适合目标任务，但可能有助于学习信息表示，因此提供有用的初始化，以进一步微调更小更合适的数据。我们提出的贡献是两方面的：（1）分析不同的国家的最先进的（SOTA）借口任务的视频只有明显的情绪反应识别架构，以及（2）分析的各种组合的回归和分类损失，可能会进一步提高性能。这两个贡献一起导致当前最先进的性能的视频只有自发的明显的情绪反应识别与连续的注释。
2022-10-20 cs.CV cs.LG
Video Autoencoder: self-supervised disentanglement of static 3D structure and motion
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）；UC Berkeley（加州大学伯克利分校）；UC San Diego（加州大学圣地亚哥分校）
提出了一种视频自动编码器，用于以自监督的方式从视频中学习3D结构和摄像机姿态的分离表示。依赖于视频中的时间连续性，我们的工作假设附近视频帧中的3D场景结构保持静态。给定视频帧序列作为输入，视频自动编码器提取场景的解纠缠表示，包括：（i）表示3D结构的时间一致的深体素特征，以及（ii）每个帧的相机姿态的3D轨迹。这两个表示然后将被重新纠缠以用于渲染输入视频帧。该视频自动编码器可以直接使用像素重建损失进行训练，而无需任何地面真实3D或相机姿态注释。解开表示可以应用于一系列的任务，包括新的视图合成，摄像机姿态估计，和视频生成的运动跟随。我们在几个大规模的自然视频数据集上评估了我们的方法，并在域外图像上显示了泛化结果。
2021-10-06 cs.CV cs.LG
Self-supervised Video Object Segmentation
Fudan University（复旦大学）；University of Oxford（牛津大学）；West Virginia University（西弗吉尼亚大学）
本文的目标是自监督的表示学习，目标是解决半监督视频对象分割（a.k.a.密集跟踪）。本文的主要贡献如下：（1）改进了现有的自监督匹配方法，提出了一种简单有效的长时匹配记忆机制，解决了对象消失和再现带来的挑战;（ii）通过用在线自适应模块增强自监督方法，我们的方法成功地消除了由时空不连续性引起的跟踪器漂移，例如，遮挡或不遮挡，快速运动;（iii）我们探索了自监督表示学习用于密集跟踪的效率，令人惊讶的是，我们证明了一个强大的跟踪模型可以用少至100个原始视频剪辑来训练（相当于11分钟的持续时间），表明低级别的统计数据已经对跟踪任务有效;（iv）我们在DAVIS-2017和YouTube-VOS上展示了自监督方法的最新结果，并超越了使用数百万手动分割注释训练的大多数方法，进一步弥合了自监督学习和监督学习之间的差距。发布代码以促进任何进一步的研究（https：//github.com/fangruizhu/self_sup_semiVOS）。
2020-06-22 cs.CV cs.LG
Weakly-supervised High-fidelity Ultrasound Video Synthesis with Feature Decoupling
Shenzhen University（深圳大学）；Shenzhen RayShape Medical Technology Co., Ltd（深圳瑞影医疗科技有限公司）；Huizhou Central People’s Hospital（惠州市中心人民医院）
超声以其实时成像、无辐射、便携等优点被广泛应用。在临床实践中，分析和诊断通常依赖于US序列而不是单个图像来获得动态解剖信息。这对新手来说是一个挑战，因为用来自患者的足够视频进行练习在临床上是不切实际的。在本文中，我们提出了一种新的框架来合成高保真美国视频。具体地，通过基于给定驾驶视频的运动来动画化源内容图像来生成合成视频。我们的亮点有三个方面。首先，利用自监督学习和全监督学习的优点，我们提出的系统以弱监督方式进行关键点检测训练。然后，这些关键点为处理US视频中的复杂高动态运动提供重要信息。其次，我们使用双解码器来解耦内容和纹理学习，以有效地降低模型学习的难度。最后，我们采用带有GAN损失的对抗训练策略，进一步提高生成视频的清晰度，缩小真实视频与合成视频之间的差距。我们验证了我们的方法在一个大的内部骨盆数据集与高动态运动。广泛的评价指标和用户研究证明了我们所提出的方法的有效性。
2022-07-01 cs.AI cs.CV cs.LG
GV-VAD : Exploring Video Generation for Weakly-Supervised Video Anomaly Detection
China Telecom Corporation Limited Wenzhou Branch（中国电信有限公司温州支公司）；Faculty of Electrical Engineering and Computer Science, Ningbo University（宁波大学电子工程与计算机科学学院）
针对现实异常数据稀缺、标注成本高限制弱监督VAD模型性能的问题，提出GV-VAD框架，用文本条件生成的合成视频低成本扩充数据，结合损失缩放策略控影响，在UCF-Crime上性能超SOTA。
2025-08-01 cs.AI cs.CV
TRIMMER: A New Paradigm for Video Summarization through Self-Supervised Reinforcement Learning
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
TRIMMER通过自监督强化学习框架，在视频摘要中实现高效且可扩展的语义表示，优于传统方法在长时序依赖和语义结构的捕捉能力。
2026-05-03 cs.AI cs.CV
Multi-Scale Self-Contrastive Learning with Hard Negative Mining for Weakly-Supervised Query-based Video Grounding
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
基于查询的视频基础是视频理解中一项重要而又具有挑战性的任务，其目的是根据句子查询定位未经裁剪的视频中的目标片段。大多数以前的工作取得了显着的进展，通过解决这个任务在一个完全监督的方式与段级标签，这需要高的标签成本。尽管最近的一些努力开发了只需要视频级知识的弱监督方法，但它们通常将多个预定义的片段建议与查询匹配并选择最佳片段，这缺乏细粒度的帧级细节以区分整个视频中具有高重复性和相似性的帧。为了缓解上述限制，我们提出了一个自我对比学习框架，以解决弱监督设置下的基于查询的视频接地任务。首先，而不是利用冗余段的建议，我们提出了一个新的接地方案，学习帧匹配分数参考查询语义预测可能的前景帧，只使用视频级注释。其次，由于一些预测帧（即，边界帧）是相对粗糙的，并且表现出与它们的相邻帧相似的外观，我们提出了一种从粗到细的对比学习范例，以学习更多的区分性逐帧表示，用于区分假阳性帧。特别是，我们迭代地探索多尺度硬负样本，这些样本接近表示空间中的正样本，以区分细粒度的帧细节，从而实施更准确的分段接地。在两个具有挑战性的基准上进行的大量实验表明，与最先进的方法相比，我们所提出的方法具有优越性。
2022-03-08 cs.AI cs.CV cs.LG
PooDLe: Pooled and dense self-supervised learning from naturalistic videos
New York University（纽约大学）；Meta
提出PooDLe方法，结合池化不变性与密集光流等变目标，在多个特征尺度上统一训练，从自然视频中学习图像表示，并在BDD100K和Walking Tours数据集上验证了空间与语义理解能力。
2025-04-23 cs.CV cs.LG
Exploring Temporal Granularity in Self-Supervised Video Representation Learning
Google Research（谷歌研究院）；Cornell University（康奈尔大学）；University of Copenhagen（哥本哈根大学）
本文提出了一个自监督学习框架TeG来研究视频表示学习中的时间粒度。在TeG中，我们从视频中采样一个长剪辑和一个位于长剪辑内的短剪辑。然后，我们提取其密集的时间嵌入。训练目标由两部分组成：一个细粒度的时间学习目标，以最大限度地提高短剪辑和长剪辑中相应的时间嵌入之间的相似性，以及一个持久的时间学习目标，将两个剪辑的全局嵌入拉在一起。我们的研究揭示了时间粒度的影响，有三个主要发现。1)不同的视频任务可能需要不同时间粒度的特征。2)有趣的是，一些被广泛认为需要时间意识的任务实际上可以通过时间持久性特征来很好地解决。3)TeG的灵活性在8个视频基准测试中产生了最先进的结果，在大多数情况下优于监督预训练。
2021-12-08 cs.CV cs.LG
iBoot: Image-bootstrapped Self-Supervised Video Representation Learning
Samsung AI Cambridge（三星人工智能剑桥研究院）
通过自我监督学习视觉表征是一项极具挑战性的任务，因为网络需要在没有监督提供的主动指导的情况下从虚假干扰中筛选相关模式。这是通过大量的数据增强、大规模数据集和令人望而却步的计算量来实现的。视频自监督学习（SSL）面临着额外的挑战：视频数据集通常没有图像数据集那么大，计算量大一个数量级，优化器必须筛选的虚假模式数量翻了好几倍。因此，直接从视频数据中学习自监督表示可能会导致次优性能。为了解决这个问题，我们建议在视频表示学习框架中利用一个强大的基于图像的模型，通过自我或语言监督进行预训练，使模型能够在不依赖视频标记数据的情况下学习强大的空间和时间信息。为此，我们修改了典型的基于视频的SSL设计和目标，以鼓励视频编码器\textit{subsume}的语义内容的图像为基础的模型上训练的一般域。所提出的算法被证明学习效率更高（即在更少的时期和更小的批量），并导致在标准的下游任务之间的单模态SSL方法的新的最先进的性能。
2022-06-16 cs.CV cs.LG
Exploring Relations in Untrimmed Videos for Self-Supervised Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
现有的视频自监督学习方法主要依赖于修剪视频进行模型训练。然而，修剪的数据集是从未修剪的视频手动注释的。从这个意义上说，这些方法并不是真正的自我监督。在本文中，我们提出了一种新的自监督方法，称为探索未修剪视频中的关系（ERUV），它可以直接应用于未修剪视频（真正的未标记）来学习时空特征。ERUV首先通过镜头变化检测生成单镜头视频。然后，设计的采样策略是用来模型的视频剪辑的关系。该策略被保存为我们的自我监督信号。最后，网络通过预测视频片段之间的关系类别来学习表示。ERUV能够比较视频的差异和相似性，这也是与动作和视频相关的任务的必要程序。我们用三种3D CNN的动作识别和视频检索任务验证了我们学习的模型。实验结果表明，ERUV能够学习更丰富的表示，它优于最先进的自监督方法具有显着的利润率。
2020-08-06 cs.CV
Static and Dynamic Concepts for Self-supervised Video Representation Learning
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
在本文中，我们提出了一种新的学习方案的自监督视频表示学习。受人类如何理解视频的启发，我们建议首先学习一般的视觉概念，然后参加视频理解的歧视性局部区域。具体地说，我们利用静态框架和框架差异来帮助静态和动态概念解耦，并分别对齐潜在空间中的概念分布。我们添加了多样性和保真度正则化，以保证我们学习一组紧凑的有意义的概念。然后采用交叉注意力机制聚合不同概念的细节局部特征，过滤掉低激活度的冗余概念进行局部概念对比。大量的实验表明，我们的方法提取有意义的静态和动态的概念，以指导视频理解，并获得了最先进的结果UCF-101，HMDB-51，潜水-48。
2022-07-26 cs.CV cs.LG
Unsupervised Multimodal Video-to-Video Translation via Self-Supervised Learning
New York University（纽约大学）；ETH Zürich（苏黎世联邦理工学院）
现有的无监督视频到视频翻译方法不能产生帧级真实感、语义信息保持和视频级一致的翻译视频。在这项工作中，我们提出了UVIT，一种新的无监督视频到视频翻译模型。我们的模型分解的风格和内容，使用专门的编码器-解码器结构，并通过双向递归神经网络（RNN）单元传播帧间信息。风格-内容分解机制使我们能够获得风格一致的视频翻译结果，并为模态灵活的翻译提供了一个良好的接口。此外，通过改变我们的翻译中包含的输入帧和样式代码，我们提出了一个视频插值损失，它捕获序列中的时间信息，以自我监督的方式训练我们的构建块。我们的模型可以以多模式的方式产生照片般逼真，时空一致的翻译视频。主观和客观的实验结果验证了我们的模型优于现有的方法。更多详情请访问我们的项目网站：https://uvit.netlify.com
2020-04-14 cs.CV cs.LG eess.IV
Self-Supervised Representation Learning for Visual Anomaly Detection
KAIST（韩国科学技术院）
自监督学习允许更好地利用未标记的数据。通过自监督获得的特征表示可以用于下游任务，例如分类、目标检测、分割和异常检测。虽然分类，目标检测和分割已经研究了自监督学习，异常检测需要更多的关注。研究了图像和视频中的异常检测问题，提出了一种新的视频视觉异常检测技术。许多开创性的和国家的最先进的自我监督的方法进行评估，对各种图像数据集的异常检测。最好的基于图像的自我监督表示学习方法，然后用于视频异常检测，看到视频中的视觉异常检测的空间特征的重要性。我们还提出了一个简单的自我监督的方法来学习跨视频帧的时间相干性，而不使用任何光流信息。在其核心，我们的方法确定的混乱的视频序列的帧索引，使其能够学习的时空特征的视频。与UCF 101和ILSVRC 2015视频数据集上的图像和视频的许多方法相比，这种直观的方法显示了视觉异常检测的优越性能。
2020-06-17 cs.CV cs.LG eess.IV
Broaden Your Views for Self-Supervised Video Learning
DeepMind；University of Oxford（牛津大学）
BraVe提出一种新的自监督视频学习框架，通过让一个视图访问窄时间窗口、另一视图广泛访问视频内容，并利用不同骨干网络整合多种模态，在多个视频和音频基准上达到最先进性能。
2026-10-06 cs.CV cs.LG
Image Classifiers are Efficient Self-Supervised Video Representation Learners
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）；Indian Institute of Science Bangalore（印度科学理工学院班加罗尔分校）；École de technologie supérieure Montreal（蒙特利尔高等技术学院）
本文提出VideoMSN框架，利用图像视觉变换器通过掩码孪生损失高效学习视频时空表示，在多个基准上达到最先进性能，并大幅减少预训练周期。
2026-10-01 cs.CV cs.LG
Collaborative Weakly Supervised Video Correlation Learning for Procedure-Aware Instructional Video Analysis
Shanghai Jiao Tong University（上海交通大学）；Lenovo Research（联想研究院）
针对教学视频相关性分析依赖昂贵步骤级标注的问题，提出含协同步骤挖掘与帧-步对齐模块的CPA弱监督框架，在序列验证等任务中验证了其准确可解释的分析效果。
2023-12-18 cs.AI cs.CV
ViewCLR: Learning Self-supervised Video Representation for Unseen Viewpoints
Stony Brook University（石溪大学）
学习自监督视频表示主要集中在从简单的数据增强方案产生的判别实例。然而，学习的表示往往无法推广到看不见的相机视点。为此，我们提出了Viewbatch，它学习对相机视点变化不变性的自监督视频表示。我们引入了一个视图生成器，可以被认为是一个可学习的增强任何自我监督的预文本任务，生成潜在的观点表示的视频。ViewView使潜在视点表示与其来自原始视点的表示之间的相似性最大化，使得学习的视频编码器能够在看不见的相机视点上进行概括。在包括NTU RGB + D数据集在内的跨视图基准数据集上的实验表明，Viewbatch是一种最先进的视点不变自监督方法。
2021-12-07 cs.CV
Knowledge Guided Semi-Supervised Learning for Quality Assessment of User Generated Videos
Indian Institute of Science（印度科学理工学院）
针对UGC视频质量评估依赖大量标注的问题，提出自监督ST-VQRL特征学习与双模型半监督SSL-VQA方法，通过知识迁移在有限标注下提升性能约10%，结合未标注数据提升约15%。
2023-12-24 cs.CV cs.LG
Semi-supervised 3D Video Information Retrieval with Deep Neural Network and Bi-directional Dynamic-time Warping Algorithm
Northwestern University（西北大学）
本文提出一种半监督深度学习算法，结合卷积循环网络与双向动态时间规整，实现基于视觉内容的二维和三维视频检索，并在多个公开数据集上优于现有最先进模型。
2023-09-03 cs.CV cs.LG
Inter-intra Variant Dual Representations forSelf-supervised Video Recognition
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）；ByteDance AI Lab（字节跳动人工智能实验室）
应用于自监督表示学习的对比学习在深度模型中重新兴起。在本文中，我们发现，现有的对比学习为基础的解决方案的自监督视频识别专注于间方差编码，但忽略了存在于同一视频内的剪辑的内方差。因此，我们建议学习每个片段的双重表示，其中（\romannumeral 1）通过混洗排名借口任务编码内部方差;（\romannumeral 2）通过时间相干对比损失编码内部方差。实验结果表明，我们的方法在平衡帧间和帧内方差方面发挥了重要作用，并在多个骨干和对比学习框架上带来了一致的性能增益。与Simplified集成并在Kinetics-400上进行预训练，该方法在UCF 101和HMDB 51测试集上分别达到了$\textbf{82.0\%}$和$\textbf{51.2\%}$下游分类准确率，在UCF 101上达到了$\textbf{46.1\%}$视频检索准确率，优于基于预文本任务和基于对比学习的方法。我们的代码可在\href{https://github.com/lzhangbj/DualVar}{https://github.com/lzhangbj/DualVar}上获得。
2021-10-23 cs.AI cs.CV
CHAIN: Exploring Global-Local Spatio-Temporal Information for Improved Self-Supervised Video Hashing
Huazhong University of Science and Technology（华中科技大学）；University of Electronic Science and Technology of China（电子科技大学）
提出 CHAIN 自监督视频哈希框架，通过对比学习捕获全局时空信息，并结合帧顺序验证与场景变化正则化建模局部细节，在四个基准上取得最优性能。
2023-10-29 cs.AI cs.CV
Weakly Supervised Action Labeling in Videos Under Ordering Constraints
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
我们给出了一组视频剪辑，每个视频剪辑都注释有{ \em ordered}动作列表，例如从关联的文本脚本中提取的“walk”（走）、“sit”（坐）、“answer phone”（接电话）。我们试图在时间上本地化每个片段中的各个动作，以及学习每个动作的判别分类器。我们制定的问题作为一个弱监督的时间分配的顺序约束。每个视频剪辑被划分成小的时间间隔，并且每个视频剪辑的每个时间间隔被分配一个动作标签，同时尊重动作标签在给定注释中出现的顺序。我们表明，动作标签分配可以确定与学习的分类器，为每个动作在一个有区别的方式。我们评估了一个新的和具有挑战性的数据集的937个视频剪辑，共787720帧，包含序列的16个不同的动作，从69部好莱坞电影所提出的模型。
2014-07-04 cs.CV cs.LG
Self-supervised and Weakly Supervised Contrastive Learning for Frame-wise Action Representations
先前的动作表示学习工作集中在短视频片段的全局表示。相比之下，许多实际应用，如视频对齐，强烈要求学习长视频的密集表示。在本文中，我们引入了一个新的对比动作表示学习（CARL）框架，以自监督或弱监督的方式学习逐帧动作表示，特别是对于长视频。具体来说，我们引入了一个简单但有效的视频编码器，它通过结合卷积和Transformer来考虑空间和时间上下文。受最近自监督学习取得的巨大进展的启发，我们提出了一种新的序列对比度损失（SCL）适用于两个相关的意见，通过扩大一系列的时空数据在两个版本。一种是自监督版本，通过最小化两个增强视图的序列相似性和时间戳距离的先验高斯分布之间的KL-发散来优化嵌入空间。另一种是弱监督版本，通过动态时间包裹（DTW）使用视频级标签在视频之间构建更多的样本对。FineGym，PennAction和Pouring数据集上的实验表明，我们的方法在下游细粒度动作分类和更快的推理方面比以前的最先进方法有很大的优势。令人惊讶的是，虽然没有像以前的作品那样对配对视频进行训练，但我们的自监督版本在视频对齐和细粒度帧检索任务中也表现出出色的性能。
2023-03-02 cs.CV
SpatialDreamer: Self-supervised Stereo Video Synthesis from Monocular Input
Alibaba Group（阿里巴巴集团）；Sun Yat-sen University（中山大学）
提出基于视频扩散模型的自监督立体视频合成范式SpatialDreamer，通过DVG模块生成成对数据，结合RefinerNet与一致性控制模块实现时空一致性，性能优于现有基准。
2025-04-27 cs.AI cs.CV
Box Supervised Video Segmentation Proposal Network
Ludwig-Maximilians-University（路德维希-马克西米利安大学）；Hensoldt Analytics（亨索尔特分析公司）
视频对象分割（VOS）已经成为各种全监督和自监督方法的目标。虽然全监督方法表现出出色的结果，但不使用像素级地面实况的自监督方法引起了人们的广泛关注。然而，自我监督的方法造成了显着的性能差距。框级注释为图像分割提供了标记工作和结果质量之间的平衡折衷，但尚未被用于视频域。在这项工作中，我们提出了一个框监督的视频对象分割建议网络，它利用了固有的视频属性。我们的方法采用了以下方式的对象运动：首先，运动计算使用双向时间差和一种新的限界框引导的运动补偿。其次，我们引入了一种新的运动感知的亲和力损失，鼓励网络预测积极的像素对，如果它们共享相似的运动和颜色。该方法在DAVIS和Youtube-VOS数据集上的性能优于最先进的自监督基准16.4%和6.9%的$\mathcal{J}$和$\mathcal{F}$分数以及大多数完全监督方法，而无需强加网络架构规范。我们对数据集进行了广泛的测试和消融，证明了我们方法的稳健性。
2022-02-16 cs.CV
Pixel-level Correspondence for Self-Supervised Learning from Video
University of Tübingen（图宾根大学）；Amazon（亚马逊）；University of Freiburg（弗莱堡大学）
虽然自监督学习在没有标签的情况下实现了有效的表示学习，但对于视觉来说，视频仍然是一个相对未开发的监督来源。为了解决这个问题，我们提出了像素级对应（PiCo），一种从视频中进行密集对比学习的方法。通过光流跟踪点，我们得到一个对应的地图，可以用来匹配在不同的时间点的局部特征。我们在标准基准测试中验证了PiCo，在多个密集预测任务中优于自监督基线，而不会影响图像分类的性能。
2022-07-08 cs.CV
