SelfHVD: Self-Supervised Handheld Video Deblurring
Harbin Institute of Technology（哈尔滨工业大学）
本文提出SelfHVD方法，通过提取视频中的清晰线索进行自监督学习，结合SEVD和SCSCM技术提升手持视频去模糊性能，实验表明其优于现有方法。
2026-04-10 cs.CV
Self-supervised Video Retrieval Transformer Network
Alibaba DAMO Academy（阿里巴巴达摩院）
基于内容的视频检索旨在从大型视频数据库中找到与给定查询视频相似甚至接近重复的视频。视频表示和相似性搜索算法是任何视频检索系统的关键。为了获得有效的视频表示，大多数视频检索系统需要大量的手动标注的数据进行训练，这使得它成本高昂，效率低下。此外，大多数检索系统是基于帧级特征的视频相似性搜索，使其昂贵的存储和搜索明智的。我们提出了一种新的视频检索系统，称为SVRTN，有效地解决了上述缺点。它首先应用自监督训练来有效地从未标记的数据中学习视频表示，以避免手动注释的昂贵成本。然后利用Transformer结构将帧级特征聚合到剪辑级，以减少存储空间和搜索复杂度。它可以从剪辑帧之间的相互作用中学习互补和判别信息，并获得帧排列和丢失不变量的能力，以支持更灵活的检索方式。在FIVR-200 K和SVD两个具有挑战性的视频检索数据集上进行的综合实验验证了本文提出的SVRTN方法的有效性，在准确率和效率上均达到了视频检索的最佳性能。
2021-04-16 cs.CV
Cooperative Learning of Audio and Video Models from Self-Supervised Synchronization
Dartmouth College（达特茅斯学院）；Facebook Research（脸书研究院）
视频的视觉和听觉元素之间存在自然的相关性。在这项工作中，我们利用这种连接来学习一般和有效的模型，从自我监督的时间同步的音频和视频分析。我们证明了一个校准的课程学习计划，仔细选择的负面例子，并使用对比损失的关键成分，以获得强大的多感官表示模型优化，以辨别时间同步的音频-视频对。无需进一步微调，所产生的音频特征在已建立的音频分类基准（DCASE 2014和ESC-50）上实现优于或相当于最先进的性能。与此同时，我们的视觉子网提供了一个非常有效的初始化，以提高基于视频的动作识别模型的准确性：与从头开始学习相比，我们的自我监督预训练在UCF 101上的动作识别准确性显著提高了+19.9%，在HMDB 51上提高了+17.7%。
2018-11-09 cs.CV
Auxiliary Learning for Self-Supervised Video Representation via Similarity-based Knowledge Distillation
University of Bristol（布里斯托大学）
尽管用于视频表示学习的自监督预训练方法取得了巨大的成功，但当用于预训练的未标记数据集很小时，或者源任务（预训练）中的未标记数据与目标任务（微调）中的标记数据之间的域差异很大时，它们的泛化能力很差。为了缓解这些问题，我们提出了一种新的方法，通过辅助预训练阶段来补充自我监督预训练，基于知识相似性蒸馏auxSKD，以更好地概括更少量的视频数据，例如Kinetics-100而不是Kinetics-400。我们的方法部署了一个教师网络，通过捕获未标记视频数据段之间的相似性信息，迭代地将其知识提取到学生模型中。学生模型同时解决了一个借口任务，利用这种先验知识。我们还引入了一个新的借口任务，视频段节奏预测或VSPP，这需要我们的模型来预测输入视频的随机选择段的回放速度，以提供更可靠的自我监督表示。我们的实验结果显示，在苹果对苹果的比较中，在K100上进行预训练时，在UCF 101和HMDB 51数据集上的结果优于现有技术。此外，我们还证明了我们的辅助预训练auxSKD，当作为额外的预训练阶段添加到最新的自监督方法（即VCOP，VideoPace和RSPNet）中时，可以改善他们在UCF 101和HMDB 51上的结果。我们的代码可在https://github.com/Plrbear/auxSKD上获得。
2022-04-25 cs.CV
Masked Video Distillation: Rethinking Masked Feature Modeling for Self-supervised Video Representation Learning
Microsoft Cloud + AI（微软云与人工智能部门）
得益于掩蔽视觉建模，自监督视频表示学习取得了显著的进展。然而，现有的方法专注于通过重建原始像素RGB值等低级特征从头开始学习表示。在本文中，我们提出了掩蔽视频蒸馏（MVD），这是一种简单而有效的用于视频表示学习的两阶段掩蔽特征建模框架：首先，我们通过恢复掩蔽补丁的低级特征来预训练图像（或视频）模型，然后我们使用得到的特征作为掩蔽特征建模的目标。对于教师模型的选择，我们观察到，由视频教师教授的学生在时间繁重的视频任务上表现更好，而图像教师在空间繁重的视频任务中转移了更强的空间表征。可视化分析还表明，不同的教师对学生产生不同的学习模式。基于这一观察，我们设计了一种时空协同教学的MVD方法。具体来说，我们提取学生模型从视频教师和图像教师掩蔽特征建模。大量的实验结果表明，用时空协同教学预训练的视频Transformers在大量视频数据集上的表现优于用单个教师提取的模型。与以前的监督或自监督方法相比，我们的MVD与vanilla ViT在几个具有挑战性的视频下游任务上实现了最先进的性能。例如，使用ViT-Large模型，我们的MVD在Kinetics-400和Something-Something-v2上达到了86.4%和76.7%的Top-1准确率，分别比VideoMAE高出1.2%和2.4%。当采用更大的ViT-Huge模型时，MVD在Something-Something-v2上实现了…
2023-03-06 cs.CV
Semi-Supervised Video Inpainting with Cycle Consistency Constraints
Nanjing University of Science and Technology（南京理工大学）；Illinois Institute of Technology（伊利诺伊理工学院）
基于深度学习的视频修复已经取得了令人鼓舞的成果，并越来越受到研究人员的关注。通常，这些方法通常假设每帧的损坏区域掩模是已知的并且容易获得。然而，这些面具的注释是劳动密集型和昂贵的，这限制了现有方法的实际应用。因此，我们希望通过定义一个新的半监督修复设置来放松这一假设，使网络能够使用仅一帧的注释掩码来完成整个视频的损坏区域。具体来说，在这项工作中，我们提出了一个端到端的可训练框架，由完成网络和掩码预测网络组成，它们被设计为使用已知掩码生成当前帧的损坏内容，并分别决定下一帧要填充的区域。此外，我们引入了一个循环一致性损失来正则化这两个网络的训练参数。以这种方式，完成网络和掩码预测网络可以相互约束，因此可以最大化训练模型的整体性能。此外，由于先验知识的自然存在（例如，损坏的内容和清晰的边界），当前的视频修复数据集不适合于半监督视频修复的上下文中。因此，我们通过模拟真实世界场景的损坏视频来创建一个新的数据集。大量的实验结果表明，我们的模型在视频修复任务的优越性。值得注意的是，尽管我们的模型是以半监督的方式训练的，但它可以实现与全监督方法相当的性能。
2022-11-17 cs.CV
Weakly-Supervised Online Action Segmentation in Multi-View Instructional Videos
Honda Research Institute, USA（美国本田研究院）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出了一个新的问题，弱监督在线动作分割教学视频。我们提出了一个框架，分割流媒体视频在线测试时，使用动态规划，并显示其优势，贪婪滑动窗口方法。我们通过引入在线离线离散损失（OODL）来改进我们的框架，以鼓励分割结果具有更高的时间一致性。此外，仅在训练期间，我们利用多个视图之间的帧对应作为训练弱标记教学视频的监督。特别是，我们研究了三种不同的多视图推理技术，以生成更准确的逐帧伪地面实况，而无需额外的注释成本。我们目前的结果和消融研究的两个基准多视图数据集，早餐和宜家ASM。实验结果表明，所提出的方法在定性和定量两个领域的烹饪和组装的有效性。
2022-03-24 cs.CV
Semi-Supervised Domain Adaptation for Weakly Labeled Semantic Video Object Segmentation
Aalto University（阿尔托大学）；Lappeenranta University of Technology（拉彭兰塔理工大学）；Nokia Labs（诺基亚实验室）
深度卷积神经网络（CNN）在许多大型标记数据集的高级计算机视觉任务中取得了巨大成功。然而，对于视频语义对象分割，标签稀缺的领域，有效地利用有限的训练数据的CNN的表示能力仍然是一个挑战。简单地借用现有的预训练CNN图像识别模型进行视频分割任务会严重损害性能。我们提出了一种半监督的方法来适应CNN图像识别模型训练标记的图像数据的目标域利用从CNN学习的语义证据，和视频数据的内在结构。通过明确地建模和补偿从源域到目标域的域转移，该方法支持一个强大的语义对象分割方法对自然视频中的外观，形状和遮挡的变化。我们在具有挑战性的数据集上进行了广泛的实验，证明了我们的方法与最先进的方法相比具有优越的性能。
2016-06-07 cs.CV
Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey
The Graduate Center, The City University of New York（纽约市立大学研究生中心）
大规模标记数据通常需要训练深度神经网络，以便在从图像或视频学习视觉特征以用于计算机视觉应用中获得更好的性能。为了避免采集和标注大规模数据集的巨大成本，作为无监督学习方法的一个子集，自监督学习方法被提出来从大规模未标注数据中学习一般图像和视频特征，而不使用任何人工标注的标签。本文对基于深度学习的图像或视频自监督一般视觉特征学习方法进行了广泛的回顾。首先，该领域的动机，一般管道，和术语进行了描述。然后总结了用于自监督学习的常用深度神经网络结构。接下来，回顾了自监督学习方法的主要组成部分和评价指标，然后是常用的图像和视频数据集以及现有的自监督视觉特征学习方法。最后，对基准数据集上的评价方法的定量性能比较进行了总结和讨论，用于图像和视频特征学习。最后，对本文进行了总结，并提出了自监督视觉特征学习的未来发展方向。
2019-02-16 cs.CV
Supervised Contrastive Frame Aggregation for Video Representation Learning
Texas A\&M University Kingsville, TX, USA（德克萨斯A&M大学国王城分校）；Baylor University, TX, USA（贝勒大学）
本文提出了一种监督对比框架聚合方法，通过视频到图像的聚合策略提升视频表示学习的准确率和效率。
2025-12-14 cs.CV cs.LG
SIAVC: Semi-Supervised Framework for Industrial Accident Video Classification
Minjiang University（闽江学院）；Fujian University of Technology（福建理工大学）；Zhengzhou University（郑州大学）；Fuzhou University（福州大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
针对视频监控中标记数据不足问题，提出半监督框架SIAVC，通过SAB增强和VCAM伪标签生成，在ECA9和火灾检测数据集上分别取得88.76%和89.13%的准确率。
2024-05-23 cs.AI cs.CV
MVBIND: Self-Supervised Music Recommendation For Videos Via Embedding Space Binding
Shanghai Jiao Tong University（上海交通大学）
针对短视频缺乏自动背景音乐推荐方法的问题，提出自监督跨模态检索模型MVBind，通过嵌入空间绑定实现音乐推荐，构建SVM-10K数据集，性能优于基线方法且将开源数据与代码。
2024-05-15 cs.CV cs.MM
Self-Supervised Learning for Videos: A Survey
University of Central Florida（中佛罗里达大学）；Center for Research in Computer Vision（计算机视觉研究中心）
该综述聚焦视频自监督学习，按学习目标将现有方法分为四类，同时介绍了常用数据集、下游任务，分析了现有局限并展望了未来方向。
2023-07-19 cs.CV cs.MM
LoGAN: Latent Graph Co-Attention Network for Weakly-Supervised Video Moment Retrieval
Boston University（波士顿大学）；University of California, Berkeley（加州大学伯克利分校）
弱监督视频矩检索的目标是定位与给定自然语言查询最相关的视频片段，而无需在训练期间访问时间注释。之前的强监督和弱监督方法通常利用共同注意力机制来学习用于本地化的视觉语义表示。然而，虽然这样的方法倾向于集中于识别视频的元素和语言模态之间的关系，但在给定查询的语义上下文的情况下，对视频帧之间的关系上下文建模的强调较少。因此，建立在局部框架特征上的上述视觉语义表示不包含太多上下文信息。为了解决这一限制，我们提出了一个潜在的图形共同注意力网络（LoGAN），利用细粒度的逐词交互帧之间的对应关系的原因，给定的语义上下文的查询。在两个数据集DiDeMo和Charades-Sta上进行的综合实验证明了我们提出的潜在共同注意力模型的有效性，它比当前最先进的（SOTA）弱监督方法有很大的优势。值得注意的是，它甚至比DiDeMo上的强监督SOTA方法的Recall@1准确率提高了11%。
2020-03-28 cs.CV cs.LG eess.IV
FILS: Self-Supervised Video Feature Prediction In Semantic Language Space
University of Surrey（萨里大学）
本文提出FILS，一种在语义语言空间中进行自监督视频特征预测的新方法，通过逐块视频-文本对比策略将视觉特征转换至语言空间并作为掩码预测目标，在多个下游动作识别数据集上实现了最先进的性能且计算效率更高。
2024-06-05 cs.AI cs.CV cs.LG
Momentum-Guided Semantic Forecasting (MoFore) for Self-Supervised Video Representation Learning
Qinwu Xu, PhD（秦武 Xu 博士）
提出MoFore框架，通过预测未来潜在嵌入进行自监督视频表示学习，结合对比正则化防止表示崩溃，在UCF101上验证了时间一致性和语义结构。
2026-06-16 cs.AI cs.CV cs.LG
Exploring Relations in Untrimmed Videos for Self-Supervised Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
现有的视频自监督学习方法主要依赖于修剪视频进行模型训练。然而，修剪的数据集是从未修剪的视频手动注释的。从这个意义上说，这些方法并不是真正的自我监督。在本文中，我们提出了一种新的自监督方法，称为探索未修剪视频中的关系（ERUV），它可以直接应用于未修剪视频（真正的未标记）来学习时空特征。ERUV首先通过镜头变化检测生成单镜头视频。然后，设计的采样策略是用来模型的视频剪辑的关系。该策略被保存为我们的自我监督信号。最后，网络通过预测视频片段之间的关系类别来学习表示。ERUV能够比较视频的差异和相似性，这也是与动作和视频相关的任务的必要程序。我们用三种3D CNN的动作识别和视频检索任务验证了我们学习的模型。实验结果表明，ERUV能够学习更丰富的表示，它优于最先进的自监督方法具有显着的利润率。
2020-08-06 cs.CV
ViewCLR: Learning Self-supervised Video Representation for Unseen Viewpoints
Stony Brook University（石溪大学）
学习自监督视频表示主要集中在从简单的数据增强方案产生的判别实例。然而，学习的表示往往无法推广到看不见的相机视点。为此，我们提出了Viewbatch，它学习对相机视点变化不变性的自监督视频表示。我们引入了一个视图生成器，可以被认为是一个可学习的增强任何自我监督的预文本任务，生成潜在的观点表示的视频。ViewView使潜在视点表示与其来自原始视点的表示之间的相似性最大化，使得学习的视频编码器能够在看不见的相机视点上进行概括。在包括NTU RGB + D数据集在内的跨视图基准数据集上的实验表明，Viewbatch是一种最先进的视点不变自监督方法。
2021-12-07 cs.CV
Self-supervised and Weakly Supervised Contrastive Learning for Frame-wise Action Representations
先前的动作表示学习工作集中在短视频片段的全局表示。相比之下，许多实际应用，如视频对齐，强烈要求学习长视频的密集表示。在本文中，我们引入了一个新的对比动作表示学习（CARL）框架，以自监督或弱监督的方式学习逐帧动作表示，特别是对于长视频。具体来说，我们引入了一个简单但有效的视频编码器，它通过结合卷积和Transformer来考虑空间和时间上下文。受最近自监督学习取得的巨大进展的启发，我们提出了一种新的序列对比度损失（SCL）适用于两个相关的意见，通过扩大一系列的时空数据在两个版本。一种是自监督版本，通过最小化两个增强视图的序列相似性和时间戳距离的先验高斯分布之间的KL-发散来优化嵌入空间。另一种是弱监督版本，通过动态时间包裹（DTW）使用视频级标签在视频之间构建更多的样本对。FineGym，PennAction和Pouring数据集上的实验表明，我们的方法在下游细粒度动作分类和更快的推理方面比以前的最先进方法有很大的优势。令人惊讶的是，虽然没有像以前的作品那样对配对视频进行训练，但我们的自监督版本在视频对齐和细粒度帧检索任务中也表现出出色的性能。
2023-03-02 cs.CV
Box Supervised Video Segmentation Proposal Network
Ludwig-Maximilians-University（路德维希-马克西米利安大学）；Hensoldt Analytics（亨索尔特分析公司）
视频对象分割（VOS）已经成为各种全监督和自监督方法的目标。虽然全监督方法表现出出色的结果，但不使用像素级地面实况的自监督方法引起了人们的广泛关注。然而，自我监督的方法造成了显着的性能差距。框级注释为图像分割提供了标记工作和结果质量之间的平衡折衷，但尚未被用于视频域。在这项工作中，我们提出了一个框监督的视频对象分割建议网络，它利用了固有的视频属性。我们的方法采用了以下方式的对象运动：首先，运动计算使用双向时间差和一种新的限界框引导的运动补偿。其次，我们引入了一种新的运动感知的亲和力损失，鼓励网络预测积极的像素对，如果它们共享相似的运动和颜色。该方法在DAVIS和Youtube-VOS数据集上的性能优于最先进的自监督基准16.4%和6.9%的$\mathcal{J}$和$\mathcal{F}$分数以及大多数完全监督方法，而无需强加网络架构规范。我们对数据集进行了广泛的测试和消融，证明了我们方法的稳健性。
2022-02-16 cs.CV
Pixel-level Correspondence for Self-Supervised Learning from Video
University of Tübingen（图宾根大学）；Amazon（亚马逊）；University of Freiburg（弗莱堡大学）
虽然自监督学习在没有标签的情况下实现了有效的表示学习，但对于视觉来说，视频仍然是一个相对未开发的监督来源。为了解决这个问题，我们提出了像素级对应（PiCo），一种从视频中进行密集对比学习的方法。通过光流跟踪点，我们得到一个对应的地图，可以用来匹配在不同的时间点的局部特征。我们在标准基准测试中验证了PiCo，在多个密集预测任务中优于自监督基线，而不会影响图像分类的性能。
2022-07-08 cs.CV
Self-supervised Video Transformer
Stony Brook University（石溪大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
在本文中，我们提出了使用未标记视频数据的视频Transformers的自监督训练。从一个给定的视频，我们创建具有不同的空间大小和帧速率的局部和全局时空视图。我们的自我监督目标旨在匹配这些代表同一视频的不同视图的特征，对动作的时空变化保持不变。据我们所知，所提出的方法是第一个减轻依赖于负样本或专用存储体的自监督视频Transformer（SVT）。此外，由于Transformer模型的灵活性，SVT支持使用动态调整的位置编码的单个架构内的慢-快视频处理，并且支持沿时空维度的长期关系建模。我们的方法在四个动作识别基准测试（Kinetics-400，UCF-101，HMDB-51和SSv 2）上表现良好，并且在小批量的情况下收敛得更快。代码：https://git.io/J1juJ
2022-03-19 cs.CV
Video 3D Sampling for Self-supervised Representation Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
现有的视频自监督方法主要利用视频的时域信号，忽略了运动对象的语义和环境信息对视频相关任务的重要性。在本文中，我们提出了一种新的自监督视频表示学习的方法，称为视频3D采样（V3S）。为了充分利用视频中提供的信息（空间和时间），我们从三维（宽度，高度，时间）对视频进行预处理。因此，我们可以利用空间信息（对象的大小），时间信息（运动的方向和幅度）作为我们的学习目标。在我们的实现中，我们结合了三个维度的采样，并分别提出了空间和时间的尺度和投影变换。实验结果表明，当应用于动作识别，视频检索和动作相似性标记，我们的方法提高了国家的最先进的显着利润率。
2021-07-08 cs.CV
Language-Guided Self-Supervised Video Summarization Using Text Semantic Matching Considering the Diversity of the Video
The University of Tokyo（东京大学）
提出一种自监督视频摘要方法，利用LLMs将视频帧描述转化为文本摘要，并通过语义匹配和多样性损失优化，在SumMe数据集上达到最先进性能，支持个性化摘要。
2024-08-20 cs.CV
Contrastive Transformation for Self-supervised Correspondence Learning
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
在本文中，我们专注于自监督学习的视觉对应使用未标记的视频在野外。我们的方法同时考虑帧内和帧间视频表示关联可靠的对应估计。视频内学习通过帧成对亲和度在单个视频内跨帧变换图像内容。为了获得实例级分离的判别表示，我们超越了视频内分析，并构建了视频间亲和力，以促进不同视频之间的对比变换。通过强制视频层内和视频层间的变换一致性，很好地保留了细粒度的对应关系，并有效地增强了实例级特征区分。我们的简单框架在一系列视觉任务上优于最近的自监督对应方法，包括视频对象跟踪（VOT），视频对象分割（VOS），姿势关键点跟踪等。值得一提的是，我们的方法也优于完全监督的亲和力表示（例如，ResNet），并与最近为特定任务设计的全监督算法（例如，VOT和VOS）。
2020-12-09 cs.CV
Advancing Video Self-Supervised Learning via Image Foundation Models
University of Chinese Academy of Sciences（中国科学院大学）；StepFun（阶跃星辰）；Tsinghua University（清华大学）
提出AdViSe方法，利用预训练图像基础模型并引入时间建模模块，通过播放速率感知自监督学习，在UCF101上以显著降低的训练时间和内存开销达到与最先进方法相当的性能。
2025-05-25 cs.CV
Self-Supervised Spatiotemporal Feature Learning via Video Rotation Prediction
The City University of New York（纽约城市大学）；NVIDIA Research（英伟达研究院）
深度神经网络的成功通常需要大量的训练数据进行标记，这是昂贵的，并且在规模上是不可行的，特别是对于视频采集。为了缓解这个问题，在本文中，我们提出了3DRotNet：一种完全自监督的方法，可以从未标记的视频中学习时空特征。将一组旋转应用于所有视频，并将借口任务定义为这些旋转的预测。在完成这项任务时，3DRotNet实际上被训练来理解视频中的语义概念和动作。换句话说，它学习时空视频表示，可以将其转移以改善小数据集中的视频理解任务。我们广泛的实验成功地证明了所提出的框架在动作识别上的有效性，从而使最先进的自监督方法得到了显着的改进。使用来自大型数据集的自监督预训练3DRotNet，与从头开始训练的模型相比，UCF 101和HMDB 51的识别准确率分别提高了20.4%和16.7%。
2019-04-04 cs.CV
Large-scale weakly-supervised pre-training for video action recognition
Facebook AI（Facebook人工智能）
目前的全监督视频数据集只有几十万个视频和不到一千个特定领域的标签。这阻碍了先进视频架构的发展。本文提出了一个深入的研究，使用大量的网络视频预训练视频模型的动作识别任务。我们的主要经验发现是，尽管有嘈杂的社交媒体视频和标签，但在非常大的规模（超过6500万个视频）下进行预训练，大大提高了三个具有挑战性的公共行为识别数据集的最新水平。此外，我们还研究了弱监督视频动作数据集构建中的三个问题。首先，考虑到动作涉及与对象的交互，应该如何构建动词-对象预训练标签空间以使迁移学习受益最大？第二，基于帧的模型在动作识别上表现得很好;对好的图像特征进行预训练是否足够，或者对时空特征进行预训练对于最佳迁移学习是否有价值？最后，动作在长视频中的本地化程度通常低于短视频;由于动作标签是在视频级别提供的，那么在给定视频数量或分钟数的固定预算的情况下，应该如何选择视频片段以获得最佳性能？
2019-05-02 cs.CV
Self-Supervised Video Forensics by Audio-Visual Anomaly Detection
University of Michigan（密歇根大学）
被操纵的视频通常在其视觉和音频信号之间包含微妙的不一致。我们提出了一种基于异常检测的视频取证方法，可以识别这些不一致，并且可以单独使用真实的未标记数据进行训练。我们训练一个自回归模型来生成视听特征序列，使用特征集来捕获视频帧和声音之间的时间同步。在测试时，我们标记模型分配低概率的视频。尽管完全在真实视频上训练，我们的模型在检测操纵语音视频的任务上获得了很好的性能。项目网址：https://cfeng16.github.io/audio-visual-forensics
2023-03-27 cs.CV
DTG-Net: Differentiated Teachers Guided Self-Supervised Video Action Recognition
Beijing Institute of Technology（北京理工大学）；Swinburne University of Technology（斯威本科技大学）
具有复杂网络架构的最先进的视频动作识别模型已经取得了显着的改进，但这些模型严重依赖于大规模标记良好的数据集。为了减少这种依赖，我们提出了一个自我监督的师生架构，即，差异化教师指导的自我监督网络（DTG-Net）。在DTG-Net中，除了通过自监督学习（SSL）减少标记数据依赖性外，预训练的动作相关模型被用作教师指导，提供先验知识，以减轻SSL中对大量未标记视频的需求。具体而言，利用多年来在与行动有关的任务中的努力，例如，图像分类，基于图像的动作识别，DTG-Net在各种教师指导下学习自监督视频表示，即，那些训练有素的与行动相关的任务模型。同时，采用对比自监督学习的方法对DTG网络进行优化。当两个图像序列分别从同一视频或不同视频中随机采样作为正对或负对时，它们然后被发送到教师和学生网络进行特征嵌入。然后定义每对特征嵌入之间的对比特征一致性，即，正对一致，负对不一致。同时，为了反映不同教师任务的不同导向，我们还探索了不同的教师任务导向权重。最后，DTG-Net以两种方式进行评估：（i）自监督DTG-Net仅用未标记的视频预训练监督动作识别模型;（ii）监督DTG-Net以端到端的方式与监督动作网络联合训练。它的性能优于大多数预训练方法，但与监督动作识别方法相比也具有出色的竞争力。
2020-06-13 cs.CV
MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
深度感知视频全景分割解决了从视频序列恢复全景3D点云的逆投影问题，其中3D点用语义类和时间一致的实例标识符来增强。我们提出了一种新的解决方案，多任务网络，执行单目深度估计和视频全景分割。由于获取用于深度和图像分割的地面真实标签具有相对较大的成本，因此我们利用具有自监督单目深度估计的未标记视频序列的能力和来自用于视频全景分割的伪标签的半监督学习。为了进一步提高深度预测，我们引入了全景引导的深度损失和一种新的用于移动对象的全景掩蔽方案，以避免破坏训练信号。在Cityscapes-DVPS和SemKITTI-DVPS数据集上的大量实验表明，我们的模型与提出的改进实现了有竞争力的结果和快速的推理速度。
2022-10-14 cs.CV
3D human pose estimation in video with temporal convolutions and semi-supervised training
ETH Zürich（苏黎世联邦理工学院）；Facebook AI Research（脸书人工智能研究院）；Google Brain（谷歌大脑）
在这项工作中，我们证明了视频中的3D姿势可以有效地估计与完全卷积模型的基础上，在2D关键点的膨胀时间卷积。我们还介绍了反向投影，这是一种简单有效的半监督训练方法，它利用了未标记的视频数据。我们从未标记视频的预测2D关键点开始，然后估计3D姿势，最后反向投影到输入的2D关键点。在监督设置中，我们的全卷积模型在Human3.6M上的每个关节平均位置误差为6 mm，比文献中的最佳结果高出11%，并且该模型在HumanEva-I上也显示出显着的改进。此外，反向投影的实验表明，它在标记数据稀缺的半监督设置中的表现优于以前的最先进的结果。代码和模型可在https://github.com/facebookresearch/VideoPose3D上获得
2019-03-29 cs.CV
Self-supervised Dense 3D Reconstruction from Monocular Endoscopic Video
The Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medical Institutions（约翰斯·霍普金斯医疗机构）
我们提出了一种基于自监督学习的管道，用于从全长单目内窥镜视频进行密集3D重建，而无需解剖结构或阴影的先验建模。我们的方法仅依赖于未标记的单眼内窥镜视频和传统的多视图立体视觉算法，并且在训练和应用阶段都不需要手动交互或患者CT。在使用CT扫描作为地面实况的跨患者研究中，我们表明我们的方法能够从来自看不见的患者和范围的内窥镜视频中产生具有亚毫米平均残留误差的照片级逼真的密集3D重建。
2019-09-06 cs.CV
WOAD: Weakly Supervised Online Action Detection in Untrimmed Videos
Salesforce Research（赛富时研究院）
未裁剪视频中的在线动作检测旨在识别发生的动作，这对于实时应用非常重要。以前的方法依赖于繁琐的时间动作边界的注释进行训练，这阻碍了在线动作检测系统的可扩展性。我们提出了WOAD，这是一个弱监督框架，可以只使用视频类标签进行训练。WOAD包含两个联合训练模块，即，时间建议生成器（TPG）和在线动作识别器（OAR）。在视频类标签的监督下，TPG离线工作，目标是准确挖掘OAR的伪帧级标签。通过TPG的监督信号，OAR学习以在线方式进行动作检测。在THUMOS'14，ActivityNet1.2和ActivityNet1.3上的实验结果表明，我们的弱监督方法在很大程度上优于弱监督基线，并实现了与以前的强监督方法相当的性能。除此之外，WOAD还可以灵活地利用强有力的监督。当强监督时，我们的方法在在线每帧动作识别和在线动作开始检测的任务中获得了最先进的结果。
2021-05-18 cs.CV
Self-supervised Video Representation Learning Using Inter-intra Contrastive Framework
The University of Tokyo（东京大学）
我们提出了一种自监督的方法来学习视频的特征表示。传统的自监督方法中的标准方法使用正负数据对来用对比学习策略进行训练。在这种情况下，相同视频的不同模态被视为正，而来自不同视频的视频剪辑被视为负。由于时空信息对于视频表示是重要的，我们通过引入帧内负样本来扩展负样本，该帧内负样本通过打破视频片段中的时间关系而从相同的锚视频转换而来。利用所提出的帧间-帧内对比（IIC）框架，我们可以训练时空卷积网络来学习视频表示。在我们的IIC框架中有许多灵活的选项，我们通过使用几种不同的配置进行实验。评估进行视频检索和视频识别任务，使用学习的视频表示。我们提出的IIC比当前最先进的结果有很大的优势，例如在UCF 101和HMDB 51数据集上，视频检索的前1准确度分别提高了16.7%和9.5%。对于视频识别，也可以在这两个基准数据集上获得改进。代码可在https://github.com/BestJuly/Inter-intra-video-contrastive-learning上获得。
2020-08-12 cs.CV
Self-supervised Temporal Discriminative Learning for Video Representation Learning
Sun Yat-sen University（中山大学）；Hong Kong Baptist University（香港浸会大学）
视频中的时间线索为准确识别动作提供了重要信息。然而，如果不使用带注释的大规模视频动作数据集进行训练，则很难提取时间区分特征。本文提出了一种新的基于视频的时间判别学习（VTDL）框架，在自我监督的方式。在没有标记数据进行网络预训练的情况下，通过使用相同或不同时间间隔的片段为每个锚视频生成时间三元组，以增强时间特征表示的能力。通过时间导数测量时间信息，时间一致增强（TCA）旨在确保增强的正的时间导数（以任何顺序）是不变的，除了缩放常数。最后，通过最小化每个锚点与其增强的正片之间的距离来学习时间区分特征，而每个锚点与其增强的负片以及保存在存储体中的其他视频之间的距离被最大化以丰富表示多样性。在下游的动作识别任务中，所提出的方法显着优于现有的相关工作。令人惊讶的是，当使用小规模视频数据集（只有数千个视频）进行预训练时，所提出的自监督方法优于UCF 101和HMDB 51上的全监督方法。该守则已在https://github.com/FingerRec/Self-Supervised-Temporal-Discriminative-Representation-Learning-for-Video-Action-Recognition上公布。
2020-08-05 cs.CV
TRIM: A Self-Supervised Video Summarization Framework Maximizing Temporal Relative Information and Representativeness
Pompeu Fabra University（庞培法布拉大学）；Universitat Autònoma de Barcelona（自治大学）
TRIM框架通过自监督学习实现高效视频摘要，无需注意力机制等复杂结构，优于现有无监督方法并挑战传统复杂架构。
2026-06-06 cs.CV
Leveraging Motion Information for Better Self-Supervised Video Correspondence Learning
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
提出自监督视频对应学习框架MER，通过运动增强引擎和多簇采样策略捕捉动态运动信息，在视频对象分割和关键点跟踪任务上优于现有方法。
2025-04-30 cs.CV
Self-supervised Video-centralised Transformer for Video Face Clustering
Imperial College London（帝国理工学院）；Fudan University（复旦大学）
本文提出了一种新的方法，人脸聚类视频使用视频集中式Transformer。以前的工作通常采用对比学习来学习帧级表示，并使用平均池沿时间维度聚合的功能。这种方法可能无法完全捕获复杂的视频动态。此外，尽管最近的进展，基于视频的对比学习，很少有人试图学习一个自我监督聚类友好的人脸表示，有利于视频人脸聚类任务。为了克服这些限制，我们的方法采用了一个Transformer直接学习视频级的表示，可以更好地反映在视频中的人脸的时间变化的属性，而我们还提出了一个视频集中的自监督框架来训练的Transformer模型。我们还研究了以自我为中心的视频中的人脸聚类，这是一个快速发展的领域，在与人脸聚类相关的作品中还没有研究过。为此，我们提出并发布了第一个大规模以自我为中心的视频人脸聚类数据集，名为EasyCom-Clustering。我们在广泛使用的大爆炸理论（BBT）数据集和新的EasyCom-Clustering数据集上评估了我们提出的方法。结果表明，我们的视频集中的Transformer的性能已经超过了所有以前的国家的最先进的方法在这两个基准，表现出自我专注的面部视频的理解。
2023-02-15 cs.CV
CrossVideo: Self-supervised Cross-modal Contrastive Learning for Point Cloud Video Understanding
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对点云视频理解中监督学习数据稀缺、标签难获取的问题，提出CrossVideo自监督跨模态对比学习方法，利用点云与图像视频的跨模态关系，结合模态内、跨模态及多层次对比策略，性能超越现有最优方法。
2024-01-17 cs.CV
Self-Supervised Human Depth Estimation from Monocular Videos
Simon Fraser University（西蒙弗雷泽大学）；Nanjing University（南京大学）；ETH Zürich（苏黎世联邦理工学院）；Alibaba AI Labs（阿里巴巴人工智能实验室）
以前估计人体深度细节的方法通常需要使用“地面实况”深度数据进行监督训练。本文提出了一种自监督的方法，可以训练的YouTube视频没有已知的深度，这使得训练数据收集简单，提高了学习网络的泛化能力。自监督学习通过最小化照片一致性损失来实现，该照片一致性损失在视频帧与根据估计的深度和人体的3D非刚性运动而变形的其相邻帧之间进行评估。为了解决这个非刚体运动，我们首先估计一个粗略的SMPL模型在每个视频帧，并计算相应的非刚体运动，这使得自监督学习估计的形状细节。实验表明，该方法具有更好的泛化能力，在野外数据上的表现也更好。
2020-05-07 cs.CV
3D-CSL: self-supervised 3D context similarity learning for Near-Duplicate Video Retrieval
NetEase Yidun AI Lab（网易易盾人工智能实验室）
在本文中，我们介绍了3D-CSL，一个紧凑的管道近重复视频检索（NDVR），并探讨了一种新的自监督学习策略的视频相似性学习。以往的方法大多是从视频帧中单独提取视频空间特征，然后设计各种复杂的机制来学习帧特征之间的时间相关性。然而，部分时空依赖性已经丢失。为了解决这个问题，我们的3D-CSL提取全球时空依赖性的视频端到端的3D Transformer，并找到一个很好的平衡效率和效果之间的匹配剪辑级。此外，我们提出了一个两阶段的自监督相似性学习策略，以优化整个网络。首先，我们提出PredMAE来预训练具有视频预测任务的3D Transformer;其次，提出了ShotMix（一种新的视频增强算法）和FCS loss（一种新的三元组丢失算法）来进一步提高相似性学习的效果。在FIVR-200 K和CC_WEB_VIDEO上的实验证明了该方法的优越性和可靠性，达到了剪辑级NDVR的最佳性能。
2022-11-10 cs.CV
Self-Supervised Video Representation Learning by Video Incoherence Detection
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；NVIDIA AI Tech Centre（英伟达人工智能技术中心）
本文介绍了一种新的自监督方法，利用不相干检测的视频表示学习。它源于人类的视觉系统可以很容易地识别视频不相干基于他们的全面理解的视频的观察。具体地，训练样本（表示为非相干剪辑）由从相同原始视频分层采样的多个子剪辑构成，其中彼此之间具有各种长度的非相干性。该网络被训练为通过预测不相干剪辑作为输入的不相干的位置和长度来学习高级表示。此外，引入视频内对比学习以最大化来自相同原始视频的不相干剪辑之间的互信息。我们评估我们提出的方法，通过广泛的实验，利用各种骨干网络的动作识别和视频检索。实验表明，我们提出的方法实现了最先进的性能在不同的骨干网络和不同的数据集相比，以前的基于一致性的方法。
2021-09-26 cs.CV
Cross-Architecture Self-supervised Video Representation Learning
MYbank, Ant Group（蚂蚁集团网商银行）；Meituan Inc.（美团）；Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们提出了一个新的跨架构对比学习（CACL）框架的自我监督视频表示学习。CACL由一个3D CNN和一个视频Transformer组成，它们被并行使用以生成用于对比学习的各种正对。这允许模型从这些不同但有意义的对中学习强表示。此外，我们引入了一个时间自监督学习模块，能够预测两个视频序列之间的时间顺序明确的编辑距离。这使得模型能够学习丰富的时间表示，强烈补偿CACL学习的视频级表示。我们在UCF101和HMDB51数据集上对我们的方法进行了视频检索和动作识别任务的评估，我们的方法取得了优异的性能，大大超过了VideoMoCo和MoCo+BE等最先进的方法。该守则可在https://github.com/guoshengcv/CACL上查阅。
2022-05-26 cs.CV
An overview of deep learning based methods for unsupervised and semi-supervised anomaly detection in videos
Uncanny Vision Solutions（Uncanny Vision解决方案公司）；Université Charles de Gaulle, Lille 3（戴高乐大学（里尔第三大学））
视频代表了监控应用的主要信息来源，并且大量可用，但在大多数情况下，几乎不包含或不包含用于监督学习的注释。本文回顾了最先进的基于深度学习的视频异常检测方法，并根据模型类型和检测标准对其进行了分类。我们还进行了简单的研究，以了解不同的方法，并提供评估标准的时空异常检测。
2018-01-30 cs.CV
Self-supervised Video Representation Learning by Pace Prediction
The Chinese University of Hong Kong（香港中文大学）；University of Oxford（牛津大学）
本文从一个新的角度--视频节奏预测--研究了自监督视频表示学习问题。它源于人类视觉系统对视频节奏敏感的观察，例如，慢动作是电影制作中广泛使用的技术。具体来说，给定一个以自然节奏播放的视频，我们随机抽取不同节奏的训练片段，并要求神经网络识别每个视频片段的节奏。这里的假设是，只有当网络理解底层视频内容并学习代表性的时空特征时，它才能成功完成这种节奏推理任务。此外，我们还引入了对比学习，通过最大化相似视频内容的一致性来推动模型区分不同的步伐。为了验证所提出的方法的有效性，我们进行了广泛的实验动作识别和视频检索任务与几种替代的网络架构。实验评估表明，我们的方法在不同的网络架构和不同的基准测试中实现了最先进的自监督视频表示学习性能。代码和预训练模型可在https://github.com/laura-wang/video-pace上获得。
2020-09-04 cs.CV
FrameRS: A Video Frame Compression Model Composed by Self supervised Video Frame Reconstructor and Key Frame Selector
Zhejiang University（浙江大学）
本文提出FrameRS视频帧压缩模型，结合自监督重建器FrameMAE与基于CNN的关键帧选择器，仅保留约30%关键帧即可高效压缩视频，在计算效率和准确率上优于传统关键帧提取算法。
2023-09-16 cs.CV
RPM-Net: Robust Pixel-Level Matching Networks for Self-Supervised Video Object Segmentation
KAIST（韩国科学技术院）
本文介绍了一种无需人工标记数据的自监督视频对象分割方法，具体而言，我们提出了鲁棒像素级匹配网络（RPM-Net），这是一种新的深度架构，仅使用来自未标记视频的颜色信息进行训练，匹配相邻帧之间的像素。从技术上讲，RPM-Net可以分为两个主要模块。嵌入模块首先将输入图像投影到高维嵌入空间。与以往的基于可变形卷积的方法不同，本文的匹配模块采用可变形卷积来关注时空相邻像素中的相似特征，实验结果表明，选择性特征采样提高了视频对象分割对相机抖动等挑战性问题的鲁棒性，快速运动、变形和遮挡。此外，我们在三个公共数据集（即，DAVIS-2017、SegTrack-v2和Youtube-Objects），并在自监督视频对象分割方面实现最先进的性能。此外，我们显着减少了自监督和全监督视频对象分割之间的性能差距（DAVIS-2017验证集上为41.0% vs. 52.5%）
2019-10-10 cs.CV
Recognition of Abnormal Events in Surveillance Videos using Weakly Supervised Dual-Encoder Models
Afeka College of Engineering（阿法卡工程学院）；Ben-Gurion University of the Negev（内盖夫本·古里安大学）
针对仅视频级监督下监控视频罕见多样异常检测的挑战，提出结合卷积与Transformer表示的双骨干框架，在UCF-Crime数据集上取得90.7%的AUC性能。
2025-11-17 cs.CV
Self-Supervised Deep Blind Video Super-Resolution
Nanjing University of Science and Technology（南京理工大学）
现有的基于深度学习的视频超分辨率（SR）方法通常依赖于监督学习方法，其中训练数据通常通过具有已知或预定义核的模糊操作来生成（例如，双三次核），然后进行抽取操作。然而，这并不适用于实际应用，因为退化过程是复杂的，并且不能很好地近似于这些理想情况。此外，在真实世界场景中获得高分辨率（HR）视频和对应的低分辨率（LR）视频是困难的。为了克服这些问题，我们提出了一种自监督学习方法来解决盲视频SR问题，它同时估计模糊核和HR视频从LR视频。由于直接使用LR视频作为监督通常会导致琐碎的解决方案，我们开发了一种简单有效的方法，根据视频SR的图像形成从原始LR视频生成辅助配对数据，以便网络可以更好地约束所生成的配对数据，用于模糊核估计和潜在HR视频恢复。此外，我们引入了一个光流估计模块，利用相邻帧的信息进行HR视频恢复。实验表明，我们的方法表现良好，对国家的最先进的基准和现实世界的视频。
2022-01-19 cs.CV
Cross-modal Manifold Cutmix for Self-supervised Video Representation Learning
UNC Charlotte（北卡罗来纳大学夏洛特分校）；Stony Brook University（石溪大学）
本文提出跨模态流形Cutmix（CMMC）和视频混合策略STC-mix，通过在特征空间中跨模态插入视频超立方体进行数据增强，在减少训练数据需求的同时，于动作识别和视频检索任务上达到与其他自监督方法相当的性能。
2023-07-27 cs.CV
Self-supervised Co-training for Video Representation Learning
University of Oxford（牛津大学）
本文的目标是纯视觉的自监督视频表示学习。我们做出了以下贡献：（i）我们研究了在基于实例的信息噪声对比估计（InfoNCE）训练中添加语义类肯定的好处，表明这种形式的监督对比学习导致性能的明显改善;（ii）我们提出了一种新的自监督协同训练方案来改善流行的infoNCE损失，利用来自不同观点的互补信息，RGB流和光流，相同的数据源，通过使用一个视图，以获得积极的类样本的其他;（iii）我们彻底评估质量的学习表示两个不同的下游任务：动作识别和视频检索。在这两种情况下，所提出的方法展示了最先进的或与其他自监督方法相当的性能，同时对训练显著更有效，即需要少得多的训练数据来实现类似的性能。
2021-01-11 cs.CV
Weakly Supervised Semantic Segmentation using Web-Crawled Videos
POSTECH（浦项工科大学）；DGIST（大邱庆北科学技术院）；University of Michigan（密歇根大学）
我们提出了一种新的算法，弱监督语义分割的基础上，图像级的类标签。在弱监督设置中，通常观察到训练模型过度关注有区别的部分而不是整个对象区域。我们的目标是克服这一限制，没有额外的人为干预，检索视频相关的目标类别标签从网络存储库，并生成分割标签从检索到的视频模拟强有力的监督语义分割。在此过程中，我们利用图像分类与歧视性定位技术，以拒绝在检索到的视频中的假警报，并确定检索到的视频中的相关时空体积。虽然整个过程不需要任何额外的监督，但从视频中获得的分割注释足够强大，可以学习语义分割的模型。所提出的算法大大优于现有的方法，基于相同的监督水平，甚至是竞争力的方法依赖于额外的注释。
2018-01-07 cs.CV
Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；University of Chinese Academy of Sciences（中国科学院大学）
我们提出了一种新的自我监督的方法，称为视频完形填空程序（VCP），学习丰富的时空表示。VCP首先通过扣留视频剪辑来生成“空白”，然后通过对扣留的剪辑应用时空操作来创建“选项”。最后，它用“选项”填充空白，并通过预测应用于剪辑的操作类别来学习表示。在自监督学习中，VCP既可以作为代理任务，也可以作为目标任务。作为一个代理任务，它将丰富的自我监督表示转换为视频剪辑操作（选项），这增强了灵活性，降低了表示学习的复杂性。作为目标任务，它可以以统一和可解释的方式评估学习的表示模型。使用VCP，我们训练时空表示模型（3D-CNN），并将这些模型应用于动作识别和视频检索任务。在常用基准测试上的实验表明，训练后的模型优于最先进的自监督模型，具有显著的优势。
2020-01-02 cs.CV
