Decoupling Perception from Reasoning for Hallucination-Resistant Video Understanding
University of Science and Technology of China（中国科学技术大学）
本文提出DPL模型，通过解耦感知与推理以提升视频理解的抗幻觉能力，引入感知奖励和FAE评估器，有效提高训练后性能和数据效率。
2026-03-12 cs.CV
Self-Supervised Video Representation Learning with Motion-Contrastive Perception
Fudan University（复旦大学）
纯视觉自监督学习在视频表示学习中取得了显著的进步。现有的相关方法鼓励模型通过利用对比学习或设计特定的借口任务来学习视频表示。然而，一些模型可能会关注背景，这对于学习视频表示并不重要。为了缓解这个问题，我们提出了一个新的视图称为远程残差帧，以获得更多的运动特定的信息。在此基础上，我们提出了运动对比感知网络（MCPNet），它包括两个分支，即运动信息感知（MIP）和对比实例感知（CIP），通过关注视频中的变化区域来学习通用视频表示。具体而言，MIP分支旨在学习细粒度的运动特征，CIP分支执行对比学习以学习每个实例的整体语义信息。在两个基准数据集UCF-101和HMDB-51上的实验表明，我们的方法优于当前最先进的视觉自监督方法。
2022-04-10 cs.AI cs.CV
Semi-Supervised Audio-Visual Video Action Recognition with Audio Source Localization Guided Mixup
Artificial Intelligence Graduate School（人工智能研究生院）；Ulsan National Institute of Science & Technology（蔚山国家科学技术研究院）
针对半监督视频动作识别中单一模态的局限性，提出同时利用视觉和音频的视听半监督框架，并引入考虑跨模态关系的声源定位引导 Mixup 方法，在多个数据集上取得卓越性能。
2025-03-04 cs.AI cs.CV
Multiview Pseudo-Labeling for Semi-supervised Learning from Video
Facebook AI Research (FAIR)（脸书人工智能研究院）
我们提出了一个多视图伪标记的方法来视频学习，一个新的框架，使用互补的意见的形式的外观和运动信息的半监督学习在视频。互补视图有助于在未标记的视频上获得更可靠的伪标签，以学习比纯监督数据更强的视频表示。虽然我们的方法利用了多个视图，但它仍然训练了一个跨外观和运动输入共享的模型，因此，通过设计，在推理时不会产生额外的计算开销。在多个视频识别数据集上，我们的方法大大优于其监督对应，并与以前在自监督视频表示学习中的标准基准上的工作相比毫不逊色。
2021-04-01 cs.AI cs.CV cs.LG
Enhancing Unsupervised Video Representation Learning by Decoupling the Scene and the Motion
Tencent Youtu Lab（腾讯优图实验室）
我们期望视频表示学习捕获的一个重要因素，特别是与图像表示学习相比，是对象运动。然而，我们发现，在目前主流的视频数据集，一些动作类别是高度相关的场景发生的动作，使模型往往退化到一个解决方案，只有场景信息进行编码。例如，一个经过训练的模型可能仅仅因为看到了球场而将视频预测为正在踢足球，而忽略了对象正在球场上作为啦啦队队长跳舞。这违背了我们对视频表示学习的初衷，并且可能在不同数据集上带来不可忽视的场景偏差。为了解决这个问题，我们提出了解耦的场景和运动（DSM）与两个简单的操作，使模型的注意力更好地支付对运动信息。具体来说，我们为每个视频构建一个正剪辑和一个负剪辑。与原始视频相比，正/负是运动未触及/破碎的，但场景破碎/未触及的空间局部扰动和时间局部扰动。我们的目标是将正片拉得更近，同时将底片推得更远，使其在潜在空间中更接近原始剪辑。通过这种方式，场景的影响被削弱，同时网络的时间敏感性被进一步增强。我们在两个具有不同主干和不同预训练数据集的任务上进行了实验，发现我们的方法优于SOTA方法，分别在UCF 101和HMDB 51数据集上使用相同的主干对动作识别任务有8.1%和8.8%的显著改进。
2020-12-16 cs.CV
Decoupling anomaly discrimination and representation learning: self-supervised learning for anomaly detection on attributed graph
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；School of Software Engineering, Sun Yat-sen University（中山大学软件工程学院）；School of System Science and Engineering, Sun Yat-sen University（中山大学系统科学与工程学院）；Merchants Union Consumer Finance Co., Ltd（招商局联融消费金融股份有限公司）
本文提出DSLAD算法，通过解耦异常判别与表示学习，并采用双线性池化和掩码自编码器构建平衡特征空间，以解决属性图异常检测中的语义混合和长尾分布问题，在六个基准数据集上验证了其有效性。
2023-04-11 cs.AI cs.LG
Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semi-Supervised Skeleton-based Action Recognition
Nanjing University of Science and Technology（南京理工大学）
对比学习已被成功地利用来学习动作表示，以解决基于半监督模型的动作识别问题。然而，大多数基于对比学习的方法只对混合时空信息的全局特征进行对比，混淆了帧级和关节级反映不同语义的时空特定信息。因此，我们提出了一种新的时空解耦和挤压对比学习（SDS-CL）框架，全面学习更丰富的表示基于动作的联合对比空间压缩功能，时间压缩功能，和全局功能。在SDS-CL中，我们设计了一种新的时空解耦的内部-内部注意（SIIA）机制，通过计算关节/运动特征之间的空间和时间解耦的内部注意映射，以及关节和运动特征之间的空间和时间解耦的内部注意映射，来获得时空解耦的注意特征，以捕获时空特定的信息。此外，我们提出了一个新的空间压缩时间对比损失（STL），一个新的时间压缩空间对比损失（TSL），和全局对比损失（GL）的对比空间压缩关节和运动特征在帧水平，时间压缩关节和运动特征在关节水平，以及全局关节和运动特征在骨架水平。在四个公共数据集上的实验结果表明，与其他竞争性方法相比，SDS-CL算法具有更好的性能.
2023-02-05 cs.CV
Graph Decoupling Attention Markov Networks for Semi-supervised Graph Node Classification
Fudan University（复旦大学）；University of Sydney（悉尼大学）
图神经网络（GNN）在图节点分类任务中已经普遍存在。大多数GNN方法通过聚集其邻居的信息来迭代地更新节点嵌入。然而，他们经常遭受负面的干扰，由于边缘连接节点与不同的标签。减轻这种负面干扰的一种方法是使用注意力来学习聚合的权重，但目前基于注意力的GNN只考虑特征相似性，并且缺乏监督。在本文中，我们考虑了图节点的标签依赖，并提出了一个解耦的注意力机制学习硬和软的注意力。通过对具有较少类间边的精细图结构的标签学习硬注意力，从而减少聚集的负干扰。软注意力的目的是学习基于特征的聚合权重，以增强消息传递过程中的信息增益。特别是，我们制定我们的模型下EM框架，学习的注意是用来指导标签传播的M-步骤和特征传播的E-步骤，分别。在六个著名的基准图数据集上进行了大量的实验，以验证所提出的方法的有效性。
2022-02-01 cs.AI cs.LG
Self-supervised Video Transformer
Stony Brook University（石溪大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
在本文中，我们提出了使用未标记视频数据的视频Transformers的自监督训练。从一个给定的视频，我们创建具有不同的空间大小和帧速率的局部和全局时空视图。我们的自我监督目标旨在匹配这些代表同一视频的不同视图的特征，对动作的时空变化保持不变。据我们所知，所提出的方法是第一个减轻依赖于负样本或专用存储体的自监督视频Transformer（SVT）。此外，由于Transformer模型的灵活性，SVT支持使用动态调整的位置编码的单个架构内的慢-快视频处理，并且支持沿时空维度的长期关系建模。我们的方法在四个动作识别基准测试（Kinetics-400，UCF-101，HMDB-51和SSv 2）上表现良好，并且在小批量的情况下收敛得更快。代码：https://git.io/J1juJ
2022-03-19 cs.CV
Video 3D Sampling for Self-supervised Representation Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
现有的视频自监督方法主要利用视频的时域信号，忽略了运动对象的语义和环境信息对视频相关任务的重要性。在本文中，我们提出了一种新的自监督视频表示学习的方法，称为视频3D采样（V3S）。为了充分利用视频中提供的信息（空间和时间），我们从三维（宽度，高度，时间）对视频进行预处理。因此，我们可以利用空间信息（对象的大小），时间信息（运动的方向和幅度）作为我们的学习目标。在我们的实现中，我们结合了三个维度的采样，并分别提出了空间和时间的尺度和投影变换。实验结果表明，当应用于动作识别，视频检索和动作相似性标记，我们的方法提高了国家的最先进的显着利润率。
2021-07-08 cs.CV
Contrastive Transformation for Self-supervised Correspondence Learning
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
在本文中，我们专注于自监督学习的视觉对应使用未标记的视频在野外。我们的方法同时考虑帧内和帧间视频表示关联可靠的对应估计。视频内学习通过帧成对亲和度在单个视频内跨帧变换图像内容。为了获得实例级分离的判别表示，我们超越了视频内分析，并构建了视频间亲和力，以促进不同视频之间的对比变换。通过强制视频层内和视频层间的变换一致性，很好地保留了细粒度的对应关系，并有效地增强了实例级特征区分。我们的简单框架在一系列视觉任务上优于最近的自监督对应方法，包括视频对象跟踪（VOT），视频对象分割（VOS），姿势关键点跟踪等。值得一提的是，我们的方法也优于完全监督的亲和力表示（例如，ResNet），并与最近为特定任务设计的全监督算法（例如，VOT和VOS）。
2020-12-09 cs.CV
Self-Supervised Spatiotemporal Feature Learning via Video Rotation Prediction
The City University of New York（纽约城市大学）；NVIDIA Research（英伟达研究院）
深度神经网络的成功通常需要大量的训练数据进行标记，这是昂贵的，并且在规模上是不可行的，特别是对于视频采集。为了缓解这个问题，在本文中，我们提出了3DRotNet：一种完全自监督的方法，可以从未标记的视频中学习时空特征。将一组旋转应用于所有视频，并将借口任务定义为这些旋转的预测。在完成这项任务时，3DRotNet实际上被训练来理解视频中的语义概念和动作。换句话说，它学习时空视频表示，可以将其转移以改善小数据集中的视频理解任务。我们广泛的实验成功地证明了所提出的框架在动作识别上的有效性，从而使最先进的自监督方法得到了显着的改进。使用来自大型数据集的自监督预训练3DRotNet，与从头开始训练的模型相比，UCF 101和HMDB 51的识别准确率分别提高了20.4%和16.7%。
2019-04-04 cs.CV
Large-scale weakly-supervised pre-training for video action recognition
Facebook AI（Facebook人工智能）
目前的全监督视频数据集只有几十万个视频和不到一千个特定领域的标签。这阻碍了先进视频架构的发展。本文提出了一个深入的研究，使用大量的网络视频预训练视频模型的动作识别任务。我们的主要经验发现是，尽管有嘈杂的社交媒体视频和标签，但在非常大的规模（超过6500万个视频）下进行预训练，大大提高了三个具有挑战性的公共行为识别数据集的最新水平。此外，我们还研究了弱监督视频动作数据集构建中的三个问题。首先，考虑到动作涉及与对象的交互，应该如何构建动词-对象预训练标签空间以使迁移学习受益最大？第二，基于帧的模型在动作识别上表现得很好;对好的图像特征进行预训练是否足够，或者对时空特征进行预训练对于最佳迁移学习是否有价值？最后，动作在长视频中的本地化程度通常低于短视频;由于动作标签是在视频级别提供的，那么在给定视频数量或分钟数的固定预算的情况下，应该如何选择视频片段以获得最佳性能？
2019-05-02 cs.CV
DTG-Net: Differentiated Teachers Guided Self-Supervised Video Action Recognition
Beijing Institute of Technology（北京理工大学）；Swinburne University of Technology（斯威本科技大学）
具有复杂网络架构的最先进的视频动作识别模型已经取得了显着的改进，但这些模型严重依赖于大规模标记良好的数据集。为了减少这种依赖，我们提出了一个自我监督的师生架构，即，差异化教师指导的自我监督网络（DTG-Net）。在DTG-Net中，除了通过自监督学习（SSL）减少标记数据依赖性外，预训练的动作相关模型被用作教师指导，提供先验知识，以减轻SSL中对大量未标记视频的需求。具体而言，利用多年来在与行动有关的任务中的努力，例如，图像分类，基于图像的动作识别，DTG-Net在各种教师指导下学习自监督视频表示，即，那些训练有素的与行动相关的任务模型。同时，采用对比自监督学习的方法对DTG网络进行优化。当两个图像序列分别从同一视频或不同视频中随机采样作为正对或负对时，它们然后被发送到教师和学生网络进行特征嵌入。然后定义每对特征嵌入之间的对比特征一致性，即，正对一致，负对不一致。同时，为了反映不同教师任务的不同导向，我们还探索了不同的教师任务导向权重。最后，DTG-Net以两种方式进行评估：（i）自监督DTG-Net仅用未标记的视频预训练监督动作识别模型;（ii）监督DTG-Net以端到端的方式与监督动作网络联合训练。它的性能优于大多数预训练方法，但与监督动作识别方法相比也具有出色的竞争力。
2020-06-13 cs.CV
WOAD: Weakly Supervised Online Action Detection in Untrimmed Videos
Salesforce Research（赛富时研究院）
未裁剪视频中的在线动作检测旨在识别发生的动作，这对于实时应用非常重要。以前的方法依赖于繁琐的时间动作边界的注释进行训练，这阻碍了在线动作检测系统的可扩展性。我们提出了WOAD，这是一个弱监督框架，可以只使用视频类标签进行训练。WOAD包含两个联合训练模块，即，时间建议生成器（TPG）和在线动作识别器（OAR）。在视频类标签的监督下，TPG离线工作，目标是准确挖掘OAR的伪帧级标签。通过TPG的监督信号，OAR学习以在线方式进行动作检测。在THUMOS'14，ActivityNet1.2和ActivityNet1.3上的实验结果表明，我们的弱监督方法在很大程度上优于弱监督基线，并实现了与以前的强监督方法相当的性能。除此之外，WOAD还可以灵活地利用强有力的监督。当强监督时，我们的方法在在线每帧动作识别和在线动作开始检测的任务中获得了最先进的结果。
2021-05-18 cs.CV
Self-supervised Temporal Discriminative Learning for Video Representation Learning
Sun Yat-sen University（中山大学）；Hong Kong Baptist University（香港浸会大学）
视频中的时间线索为准确识别动作提供了重要信息。然而，如果不使用带注释的大规模视频动作数据集进行训练，则很难提取时间区分特征。本文提出了一种新的基于视频的时间判别学习（VTDL）框架，在自我监督的方式。在没有标记数据进行网络预训练的情况下，通过使用相同或不同时间间隔的片段为每个锚视频生成时间三元组，以增强时间特征表示的能力。通过时间导数测量时间信息，时间一致增强（TCA）旨在确保增强的正的时间导数（以任何顺序）是不变的，除了缩放常数。最后，通过最小化每个锚点与其增强的正片之间的距离来学习时间区分特征，而每个锚点与其增强的负片以及保存在存储体中的其他视频之间的距离被最大化以丰富表示多样性。在下游的动作识别任务中，所提出的方法显着优于现有的相关工作。令人惊讶的是，当使用小规模视频数据集（只有数千个视频）进行预训练时，所提出的自监督方法优于UCF 101和HMDB 51上的全监督方法。该守则已在https://github.com/FingerRec/Self-Supervised-Temporal-Discriminative-Representation-Learning-for-Video-Action-Recognition上公布。
2020-08-05 cs.CV
CrossVideo: Self-supervised Cross-modal Contrastive Learning for Point Cloud Video Understanding
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对点云视频理解中监督学习数据稀缺、标签难获取的问题，提出CrossVideo自监督跨模态对比学习方法，利用点云与图像视频的跨模态关系，结合模态内、跨模态及多层次对比策略，性能超越现有最优方法。
2024-01-17 cs.CV
Self-Supervised Video Representation Learning by Video Incoherence Detection
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；NVIDIA AI Tech Centre（英伟达人工智能技术中心）
本文介绍了一种新的自监督方法，利用不相干检测的视频表示学习。它源于人类的视觉系统可以很容易地识别视频不相干基于他们的全面理解的视频的观察。具体地，训练样本（表示为非相干剪辑）由从相同原始视频分层采样的多个子剪辑构成，其中彼此之间具有各种长度的非相干性。该网络被训练为通过预测不相干剪辑作为输入的不相干的位置和长度来学习高级表示。此外，引入视频内对比学习以最大化来自相同原始视频的不相干剪辑之间的互信息。我们评估我们提出的方法，通过广泛的实验，利用各种骨干网络的动作识别和视频检索。实验表明，我们提出的方法实现了最先进的性能在不同的骨干网络和不同的数据集相比，以前的基于一致性的方法。
2021-09-26 cs.CV
Decoupling Semantics and Logic: A Training-Free Coarse-to-Fine Pipeline for Video Retrieval-Augmented Generation
School of Computer Science & Tech, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；School of AI and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）
提出一种无需训练的两阶段级联视频RAG流水线，通过解耦语义检索与逻辑推理，实现跨语言长视频理解、严格角色遵循和零幻觉时间定位。
2026-06-06 cs.AI cs.CL cs.CV
Cross-Architecture Self-supervised Video Representation Learning
MYbank, Ant Group（蚂蚁集团网商银行）；Meituan Inc.（美团）；Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们提出了一个新的跨架构对比学习（CACL）框架的自我监督视频表示学习。CACL由一个3D CNN和一个视频Transformer组成，它们被并行使用以生成用于对比学习的各种正对。这允许模型从这些不同但有意义的对中学习强表示。此外，我们引入了一个时间自监督学习模块，能够预测两个视频序列之间的时间顺序明确的编辑距离。这使得模型能够学习丰富的时间表示，强烈补偿CACL学习的视频级表示。我们在UCF101和HMDB51数据集上对我们的方法进行了视频检索和动作识别任务的评估，我们的方法取得了优异的性能，大大超过了VideoMoCo和MoCo+BE等最先进的方法。该守则可在https://github.com/guoshengcv/CACL上查阅。
2022-05-26 cs.CV
Self-supervised Video Representation Learning by Pace Prediction
The Chinese University of Hong Kong（香港中文大学）；University of Oxford（牛津大学）
本文从一个新的角度--视频节奏预测--研究了自监督视频表示学习问题。它源于人类视觉系统对视频节奏敏感的观察，例如，慢动作是电影制作中广泛使用的技术。具体来说，给定一个以自然节奏播放的视频，我们随机抽取不同节奏的训练片段，并要求神经网络识别每个视频片段的节奏。这里的假设是，只有当网络理解底层视频内容并学习代表性的时空特征时，它才能成功完成这种节奏推理任务。此外，我们还引入了对比学习，通过最大化相似视频内容的一致性来推动模型区分不同的步伐。为了验证所提出的方法的有效性，我们进行了广泛的实验动作识别和视频检索任务与几种替代的网络架构。实验评估表明，我们的方法在不同的网络架构和不同的基准测试中实现了最先进的自监督视频表示学习性能。代码和预训练模型可在https://github.com/laura-wang/video-pace上获得。
2020-09-04 cs.CV
Cross-modal Manifold Cutmix for Self-supervised Video Representation Learning
UNC Charlotte（北卡罗来纳大学夏洛特分校）；Stony Brook University（石溪大学）
本文提出跨模态流形Cutmix（CMMC）和视频混合策略STC-mix，通过在特征空间中跨模态插入视频超立方体进行数据增强，在减少训练数据需求的同时，于动作识别和视频检索任务上达到与其他自监督方法相当的性能。
2023-07-27 cs.CV
Self-supervised Co-training for Video Representation Learning
University of Oxford（牛津大学）
本文的目标是纯视觉的自监督视频表示学习。我们做出了以下贡献：（i）我们研究了在基于实例的信息噪声对比估计（InfoNCE）训练中添加语义类肯定的好处，表明这种形式的监督对比学习导致性能的明显改善;（ii）我们提出了一种新的自监督协同训练方案来改善流行的infoNCE损失，利用来自不同观点的互补信息，RGB流和光流，相同的数据源，通过使用一个视图，以获得积极的类样本的其他;（iii）我们彻底评估质量的学习表示两个不同的下游任务：动作识别和视频检索。在这两种情况下，所提出的方法展示了最先进的或与其他自监督方法相当的性能，同时对训练显著更有效，即需要少得多的训练数据来实现类似的性能。
2021-01-11 cs.CV
Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；University of Chinese Academy of Sciences（中国科学院大学）
我们提出了一种新的自我监督的方法，称为视频完形填空程序（VCP），学习丰富的时空表示。VCP首先通过扣留视频剪辑来生成“空白”，然后通过对扣留的剪辑应用时空操作来创建“选项”。最后，它用“选项”填充空白，并通过预测应用于剪辑的操作类别来学习表示。在自监督学习中，VCP既可以作为代理任务，也可以作为目标任务。作为一个代理任务，它将丰富的自我监督表示转换为视频剪辑操作（选项），这增强了灵活性，降低了表示学习的复杂性。作为目标任务，它可以以统一和可解释的方式评估学习的表示模型。使用VCP，我们训练时空表示模型（3D-CNN），并将这些模型应用于动作识别和视频检索任务。在常用基准测试上的实验表明，训练后的模型优于最先进的自监督模型，具有显著的优势。
2020-01-02 cs.CV
Weakly-Supervised Multi-Person Action Recognition in 360$^{\circ}$ Videos
National University of Singapore（新加坡国立大学）；NEC Corporation（日本电气股份有限公司）
最近商品化的360 $^{\circ}$摄像机的发展使得单个视频能够捕获整个场景，这赋予了监控场景的潜力。然而，全方位视频分析的研究已经落后于硬件的进步。在这项工作中，我们解决的重要问题，在顶视360 $^{\circ}$视频的动作识别。由于宽视场，360 $^{\circ}$视频通常捕获多个人同时执行动作。此外，人的外表是畸形的。该框架首先将全向视频转换为全景视频，然后使用基于区域的3D CNN提取时空特征进行动作识别。我们提出了一种基于多实例多标签学习的弱监督方法，该方法仅使用视频级动作标签作为监督来训练模型识别和定位视频中的多个动作。我们进行实验，定量验证所提出的方法的有效性和定性证明的动作定位结果。为了实现这一方向的研究，我们引入了360Action，这是第一个用于多人动作识别的全方位视频数据集。
2020-02-09 cs.CV
Self-Supervised Learning by Cross-Modal Audio-Video Clustering
Facebook AI（Facebook 人工智能研究院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
视觉和听觉模态高度相关，但它们包含不同的信息。它们的强相关性使得可以以良好的准确性预测一个的语义。它们的内在差异使得跨模态预测与模态内学习相比成为视频和音频表示的自监督学习的潜在更有价值的借口任务。基于这种直觉，我们提出了跨模态深度聚类（XDC），这是一种新的自监督方法，它利用一种模态（例如，音频）作为另一模态的监控信号（例如，视频）。这种跨模态监督帮助XDC利用两种模态之间的语义相关性和差异。我们的实验表明，XDC优于单模态聚类和其他多模态变体。XDC在多个视频和音频基准测试的自监督方法中达到了最先进的准确性。最重要的是，我们在大规模未标记数据上预训练的视频模型在HMDB 51和UCF 101上的动作识别方面明显优于在ImageNet和Kinetics上进行全面监督预训练的相同模型。据我们所知，XDC是第一个自监督学习方法，它在相同架构上的动作识别中优于大规模全监督预训练。
2020-10-26 cs.CV
Self-Supervised Video Representation Learning With Odd-One-Out Networks
The Australian National University（澳大利亚国立大学）；University of Oxford（牛津大学）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一种新的自监督CNN预训练技术的基础上一种新的辅助任务称为“奇一出学习”。在这个任务中，机器被要求从一组相关的元素中识别出不相关的或奇数的元素。我们将这种技术应用于自监督视频表示学习，我们从视频中采样连续性，并要求网络学习预测奇数视频子序列。对奇数视频子序列进行采样，使得其具有错误的帧时间顺序，而偶数帧具有正确的时间顺序。因此，要生成一个单出问题，不需要手动注释。我们的学习机实现为多流卷积神经网络，它是端到端学习的。使用奇一出网络，我们学习视频的时间表示，并将其推广到其他相关任务，如动作识别。在动作分类上，我们的方法在UCF 101数据集上仅使用UCF 101数据进行训练就获得了60.3%的分类率，这比当前最先进的自监督学习方法好大约10%。同样，在HMDB51数据集上，我们在动作分类任务上的表现比自我监督的最先进方法高出12.7%。
2017-04-05 cs.CV
Uncertainty-Aware Weakly Supervised Action Detection from Untrimmed Videos
Google Research（谷歌研究院）
尽管最近在视频分类方面取得了进展，但时空动作识别方面的进展却落后了。一个主要的促成因素是逐帧注释视频的高昂成本。在本文中，我们提出了一个时空动作识别模型，该模型仅使用视频级标签进行训练，这更容易注释。我们的方法利用了在多实例学习框架内对大型图像数据集进行训练的每帧人物检测器。我们展示了如何在标准的多实例学习假设（每个包包含至少一个具有指定标签的实例）无效的情况下应用我们的方法，使用MIL的一种新的概率变体来估计每个预测的不确定性。此外，我们报告了AVA数据集上的第一个弱监督结果和UCF 101 -24上弱监督方法中的最新结果。
2020-07-21 cs.CV
VideoSSR: Video Self-Supervised Reinforcement Learning
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Wuhan University（武汉大学）
本文提出 VideoSSR 视频自监督强化学习框架，通过异常定位、目标计数和时间拼图三个代理任务从视频内在信息中自生成可验证训练数据，并在 17 个基准上平均提升超过 5%。
2025-11-09 cs.CV
Self-Supervised Video Representation Learning with Space-Time Cubic Puzzles
KAIST（韩国科学技术院）
当标记图像的数量有限或根本不存在时，自监督任务（例如着色、修补和锯齿拼图）已用于静态图像的视觉表示学习。最近，这一有价值的研究流延伸到视频领域，其中人工标记的成本甚至更昂贵。然而，现有的方法大多数仍然是基于二维CNN架构，不能直接捕获时空信息的视频应用。在本文中，我们引入了一个新的自监督任务称为\textit{Space-Time Cubic Puzzles}使用大规模视频数据集训练3D CNN。这项任务需要一个网络来排列排列的3D时空作物。通过完成\textit{Space-Time Cubic Puzzles}，网络学习视频帧的空间外观和时间关系，这是我们的最终目标。在实验中，我们证明了我们学习的3D表示可以很好地转移到动作识别任务中，并且在UCF101和HMDB51数据集上优于最先进的基于2D CNN的竞争对手。
2018-11-24 cs.CV
Towards Weakly Supervised End-to-end Learning for Long-video Action Recognition
AI Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）AI 方向组）；Tencent Youtu Lab（腾讯优图实验室）；Sun Yat-sen University（中山大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出弱监督端到端框架AdaptFocus，仅用视频级标签训练长视频动作识别模型，通过估计动作位置自适应聚焦关键片段，并在三个数据集上验证有效性，同时为下游任务提供鲁棒特征提取。
2024-05-24 cs.CV
Self-supervised Spatiotemporal Representation Learning by Exploiting Video Continuity
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Manitoba（曼尼托巴大学）
最近的自我监督视频表示学习方法已经发现了显着的成功，通过探索视频的基本属性，例如速度，时间顺序等。这项工作利用了一个重要的，但未充分探索的视频，视频连续性，以获得监督信号的自我监督表示学习。具体来说，我们制定了三个新的连续性相关的借口任务，即连续性的理由，不连续性本地化，缺失部分近似，共同监督视频表示学习的共享骨干。这种自我监督的方法，被称为连续性感知网络（CPNet），解决了这三个任务，并鼓励骨干网络学习本地和远程运动和上下文表示。它在多个下游任务上优于现有技术，例如动作识别，视频检索和动作定位。此外，视频连续性可以与用于表示学习的其他粗粒度视频属性互补，并且将所提出的借口任务集成到现有技术可以产生很大的性能增益。
2022-01-12 cs.CV cs.LG
Enhancing Self-supervised Video Representation Learning via Multi-level Feature Optimization
Tencent Youtu Lab（腾讯优图实验室）；Heriot-Watt University（赫瑞-瓦特大学）；Zhejiang University（浙江大学）；Tencent PCG（腾讯平台与内容事业群）
自监督视频表示学习的关键是从未标记的视频中构建一般特征。然而，最近的工作主要集中在高层次的语义和忽视低层次的表示和它们的时间关系，这是至关重要的一般视频理解。为了解决这些挑战，本文提出了一个多层次的特征优化框架，以提高学习视频表示的泛化和时间建模能力。具体地说，利用朴素和原型对比学习得到的高层特征构建分布图，指导低层和中层特征学习过程。我们还设计了一个简单的时间建模模块，从多层次的功能，以提高运动模式的学习。实验结果表明，结合图约束和时间建模的多层次特征优化可以大大提高视频理解的表示能力。代码可在https://github.com/shvdiwnkozbw/Video-Representation-via-Multi-level-Optimization上获得。
2021-08-17 cs.CV
Cycle-Contrast for Self-Supervised Video Representation Learning
Lumada Data Science Lab. Hitachi, Ltd.（日立有限公司卢马达数据科学实验室）
我们提出了循环对比学习（CCL），一种新的自我监督的方法学习视频表示。根据视频与其帧之间存在着一种属于和包含关系的性质，CCL被设计为分别考虑其域中的对比表示来发现帧和视频之间的对应关系。它与最近的方法不同，这些方法只是学习跨帧或剪辑的对应关系。在我们的方法中，帧和视频表示是从基于R3D架构的单个网络中学习的，在周期对比丢失之前，使用共享的非线性变换来嵌入帧和视频特征。我们证明了CCL学习的视频表示可以很好地转移到视频理解的下游任务中，在UCF 101，HMDB 51和MMAct上的最近邻检索和动作识别任务中优于以前的方法。
2020-10-28 cs.CV cs.LG
TimeBalance: Temporally-Invariant and Temporally-Distinctive Video Representations for Semi-Supervised Action Recognition
University of Central Florida（中佛罗里达大学）
与图像相比，半监督学习更有利于视频领域，因为它具有更高的注释成本和维度。此外，任何视频理解任务都需要在空间和时间维度上进行推理。为了学习半监督动作识别任务的静态和运动相关特征，现有方法依赖于硬输入感应偏差，例如使用两种模态（RGB和光流）或不同回放速率的两个流。我们没有通过不同的输入流使用未标记的视频，而是依赖于自监督视频表示，特别是，我们使用时间不变和时间独特的表示。我们观察到，这些表征根据动作的性质而相互补充。基于这一观察，我们提出了一个学生-教师半监督学习框架TimeBalance，在这个框架中，我们从一个时间不变的和一个时间不同的教师中提取知识。根据未标记的视频的性质，我们动态地结合这两个教师的知识的基础上，一种新的基于时间相似性的重新加权方案。我们的方法在三个动作识别基准测试中达到了最先进的性能：UCF 101，HMDB 51和Kinetics 400。代码：https://github.com/DAVEISHAN/TimeBalance
2023-03-28 cs.CV cs.LG
Static and Dynamic Concepts for Self-supervised Video Representation Learning
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
在本文中，我们提出了一种新的学习方案的自监督视频表示学习。受人类如何理解视频的启发，我们建议首先学习一般的视觉概念，然后参加视频理解的歧视性局部区域。具体地说，我们利用静态框架和框架差异来帮助静态和动态概念解耦，并分别对齐潜在空间中的概念分布。我们添加了多样性和保真度正则化，以保证我们学习一组紧凑的有意义的概念。然后采用交叉注意力机制聚合不同概念的细节局部特征，过滤掉低激活度的冗余概念进行局部概念对比。大量的实验表明，我们的方法提取有意义的静态和动态的概念，以指导视频理解，并获得了最先进的结果UCF-101，HMDB-51，潜水-48。
2022-07-26 cs.CV cs.LG
Temporally Coherent Embeddings for Self-Supervised Video Representation Learning
Data61 CSIRO（联邦科学与工业研究组织 Data61）
本文提出了TCE：时间相干嵌入的自我监督视频表示学习。所提出的方法利用未标记视频数据的固有结构来明确地在嵌入空间中执行时间相干性，而不是通过排名或预测代理任务间接地学习它。就像世界中的高级视觉信息变化平滑一样，我们相信学习表征中的邻近帧将从展示类似属性中受益。使用这个假设，我们训练我们的TCE模型来编码视频，使得相邻帧彼此靠近并且视频彼此分离。使用TCE，我们从大量未标记的视频数据中学习鲁棒的表示。我们使用多个具有挑战性的基准（Kinetics 400，UCF 101，HMDB 51）在视频动作识别的下游任务上彻底分析和评估了我们的自监督学习TCE模型。通过简单但有效的2D-CNN主干和仅RGB流输入，TCE预训练的表示优于之前在UCF 101上预训练的所有自监督2D-CNN和3D-CNN。本文的代码和预训练模型可以从以下网站下载：https://github.com/csiro-robotics/TCE
2020-11-17 cs.CV cs.LG eess.IV
EmotiveTalk: Expressive Talking Head Generation through Audio Information Decoupling and Emotional Video Diffusion
University of Science and Technology of China（中国科学技术大学）；Imperial College London（帝国理工学院）；iFLYTEK CO.LTD.（科大讯飞股份有限公司）
提出EmotiveTalk框架，通过音频信息解耦与情感视频扩散，实现可控且稳定的高表现力说话人生成，性能优于现有方法。
2024-12-16 cs.AI cs.CV
Frames2Residual: Spatiotemporal Decoupling for Self-Supervised Video Denoising
本文提出Frames2Residual框架，通过将自监督训练分为盲时序一致性建模和非盲空间纹理恢复两个阶段，解决视频去噪中时空一致性与空间特异性整合难题，提升去噪效果。
2026-06-29 cs.CV
Object-Centric Video Prediction via Decoupling of Object Dynamics and Interactions
University of Bonn（波恩大学）
提出OCVP transformer模块解耦时间动态与物体交互，在两个数据集上优于物体无关模型，保持一致准确的物体表示。
2023-07-31 cs.CV
Direct Coloring for Self-Supervised Enhanced Feature Decoupling
West Virginia University（西弗吉尼亚大学）
本文提出一种基于增强数据贝叶斯先验的直接特征着色方法，通过尽早促进有用特征实现自监督特征解耦，以补充白化并避免表示坍缩，性能优于对比与非对比方法。
2024-12-03 cs.CV
Computational Depth Measurement in Thermographic Video: Overcoming Spatial Overfitting via Spatio-Temporal Decoupling
Sukkur IBA University（苏库尔IBA大学）
本研究针对热成像视频深度回归的空间过拟合问题，提出时空解耦架构，采用正则化XGBoost实现0.056mm MAE的高精度测量，可快速生成三维缺陷模型。
2026-09-01 cs.AI cs.CV
DeLightMono: Enhancing Self-Supervised Monocular Depth Estimation in Endoscopy by Decoupling Uneven Illumination
DeLightMono通过解耦照明和反光信息，提升内窥镜图像中低光照区域的自监督单目深度估计性能。
2025-11-25 cs.CV
Find First, Track Next: Decoupling Identification and Propagation in Referring Video Object Segmentation
GenGenAI；Yonsei University（延世大学）
针对指代表达视频目标分割中多模态特征纠缠导致的目标识别歧义和跨帧传播不一致问题，本文提出 FindTrack 解耦框架，通过自适应关键帧选择与专用传播模块提升性能，并在公开基准上取得最优结果。
2025-07-26 cs.CV
Less is More: Modality-Decoupling for General AIGC Audio-Video Detection
Harbin Institute of Technology（哈尔滨工业大学）；University of Agder（阿格德大学）
针对通用AIGC音频-视频检测，现有方法假设不总成立，本文提出DAV-Det系统，通过决策级融合独立建模各模态取证证据，视觉和音频检测器分别利用多粒度表示及门控双分支架构，在挑战赛中排名第一。
2026-07-29 cs.AI cs.CV
D$^2$NeRF: Self-Supervised Decoupling of Dynamic and Static Objects from a Monocular Video
University of Cambridge（剑桥大学）；Google Research（谷歌研究院）；Simon Fraser University（西蒙弗雷泽大学）
对于单目视频，在恢复静态环境的同时分割和解耦动态对象是机器智能中广泛研究的问题。现有的解决方案通常在图像域中解决这个问题，限制了它们的性能和对环境的理解。我们介绍了解耦动态神经辐射场（D $^2$ NeRF），一种自监督的方法，采用单目视频，并学习一个3D场景表示，从静态背景中提取移动对象，包括它们的阴影。我们的方法表示的运动物体和静态背景的两个单独的神经辐射场，只有一个允许时间的变化。这种方法的简单实现导致动态组件接管静态组件，因为前者的表示本质上更一般，并且易于过拟合。为此，我们提出了一种新的损失来促进现象的正确分离。我们进一步提出了一个阴影场网络来检测和解耦动态移动的阴影。我们引入了一个新的数据集，包含各种动态对象和阴影，并证明我们的方法可以实现更好的性能比国家的最先进的方法在解耦动态和静态的3D对象，遮挡和阴影去除，图像分割的移动对象。
2022-11-05 cs.CV
Decoupling Makes Weakly Supervised Local Feature Better
Sun Yat-Sen University（中山大学）；The Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区）；National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）；Alibaba Group（阿里巴巴集团）
弱监督学习可以帮助局部特征方法克服获取具有密集标记对应的大规模数据集的障碍。然而，由于弱监督不能区分由检测和描述步骤引起的损失，因此在联合描述-然后-检测流水线内直接进行弱监督学习会受到性能的限制。在本文中，我们提出了一种专为弱监督局部特征学习而设计的解耦描述然后检测管道。在我们的流水线中，检测步骤与描述步骤解耦，并推迟到学习了有区别的和鲁棒的描述符。此外，我们引入了一个线到窗口的搜索策略，明确地使用相机的姿态信息，更好的描述符学习。大量的实验表明，我们的方法，即PoSFeat（摄像机姿态监督特征），优于以前的完全和弱监督方法，并在广泛的下游任务上实现了最先进的性能。
2022-03-26 cs.CV
Decoupling Common and Unique Representations for Multimodal Self-supervised Learning
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center（德国航空航天中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对现有方法忽略模态内训练和独特表示的问题，提出DeCUR方法，通过多模态冗余减少区分模态间与模态内嵌入，在三种多模态场景中一致提升性能，适用于多模态及模态缺失设置。
2024-07-19 cs.CV
Semi-Supervised Video Desnowing Network via Temporal Decoupling Experts and Distribution-Driven Contrastive Regularization
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Cambridge（剑桥大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对真实雪视频去雪缺乏成对训练数据的问题，提出半监督视频去雪网络SemiVDN，通过分布驱动对比正则化缩小合成与真实数据分布差距，并利用先验引导时间解耦专家模块分解物理分量，在基准和真实数据上优于现有方法。
2024-10-10 cs.CV
Towards Imbalanced Motion: Part-Decoupling Network for Video Portrait Segmentation
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
针对视频人像分割中人体部件运动不平衡及现有数据集场景简单的问题，本文构建大规模复杂MVPS数据集，并提出PDNet及其IPDA模块实现无监督部件解耦与判别注意力，性能达到领先水平。
2024-05-31 cs.CV
Weakly-supervised High-fidelity Ultrasound Video Synthesis with Feature Decoupling
Shenzhen University（深圳大学）；Shenzhen RayShape Medical Technology Co., Ltd（深圳瑞影医疗科技有限公司）；Huizhou Central People’s Hospital（惠州市中心人民医院）
超声以其实时成像、无辐射、便携等优点被广泛应用。在临床实践中，分析和诊断通常依赖于US序列而不是单个图像来获得动态解剖信息。这对新手来说是一个挑战，因为用来自患者的足够视频进行练习在临床上是不切实际的。在本文中，我们提出了一种新的框架来合成高保真美国视频。具体地，通过基于给定驾驶视频的运动来动画化源内容图像来生成合成视频。我们的亮点有三个方面。首先，利用自监督学习和全监督学习的优点，我们提出的系统以弱监督方式进行关键点检测训练。然后，这些关键点为处理US视频中的复杂高动态运动提供重要信息。其次，我们使用双解码器来解耦内容和纹理学习，以有效地降低模型学习的难度。最后，我们采用带有GAN损失的对抗训练策略，进一步提高生成视频的清晰度，缩小真实视频与合成视频之间的差距。我们验证了我们的方法在一个大的内部骨盆数据集与高动态运动。广泛的评价指标和用户研究证明了我们所提出的方法的有效性。
2022-07-01 cs.AI cs.CV cs.LG
Parameter Decoupling Strategy for Semi-supervised 3D Left Atrium Segmentation
School of Biological Science and Medical Engineering, Beihang University（北京航空航天大学生物科学与医学工程学院）；School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）；Hefei Innovation Research Institute, Beihang University（北京航空航天大学合肥创新研究院）；Beijing Advanced Innovation Centre for Biomedical Engineering, Beihang University（北京航空航天大学生物医学工程高精尖创新中心）；Beijing Advanced Innovation Centre for Big Data-Based Precision Medicine, Beihang University（北京航空航天大学大数据精准医疗高精尖创新中心）
一致性训练已被证明是一种先进的半监督框架，并通过在输入的不同视图上强制执行预测的不变性，在医学图像分割任务中取得了可喜的成果。然而，随着模型参数的迭代更新，模型往往会达到耦合状态，最终失去利用未标记数据的能力。为了解决这个问题，我们提出了一种新的半监督分割模型的基础上参数解耦策略，鼓励一致的预测，从不同的观点。具体来说，我们首先采用一个双分支网络来同时为每个图像生成预测。在训练过程中，我们通过二次余弦距离将两个预测分支参数解耦，在潜在空间中构建不同的视图。在此基础上，对特征提取器进行约束，以促进分类器在不同特征下生成的概率图的一致性。在整个训练过程中，通过一致性正则化操作和解耦操作交替更新特征提取器和分类器的参数，逐步提高模型的泛化性能。我们的方法在心房分割挑战数据集上取得了比最先进的半监督方法更有竞争力的结果，证明了我们框架的有效性。代码可在https://github.com/BX0903/PDC上获得。
2021-11-09 cs.CV
Decoupling Human and Camera Motion from Videos in the Wild
University of California, Berkeley（加州大学伯克利分校）
我们提出了一种方法来重建全球人类的轨迹从视频在野外。我们的优化方法将摄像机和人体运动结合起来，使我们能够将人放置在同一个世界坐标系中。大多数现有的方法不对相机运动建模;依赖于背景像素来推断3D人体运动的方法通常需要完整的场景重建，这对于野外视频通常是不可能的。然而，即使当现有的SLAM系统不能恢复精确的场景重建时，背景像素运动仍然提供足够的信号来约束相机运动。我们表明，相对摄像机估计以及数据驱动的人体运动先验可以解决场景规模的模糊性和恢复全球人类轨迹。我们的方法可以在具有挑战性的野外视频（如PoseTrack）中稳健地恢复人的全局3D轨迹。我们量化了我们对3D人体数据集Egobody现有方法的改进。我们进一步证明，我们恢复的相机比例允许我们在一个共享的坐标系，这提高了下游跟踪的性能PoseTrack的多个人的运动的原因。代码和视频结果可以在https://vye16.github.io/slahmr上找到。
2023-03-20 cs.CV
Hierarchical Spatio-temporal Decoupling for Text-to-Video Generation
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）；Fudan University（复旦大学）
本文提出 HiGen，通过结构层面的空间/时间推理分解与内容层面的运动、外观线索引导，解耦视频时空因素，提升文本到视频生成的真实性、语义准确性与运动稳定性。
2023-12-07 cs.CV
