Frequency Selective Augmentation for Video Representation Learning
KAIST（韩国科学技术院）
最近的自监督视频表示学习方法专注于最大化来自同一视频的多个增强视图之间的相似性，并且在很大程度上依赖于生成的视图的质量。然而，大多数现有方法缺乏防止表示学习偏向于视频中的静态信息的机制。在本文中，我们提出了频率增强（FreqAug），时空数据增强方法在频域的视频表示学习。FreqAug随机从视频中删除特定的频率分量，以便学习的表示从各种下游任务的剩余信息中捕获更多的基本特征。具体来说，FreqAug通过丢弃空间或时间低频分量，推动模型更多地关注视频中的动态特征，而不是静态特征。为了验证所提出的方法的通用性，我们用FreqAug在多个自监督学习框架上进行了实验，并进行了标准增强。将改进的表示转移到五个视频动作识别和两个时间动作定位下游任务中，显示出与基线相比的一致改进。
2022-12-06 cs.CV
BERT for Large-scale Video Segment Classification with Test-time Augmentation
本文介绍了我们的方法，第三次YouTube-8 M视频理解比赛，挑战participants本地化视频级标签的规模，以精确的时间在视频中的标签实际发生。我们的模型是一个帧级模型的集合，如GatedNetVLAD和NeXtVLAD和各种BERT模型与测试时增强。我们探索了多种方法来聚合BERT输出作为视频表示和variousways结合视觉和音频信息。我们提出了测试时间增强作为移动视频帧到一个左或右单元，这增加了多样性的预测和empirically显示在评估指标的改善。我们首先在4 M训练视频级数据上对模型进行预训练，然后在237 K注释视频段级数据上对模型进行微调。我们在私人测试视频片段数据上达到了MAP@100K 0.7871，在283支球队中排名第9。
2019-12-02 cs.CV
Learn2Augment: Learning to Composite Videos for Data Augmentation in Action Recognition
University of Edinburgh（爱丁堡大学）；Meta AI
我们解决的问题，数据增强的视频动作识别。视频中的标准增强策略是手工设计的，并且随机地对可能的增强数据点的空间进行采样，而不知道哪些增强点会更好，或者通过随机抽样。我们建议学习是什么让一个好的视频动作识别，并只选择高质量的样本进行增强。特别是，我们选择的视频合成的前景和背景视频的数据增强过程中，这会导致多样化和现实的新样本。我们学习哪些视频对要增强，而不必实际合成它们。这减少了可能的增强的空间，这有两个优点：它节省了计算成本，并提高了最终训练分类器的准确性，因为增强对的质量高于平均水平。我们在整个训练设置范围上呈现实验结果：Few-Shot、半监督和全监督。我们观察到所有这些都比之前的工作和Kinetics，UCF 101，HMDB 51的基线有了一致的改进，并在有限数据的情况下实现了新的最先进的设置。在半监督设置中，我们看到了高达8.6%的改进。
2022-07-24 cs.CV
Extending Temporal Data Augmentation for Video Action Recognition
School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院）
像素空间增强在许多深度学习领域越来越受欢迎，这是由于其有效性、简单性和低计算成本。然而，用于视频的数据增强仍然是一个未被探索的研究主题，因为大多数作品一直将输入视为静态图像的堆栈，而不是时间上链接的一系列数据。最近，已经表明，在设计增强时涉及时间维度可以优于其仅用于视频动作识别的空间变体。在本文中，我们提出了一些新的增强这些技术，以加强空间和时间域之间的关系，实现更深层次的扰动。我们的技术的视频动作识别结果在UCF-101和HMDB-51数据集上的Top-1和Top-5设置中优于各自的变体。
2022-11-09 cs.CV
Learning Temporally Invariant and Localizable Features via Data Augmentation for Video Recognition
Yonsei University（延世大学）；Cognex Deep Learning Lab（康耐视深度学习实验室）
随着大规模数据集和时空网络架构的发展，基于深度学习的视频识别已经显示出有希望的改进。在图像识别中，学习空间不变特征是提高识别性能和鲁棒性的关键因素。基于视觉归纳先验的数据增强，例如裁剪、翻转、旋转或光度抖动，是实现这些特征的代表性方法。最近的最先进的识别解决方案依赖于现代数据增强策略，该策略利用增强操作的混合。在这项研究中，我们将这些策略扩展到视频的时间维度，以学习时间不变或时间可定位的特征，以覆盖视频中的时间扰动或复杂动作。基于我们的新的时间数据增强算法，视频识别性能的提高，只使用有限的训练数据相比，空间只有数据增强算法，包括第一视觉归纳先验（VIPriors）的数据高效的动作识别挑战。此外，学习的特征是时间上可定位的，这是使用空间增强算法无法实现的。我们的源代码可在https://github.com/taeoh-kim/temporal_data_augmentation上获得。
2020-08-13 cs.CV
Composable Augmentation Encoding for Video Representation Learning
Google Research（谷歌研究院）；Brown University（布朗大学）；MIT（麻省理工学院）
我们专注于自监督视频表示学习的对比方法。对比学习中的一个常见范例是通过对同一实例的不同数据视图进行采样来构建正对，不同的数据实例作为负对。这些方法隐含地假设一组代表性的不变性的视图选择机制（例如，采样帧的时间偏移），这可能会导致下游的任务，违反这些不变性（细粒度的视频动作识别，将受益于时间信息）的性能差。为了克服这一限制，我们提出了一个“增强意识”的对比学习框架，在这里我们明确地提供了一个序列的增强参数化（如用于创建数据视图的时移的值）作为可组合增强编码（CATE），我们的模型时，投影的视频表示对比学习。我们表明，通过我们的方法学习的表示编码有关指定的空间或时间增强的有价值的信息，并且在这样做的过程中，还在许多视频基准上实现了最先进的性能。
2021-08-20 cs.CV
FusedLSTM: Fusing frame-level and video-level features for Content-based Video Relevance Prediction
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文介绍了我的两个最好的基于内容的视频相关性预测的挑战表现的方法。在基于FusedLSTM的方法中，使用LSTM和密集层组合inception-pool 3和C3 D-pool 5特征，以形成嵌入，目标是最小化三元组损失函数。在第二种方法中，提出了一种在线核相似性学习方法来学习非线性相似性度量，以粘附相关训练数据。最后一节对本次挑战中实施的所有方法进行了完整的比较，包括基线文件中提出的方法。
2018-09-29 cs.CV
EventRPG: Event Data Augmentation with Relevance Propagation Guidance
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Northeastern University（东北大学）；Seeing Machines（Seeing Machines公司）；Monash University（莫纳什大学）；Peking University（北京大学）
针对事件相机分类任务中SNN过拟合问题，提出基于相关性传播的显著性增强方法EventRPG，在多个识别任务上达到最优性能。
2024-03-14 cs.CV
VISTA: Enhancing Long-Duration and High-Resolution Video Understanding by Video Spatiotemporal Augmentation
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
本文提出 VISTA 视频时空增强框架，利用现有视频-字幕数据合成长时长、高分辨率指令数据，并构建 VISTA-400K 与 HRVideoBench，显著提升视频 LMM 性能。
2024-12-01 cs.CV
Data augmentation techniques for the Video Question Answering task
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Udine（乌迪内大学）
视频问答（VideoQA）是一项需要模型来分析和理解输入视频给出的视觉内容和问题给出的文本部分以及它们之间的交互以产生有意义的答案的任务。在我们的工作中，我们专注于以自我为中心的视频问答任务，它利用第一人称视频，因为这种任务的重要性，它可以对许多不同的领域产生影响，例如与社会援助和工业培训有关的领域。最近，一个以自我为中心的视频QA数据集，称为EgoVQA，已经发布。由于体积小，模型往往很快就会过拟合。为了缓解这个问题，我们提出了几种增强技术，使我们在考虑的基线上的最终精度提高了+5.5%。
2020-08-22 cs.CV
VideoDetective: Clue Hunting via both Extrinsic Query and Intrinsic Relevance for Long Video Understanding
Nanjing University（南京大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出VideoDetective框架，通过结合查询与片段的相关性及片段间亲和力，有效定位长视频问答中的关键片段，提升多模态大语言模型在长视频理解中的性能。
2026-05-01 cs.CV
BSUV-Net 2.0: Spatio-Temporal Data Augmentations for Video-Agnostic Supervised Background Subtraction
Boston University（波士顿大学）
背景减除（BGS）是一种基本的视频处理任务，是许多应用的关键组成部分。基于深度学习的监督算法在BGS中实现了非常好的性能，然而，这些算法中的大多数都是针对特定视频或一组视频进行优化的，并且当应用于看不见的视频时，它们的性能急剧下降。最近，一些论文解决了这个问题，并提出了视频不可知监督BGS算法。然而，这些算法中使用的几乎所有数据增强都限于空间域，并且不考虑视频数据中自然发生的时间变化。在这项工作中，我们引入时空数据增强，并将其应用于领先的视频不可知BGS算法之一，BSUV-Net。我们还为CDNet-2014数据集引入了一种新的交叉验证训练和评估策略，可以公平轻松地比较各种视频不可知监督BGS算法的性能。我们使用所提出的数据增强训练的新模型，名为BSUV-Net 2.0，显著优于在CDNet-2014的未见过视频上评估的最先进算法。我们还通过仅在CDNet-2014视频上训练BSUV-Net 2.0并在LASIESTA数据集上评估其性能来评估BSUV-Net 2.0的跨数据集泛化能力。总体而言，BSUV-Net 2.0在CDNet-2014和LASIESTA数据集的未见过视频上的F分数比最先进的方法提高了约5%。此外，我们开发了我们的模型的实时变体，我们称之为Fast BSUV-Net 2.0，其性能接近最先进的水平。
2021-02-24 cs.CV
Diversified Augmentation with Domain Adaptation for Debiased Video Temporal Grounding
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Beijing University of Posts and Telecommunications（北京邮电大学）
针对视频时序句子定位数据集的时序偏差及现有增强方法泛化差的问题，提出结合多样化数据增强和域自适应的训练框架，在多个数据集上取得最优效果。
2025-01-14 cs.CV
Video as Natural Augmentation: Towards Unified AI-Generated Image and Video Detection
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Pengcheng Laboratory（鹏城实验室）；Shenzhen Loop Area Institute（深圳河套学院）
本研究针对AI生成内容检测中跨模态差距的问题，提出VINA框架，通过联合训练图像和视频数据，利用视频帧作为自然增强，并引入跨模态监督对比目标，实现统一的AI生成内容检测，提升鲁棒性和迁移性。
2026-05-21 cs.AI cs.CV
Cross-Modal Video to Body-joints Augmentation for Rehabilitation Exercise Quality Assessment
KITE Research Institute, University Health Network（大学健康网络KITE研究所）；University of Toronto（多伦多大学）
针对康复运动质量评估中数据集样本不足的问题，提出跨模态数据增强方法，通过对RGB视频做视觉增强后提取关节序列训练网络，在KIMORE数据集上取得优于基线的效果。
2023-06-15 cs.CV
Self-Paced Video Data Augmentation with Dynamic Images Generated by Generative Adversarial Networks
Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
目前迫切需要一种有效的视频分类方法，通过少量的样本。通过生成对抗网络（GAN）生成样本可以有效地缓解样本不足的问题，但由于复杂的动作和多变的视点难以模拟，典型类别的视频生成还有待探索。本文提出了一种基于动态图像的时间段网络时间流生成式数据增强方法。动态图像将视频的运动信息压缩成静止图像，去除背景等干扰因素。因此，使用GAN更容易生成具有分类运动信息的图像。我们利用生成的动态图像来增强特征，并实现正则化，从而达到视频增强的效果。为了解决生成图像质量参差不齐的问题，本文提出了一种自同步选择（Self-Paced Selection，SPS）方法，自动选择高质量的生成样本加入到网络训练中。我们的方法在两个基准数据集HMDB 51和UCF 101上进行了验证。实验结果表明，该方法在样本不足和样本不平衡的情况下，能够提高视频分类的准确率。
2019-09-16 cs.CV
Controllable Augmentations for Video Representation Learning
Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；Heriot-Watt University（赫瑞瓦特大学）；Tencent（腾讯）
本文主要研究自监督视频表示学习。大多数现有的方法遵循对比学习管道，通过对不同的剪辑进行采样来构建正对和负对。然而，这种提法往往偏向于静态背景，难以建立全球的时间结构。主要原因是正对，即，从同一视频采样的不同剪辑具有有限的时间感受野，并且通常共享相似的背景但运动不同。为了解决这些问题，我们提出了一个框架，共同利用本地剪辑和全球视频学习详细的区域级对应关系以及一般的长期时间关系。基于一组可控的增强，我们通过软时空区域对比度实现精确的外观和运动模式对齐。我们的公式是能够避免低层次的冗余捷径互信息最小化，以提高推广。我们还引入了局部-全局时序依赖性，以进一步弥合剪辑级和视频级表示之间的差距，以实现鲁棒的时间建模。大量的实验表明，我们的框架是优于三个视频基准动作识别和视频检索，捕捉更准确的时间动态。
2022-04-01 cs.CV
FANeRV: Frequency Separation and Augmentation based Neural Representation for Video
针对 NeRV 空间细节捕捉不足、重建模糊的问题，本文提出 FANeRV，利用小波频率分离、定向增强、门控融合及残差增强提升视频重建，并在压缩、修复和插帧任务中优于现有方法。
2025-05-13 cs.CV
A Feature-space Multimodal Data Augmentation Technique for Text-video Retrieval
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Udine（乌迪内大学）；Free University of Bozen-Bolzano（博尔扎诺自由大学）
每小时，社交媒体和用户生成的内容平台上都会发布大量的视觉内容。为了通过自然语言查询找到相关视频，文本视频检索方法在过去几年中受到越来越多的关注。引入了数据增强技术，通过应用语义保留技术（如图像上的颜色空间或几何变换）创建新的训练样本，来提高对看不见的测试示例的性能。然而，这些技术通常应用于原始数据，导致更多资源需求的解决方案，并且还需要原始数据的可共享性，这可能并不总是正确的，例如，电影或电视连续剧剪辑的版权问题。为了解决这个缺点，我们提出了一种多模态数据增强技术，它在特征空间中工作，并通过混合语义相似的样本来创建新的视频和字幕。我们在大规模公共数据集EPIC-Kitchen-100上实验了我们的解决方案，并在基线方法上取得了相当大的改进，提高了最先进的性能，同时进行了多项消融研究。我们在Github网站www.example.com上发布代码和预训练模型。
2022-08-03 cs.CV
Hierarchical Augmentation and Distillation for Class Incremental Audio-Visual Video Recognition
School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文针对类增量音视频视频识别中的灾难性遗忘问题，提出层次化增强与蒸馏方法HAD，通过分段特征增强和层次化蒸馏分别保留模型与数据中的历史知识，并在多个基准上验证其有效性。
2024-06-07 cs.CV
REEF: Relevance-Aware and Efficient LLM Adapter for Video Understanding
Northeastern University（东北大学）；Futurewei Technologies Inc（华为主机技术有限公司）；Georgia Institute of Technology（佐治亚理工学院）
REEF 提出一种相关性感知的高效 LLM 适配器，通过评分器网络和可微 Top-K 算子选择性压缩视频记忆，在未修剪视频理解任务中降低最多 34% 计算开销并取得优异性能。
2025-04-07 cs.CV
Joint Engagement Classification using Video Augmentation Techniques for Multi-person Human-robot Interaction
MIT Media Lab（麻省理工学院媒体实验室）
情感理解能力对于社交机器人以直观和互惠的方式与一组用户自主交互至关重要。然而，多人情感理解的挑战不仅来自于对每个用户的情感状态的准确感知（例如，接合）而且还包括对成员之间的影响相互作用的认识（例如，共同参与），表现为他们之间复杂但微妙的非语言交流。在这里，我们提出了一种新的混合框架，通过将深度学习框架与各种视频增强技术相结合来识别亲子二元体的联合参与。使用亲子二人组与家中的社交机器人一起阅读故事书的数据集，我们首先使用四种视频增强技术（General Aug，DeepFake，CutOut和Mixed）应用数据集训练基于RGB帧和基于RGB的联合接合识别模型，以提高联合接合分类性能。其次，我们展示了在机器人-父母-孩子交互环境中使用训练模型的实验结果。第三，我们引入了一个基于行为的指标来评估模型的学习表示，以研究识别联合参与时的模型可解释性。这项工作是充分释放端到端视频理解模型潜力的第一步，这些模型在大型公共数据集上进行了预训练，并通过数据增强和可视化技术进行了增强，用于在野外多人人机交互中进行影响识别。
2022-12-28 cs.CV
Relevance Detection in Cataract Surgery Videos by Spatio-Temporal Action Localization
Alpen-Adria-Universität Klagenfurt（阿尔卑斯-亚得里亚大学克拉根福）；Klinikum Klagenfurt（克拉根福医院）
在白内障手术中，手术是在显微镜的帮助下进行的。由于显微镜最多只能由两个人观看实时手术，因此手术培训的主要部分是使用录制的视频进行的。为了优化视频内容的训练过程，外科医生需要一种自动相关性检测方法。除了基于相关性的检索，这些结果可以进一步用于白内障手术视频中的技能评估和不规则检测。本文提出了一个三模块框架来检测和分类白内障视频中的相关相位段。利用空闲帧识别网络，将视频分为空闲段和动作段。为了提高相关性检测的性能，使用Mask R-CNN在所有帧中检测进行相关手术动作的角膜。将包含关于瞳孔纹理和动作的较高分辨率信息以及来自相同相位的互补时间信息的时空局部化片段馈送到相关性检测模块中。该模块由四个并行循环CNN组成，负责检测医学专家定义的四个相关阶段。然后将结果进行整合，将行动阶段分类为不相关阶段或四个相关阶段之一。实验结果表明，该方法优于静态CNN和不同配置的基于特征和端到端的递归网络。
2021-04-29 cs.CV
Alignment is All You Need: A Training-free Augmentation Strategy for Pose-guided Video Generation
Tsinghua University（清华大学）；Tencent（腾讯）
针对角色动画中外观一致性难保持的问题，提出免训练的双重对齐框架，通过解耦骨架与运动先验实现精确控制，显著提升视频生成的时间一致性与视觉质量，且无需大型数据集或昂贵算力。
2025-05-31 cs.CV
Training Strategies and Data Augmentations in CNN-based DeepFake Video Detection
Politecnico di Milano（米兰理工大学）
Deepfake视频的数量和质量的快速和持续增长要求开发可靠的检测系统，能够自动警告社交媒体和互联网上的用户这些内容的潜在不真实性。虽然算法、软件和智能手机应用程序在生成操纵视频和交换面部方面每天都在变得更好，但用于视频中面部伪造检测的自动化系统的准确性仍然非常有限，并且通常偏向于用于设计和训练特定检测系统的数据集。在本文中，我们分析了不同的训练策略和数据增强技术在同一数据集或不同数据集上训练和测试时如何影响基于CNN的深度伪造检测器。
2020-11-16 cs.CV cs.LG cs.MM
ReMA: A Training-Free Plug-and-Play Mixing Augmentation for Video Behavior Recognition
University of Science and Technology of China（科学技术大学）；Hefei University of Technology（合肥工业大学）；Hefei Xiaosheng Intelligent Technology Co., Ltd.（合肥小生智能科技有限公司）；Cylingo Group（Cylingo集团）；The University of Electro-Communications（电通大学）
ReMA通过受控的混合替换机制提升视频行为识别的表示鲁棒性，无需额外监督或参数，增强泛化与鲁棒性。
2026-01-01 cs.CV
TSMS-SAM2: Multi-scale Temporal Sampling Augmentation and Memory-Splitting Pruning for Promptable Video Object Segmentation and Tracking in Surgical Scenarios
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
本文提出TSMS-SAM2框架，通过多时间尺度视频采样增强和记忆分割剪枝机制解决SAM2在手术视频中的运动动态与记忆冗余问题，在EndoVis2017和2018数据集上取得最优分割性能。
2025-08-07 cs.CV
Workflow Augmentation of Video Data for Event Recognition with Time-Sensitive Neural Networks
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
神经网络的监督训练需要大量、多样且注释良好的数据集。在医疗领域，由于时间、专家知识和事件的流行程度的限制，这往往难以实现。人工数据增强可以帮助防止过拟合，并提高对罕见事件的检测以及整体性能。然而，大多数增强技术使用纯粹的空间变换，这对于具有时间相关性的视频数据是不够的。在本文中，我们提出了一种用于工作流程增强的新方法，并证明了其对白内障手术中事件识别的好处。该方法通过创建人工视频来增加事件交替的频率。将原始视频分割成事件片段，并从原始注释中提取工作流图。最后，根据工作流图将片段组装成新的视频。与原始视频相比，增强型白内障手术视频中的事件交替频率增加了26%。此外，与最先进的方法相比，实现了高3%的分类准确度和高7.8%的精度。我们的方法特别有助于增加罕见但重要的事件的发生率，并且可以应用于各种各样的用例。
2021-09-30 cs.AI cs.CV cs.LG
Query-adaptive Video Summarization via Quality-aware Relevance Estimation
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
尽管自动视频摘要的问题最近受到了很多关注，但是创建还突出显示与搜索查询相关的元素的视频摘要的问题却很少被研究。我们通过将查询相关摘要作为视频帧子集选择问题来解决这个问题，这使我们可以优化同时多样化，代表整个视频并与文本查询相关的摘要。我们量化的相关性，通过测量帧和查询之间的距离在一个共同的文本视觉语义嵌入空间诱导的神经网络。此外，我们扩展了模型，以捕获查询无关的属性，如帧质量。我们将我们的方法与之前用于缩略图选择的文本视觉嵌入的最新技术进行比较，并表明我们的模型在相关性预测方面优于它们。此外，我们引入了一个新的数据集，注释的多样性和查询特定的相关性标签。在这个数据集上，我们训练和测试了我们完整的视频摘要模型，并表明它优于标准基线，如最大边缘相关性。
2017-09-28 cs.CL cs.CV cs.MM
Adversarial Augmentation Training Makes Action Recognition Models More Robust to Realistic Video Distribution Shifts
University of Edinburgh, Edinburgh, UK（爱丁堡大学）
针对视频动作识别模型在分布偏移下缺乏鲁棒性的问题，提出两种评估方法及结合课程调度的对抗增强训练策略，显著提升了三种先进模型在真实场景下的鲁棒性。
2025-07-14 cs.CV
Enhancing Gait Video Analysis in Neurodegenerative Diseases by Knowledge Augmentation in Vision Language Model
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；Hôpital de la Robertsau（罗伯索医院）
提出一种基于视觉语言模型的知识增强策略，通过知识感知提示调优和数值文本整合改进步态视频分析，在分类任务上超越SOTA并能解码步态特征为自然语言。
2024-10-15 cs.CV
TL;DW? Summarizing Instructional Videos with Task Relevance & Cross-Modal Saliency
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；Brown University（布朗大学）
寻找特定任务说明的YouTube用户可能会花很长时间浏览内容，试图找到符合他们需求的正确视频。创建可视化摘要（视频的删节版）为观众提供了快速的概览，并大大减少了搜索时间。在这项工作中，我们专注于总结教学视频，一个未充分开发的视频摘要领域。与通用视频相比，教学视频可以被解析成与所演示任务的重要步骤相对应的语义上有意义的片段。现有的视频摘要数据集依赖于手动帧级注释，使其主观且大小有限。为了克服这一点，我们首先利用两个关键假设为教学视频语料库自动生成伪摘要：（i）相关步骤可能出现在同一任务的多个视频中（任务相关性），以及（ii）它们更可能被演示者口头描述（跨模态显着性）。我们提出了一个教学视频摘要网络，结合了上下文感知的时间视频编码器和分段评分Transformer。使用伪摘要作为弱监督，我们的网络为仅提供视频和转录语音的教学视频构建了视觉摘要。为了评估我们的模型，我们收集了一个高质量的测试集，WikiHow摘要，通过抓取WikiHow文章，这些文章包含视频演示和步骤的视觉说明，使我们能够获得地面事实摘要。在这个新的基准测试中，我们的表现超过了几个基准和最先进的视频摘要模型。
2022-08-14 cs.CV cs.IR cs.LG
FACE-net: Factual Calibration and Emotion Augmentation for Retrieval-enhanced Emotional Video Captioning
本文提出FACE-net框架，通过统一架构协同挖掘事实与情感语义，提供适应性指导以生成准确描述，解决事实-情感偏置问题。
2026-03-18 cs.CV
AdaRD-key: Adaptive Relevance-Diversity Keyframe Sampling for Long-form Video understanding
The University of Western Australia（西澳大学）；Dalian University of Technology（大连理工大学）；Khalifa University（卡利夫大学）；Zhejiang Lab（浙江实验室）
针对长视频理解中现有采样方法易漏关键信息、忽略查询相关性等问题，提出免训练的AdaRD-Key关键帧采样模块，通过统一RD-MV目标和相关性感知门控机制平衡相关性与多样性，在长视频基准上实现SOTA性能，且兼容现有VLM。
2025-10-03 cs.CV
STR-Match: Matching SpatioTemporal Relevance Score for Training-Free Video Editing
Seoul National University（首尔国立大学）
针对视频编辑中时空像素相关性建模不足导致的时序不一致等问题，提出无训练算法STR-Match，利用T2V扩散模型的2D空间注意力和1D时间模块计算STR得分引导潜优化，在重大领域变换下仍生成时序一致且视觉忠实的视频。
2025-06-28 cs.AI cs.CV
QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video Understanding
Michigan State University（密歇根州立大学）
针对视频理解中视觉语言模型性能随视频时长下降问题，提出QSVideo框架，通过查询条件语义排序器、联合优化相关性和多样性及时间对齐策略，提升视频VLM性能。
2026-07-07 cs.CV
Advanced Gesture Recognition for Autism Spectrum Disorder Detection: Integrating YOLOv7, Video Augmentation, and VideoMAE for Naturalistic Video Analysis
Indian Institute of Information Technology, Allahabad（阿拉哈巴德印度信息技术学院）
本文提出结合YOLOv7检测、视频增强与VideoMAE的流水线，在SSBD数据集上以95%准确率实现自然视频中ASD与TD儿童的可靠分类。
2025-08-17 cs.AI cs.CV cs.LG
Learning video retrieval models with relevance-aware online mining
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Udine（乌迪内大学）；Free University of Bozen-Bolzano（博尔扎诺自由大学）
由于每小时上传的视频和相关字幕的数量，基于深度学习的跨模态视频检索解决方案正吸引越来越多的关注。一种典型的方法是学习一个联合的文本-视频嵌入空间，其中视频及其相关字幕的相似性被最大化，而所有其他字幕的相似性较低，称为否定。这种方法假设只有数据集中的视频和字幕对是有效的，但是不同的字幕（正字幕）也可能描述其视觉内容，因此其中一些可能会被错误地惩罚。为了解决这个缺点，我们提出了相关性感知否定和肯定挖掘（RANP），它的基础上的语义的否定，提高了他们的选择，同时也增加了其他有效的积极的相似性。我们探讨了这些技术对两个视频-文本数据集：EPIC-Kitchen-100和MSR-VTT的影响。通过使用所提出的技术，我们在nDCG和mAP方面实现了相当大的改进，从而获得了最先进的结果，例如，EPIC-Kitchen-100上的nDCG和mAP分别为+5.3%和3.0%。我们在\url{https://github.com/aranciokov/ranp}上共享代码和预训练模型。
2022-03-16 cs.CV
Puzzles: Unbounded Video-Depth Augmentation for Scalable End-to-End 3D Reconstruction
Australian National University（澳大利亚国立大学）；Griffith University（格里菲斯大学）；CSIRO’s Data61（CSIRO的数据61）
提出数据增强策略Puzzles，通过从单图像或视频合成无界高质量带位姿视频-深度数据，在不修改网络架构下显著提升多视图三维重建性能，仅用10%原始数据即可达到全量训练精度。
2025-06-30 cs.CV
DH-AUG: DH Forward Kinematics Model Driven Augmentation for 3D Human Pose Estimation
Beijing University of Posts and Telecommunications（北京邮电大学）
由于数据集缺乏多样性，姿态估计器的泛化能力较差。为了解决这个问题，我们提出了一种基于DH正运动学模型的姿态增强方案，我们称之为DH-AUG。我们注意到，以前的工作都是基于单帧姿态增强的，如果直接应用于视频姿态估计，会存在几个以前被忽视的问题：（i）骨骼旋转的角度模糊（多解）;（ii）生成的骨骼视频缺乏运动连续性。为了解决这些问题，我们提出了一种基于DH正运动学模型的特殊生成器，称为DH-生成器。大量的实验表明，DH-AUG可以大大提高视频姿态估计器的泛化能力。此外，当应用于单帧3D姿态估计器时，我们的方法优于以前的最佳姿态增强方法。源代码已在https://github.com/hlz0606/DH-AUG-DH-Forward-Kinematics-Model-Driven-Augmentation-for-3D-Human-Pose-Estimation上发布。
2022-07-19 cs.CV
Large-Scale Video Classification with Feature Space Augmentation coupled with Learned Label Relations and Ensembling
Axon（Axon公司）；Stanford University（斯坦福大学）
本文介绍了Axon AI对第二届YouTube-8 M视频理解挑战赛的解决方案，在私有测试集上实现了88.733%的最终全局平均精度（GAP）（在394个团队中排名第三，不考虑模型大小约束），并且使用满足大小要求的模型实现了87.287%。分别训练了属于3个不同家族的两组7个个体模型。然后，从这些多个模型中聚集对训练数据的推理结果，并将其馈送到训练满足模型大小要求的紧凑模型。为了进一步提高性能，我们在特征空间中探索并采用了数据过采样/欠采样，在训练过程中利用标签关系增加了一个正则化项，并学习了用于集成不同个体模型的权重。
2018-09-21 cs.CV
Temporal Relevance Analysis for Video Action Models
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；JPMorgan Chase Bank, N.A（摩根大通银行）
在本文中，我们提供了一个深入的分析时间建模的动作识别，一个重要的，但在文献中未充分探讨的问题。首先，我们提出了一种新的方法来量化基于CNN的动作模型的基础上逐层相关传播帧之间的时间关系。然后，我们进行了全面的实验和深入的分析，以更好地了解时态建模如何受到数据集，网络架构和输入帧等各种因素的影响。有了这个，我们进一步研究了一些重要的问题，导致有趣的发现动作识别。我们的分析表明，时间相关性和模型性能之间没有很强的相关性;动作模型倾向于捕获局部时间信息，但不太长的依赖关系。我们的代码和模型将公开提供。
2022-04-25 cs.CV
Spatiotemporal Contrastive Learning of Facial Expressions in Videos
Queen’s University（女王大学）；Ingenuity Labs Research Institute（英格纽蒂实验室研究院）
提出了一种自监督的对比学习方法用于视频中的面部表情识别。我们提出了一种新的基于时间采样的增强方案，除了标准的空间增强用于对比学习。我们提出的时间增强方案从三种时间采样技术中随机选取：（1）纯随机采样，（2）均匀采样和（3）顺序采样。随后是最多三个标准空间增强的组合。然后，我们使用一个深度R（2+1）D网络的FER，我们训练在一个自我监督的方式的基础上增强，随后微调。在Oulu-CASIA数据集上进行了实验，并将其性能与FER中的其他作品进行了比较。结果表明，我们的方法达到了89.4%的准确率，设置一个新的国家的最先进的优于其他作品。额外的实验和分析证实了相当大的贡献，拟议的时间增强与现有的空间。
2021-08-06 cs.CV cs.LG
Spatiotemporal Contrastive Video Representation Learning
Google Research（谷歌研究院）；Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技校区）
我们提出了一种自监督的对比视频表示学习（CVRL）方法来学习时空视觉表示从未标记的视频。我们的表示是使用对比损失来学习的，其中来自同一短视频的两个增强剪辑在嵌入空间中被拉到一起，而来自不同视频的剪辑被推开。我们研究了视频自监督学习的良好数据增强，发现空间和时间信息都是至关重要的。我们仔细设计了涉及空间和时间线索的数据增强。具体地说，我们提出了一个时间上一致的空间增强方法施加强大的空间增强视频的每一帧，同时保持跨帧的时间一致性。我们还提出了一个基于采样的时间增强方法，以避免过度强制执行的剪辑是遥远的时间上的不变性。在Kinetics-600上，在CVRL学习的表示上训练的线性分类器在3D-ResNet-50（R3 D-50）主干上实现了70.4%的前1准确率，比ImageNet监督预训练高出15.7%，比Simplified无监督预训练高出18.8%。CVRL的性能可以通过更大的R3 D-152（2x过滤器）主干进一步提高到72.9%，显著缩小了无监督和有监督视频表示学习之间的差距。我们的代码和模型将在https://github.com/tensorflow/models/tree/master/official/上提供。
2021-04-05 cs.CV cs.LG
AKiRa: Augmentation Kit on Rays for optical video generation
École Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；Univ Rennes（雷恩大学）；IRISA（雷恩-南特信息与自动化研究所）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
本文提出AKiRa框架，通过在现有视频生成骨干网络上训练带复杂相机模型的适配器，实现对相机运动及焦距、畸变、光圈等光学参数的精细控制，从而生成具有变焦、鱼眼和散景等电影化效果的视频，并超越现有最先进方法。
2024-12-29 cs.AI cs.CV cs.MM
TRACE: Textual Relevance Augmentation and Contextual Encoding for Multimodal Hate Detection
University of Surrey（萨里大学）；University of New South Wales（新南威尔士大学）
本文提出TRACE分层多模态框架，通过视觉锚定上下文增强、字幕评分网络及CLIP文本编码器深层参数高效微调，在Hateful Memes和MultiOFF数据集上以较小模型规模取得最先进仇恨检测性能。
2025-11-07 cs.CL cs.CV
Learning Representational Invariances for Data-Efficient Action Recognition
Virginia Tech（弗吉尼亚理工大学）；Kyung Hee University（庆熙大学）；University of Delaware（特拉华大学）；University of Maryland College Park（马里兰大学帕克分校）
数据增强是一种普遍存在的技术，用于改善图像分类时，标记的数据是稀缺的。将模型预测约束为对不同的数据增强不变有效地将期望的表示不变性注入到模型（例如，不变性光度变化），并有助于提高精度。与图像数据相比，由于额外的时间维度，视频中的外观变化要复杂得多。然而，用于视频的数据增强方法仍然未被充分探索。本文研究了各种数据增强策略，捕捉不同的视频不变性，包括光度，几何，时间，演员/场景增强。当与现有的半监督学习框架相结合时，我们证明了我们的数据增强策略在低标签制度下对Kinetics-100/400，Mini-Something-v2，UCF-101和HMDB-51数据集产生了有希望的性能。我们还验证了我们的数据增强策略，在完全监督的设置，并表现出改善的性能。
2022-11-18 cs.CV
Generator-Refiner-Examiner: A Tri-Module Data Augmentation Framework for 3D Human Avatar Learning from Monocular Videos
Nanyang Technological University（南洋理工大学）
针对单目视频中3D人体虚拟形象重建的数据稀缺问题，提出由生成器、精炼器和检验器组成的三模块框架TrioMan，通过姿态和相机扰动生成多样样本、扩散模型精炼质量、注意力机制筛选一致样本，在X-Humans和NeuMan基准上超越现有方法。
2026-05-22 cs.CV
Improve Video Representation with Temporal Adversarial Augmentation
Drexel University（德雷塞尔大学）；Amazon（亚马逊）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Electronic Science and Technology of China（电子科技大学）
本文提出时间对抗增强（TA）及微调框架（TAF），通过最大化时间相关损失转移注意力分布，提升视频表示泛化能力，在多个基准上显著提高准确率且无额外开销。
2023-05-14 cs.AI cs.CV
Seeing What Matters: Generalizable AI-generated Video Detection with Forensic-Oriented Augmentation
University Federico II of Naples（那不勒斯费德里科二世大学）；NVIDIA（英伟达）
本文提出基于小波分解的面向取证数据增强策略，引导检测器关注生成架构引入的低级伪影，从而在仅用单一生成模型训练的情况下显著提升AI生成视频检测的跨模型泛化能力。
2025-11-06 cs.CV
SoccerNet-FoulRet: Retrieving Semantically Similar Soccer Foul Videos
University of Liège（列日大学）；KAUST（阿卜杜拉国王科技大学）；SpAItial
针对足球裁判判罚不一致问题，提出首个语义犯规检索基准SoccerNet-FoulRet，基于裁判解释定义相关性，评估零样本与微调模型，发现现有方法检索先例效果有限。
2026-10-14 cs.CV cs.IR
Self-supervised learning using consistency regularization of spatio-temporal data augmentation for action recognition
Sun Yat-sen University（中山大学）
自监督学习通过直接从未标记的数据中构造代理监督信号，在以无监督的方式改进深度学习模型方面显示出巨大的潜力。与现有的工作不同，我们提出了一种新的方法来获得代理监督信号的基础上一致性正则化的高层次的特征映射。在本文中，我们提出了一种时空一致性正则化从连体网络生成的不同输出功能之间，包括一个干净的路径与原始视频和噪声路径与相应的增强视频馈送。基于视频的时空特性，本文提出了两种基于视频的数据增强方法，时空变换与视频帧内混叠前者的一致性模型的特征的转换一致性，而后者的目的是保持空间不变性，以提取动作相关的功能。大量的实验表明，我们的方法实现了实质性的改进相比，国家的最先进的自监督学习方法的动作识别。当使用我们的方法作为额外的正则化项并结合当前的替代监督信号时，我们在HMDB 51上实现了22%的相对改进，在UCF 101上实现了7%的相对改进。
2020-08-05 cs.CV
Relevance-based Margin for Contrastively-trained Video Retrieval Models
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Udine（乌迪内大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Free University of Bozen-Bolzano（博尔扎诺自由大学）
基于自然语言查询的视频检索由于其在实际应用中的重要性而引起了人们越来越多的关注，从私人媒体库的智能访问到网络规模的视频搜索。在联合嵌入空间中学习视频和文本的交叉相似性是主要方法。为了做到这一点，通常采用对比损失，因为它通过将相似的项目靠近而不相似的项目远离来组织嵌入空间。这个框架导致了有竞争力的召回率，因为它们只关注地面实况项目的排名。然而，在考虑智能检索系统时，评估排名列表的质量是至关重要的，因为多个项目可能共享相似的语义，因此具有很高的相关性。此外，上述框架使用固定间距来区分相似和不相似的项目，将所有非地面实况项目视为同等无关。在本文中，我们建议使用可变的保证金：我们认为，根据项目与给定查询的相关程度，即基于相关性的保证金，在训练过程中使用不同的保证金，很容易提高通过nDCG和mAP测量的排名列表的质量。我们使用EPIC-Kitchen-100和YouCook 2上的不同模型展示了我们的技术的优势。我们表明，即使我们仔细调整了固定的利润，我们的技术（没有利润作为超参数）仍然会实现更好的性能。最后，广泛的消融研究和定性分析支持我们的方法的鲁棒性。代码将在\url{https://github.com/aranciokov/RelevanceMargin-ICMR22}发布。
2022-04-27 cs.CV
Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；Technische Universität München（慕尼黑工业大学）
针对手术视频-语言预训练中的文本信息丢失与时空对齐难题，提出分层知识增强及PeskaVLP框架，结合LLM监督、视觉自监督、困难负样本与DTW损失，显著提升零样本迁移和跨模态检索性能。
2025-03-13 cs.AI cs.CV
