Zero-shot Natural Language Video Localization
GIST（韩国科学技术院）；UC Berkeley Vision AI Lab, AI Center, NCSOFT（加州大学伯克利分校视觉人工智能实验室、人工智能中心、NCSOFT公司）
理解视频以使用自然语言定位时刻通常需要与语言查询配对的大型昂贵的注释视频区域。为了消除标注成本，我们首次尝试以zero-shot方式训练自然语言视频定位模型。受无监督图像描述设置的启发，我们只需要随机文本语料库，未标记的视频集合和现成的对象检测器来训练模型。利用不成对的数据，我们提出了产生伪监督的候选时间区域和相应的查询语句，并开发了一个简单的NLVL模型与伪监督训练。我们的实证验证表明，所提出的伪监督方法优于几个基线方法和一些方法使用更强的监督Charades-STA和ActivityNet-Captions。
2021-08-29 cs.AI cs.CL cs.CV
Shot2Story: A New Benchmark for Comprehensive Understanding of Multi-shot Videos
Bytedance Inc.（字节跳动公司）；AAII, UTS（悉尼科技大学人工智能研究院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Science and Technology of China（中国科学技术大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61部门）
本文提出多镜头视频理解基准Shot2Story，包含镜头级字幕、视频摘要和问答对，并设计单镜头字幕、多镜头摘要与问答任务，证明不完美摘要也能提升视频问答性能。
2025-02-05 cs.CV
ShotAdapter: Text-to-Multi-Shot Video Generation with Diffusion Models
UIUC（伊利诺伊大学香槟分校）；Adobe（Adobe公司）
本文提出 ShotAdapter 框架，通过转场 token、局部注意力掩码和多镜头数据流水线扩展视频扩散模型，实现角色与背景一致且可控的文本到多镜头视频生成。
2025-05-12 cs.CV
ShotPlan: Cinematic Video Generation with Learnable Planning Token
Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））；Harbin Institute of Technology（哈尔滨工业大学）
针对电影级视频生成难题，提出ShotPlan框架，基于视频扩散基础模型，引入可学习规划令牌捕捉镜头过渡线索，结合分数时间旋转位置嵌入在帧级别建模，实验证明其优于现有方法，提升了镜头管理与一致性。
2026-07-21 cs.CV
EchoShot: Multi-Shot Portrait Video Generation
Xi’an Jiaotong University（西安交通大学）；Alibaba Cloud（阿里巴巴云）
EchoShot提出原生多镜头肖像视频生成框架，通过镜头感知位置嵌入和PortraitGala数据集，实现身份一致与属性可控，并支持长视频合成。
2025-06-16 cs.CV
FilmWeaver: Weaving Consistent Multi-Shot Videos with Cache-Guided Autoregressive Diffusion
Kling Team, Kuaishou Technology（快手科技 Kling Team）
FilmWeaver通过缓存引导自回归扩散模型实现多镜头视频的一致性生成，支持灵活交互和多任务应用。
2025-12-12 cs.CV
StoryMem: Multi-shot Long Video Storytelling with Memory
S-Lab, Nanyang Technological University（南洋理工大学S实验室）
StoryMem通过基于记忆的迭代镜头合成，实现了高质量多镜头视频叙事，提升了跨镜头一致性与审美质量。
2025-12-22 cs.CV
CoS: Chain-of-Shot Prompting for Long Video Understanding
Queen Mary University of London（伦敦玛丽女王大学）；Nanyang Technological University（南洋理工大学）
针对MLLMs处理长视频时视觉token过多导致的理解难题，提出CoS链式镜头提示方法，通过测试时视觉提示优化实现镜头-任务对齐，在多数据集上验证了其有效性与适应性。
2025-02-11 cs.CV
MultiShotMaster: A Controllable Multi-Shot Video Generation Framework
Dalian University of Technology（大连理工大学）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）；The Chinese University of Hong Kong（香港中文大学）
MultiShotMaster通过引入两种新型RoPE变体和自动化数据标注管道，实现多镜头视频的灵活生成与可控性。
2025-12-02 cs.CV
FitCLIP: Refining Large-Scale Pretrained Image-Text Models for Zero-Shot Video Understanding Tasks
University of Michigan（密歇根大学）；Adobe Research（奥多比研究院）
大规模预训练的图像-文本模型在一些任务中表现出令人难以置信的zero-shot性能，包括动作识别和文本到视频检索等视频任务。然而，这些模型还没有被适配到视频，主要是因为它们没有考虑时间维度，而且还因为视频帧不同于典型图像（例如，包含运动模糊和较低的清晰度）。在本文中，我们提出了一种微调策略来细化这些大规模的预训练图像-文本模型，用于zero-shot视频理解任务。我们表明，通过仔细调整这些模型，我们获得了相当大的改进，两个zero-shot动作识别任务和三个zero-shot文本到视频检索任务。代码可在www.example.com上获得
2022-10-05 cs.CV
MSEditor: Toward Consistent Multi-Shot Video Editing
针对多镜头视频编辑的身份漂移与累积误差问题，提出首个专用框架MSEditor，通过监督适配器与跨镜头打包策略实现一致性编辑，在基准上性能优于现有方法。
2026-08-19 cs.CV
TNT: Text-Conditioned Network with Transductive Inference for Few-Shot Video Classification
Pontificia Universidad Católica de Chile（智利天主教大学）；Samsung AI Centre Cambridge（三星人工智能中心剑桥）；Stanford University（斯坦福大学）；KU Leuven（鲁汶大学）；Facebook AI（Facebook 人工智能）
近年来，Few-Shot视频分类受到越来越多的关注。目前的方法主要集中在有效地利用视频中的时间维度，以改善低数据制度下的学习。然而，大多数作品在很大程度上忽略了视频往往伴随着丰富的文本描述，也可以是一个重要的信息来源，以处理Few-Shot识别的情况下。在本文中，我们建议利用这些人类提供的文本描述作为特权信息时，训练的Few-Shot视频分类模型。具体来说，我们制定了一个基于文本的任务条件，以适应视频功能的少样本学习任务。此外，我们的模型遵循一个转换设置，以提高模型的任务适应能力，通过使用支持文本描述和查询实例来更新一组类原型。我们的模型在四个具有挑战性的基准测试上实现了最先进的性能，这些基准测试通常用于评估Few-Shot视频动作分类模型。
2021-12-15 cs.CV
FloVD: Optical Flow Meets Video Diffusion Model for Enhanced Camera-Controlled Video Synthesis
POSTECH（浦项科技大学）；Microsoft Research Asia（微软亚洲研究院）
FloVD提出利用光流表示相机与物体运动，实现无需相机参数的详细相机控制，并通过两阶段流程（光流生成与流条件视频合成）在精确控制下生成自然物体运动。
2025-03-25 cs.CV
Temporal Alignment Prediction for Few-Shot Video Classification
National Key Lab for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
Few-Shot视频分类的目标是在只使用少量标记视频进行训练的情况下学习具有良好泛化能力的分类模型。然而，在这样的设置中，很难学习视频的区别性特征表示。在本文中，我们提出了时间对齐预测（TAP）的基础上序列相似性学习的Few-Shot视频分类。为了获得一对视频的相似性，我们预测的对齐分数之间的所有对时间位置在两个视频的时间对齐预测函数。此外，该函数的输入还配备有时间域中的上下文信息。我们在两个视频分类基准上评估TAP，包括Kinetics和Something-Something V2。实验结果验证了TAP的有效性，并显示了其优越性比国家的最先进的方法。
2021-12-31 cs.CV
LogiShot: Logically Coherent Cross-Shot Video Generation
针对跨镜头视频生成的内容脱节问题，提出LogiShot模型，通过联合编码与视觉记忆路径实现逻辑连贯，构建11万样本数据集及基准，性能优于现有方法。
2026-08-11 cs.CV
Zero-shot video highlight detection based on text descriptions and synthetic images
Samsung AI Center（三星人工智能中心）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）
提出一种结合CLIP、大语言模型和扩散模型的零样本框架，利用视频元数据生成文本描述和合成图像，实现无需标注的帧级高光检测，在TVSum和SumMe上表现优异。
2026-09-15 cs.CV
From Shots to Stories: LLM-Assisted Video Editing with Unified Language Representations
Shanghai University（上海大学）
该研究首次系统探索LLM在视频编辑中的应用，提出中间表示L-Storyboard实现视觉信息到结构化语言描述的转换，设计StoryFlow策略解决发散型任务输出不稳定问题，有效提升视频编辑任务的性能、可解释性与隐私保护能力。
2025-05-18 cs.CV
When Video Classification Meets Incremental Classes
Zhejiang University（浙江大学）
随着社交媒体的快速发展，每天都有大量的新类别视频产生，这就迫切需要一种能够在有限的存储和计算资源下，在保持旧视频知识的同时不断更新新类别的视频分类方法。作为增量学习任务的一个子领域，灾难性遗忘的挑战在增量视频分类中是不可避免的。为了更好地缓解它，我们利用视频的一些特性。首先，在知识转移过程中，对时空知识进行分解，而不是将其作为一个整体来处理;轨迹也被用来细化分解。其次，我们提出了一个双粒度的样本选择方法，选择和存储代表性的视频实例的旧类和关键帧内的视频在一个紧张的存储预算。我们在Something-Something V2和Kinetics数据集上对我们的方法和以前的SOTA类增量学习方法进行了基准测试，我们的方法明显优于以前的方法。
2021-09-01 cs.CV
VideoINSTA: Zero-shot Long Video Understanding via Informative Spatial-Temporal Reasoning with LLMs
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）
针对长视频信息冗余、时空推理难度大的问题，提出零样本长视频理解框架VideoINSTA，通过事件式时间推理、内容式空间推理及自反思信息平衡机制，在多个长视频问答基准上取得SOTA提升。
2024-10-04 cs.CV
Shot-Aware Frame Sampling for Video Understanding
ByteDance（字节跳动）；Rutgers University（罗格斯大学）；Georgia Tech（佐治亚理工学院）
本文提出InfoShot，一种任务无关的快门感知帧采样方法，用于长视频理解。通过分割视频为语义一致的快门，并选择两种互补的关键帧，以保留视频结构和短时变化信息，提升视频理解和异常检测性能。
2026-03-18 cs.CV
Multi-Grid Post-Training for Long-Form Multi-Shot Video Generation
UC Santa Cruz（加州大学圣克鲁兹分校）；Google（谷歌）；University of Florida（佛罗里达大学）；Vanderbilt University（范德堡大学）
MovieGrid通过多网格后训练将长视频分解为空间网格块，实现高效长格式多镜头生成，在一致性和镜头数量上显著超越现有方法。
2026-09-09 cs.CV
SmoothVideo: Smooth Video Synthesis with Noise Constraints on Diffusion Models for One-shot Video Tuning
Zhejiang University（浙江大学）；FABU Inc.（FABU公司）；Tencent（腾讯）
针对一次性视频调优中视频不连贯问题，提出跨帧噪声约束损失以平滑潜在表示，并引入新评估指标，显著提升生成视频的一致性和平滑度。
2024-02-06 cs.CV
Generalized Few-Shot Video Classification with Video Retrieval and Feature Generation
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Oxford（牛津大学）；Facebook（脸书公司）；Dartmouth College（达特茅斯学院）；University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
少样本学习的目标是从几个例子中识别新的类。虽然在图像领域已经取得了显著的进展，但Few-Shot视频分类相对来说是未开发的。我们认为，以前的方法低估了视频特征学习的重要性，并建议使用3D CNN学习时空特征。提出了一个两阶段的方法，学习基础类的视频功能，然后微调分类器上的新类，我们表明，这种简单的基线方法优于以前的Few-Shot视频分类方法超过20点现有的基准。为了规避标记的例子的需要，我们提出了两种新的方法，产生进一步的改进。首先，我们使用标签检索从大型数据集中利用标记的视频，然后选择具有视觉相似性的最佳剪辑。其次，我们学习生成对抗网络，它从语义嵌入中生成新类别的视频特征。此外，我们发现现有的基准是有限的，因为他们只专注于5个新的类在每个测试情节，并引入更现实的基准涉及更多的新类，即少样本学习，以及混合的新类和基类，即广义少样本学习。实验结果表明，我们的检索和特征生成方法显着优于基线方法在新的基准。
2021-10-13 cs.CV
Conditional MoCoGAN for Zero-Shot Video Generation
Chiba University（千叶大学）
我们提出了一个条件生成对抗网络（GAN）模型的zero-shot视频生成。在这项研究中，我们探讨了zero-shot条件生成设置。换句话说，我们从缺少类的训练样本中生成看不见的视频。该任务是条件数据生成的扩展。其关键思想是学习GAN的潜在空间中的解纠缠表示。为了实现这一目标，我们基于我们的模型的运动和内容分解的GAN和条件GAN的图像生成。我们构建模型以找到更好的解纠缠表示并生成高质量的视频。我们证明了我们提出的模型的有效性，通过实验上的魏茨曼动作数据库和MUG面部表情数据库。
2021-09-13 cs.CV
VideoChat-A1: Thinking with Long Videos by Chain-of-Shot Reasoning
VideoChat-A1通过镜头链推理方法，有效解决长视频理解难题，实现优于现有方法的性能，同时在效率上更具优势。
2026-03-16 cs.CV
Transductive One-Shot Learning Meet Subspace Decomposition
University of West Florida（西佛罗里达大学）；Florida Institute For Human and Machine Cognition (IHMC)（佛罗里达人类与机器认知研究所）
针对单样本学习泛化难题，提出一种结合子空间分解的直推式单样本学习方法，通过将图像分解为子空间基元的线性组合实现标签传播，经多数据集和特征提取器验证，仅单张标注图即可有效泛化到新类别。
2025-05-21 cs.CV
Few-Shot Video Classification via Temporal Alignment
Stanford University（斯坦福大学）
人们越来越有兴趣学习一个模型，它可以识别新的类，只有一些标记的例子。在本文中，我们提出了时间对齐模块（TAM），一种新的少样本学习框架，可以学习分类以前看不见的视频。虽然大多数以前的作品忽略了长期的时间排序信息，我们提出的模型明确地利用视频数据中的时间排序信息，通过时间对齐。这导致了少样本学习的强大数据效率。具体地说，TAM通过对查询视频的对齐路径上的每帧距离进行平均来计算查询视频相对于新类代理的距离值，我们在TAM中引入连续松弛，使得模型可以以端到端的方式学习，从而直接优化少样本学习目标。我们在两个具有挑战性的现实世界的数据集，动力学和Something-Something-V2上评估TAM，并表明我们的模型在广泛的竞争基线上显著改善了Few-Shot视频分类。
2019-06-27 cs.CV
Proxy Avatar Meets Low-Rank Caching: Real-Time One-Shot Emotion-Controllable Portrait Animation
该研究提出结合代理化身与低秩缓存的级联框架，解决音频驱动肖像动画的实时性与情感控制问题，实现了情感表达、身份保留及推理效率的提升。
2026-08-04 cs.CV
Inductive and Transductive Few-Shot Video Classification via Appearance and Temporal Alignments
VinAI Research（VinAI研究院）；Retrocausal, Inc.（Retrocausal公司）
我们提出了一种新的方法用于Few-Shot视频分类，它执行外观和时间对齐。特别是，给定一对查询和支持视频，我们通过帧级特征匹配进行外观对齐，以实现视频之间的外观相似性得分，同时利用时间顺序保持先验来获得视频之间的时间相似性得分。此外，我们引入了一个Few-Shot视频分类框架，该框架在多个步骤中利用了上述外观和时间相似性分数，即基于原型的训练和测试以及归纳和转换原型细化。据我们所知，我们的工作是第一个探索转导Few-Shot视频分类。在Kinetics和Something-Something V2数据集上进行的大量实验表明，外观和时间对齐对于具有时间顺序敏感性的数据集（如Something-Something V2）至关重要。我们的方法在这两个数据集上都取得了类似或更好的结果。我们的代码可在https://github.com/VinAIResearch/fsvc-ata上获得。
2022-07-21 cs.CV
Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation
National University of Singapore（新加坡国立大学）；Tencent PCG（腾讯平台与内容事业群）
为了复制文本到图像（T2 I）生成的成功，最近的工作采用大规模视频数据集来训练文本到视频（T2 V）生成器。尽管他们有希望的结果，这样的范例是计算昂贵的。在这项工作中，我们提出了一个新的T2 V生成设置$\unicode{x2014}$单次视频调谐，其中只有一个文本视频对。我们的模型是建立在最先进的T2 I扩散模型上的，这些模型是在大量图像数据上预先训练的。我们提出两个关键意见：1）T2 I模型可以生成表示动词术语的静态图像; 2）扩展T2 I模型以同时生成多个图像，表现出令人惊讶的良好内容一致性。为了进一步学习连续运动，我们引入了Tune-A-Video，它涉及一个定制的时空注意力机制和一个有效的一次性调谐策略。在推理方面，我们采用DDIM反演为采样提供结构指导。大量的定性和数值实验表明，我们的方法在各种应用程序的显着能力。
2023-03-17 cs.CV
VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention
针对现有视频生成模型多镜头叙事碎片化、视觉不一致、转场有伪影的问题，提出VGoT逐步框架，通过动态叙事建模、身份感知跨镜头传播、相邻潜变量转场三大机制，实现单句提示自动生成高质量多镜头视频，性能显著优于基线。
2025-03-20 cs.CV
MindShot: Multi-Shot Video Reconstruction from fMRI with LLM Decoding
针对fMRI视频重建局限于单镜头的问题，提出分而解码框架，通过镜头边界预测、LLM关键帧字幕生成及2万样本数据合成，实现多镜头重建，分解提升CLIP相似度71.8%。
2025-08-04 cs.CV
Zero-Shot Video Captioning with Evolving Pseudo-Tokens
Tel Aviv University（特拉维夫大学）
我们介绍了一种zero-shot视频描述方法，该方法采用两个冻结网络：GPT-2语言模型和CLIP图像-文本匹配模型。匹配分数用于引导语言模型生成具有与视频帧的子集的高平均匹配分数的句子。与zero-shot图像描述方法不同，我们的工作一次考虑整个句子。这是通过在生成过程中从头开始优化提示的一部分、修改提示中所有其他标记的表示以及迭代地重复该过程来实现的，从而逐渐提高所生成句子的特异性和全面性。我们的实验表明，生成的字幕是连贯的，并显示了广泛的现实世界知识。我们的代码可在：https://github.com/YoadTew/zero-shot-video-to-text
2022-07-27 cs.CV
CineWeaver: Training-Free Reference-Controllable Multi-Shot Long Video Generation for Cinematic Storytelling
Shanghai Jiao Tong University（上海交通大学）；China Telecom（中国电信）；Institute of Artificial Intelligence (TeleAI)（人工智能研究院（电信AI））
CineWeaver是首个无训练的统一框架，通过操控位置编码、注意力模式等，实现参考可控的多镜头长视频生成，产出的电影视频时长较长且质量高。
2026-07-30 cs.CV
One-Shot Learning Meets Depth Diffusion in Multi-Object Videos
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种新颖的深度条件化方法，利用预训练T2I模型和定制注意力机制，仅需单个文本-视频对即可生成连贯且深度可控的多目标交互视频，同时保持多种艺术风格的概念生成能力。
2024-08-29 cs.CV
ShotVerse: Advancing Cinematic Camera Control for Text-Driven Multi-Shot Video Creation
Tencent Video AI Center, PCG, Tencent（腾讯视频AI中心）
ShotVerse通过'计划然后控制'框架，结合视觉语言模型和摄像机适配器，实现多镜头视频创作中精准的摄像机控制与高保真电影效果。
2026-08-25 cs.CV
Generalized Zero-Shot Learning for Action Recognition with Web-Scale Video Data
Tencent AI Lab（腾讯人工智能实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
监控视频中的行为识别可以检测犯罪事件或预测暴力突发事件，使我们的生活更加安全。然而，有效的动作识别并非没有困难。首先，在日常生活中有太多的动作类，我们无法预先定义所有可能的动作类。此外，由于法律限制和隐私保护，很难收集某些特定行为（如偷窃和街头斗殴）的真实视频。这些挑战使得现有的数据驱动的识别方法不足以达到期望的性能。零样本学习可以在没有样本的情况下进行分类，因此具有很好的应用前景。然而，目前的零样本学习算法已经研究了不合理的设置，看到的类是缺席的测试阶段。出于这一动机，我们研究的任务下，一个更现实的\emph{generalized zero-shot setting}，测试数据包含看到和看不见的类的监控视频中的动作识别。据我们所知，这是第一个研究广义zero-shot设置下的视频动作识别的工作。我们首先进行了广泛的实证研究，现有的几个zero-shot学习方法，在这个新的设置在网络规模的视频数据。我们的实验结果表明，在广义设置下，典型的零样本学习方法对我们应用的数据集不再有效。然后，我们提出了一种通过部署广义零样本学习的行为识别方法，该方法将网络视频的知识转移到监控视频中的异常行为检测。为了验证我们所提出的方法的有效性，我们进一步构建了一个新的监控视频数据集，由九个行动类相关的公共安全状况。
2017-10-20 cs.CV
Zero-Shot Video Restoration and Enhancement with Assistance of Video Diffusion Models
School of Electrical and Information Engineering, Tianjin University（电子信息工程学院，天津大学）；Computer Vision and Pattern Recognition Laboratory, School of Engineering Science, Lappeenranta-Lahti University of Technology LUT（计算机视觉与模式识别实验室，工程科学学院，拉佩兰塔-拉赫蒂技术大学LUT）
本文提出一种无训练的框架，利用视频扩散模型提升零样本视频修复与增强的时序一致性，通过潜在融合与后处理策略增强效果。
2026-01-29 cs.CV
Anomaly Crossing: New Horizons for Video Anomaly Detection as Cross-domain Few-shot Learning
Corning Inc.（康宁公司）；University of Rochester（罗切斯特大学）
视频异常检测的目的是识别视频中发生的异常事件。由于异常事件相对罕见，因此收集平衡数据集并训练二元分类器来解决任务是不可行的。因此，大多数以前的方法只使用无监督或半监督方法从正常视频中学习。显然，它们在捕获和利用有区别的异常特征方面受到限制，这导致异常检测性能受损。在本文中，为了解决这个问题，我们提出了一个新的学习范式，充分利用正常和异常的视频视频异常检测。特别是，我们制定了一个新的学习任务：跨域的Few-Shot异常检测，它可以转移从源域中的大量视频中学习到的知识，以帮助解决目标域中的Few-Shot异常检测。具体地说，我们利用目标正常视频的自我监督训练，以减少域差距，并设计了一个Meta上下文感知模块，探索视频上下文的事件在Few-Shot设置。我们的实验表明，我们的方法在DoTA和UCF-Crime数据集上的性能明显优于基线方法，新任务有助于为异常检测提供更实用的训练范例。
2022-11-23 cs.CV
Fast Video Shot Transition Localization with Deep Structured Models
SenseTime Research（商汤科技研究院）
镜头切换检测是视频分析中的一个重要的预处理环节。以往的研究局限于通过相似性度量检测帧间的内容突变，多尺度操作被广泛用于处理不同长度的过渡。然而，由于相邻帧之间的高度视觉相似性，渐进过渡的本地化仍然是探索不足。剪切镜头过渡是突然的语义中断，而渐进镜头过渡包含由视频效果引起的低级时空模式以及渐进语义中断，例如溶解。为了解决这个问题，我们提出了一个结构化的网络，它能够检测这两个镜头转换分别使用有针对性的模型。考虑到速度性能的权衡，我们设计了一个智能框架。在一个TITAN GPU上，该方法可以达到30 \(\times\)的实时速度。在公开的TRECVID 07和RAI数据库上的实验表明，该方法的性能优于现有的方法。为了训练一个高性能的镜头过渡检测器，我们贡献了一个新的数据库ClipShots，其中包含128636剪切过渡和38120渐变从4039在线视频。ClipShots有意收集短视频，以解决由手持摄像机振动、大对象运动和遮挡引起的更困难的情况。
2018-08-13 cs.CV
Few-Shot Learning Meets Transformer: Unified Query-Support Transformers for Few-Shot Classification
Anhui University（安徽大学）
Few-Shot分类是一种利用有限样本识别未知类别的分类方法，受到了越来越多的关注。通常，它被公式化为度量学习问题。Few-Shot分类的核心问题是如何学习（1）支持集和查询集中图像的一致表示和（2）支持集和查询集之间图像的有效度量学习。在本文中，我们表明，这两个挑战可以很好地同时通过一个统一的查询支持Transformer（QSFormer）模型建模。具体来说，所提出的QSFormer包括全局查询支持样本Transformer（sampleFormer）分支和局部补丁Transformer（patchFormer）学习分支。sampleFormer旨在捕获图像表示的支持集和查询集中样本的依赖性。采用编码器、解码器和交叉注意分别对支持度、查询（图像）表示和度量学习进行建模，实现了Few-Shot分类任务。此外，作为对全局学习分支的补充，我们采用了局部块Transformer，通过捕获局部图像块的长程依赖性来提取每个图像样本的结构表示。此外，提出了一种新的跨尺度交互式特征提取器（CIFE），用于提取和融合多尺度CNN特征，作为所提出的少样本学习方法的有效骨干模块。所有模块都集成到一个统一的框架中，并以端到端的方式进行培训。在四个流行的数据集上的实验证明了所提出的QSFormer的有效性和优越性。
2022-08-26 cs.CV
One-Shot Video Object Segmentation
ETH Zürich（苏黎世联邦理工学院）；TU München（慕尼黑工业大学）
本文解决了半监督视频对象分割的任务，即，在给定第一帧的遮罩的情况下，将视频中的对象与背景分离。我们提出了单次视频对象分割（OSVOS），基于全卷积神经网络架构，能够连续地将在ImageNet上学习的通用语义信息转移到前景分割任务，并最终学习测试序列的单个注释对象的外观（因此是单次）。虽然所有帧都是独立处理的，但结果在时间上是一致和稳定的。我们在两个带注释的视频分割数据库上进行了实验，结果表明OSVOS速度快，并且显著提高了最新技术水平（79.8% vs 68.0%）。
2017-04-13 cs.CV
VideoMaker: Zero-shot Customized Video Generation with the Inherent Force of Video Diffusion Models
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）；Tencent AI Lab（腾讯AI实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出VideoMaker框架，揭示视频扩散模型本身具备主体特征提取与注入能力，通过内在特征提取和空间自注意力双向交互实现高质量零样本定制视频生成。
2024-12-30 cs.CV
ShotDirector: Directorially Controllable Multi-Shot Video Generation with Cinematographic Transitions
Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
ShotDirector通过整合参数级相机控制和分层编辑模式感知提示，实现了电影化可控的多镜头视频生成。
2025-12-11 cs.CV
LLaFS: When Large Language Models Meet Few-Shot Segmentation
Singapore University of Technology Design（新加坡科技设计大学）；Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
提出 LLaFS 框架，首次将大语言模型引入少样本分割，通过多边形输出指令、区域—属性表、伪样本与课程学习实现多数据集最先进性能。
2024-04-03 cs.CV
Zero-Shot Action Recognition in Videos: A Survey
Federal Institute of Paraná（巴拉那联邦学院）；Federal University of Paraná（巴拉那联邦大学）
Zero-Shot动作识别在过去的几年里引起了人们的关注，已经提出了许多方法来识别图像和视频中的对象，事件和动作。有一个需求的方法，可以分类的实例从类中不存在于模型的训练，特别是在自动视频理解的复杂问题，因为收集，注释和标记视频是困难和费力的任务。我们已经确定，有许多方法可在文献中，但是，很难归类哪些技术可以被认为是最先进的。尽管存在一些调查关于zero-shot动作识别在静止图像和实验协议，有没有工作集中在视频。因此，我们提出了一个调查的方法，包括技术来执行视觉特征提取和语义特征提取，以及学习这些功能之间的映射，特别是考虑到视频中的zero-shot动作识别。我们还提供了数据集，实验和协议的完整描述，提出了开放的问题和未来工作的方向，计算机视觉研究领域的发展至关重要。
2020-11-17 cs.CV
A Novel Approach for Shot Boundary Detection in Videos
提出了一种新的视频镜头边界检测方法。所提出的方法是基于分裂和合并的概念。Fisher线性判别准则用于指导分裂和合并的过程。为了捕捉类间和类内离散度，我们采用2D2 FLD方法，该方法对视频中每帧区域的纹理特征进行处理。为了进一步降低过程的复杂性，我们建议采用谱聚类将相关区域分组到一起，以实现维数的降低。所提出的方法进行了实验验证板球视频。实验结果表明，该方法得到的镜头具有高度内聚性和松散耦合性
2016-08-24 cs.CV
Zero-Shot and Few-Shot Video Question Answering with Multi-Modal Prompts
Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与自动化系统研究所）；Institute of Advanced Research in Artificial Intelligence (IARAI)（高级人工智能研究所（IARAI））
针对预训练视觉-语言模型在有限数据适配中的过拟合、遗忘和跨模态鸿沟问题，提出冻结主干、结合多模态提示学习与 transformer 映射网络的参数高效方法，并在多个视频问答基准的零样本和少样本设置中验证其优势。
2023-09-27 cs.CV
OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory
University of Copenhagen（哥本哈根大学）
OneStory通过自适应记忆实现多镜头视频生成，提升叙事连贯性和生成质量。
2025-12-08 cs.CV
Long Context Tuning for Video Generation
The Chinese University of Hong Kong（香港中文大学）；ByteDance（字节跳动）
本文提出 Long Context Tuning（LCT），通过扩展预训练单镜头视频 diffusion 模型的全注意力上下文、3D 位置嵌入和异步噪声策略，使其无需新增参数即可生成连贯多镜头视频并支持交互式扩展。
2025-03-13 cs.CV
Zero-Shot Video Translation and Editing with Frame Spatial-Temporal Correspondence
Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所）；S-Lab, Nanyang Technological University（南洋理工大学S实验室）
FRESCO通过整合帧内与帧间对应关系，提升视频翻译与编辑的空间-时间一致性，实现高质量、一致的视频生成。
2025-12-03 cs.CV
ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling
MMLab, CUHK（MMLab，香港中文大学）；Kuaishou Technology（快手科技）；CPII under InnoHK（香港创科旗下CPII）
本文提出ShotStream，一种新型因果多镜头架构，通过流式提示实现动态交互叙事，解决传统方法交互性差和延迟高的问题，实验表明其生成视频在亚秒延迟下达到16FPS，质量不低于传统双向模型。
2026-03-26 cs.CV
SGCap: Decoding Semantic Group for Zero-shot Video Captioning
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）
提出SGCap方法，通过语义组解码、关键句子选择和概率采样监督，利用多帧信息并建模时间动态，实现零样本视频描述生成，性能超越现有零样本方法并接近全监督方法。
2025-08-02 cs.CV
A Closer Look at Few-Shot Video Classification: A New Baseline and Benchmark
MyBank, Ant Group（蚂蚁集团网商银行）
现有的Few-Shot视频分类方法通常采用元学习模式，通过设计定制的时间对齐模块进行相似度计算。虽然已经取得了重大进展，但这些方法未能专注于学习有效的表示，并且严重依赖于ImageNet预训练，由于语义重叠，这对于Few-Shot识别设置可能是不合理的。在本文中，我们的目标是提出一个深入的研究，Few-Shot视频分类作出三个贡献。首先，我们对现有的基于度量的方法进行了一致的比较研究，以找出它们在表示学习中的局限性。因此，我们提出了一个简单的基于分类器的基线，没有任何时间对齐，令人惊讶地优于最先进的基于元学习的方法。其次，我们发现新的动作类和ImageNet对象类之间存在高度相关性，这在Few-Shot识别设置中存在问题。我们的研究结果表明，从头开始训练的性能显着下降，这意味着现有的基准不能提供足够的基础数据。最后，我们提出了一个新的基准与更多的基础数据，以促进未来的Few-Shot视频分类没有预训练。该代码将在https://github.com/MCG-NJU/FSL-Video上提供。
2021-10-24 cs.CV
