Progressive Video Summarization via Multimodal Self-supervised Learning
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
现代视频摘要方法基于深度神经网络，其需要大量注释数据用于训练。然而，现有的视频摘要数据集规模较小，容易导致深度模型的过拟合。考虑到大规模数据集的标注是耗时的，我们提出了一个多模态自监督学习框架来获得视频的语义表示，这有利于视频摘要任务。具体而言，自监督学习是通过探索视频和文本之间的语义一致性，在粗粒度和细粒度的时尚，以及恢复视频中的掩蔽帧。多模态框架在新收集的由视频-文本对组成的数据集上进行训练。此外，我们引入了一种渐进式视频摘要方法，其中视频中的重要内容被逐步精确定位以生成更好的摘要。大量的实验证明了我们的方法的有效性和优越性的秩相关系数和F-得分。
2022-10-19 cs.CL cs.CV
Language-Guided Self-Supervised Video Summarization Using Text Semantic Matching Considering the Diversity of the Video
The University of Tokyo（东京大学）
提出一种自监督视频摘要方法，利用LLMs将视频帧描述转化为文本摘要，并通过语义匹配和多样性损失优化，在SumMe数据集上达到最先进性能，支持个性化摘要。
2024-08-20 cs.CV
TRIM: A Self-Supervised Video Summarization Framework Maximizing Temporal Relative Information and Representativeness
Pompeu Fabra University（庞培法布拉大学）；Universitat Autònoma de Barcelona（自治大学）
TRIM框架通过自监督学习实现高效视频摘要，无需注意力机制等复杂结构，优于现有无监督方法并挑战传统复杂架构。
2026-06-06 cs.CV
A Stacking Ensemble Approach for Supervised Video Summarization
视频摘要方法通常分为镜头级和帧级两大类，这两类方法各自使用。本文研究了帧级和镜头级方法之间的互补性，并提出了一种堆栈集成方法用于监督视频摘要。首先，我们建立了一个堆叠模型来同时预测关键帧概率和时间兴趣段。然后通过软决策融合将这两个分量组合以获得视频中每帧的最终分数。提出了一种用于模型训练的联合损失函数。烧蚀实验结果表明，该方法优于相应的两个单独的方法。此外，在两个基准数据集上的大量实验结果表明，与最先进的方法相比，该方法具有优越的性能。
2022-07-04 cs.CV eess.IV
SELF-VS: Self-supervised Encoding Learning For Video Summarization
Shahid Bahonar University of Kerman（克尔曼沙希德·巴霍纳尔大学）；University of Manitoba（曼尼托巴大学）
尽管其应用范围广泛，但视频摘要仍然受到广泛数据集稀缺的阻碍，这主要是由于帧级注释的劳动密集型和昂贵的性质。因此，现有的视频摘要方法易于过拟合。为了缓解这一挑战，我们提出了一种新的自我监督的视频表示学习方法，使用知识蒸馏预训练的Transformer编码器。我们的方法匹配其语义视频表示，这是相对于帧的重要性分数，表示来自一个CNN训练视频分类。基于相关性的指标，如肯德尔的$τ$和斯皮尔曼的$ρ$的实证评估表明，我们的方法相比，现有的国家的最先进的方法在分配相对分数的输入帧的优越性。
2023-03-28 cs.CV
Compare and Select: Video Summarization with Multi-Agent Reinforcement Learning
Peking University（北京大学）
视频摘要的目的是从冗长的视频中生成简洁的视频摘要，以获得更好的用户观看体验。由于主观性，纯监督的视频摘要方法可能会带来来自注释的固有错误。为了解决用户摘要的主观性问题，本文研究了一般的用户摘要过程。一般用户通常观看整个视频，比较有趣的片段并选择一些片段形成最终摘要。受一般用户行为的启发，将摘要过程描述为多个顺序决策过程，提出了基于多智能体强化学习的比较选择网络（CoSNet）。每个代理关注一个视频片段，并在迭代过程中不断改变其焦点，所有代理的最终焦点片段形成摘要。比较网络为智能体提供来自片段的视觉特征和来自过去一轮的时间顺序特征，而智能体的选择网络则对其焦点片段的变化做出决定。特别设计的无监督奖励和监督奖励共同促进了政策的进步，每个都包含局部和全局部分。在两个基准数据集上的大量实验表明，CoSNet在无监督奖励方面优于最先进的无监督方法，在完全奖励方面优于大多数有监督方法。
2020-07-29 cs.CV cs.LG
Query-based Video Summarization with Pseudo Label Supervision
University of Amsterdam（阿姆斯特丹大学）；BBC Research and Development（英国广播公司研发部）
本文针对基于查询的视频摘要数据稀缺问题，提出利用片段级伪标签进行自监督预训练，并结合语义增强器和互注意力机制，在三个基准上取得了最先进性能。
2023-07-04 cs.AI cs.CV cs.IR
Masked Autoencoder for Unsupervised Video Summarization
NAVER Cloud（NAVER 云）；KAIST（韩国科学技术院）
本文提出一种用于无监督视频摘要的自监督掩码自编码器，直接利用解码器重建分数评估帧重要性，无需额外下游架构或微调，并在多个基准上验证有效性。
2023-06-02 cs.CV
How Local is the Local Diversity? Reinforcing Sequential Determinantal Point Processes with Dynamic Ground Sets for Supervised Video Summarization
University of Central Florida（中佛罗里达大学）；University of Iowa（爱荷华大学）；Tencent AI Lab（腾讯人工智能实验室）
视频内容的海量性和高观看频率对视频摘要算法提出了更高的要求，而视频摘要算法的一个关键特性就是对多样性的建模能力。如果视频很长，比如长达数小时的自我中心视频，则有必要跟踪视频的时间结构并实施局部多样性。局部多样性是指从短时间持续时间中选择的镜头是多样的，但是如果它们在视频中相距很远，则允许视觉上相似的镜头在摘要中共存。在本文中，我们提出了一种新的概率模型，建立在SeqDPP，动态控制的时间跨度的视频片段上的本地多样性。特别是，我们使SeqDPP能够学习自动推断本地多样性应该是从输入视频的本地程度。由此产生的模型是非常参与训练的标志最大似然估计（MLE），这进一步遭受暴露偏差和不可微的评价指标。为了解决这些问题，我们设计了一种强化学习算法来训练所提出的模型。大量的实验验证了我们的模型和新的学习算法的MLE为基础的方法的优势。
2018-08-24 cs.CV
Use of Affective Visual Information for Summarization of Human-Centric Videos
Koç University（科奇大学）
越来越多的用户生成的以人为中心的视频内容及其应用，如视频检索和浏览，需要紧凑的表示，解决了视频摘要文献。目前的监督研究将视频摘要描述为一个序列到序列的学习问题，现有的解决方案往往忽略了以人为中心的观点，其中固有的情感内容的激增。在这项研究中，我们研究了情感信息丰富的监督视频摘要任务，以人为中心的视频。首先，我们在RECOLA数据集上训练一个视觉输入驱动的最先进的连续情感识别模型（CER-NET）来估计情感属性。然后，我们将估计的情感属性和高级表示从CER-NET与视觉信息，以定义建议的情感视频摘要架构（AVSUM）。此外，我们调查使用的注意力，以改善AVSUM架构，并提出了两个新的架构，基于时间的注意力（TA-AVSUM）和空间的注意力（SA-AVSUM）。我们在TvSum数据库上进行视频摘要实验。所提出的AVSUM-GRU架构与早期融合的高级别GRU嵌入和基于时间注意力的TA-AVSUM架构，通过为以人为中心的视频带来强大的性能改进，实现了具有竞争力的视频摘要性能相比，最先进的F分数和自定义的人脸召回指标。
2021-07-08 cs.CV cs.HC
Scene Summarization: Clustering Scene Videos into Spatially Diverse Frames
New York University（纽约大学）
SceneSum通过自监督方法将场景视频聚类为空间多样化的关键帧，提升空间推理能力，优于现有视频摘要方法。
2025-11-23 cs.CV
Personalized Video Summarization using Text-Based Queries and Conditional Modeling
University of Amsterdam（阿姆斯特丹大学）
本论文提出一种结合文本查询与视觉信息的多模态深度学习方法，并引入条件建模与片段级伪标签技术，有效解决数据稀缺问题，生成更符合用户需求的个性化视频摘要。
2024-08-27 cs.CV cs.IR
Reinforcement Learning for Unsupervised Video Summarization with Reward Generator Training
本文提出基于强化学习的无监督视频摘要方法，通过奖励生成器训练提升摘要质量与稳定性。
2025-12-22 cs.AI cs.CV cs.LG
Heterogeneous Knowledge Transfer in Video Emotion Recognition, Attribution and Summarization
Fudan University（复旦大学）；Disney Research（迪士尼研究院）
情感是用户生成视频的关键元素。然而，由于用户生成的内容的复杂性和非结构化性质以及表达情感的视频帧的稀疏性，难以理解在这样的视频中传达的情感。在本文中，我们第一次研究了从异构外部源（包括图像和文本数据）传输知识的问题，以促进理解视频情感的三个相关任务：情感识别，情感归因和面向情感的摘要。具体来说，我们的框架（1）从辅助情感图像数据集学习视频编码，以提高监督视频情感识别，以及（2）从辅助文本语料库中转移知识，用于在训练期间看不到的情感类的zero-shot识别。所提出的知识转移技术促进了情感归因和面向情感的摘要的新应用。在多个数据集上进行的一系列实验证明了该框架的有效性。
2018-02-20 cs.AI cs.CV cs.MM
Unsupervised Video Summarization with a Convolutional Attentive Adversarial Network
Northwestern Polytechnical University（西北工业大学）
随着视频数据量的爆炸式增长，试图寻找最小的帧子集同时又能传达主要内容的视频摘要成为研究的热点之一。如今，监督学习技术已经取得了实质性的成就，特别是在深度学习出现之后。然而，这是非常昂贵的，很难收集大规模的视频数据集的人类注释。为了解决这个问题，我们提出了一个卷积注意对抗网络（CAAN），其核心思想是以无监督的方式构建深度摘要器。在生成对抗网络上，我们的整体框架由生成器和代理器组成。前者预测视频的所有帧的重要性分数，而后者试图区分分数加权的帧特征与原始帧特征。具体而言，生成器采用全卷积序列网络来提取视频的全局表示，并采用基于注意力的网络来输出归一化的重要性分数。为了学习参数，我们的目标函数由三个损失函数组成，可以协同指导帧级重要性分数预测。为了验证所提出的方法，我们在两个公共基准SumMe和TVSum上进行了大量的实验。结果表明，我们提出的方法对其他国家的最先进的无监督方法的优越性。我们的方法甚至优于一些已发表的监督方法。
2021-05-24 cs.CV cs.MM
Query-controllable Video Summarization
University of Amsterdam（阿姆斯特丹大学）
当视频集合变得庞大时，如何有效地在视频内和视频间进行探索是一个挑战。视频摘要是解决这个问题的方法之一。传统的摘要方法限制了视频探索的有效性，因为它们仅为给定的输入视频生成一个固定的视频摘要，与用户的信息需求无关。在这项工作中，我们介绍了一种方法，该方法将基于文本的查询作为输入，并生成与之对应的视频摘要。我们通过将视频摘要建模为监督学习问题来实现这一点，并提出了一种基于端到端深度学习的查询可控视频摘要方法，以生成查询相关的视频摘要。我们提出的方法包括一个视频摘要控制器，视频摘要生成器，和视频摘要输出模块。为了促进查询可控的视频摘要的研究和进行我们的实验，我们引入了一个数据集，其中包含基于帧的相关性分数标签。实验结果表明，基于文本的查询有助于控制视频摘要。它还表明基于文本的查询提高了我们的模型的性能。我们的代码和数据集：https://github.com/Jhhuangkay/Query-controllable-Video-Summarization。
2020-04-07 cs.CL cs.CV cs.IR
Comparing Learning Paradigms for Egocentric Video Summarization
Daniel Wen (June 26, 2025)（Daniel Wen）
本研究比较了监督学习、无监督学习和提示微调在第一人称视频摘要中的表现，发现经过提示微调的通用GPT-4o模型优于专用模型，突显了现有方法在适应第一人称视角挑战方面的局限性。
2025-06-26 cs.AI cs.CV
Video Summarization with Attention-Based Encoder-Decoder Networks
Tianjin University（天津大学）；Xi’an Institute of Optics and Precision Mechanics（西安光学精密机械研究所）
本文提出了一种有监督的视频摘要方法，将其描述为一个序列到序列的学习问题，输入是一个原始视频帧序列，输出是一个关键镜头序列。我们的核心思想是学习一个具有注意力机制的深度摘要网络，以模仿人类选择关键镜头的方式。为此，我们提出了一种新的视频摘要框架命名为Attentive encoder-decoder networks for Video Summarization（AVS），其中编码器使用双向长短期记忆（BiLSTM）来编码输入视频帧之间的上下文信息。对于解码器，分别使用加性和乘性目标函数探索了两个基于注意力的LSTM网络。在三个视频摘要基准数据集上进行了广泛的实验，SumMe和TVSum。结果表明，所提出的基于AVS的方法相对于最先进的方法的优越性，在两个数据集上分别具有从0.8%到3%的显著改进。
2018-04-16 cs.CV
Cluster-based Video Summarization with Temporal Context Awareness
University of Science, VNU-HCM（胡志明市国家大学科学大学）；Vietnam National University, Ho Chi Minh（胡志明市越南国家大学）
提出免训练的 TAC-SUM，通过时序连续片段和时序感知聚类改进聚类式视频摘要，并在 SumMe 上超过无监督方法、媲美有监督方法。
2024-04-06 cs.AI cs.CV
Personalized Video Summarization by Multimodal Video Understanding
Samsung Research America（三星美国研究院）
本文提出基于预训练视觉语言模型的用户偏好视频摘要流水线VSL，通过场景级语义分析选择相关文本场景，无需大规模训练数据，实验表明其优于现有无监督模型且更具适应性。
2024-11-05 cs.AI cs.CV
Video Summarization with Long Short-term Memory
U. of Southern California（南加州大学）；U. of California, Los Angeles（加州大学洛杉矶分校）；U. of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一种新的监督学习技术，通过自动选择关键帧或关键子镜头来总结视频。将问题转换为序列数据上的结构化预测问题，我们的主要思想是使用长短期记忆（LSTM），这是一种特殊类型的递归神经网络，用于对视频摘要任务中的可变范围依赖关系进行建模。我们的学习模型在两个基准视频数据集上获得了最先进的结果。详细的分析证明了模型的设计。特别是，我们表明，考虑到视频中的序列结构并对其进行建模是至关重要的。除了建模技术的进步，我们还介绍了一些技术来解决训练复杂学习模型所需的大量注释数据。在那里，我们的主要想法是利用辅助注释视频数据集的存在，尽管在视觉风格和内容上是异构的。具体来说，我们表明领域自适应技术可以通过减少这些数据集之间的统计特性的差异来改善摘要。
2016-07-29 cs.CV cs.LG
SumGraph: Video Summarization via Recursive Graph Modeling
Yonsei University（延世大学）
视频摘要的目标是选择视觉上多样化的关键帧，并且可以表示输入视频的整个故事。现有的视频摘要方法大多将该任务视为通过以相等的权重聚合所有帧的逐帧关键帧选择问题。然而，为了找到视频的信息部分，有必要考虑视频的所有帧如何彼此相关。为此，我们将视频摘要转换为图建模问题。我们提出了递归图建模网络的视频摘要，称为SumGraph，表示一个关系图，其中帧被视为节点和节点连接的帧之间的语义关系。我们的网络通过递归方法来实现这一点，通过图卷积网络推理图表示来细化最初估计的图，以正确地将每个节点分类为关键帧。为了在更实际的环境中利用SumGraph，我们还提出了一种以无监督方式调整图建模的方法。使用SumGraph，我们在监督和无监督方式下的视频摘要的几个基准测试中实现了最先进的性能。
2020-07-17 cs.CV
Prompts to Summaries: Zero-Shot Language-Guided Video Summarization with Large Language and Video Models
Department of Computer Science, the University of Haifa（哈ifa大学计算机科学系）
提出一种基于大语言和视频模型的零样本视频摘要方法，通过提示生成用户引导的摘要，无需训练数据，优于现有无监督和监督方法。
2026-02-17 cs.CV
Video Summarization through Reinforcement Learning with a 3D Spatio-Temporal U-Net
智能视频摘要算法允许通过识别最重要和最具解释性的内容来快速传达视频中最相关的信息，同时删除冗余的视频帧。在本文中，我们介绍了用于视频摘要的3DST-UNet-RL框架。使用3D时空U-网对输入视频的时空信息进行有效编码，以用于下游的强化学习（RL）。RL代理从时空潜在分数中学习，并预测用于在视频摘要中保留或拒绝视频帧的动作。我们调查真实/膨胀的3D时空CNN特征是否比常用的2D图像特征更适合从视频中学习表示。我们的框架可以在完全无监督模式和监督训练模式下运行。我们分析了规定的摘要长度的影响，并在两个常用的通用视频摘要基准上显示了3DST-UNet-RL有效性的实验证据。我们还将我们的方法应用于医疗视频摘要任务。所提出的视频摘要方法有可能节省超声筛查视频的存储成本，并且在回顾性分析或审计期间在不丢失必要信息的情况下浏览患者视频数据时提高效率
2021-06-19 cs.CV
Discovery of Shared Semantic Spaces for Multi-Scene Video Query and Summarization
Queen Mary University of London（伦敦玛丽女王大学）
公共空间CCTV安装的增长率产生了对用于利用视频监控数据的自动化方法的需求，包括场景理解、查询、行为注释和摘要。为此，人们对监控场景理解和分析进行了广泛的研究。然而，大多数研究都考虑了单个场景或相邻场景组。不同但相关的场景之间的语义相似性（例如，许多布局相似的不同交通场景）通常不会被用来改进任何自动化监控任务并减少手动工作。然而，在不同场景之间利用共性并共享任何监督注释是具有挑战性的，因为：一些场景是完全不相关的-因此它们之间的任何信息共享都是有害的;而其他场景可能只共享共同活动的子集-因此信息共享只有在选择性时才有用。此外，语义上相似的活动，应该一起建模，并在场景中共享，可能有相当不同的像素级外观在每个场景。为了解决这些问题，我们开发了一个新的框架，分布式多场景的全球性的理解，集群监控场景的能力，以解释对方的行为，并进一步发现哪些活动的子集是共享的场景特定的每个集群内。我们展示了如何使用这种结构化的多个场景的表示，以改善常见的监控任务，包括场景活动的理解，跨场景查询的例子，行为分类减少监督标签的要求，和视频摘要。在每一种情况下，我们展示了我们的多场景模型如何改进标准的单场景模型和所有场景的平面模型的集合。
2015-07-27 cs.CV
Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Queen Mary University of London（伦敦玛丽女王大学）
视频摘要旨在通过生成简短、简洁的摘要来促进大规模视频浏览，这些摘要是多样化的，并且具有原始视频的代表性。在本文中，我们将视频摘要制定为一个顺序决策过程，并开发了一个深度摘要网络（DSN）来总结视频。DSN为每个视频帧预测一个概率，该概率指示帧被选择的可能性，然后根据概率分布采取措施来选择帧，形成视频摘要。为了训练我们的DSN，我们提出了一个端到端的，基于强化学习的框架，在那里我们设计了一个新的奖励函数，该函数联合考虑了生成的摘要的多样性和代表性，并且完全不依赖于标签或用户交互。在训练过程中，奖励函数判断生成的摘要的多样性和代表性，而DSN则通过学习生成更多样、更有代表性的摘要来争取获得更高的奖励。由于不需要标签，我们的方法可以完全无监督。在两个基准数据集上的大量实验表明，我们的无监督方法不仅优于其他最先进的无监督方法，而且与大多数已发表的监督方法相当，甚至优于它们。
2018-02-13 cs.CV
Multi-Stream Dynamic Video Summarization
Microsoft（微软）；University of Central Florida（中佛罗里达大学）
随着每分钟都有大量视频内容被上传到互联网，视频摘要对于高效浏览、搜索和索引视觉内容变得至关重要。尽管如此，社交和自我中心相机的传播创造了大量由多个设备捕获的稀疏场景，最终需要联合总结。在本文中，我们讨论的问题，总结独立记录的视频由几个动态相机，间歇地共享视野。我们提出了一个强大的框架，（a）识别一组不同的重要事件之间的移动相机，往往不是捕捉相同的场景，（b）选择最具代表性的视图（S）在每个事件被包括在一个通用的摘要。由于缺乏适用的替代方案，我们收集了一个新的多视图自我中心数据集，多自我。我们的数据集由三台摄像机同时记录，涵盖了各种各样的现实生活场景。镜头由多个人在各种摘要配置下进行注释，并通过共识分析确保可靠的地面真相。除了其他三个标准基准测试之外，我们还对编译的数据集进行了广泛的实验，这些测试显示了我们的方法在监督和无监督设置中的鲁棒性和优势。此外，我们表明，我们的方法学习集体从数据的不同数量的视图和正交的其他摘要方法，认为它是可扩展的和通用的。
2021-10-14 cs.CV
Video Summarization by Learning from Unpaired Data
University of Manitoba（曼尼托巴大学）
我们考虑视频摘要的问题。给定输入原始视频，目标是从输入视频中选择关键帧的小子集，以创建最佳描述原始视频内容的较短摘要视频。当前最先进的视频摘要方法大多使用监督学习，并且需要标记的训练数据。每个训练实例由原始输入视频和由人类注释者策划的地面实况摘要视频组成。然而，创建这种标记的训练样本是非常昂贵和困难的。为了解决这个问题，我们提出了一种新的配方来学习视频摘要从不成对的数据。我们提出了一种方法，学习生成最佳的视频摘要，使用一组原始视频（$V$）和一组摘要视频（$S$），其中$V$和$S$之间不存在对应关系。我们认为这种类型的数据更容易收集。我们的模型旨在学习映射函数$F : V \rightarrow S$，以便在对抗目标的帮助下，从$F(V)$得到的摘要视频的分布与$S$的分布相似。此外，我们对$F(V)$实施多样性约束，以确保生成的视频摘要在视觉上是多样的。两个基准数据集上的实验结果表明，我们提出的方法显着优于其他替代方法。
2019-04-08 cs.CV
A General Framework for Edited Video and Raw Video Summarization
Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；Northwestern Polytechnical University（西北工业大学）
在本文中，我们建立了一个通用的摘要框架编辑视频和原始视频摘要。总体而言，我们的工作可以分为三个方面：1）设计了四个模型来捕获视频摘要的属性，即，包含重要的人和物体（重要性）、视频内容的代表性（代表性）、没有类似的关键镜头（多样性）和故事情节的平滑性（故事性）。具体而言，这些模型适用于编辑的视频和原始视频。2)将上述四个模型加权组合，建立综合评分函数。请注意，得分函数中四个模型的权重（表示为属性权重）是以监督方式学习的。此外，分别为编辑视频和原始视频学习属性权重。3)为了弥补训练数据的不足，训练集由编辑后的视频和原始视频构成。特别地，每个训练视频配备有一对混合系数，这可以减少由粗糙混合引起的训练集中的结构混乱。我们在三个数据集上测试我们的框架，包括编辑的视频，短的原始视频和长的原始视频。实验结果验证了该框架的有效性。
2019-04-24 cs.CV
