Towards Automated Movie Trailer Generation
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））；KAIST（韩国科学技术院）；Adobe Research（奥多比研究院）
针对电影预告片制作耗时昂贵的问题，论文提出基于编码器-解码器架构的 TGT，将电影到预告片建模为镜头级序列到序列任务，并在多项指标上显著超越既有方法。
2024-04-04 cs.CV
Self-Paced and Self-Corrective Masked Prediction for Movie Trailer Generation
Key Laboratory of Artificial Intelligence Ministry of Education, Shanghai（教育部人工智能重点实验室，上海）
SSMP通过双向上下文建模和逐步自纠正方法实现电影预告片生成的最先进结果。
2026-03-03 cs.CV
MovieCuts: A New Dataset and Benchmark for Cut Type Recognition
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Adobe Research（Adobe研究院）；Meta Reality Labs（Meta现实实验室）
理解电影及其结构模式是解码视频编辑工艺的关键任务。虽然以前的作品已经开发了用于一般分析的工具，例如在镜头级别检测字符或识别电影摄影属性，但很少有人致力于了解最基本的视频编辑，即剪切。本文介绍了切割类型识别任务，这需要建模的多模态信息。为了激发这项新任务的研究，我们构建了一个名为MovieCuts的大规模数据集，其中包含173，967个视频剪辑，这些视频剪辑被标记为电影行业专业人士定义的十种剪切类型。我们基准一组视听方法，包括一些处理问题的多模态性质。我们最好的模型达到了47.7%mAP，这表明这项任务具有挑战性，并且实现高度准确的切割类型识别是一个开放的研究问题。自动剪切类型识别的进步可以为视频编辑行业带来新的体验，例如教育电影分析、视频重新编辑、虚拟电影摄影、机器辅助预告片生成、机器辅助视频编辑等。我们的数据和代码是公开的：https：//github.com/PardoAlejo/MovieCuts}{https：//github.com/PardoAlejo/MovieCuts.
2022-10-24 cs.CV
A multimodal approach for multi-label movie genre classification
State University of Maringá（马林加州立大学）；Federal Institute of Paraná（巴拉那联邦学院）
电影类型分类是一个具有挑战性的课题，越来越受到研究者的关注。在本文中，我们解决了多标签分类的电影类型在一个多模态的方式。为此，我们创建了一个数据集，该数据集由来自电影数据库的152，622部电影的预告片视频剪辑，字幕，概要和电影海报组成。该数据集经过精心策划和组织，并作为这项工作的贡献提供。数据集中的每部电影都根据一组十八个类型标签进行标记。我们使用不同的描述符，即梅尔频率倒谱系数，统计谱描述符，本地二进制模式与频谱图，长短期记忆，和卷积神经网络从这些数据中提取功能。使用不同的分类器，如BinaryRelevance和ML-kNN的描述符进行评估。我们还研究了使用后期融合策略的不同分类器/特征的组合的性能，获得了令人鼓舞的结果。基于F-Score度量，我们的最佳结果0.628是通过融合使用LSTM在概要上创建的分类器和使用CNN在电影预告片帧上创建的分类器获得的。当考虑AUC-PR指标时，最好的结果0.673也是通过组合这些表示来实现的，但此外，还使用了基于从字幕创建的LSTM的分类器。这些结果证实了在这一应用领域中基于不同信息源的分类器之间存在互补性。据我们所知，这是在多媒体信息源的多样性方面进行电影类型分类的最全面的研究。
2020-06-01 cs.CV cs.LG stat.ML
Find the Cliffhanger: Multi-Modal Trailerness in Soap Operas
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）；RTL Nederland（RTL荷兰公司）
针对长视频预告片制作耗时且需结合多模态信息选片段的问题，提出多模态预告片适配度预测方法，在新肥皂剧数据集上验证了多模态信息的有效性，还开源了代码。
2024-01-29 cs.CV cs.MM
Watching Movies Like a Human: Egocentric Emotion Understanding for Embodied Companions
Nanyang Technological University, Singapore（南洋理工大学, 新加坡）；Zhejiang University, China（浙江大学, 中国）；Ant Group, China（蚂蚁集团, 中国）；MirrorMe, China（MirrorMe, 中国）
本文提出EgoScreen-Emotion基准数据集，用于视角中心电影情绪理解，通过多标签标注和长上下文模型提升跨域泛化能力，实验显示基于传统电影数据的模型在真实视角观看场景中性能显著下降。
2026-04-17 cs.CV
Finding the Right Moment: Human-Assisted Trailer Creation via Task Composition
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出将预告片时刻选取分解为叙事结构识别与情感预测，通过图建模和剧本蒸馏的对比训练，以可解释的无监督算法实现人机协同预告片创作，30分钟内选出优于全自动方法且媲美专家手动选择的结果。
2024-12-30 cs.CV
Collaborative Noisy Label Cleaner: Learning Scene-aware Trailers for Multi-modal Highlight Detection in Movies
Tencent YouTu Lab（腾讯优图实验室）
电影亮点从剧本中脱颖而出，以实现高效浏览，并在社交媒体平台上发挥至关重要的作用。在现有工作的基础上，本文发现了两个问题：（1）对于不同的标注者，标注高光具有不确定性，导致标注不准确且耗时。(2)除了先前的监督或无监督设置之外，一些现有的视频语料库可能是有用的，例如，预告片，但他们往往是嘈杂和不完整的，以涵盖全部亮点。在这项工作中，我们研究了一个更实际和有前途的设置，即，将高光检测重新定义为“带噪声标签的学习”。该设置不需要耗时的手动注释，并且可以充分利用现有的丰富视频语料库。首先，基于电影预告片，我们利用场景分割，以获得完整的镜头，被视为噪声标签。然后，我们提出了一个合作的嘈杂标签清洁（CLC）框架，从嘈杂的亮点时刻学习。CLC由两个模块组成：增强交叉传播（ACP）和多模态清洁（MMC）。前者的目的是利用密切相关的视听信号，并融合它们来学习统一的多模态表示。后者旨在通过观察不同模态之间的损失变化来实现更清洁的高亮标签。为了验证CLC的有效性，我们进一步收集了一个名为MovieLights的大规模高光数据集。在MovieLights和YouTube Highlights数据集上的综合实验证明了该方法的有效性。代码已在https://github.com/TencentYoutuResearch/HighlightDetection-CLC上提供
2023-03-26 cs.CV
MovieCLIP: Visual Scene Recognition in Movies
University of Southern California（南加州大学）；Google（谷歌）
电影等长篇媒体具有复杂的叙事结构，事件跨越丰富多样的环境视觉场景。与电影中的视觉场景相关的特定领域挑战包括过渡，人物覆盖以及各种现实生活和虚构场景。现有的电影中的视觉场景数据集具有有限的分类，并且不考虑电影剪辑中的视觉场景过渡。在这项工作中，我们首先自动策划一个新的和广泛的以电影为中心的分类179个场景标签来自电影脚本和辅助的基于Web的视频数据集的视觉场景识别在电影中的问题。而不是手动注释，这可能是昂贵的，我们使用CLIP弱标记112万镜头从32K电影剪辑的基础上，我们提出的分类。我们提供了在名为MovieCLIP的弱标记数据集上训练的基线视觉模型，并在由人类评分员验证的独立数据集上对其进行评估。我们表明，利用MovieCLIP上预训练的模型的特征有利于下游任务，例如网络视频和电影预告片的多标签场景和流派分类。
2022-10-23 cs.CL cs.CV cs.MM
Edge Data Based Trailer Inception Probabilistic Matrix Factorization for Context-Aware Movie Recommendation
China University of Petroleum（中国石油大学）；Minjiang University（闽江学院）；Dalian University of Technology（大连理工大学）；Federation University Australia（澳大利亚联邦大学）
由部署在网络边缘的移动设备和应用程序生成的边缘数据的快速增长加剧了信息过载的问题。推荐系统作为缓解信息过载的一种有效方法，可以在稀疏的评分数据基础上，加入用户在边缘设备上产生的应用数据，如视觉和文本信息，从而提高各种服务的质量。电影预告片中的视觉信息是电影推荐系统的重要组成部分。然而，由于视觉信息抽取的复杂性，仅仅利用粗糙的视觉特征来提高收视率预测的准确性并不能显著改善数据稀疏性。幸运的是，卷积神经网络可以用来精确地提取视觉特征。因此，端到端的神经图像字幕（NIC）模型可以用来获得描述电影预告片的视觉特征的文本信息。本文提出了一种拖车初始概率矩阵分解模型（Ti-PMF），该模型结合了NIC、递归卷积神经网络和概率矩阵分解模型作为收视率预测模型。我们在三个真实世界的数据集上实现了所提出的Ti-PMF模型，并进行了大量的实验，以验证其有效性。实验结果表明，所提出的钛保偏光纤性能优于现有的。
2022-02-16 cs.CV cs.IR cs.LG
Movie Trailer Genre Classification Using Multimodal Pretrained Features
Institute for Systems and Computer Engineering, Technology and Science (INESC TEC)（系统与计算机工程、技术与科学研究所（INESC TEC））；SiriusXM（SiriusXM公司）
该研究提出融合多模态预训练特征并用 transformer 处理预告片全部视音频帧的电影类型分类方法，性能优于现有最先进模型，并公开 MovieNet 特征、代码与模型。
2024-10-11 cs.AI cs.CV cs.MM
A Unified Framework for Shot Type Classification Based on Subject Centric Lens
CUHK - SenseTime Joint Lab, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室）；Communication University of China（中国传媒大学）
镜头是各种视频的关键叙事元素，例如电影，电视剧和在互联网上蓬勃发展的用户生成的视频。镜头的类型极大地影响了潜在的想法、情感和信息的表达方式。分析镜头类型的技术对于理解视频非常重要，在这个时代，现实世界的应用需求越来越大。分类镜头类型是具有挑战性的，因为除了视频内容之外还需要额外的信息，例如帧的空间组成和相机移动。为了解决这些问题，我们提出了一个学习框架主题指导网络（SGNet）的镜头类型识别。SGNet将镜头的主体和背景分成两个流，分别作为尺度和运动类型分类的单独指导图。为了便于镜头类型分析和模型评估，我们构建了一个大规模数据集MovieShots，其中包含来自7K电影预告片的46K镜头，并标注了其比例和运动类型。实验表明，该框架能够准确识别镜头的这两个属性，优于以往的方法。
2020-08-08 cs.CV cs.LG cs.MM
Convolutional Collaborative Filter Network for Video Based Recommendation Systems
th Century Fox（二十世纪福克斯）；Miso Technologies（味噌科技）
这个分析探讨了电影预告片中物体的时间顺序。电影预告片中对象的时间排序（例如，物体的长镜头与间歇的短镜头）可以传达关于电影类型、电影情节、主要人物的角色以及电影制作者的电影摄影选择的信息。当与历史客户数据相结合时，序列分析可用于改善对客户行为的预测。例如，在一个示例中，顾客购买新电影的票，并且可能该顾客在过去已经看过包含类似序列的电影。为了探索电影预告片中的对象排序，我们提出了一个视频卷积网络来捕捉可以预测客户偏好的动作和场景。模型学习不同类型对象的序列的特定性质（例如，汽车与面孔），以及序列在预测客户未来行为中的作用。我们展示了这样一个时间感知模型如何优于我们以前的作品中提出的简单特征池方法，重要的是，展示了这样一个模型所允许的额外模型解释能力。
2018-10-22 cs.AI cs.CV cs.IR
MAD: A Scalable Dataset for Language Grounding in Videos from Movie Audio Descriptions
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））；Adobe Research（奥多比研究院）
最近对视频语言研究的兴趣越来越大，推动了大规模数据集的发展，这些数据集支持数据密集型机器学习技术。相比之下，在评估这些数据集对视频语言基础任务的适用性方面所做的努力有限。最近的工作已经开始发现这些数据集的重大局限性，这表明最先进的技术通常过拟合隐藏的数据集偏差。在这项工作中，我们提出了MAD（电影音频描述），一个新的基准，从现有的视频数据集与文本注释增强的范式出发，并专注于爬行和对齐主流电影的可用音频描述。MAD包含超过384，000个自然语言句子，这些句子基于超过1，200小时的视频，并显着减少了目前诊断的视频语言基础数据集的偏见。MAD的收集策略实现了一种新颖且更具挑战性的视频语言基础版本，其中短时间的时刻（通常为几秒钟长）必须准确地在长达三个小时的各种长格式视频中扎根。我们已经在https://github.com/Soldelli/MAD上发布了MAD的数据和基线代码。
2022-03-28 cs.AI cs.CV
Andha-Dhun: A First Look at Audio Descriptions in Hindi
CVIT, IIIT Hyderabad（海得拉巴国际信息技术研究所计算机视觉与信息处理中心）；Manipal University Jaipur（斋浦尔曼ipal大学）；Jio Platforms Ltd.（Jio平台有限公司）
该研究针对印度尚无印地语音频描述工作的现状，引入Andha-Dhun数据集，探索直接从英语描述生成及翻译英语ADs两种方法来生成印地语ADs，并进行评估，发现简单翻译和机器翻译存在问题，强调要为印度BLV观众调整内容。
2026-07-08 cs.CV
Minimal Clips, Maximum Salience: Long Video Summarization via Key Moment Extraction
IRIT, University of Toulouse（图卢兹大学IRIT研究所）；Agency for Science, Technology and Research (A*STAR)（科技研究局（A*STAR））；CNRS, IRIT（法国国家科学研究中心（CNRS），IRIT研究所）
本文提出了一种通过关键时刻提取实现长视频多模态摘要的方法，利用轻量级模型和大型语言模型实现高效摘要生成。
2026-01-08 cs.CL cs.CV
