Exploring Efficient Foundational Multi-modal Models for Video Summarization
Georgia Institute of Technology（佐治亚理工学院）
针对视频基础模型预训练对齐计算成本高且微调泛化能力难评估的问题，提出即插即用的视频语言模型，利用少样本指令适应策略避免对齐开销，并分析了不同方法在领域偏移下的泛化能力及数据限制下的实用性。
2024-10-09 cs.AI cs.CV
Exploring global diverse attention via pairwise temporal relation for video summarization
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Inception Institute of Artificial Intelligence（人工智能初创研究院）
视频摘要是一种方便视频搜索和浏览的有效方法。大多数现有系统采用基于编码器-解码器的递归神经网络，其不能显式地使系统生成的概要帧多样化，同时需要密集的计算。在本文中，我们提出了一个有效的卷积神经网络架构的视频求和通过全球多样性的注意力称为SUM-GDA，适应注意力机制在全球范围内考虑成对的时间关系的视频帧。特别地，GDA模块具有两个优点：1）它对成对帧内的关系以及所有对之间的关系进行建模，从而捕获跨一个视频的所有帧的全局注意力; 2）它反映每个帧对整个视频的重要性，从而导致对这些帧的不同注意力。因此，SUM-GDA有利于生成不同的帧，以形成令人满意的视频摘要。在三个数据集上进行了广泛的实验，即，SumMe、TVSum和VTW已经证明，SUM-GDA及其扩展优于其他竞争性的最先进的方法，具有显着的改进。此外，所提出的模型可以并行运行，计算成本显著降低，这有助于在高要求的应用程序中部署。
2020-09-23 cs.CV cs.MM
Implicit Diversity in Image Summarization
Yale University（耶鲁大学）
研究表明，在图像搜索结果中描绘的人往往是相对于社会显著属性的多数群体。这种倾斜超出了世界上已经存在的倾斜--例如，Kay等人的研究表明，尽管美国28%的CEO是女性，但在谷歌图片搜索中，前100名CEO中只有10%是女性。大多数现有的方法来纠正这种偏见假设的人的图像包括社会显着的属性标签。然而，这些标签往往是未知的。此外，使用自动化技术来推断这些标签在可接受的准确度范围内通常是不可能的，并且由于该过程可能引起的附加偏差而可能是不期望的。我们开发了一种新的方法，作为输入的一个明显不同的控制集的图像，并使用此集合来选择一组图像的人在响应查询。我们的目标是得到一个结果集，该结果集以模仿控制集中描述的多样性的方式更加明显地多样化。重要的是，这种方法不需要在任何点标记图像;有效地，它提供了一种隐式地使所选图像集多样化的方法。我们提供了我们的方法的两个变体：第一个是修改的MMR算法，将多样性得分，第二个是一个更有效的变体，不考虑内列表冗余。我们在两个数据集上对这些方法进行了经验评估：1）一个新的数据集，包含96个职业的顶级Google图像结果，我们评估了职业的性别和肤色多样性; 2）CelebA数据集，我们评估了面部特征的性别多样性。我们的方法产生的图像集，显着提高了可见的多样性的结果相比，目前的谷歌搜索和其他不同的图像摘要算法，以最小的成本准确性。
2020-08-14 cs.CL cs.CV cs.LG
A Unified Multi-Faceted Video Summarization System
Indian Institute of Technology, Bombay（印度理工学院孟买分校）；Microsoft Corporation（微软公司）
本文讨论了自动摘要和搜索的视觉数据，包括视频，实时流和图像集合在统一的方式。特别是，我们提出了一个多方面的总结，提取关键帧（图像摘要），skims（视频摘要）和实体摘要（总结在实体的水平，如对象，场景，人和脸的视频）的框架。用户可以将这些视为提取摘要，也可以将其视为以查询为中心的摘要。我们的方法首先对视频或图像集合进行一次预处理，以提取所有重要的视觉特征，然后我们为用户提供一个交互式机制，根据他们的选择总结视频。我们调查了所有这些问题的多样性，覆盖率和代表性模型，并认为这些不同的模型，根据应用程序的效用。虽然大多数子模块化摘要方法的现有工作都集中在结合几个模型和学习加权混合，我们专注于不同的多样性，覆盖率和表示模型及其可扩展性的解释能力。最重要的是，我们还表明，我们可以总结小时的视频数据在几秒钟内，我们的系统允许用户生成各种长度和类型的摘要交互式的飞行。
2017-04-04 cs.CV cs.DM
Exploring Inter-Channel Correlation for Diversity-preserved KnowledgeDistillation
Alibaba Group（阿里巴巴集团）；Monash University（莫纳什大学）；RMIT University（皇家墨尔本理工大学）；Sun Yat-sen University（中山大学）
知识蒸馏（Knowledge Distillation，简称KDistillation）在将学习到的表征从较大的模型（教师）转移到较小的模型（学生）方面表现出了非常有前途的能力。尽管有许多努力，但现有的方法忽略了保持通道间特征相关性的重要作用，导致教师网络中特征空间的内在分布和特征的足够多样性。为了解决这个问题，本文提出了一种新的知识蒸馏通道间关联（ICKD）方法，利用该方法可以使学生网络和教师网络的特征空间的多样性和同源性保持一致。这两个通道之间的相关性，如果它们彼此无关，则解释为多样性，否则同源性。然后要求学生在自己的嵌入空间中模仿相关性。此外，我们引入了网格级通道间相关性，使其能够进行密集预测任务。在ImageNet分类和Pascal VOC分割两个视觉任务上进行的大量实验表明，ICKD的性能优于许多现有的方法，在知识蒸馏领域具有先进性。据我们所知，我们是第一个基于知识蒸馏的方法，使ResNet 18在ImageNet分类上的Top-1准确率超过72%。代码可从以下网址获得：https://github.com/ADLab-AutoDrive/ICKD。
2022-02-08 cs.AI cs.CV
Exploring Resiliency to Natural Image Corruptions in Deep Learning using Design Diversity
Intel Corporation（英特尔公司）
在本文中，我们研究了多样性度量，准确性和深度学习（DL）图像分类器集成对自然图像损坏的弹性之间的关系。我们调查的潜在的基于属性的多样性度量，以提高已知的准确性多样性权衡的典型的基于预测的多样性。我们的动机是基于分析研究的设计多样性，已表明，减少常见的故障模式是可能的，如果实现多样性的设计选择。使用ResNet50作为比较基线，我们评估了多个单独的DL模型架构对与自然图像损坏相对应的数据集分布偏移的弹性。我们比较了使用独立训练或通过神经架构搜索技术训练的不同模型架构创建的集成，并评估了基于预测和基于属性的多样性与最终集成准确性的相关性。我们评估了一组多样性的执行策略的基础上负相关学习，以评估最终的合奏自然图像损坏的弹性和检查所产生的预测，激活和归因的多样性。我们的主要意见是：1）模型架构对于复原力比模型大小或模型准确度更重要，2）基于属性的多样性与集成准确度的负相关性比基于预测的多样性小，3）个体和集成准确度的平衡损失函数为图像自然损坏创建更有复原力的集成，4）架构多样性在所有探索的多样性度量中产生更多的多样性：预测、归因和激活。
2023-03-15 cs.AI cs.CV cs.LG
Identity-Centric Video Summarization via Hierarchical Fusion of Biometric, Appearance, and 3D Body Features
Universidad de León（莱昂大学）；Institute for Research and Innovation in Engineering (I4)（工程研究与创新学院（I4））
本文提出一种基于多目标跟踪与行人重识别的视频摘要算法，通过融合面部、3D体型和外观特征实现稳健跟踪，并在自定义数据集上显著提升视觉多样性与时间覆盖率。
2026-09-23 cs.CV
Transforming Multi-Concept Attention into Video Summarization
National Taiwan University（台湾大学）；Carnegie Mellon University（卡内基梅隆大学）
视频摘要是计算机视觉中具有挑战性的任务之一，其目的是在冗长的视频输入中识别精彩帧或镜头。在本文中，我们提出了一种新的基于注意力的框架，视频摘要与复杂的视频数据。不同于以往的作品，只适用于注意力机制的帧之间的对应关系，我们的多概念视频自我注意力（MC-VSA）模型，以确定跨时间和概念视频特征，联合利用上下文的多样性随着时间和空间的摘要目的的信息区域。再加上我们框架中视频和摘要之间的一致性，我们的模型可以应用于标记和未标记的数据，使我们的方法更适合于现实世界的应用。在两个基准上进行的广泛而完整的实验证明了我们的模型在定量和定性上的有效性，并证实了其优于现有技术的优越性。
2020-06-03 cs.CV
DeepQAMVS: Query-Aware Hierarchical Pointer Networks for Multi-Video Summarization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工大学）
最近网络视频共享平台的增长增加了对能够有效地浏览、检索和汇总视频内容的系统的需求。查询感知的多视频摘要是一种很有前途的技术，迎合了这一需求。在这项工作中，我们引入了一种新的用于多视频摘要的查询感知分层指针网络，称为DeepQAMVS，它联合优化了多个标准：（1）简洁性，（2）重要查询相关事件的代表性和（3）时间顺序合理性。我们设计了一个分层注意力模型，它分解了三个分布，每个分布从不同的模态收集证据，然后是一个指针网络，它选择要包含在摘要中的帧。DeepQAMVS通过强化学习进行训练，并结合了捕获代表性，多样性，查询适应性和时间一致性的奖励。我们在MVS1K数据集上实现了最先进的结果，推理时间与输入视频帧的数量呈线性关系。
2021-05-13 cs.AI cs.CV cs.IR
TRIMMER: A New Paradigm for Video Summarization through Self-Supervised Reinforcement Learning
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
TRIMMER通过自监督强化学习框架，在视频摘要中实现高效且可扩展的语义表示，优于传统方法在长时序依赖和语义结构的捕捉能力。
2026-05-03 cs.AI cs.CV
Exploring the Efficacy of Meta-Learning: Unveiling Superior Data Diversity Utilization of MAML Over Pre-training
Stanford University（斯坦福大学）
本研究探索数据多样性对视觉模型性能的影响，发现MAML比预训练更有效利用数据多样性，准确率与多样性正相关，为超越规模的数据集属性研究提供新视角。
2025-01-21 cs.AI cs.CV cs.LG
Exploring the Diversity and Invariance in Yourself for Visual Pre-Training Task
University of Science and Technology of China（中国科学技术大学）；Huawei Inc.（华为公司）
近年来，自监督学习方法在视觉预训练任务中取得了显著的成功。通过简单地将每个图像的不同增强视图拉在一起或其他新颖的机制，它们可以学习许多无监督的知识，并显着提高预训练模型的传输性能。然而，这些工作仍然无法避免表示坍塌问题，即，它们只关注有限的区域，或者在每个图像内完全不同的区域上提取的特征几乎相同。通常，这个问题使得预训练模型不能充分描述图像内部的多粒度信息，这进一步限制了其传输性能的上限。为了解决这个问题，本文介绍了一个简单而有效的机制，称为探索自己的电子DIY的多样性和不变性。通过简单地将每个增强视图中最不同的区域推开，E-DIY可以保留提取的区域级特征的多样性。通过从同一图像的不同增强视图中提取最相似的区域，E-DIY可以确保区域级特征的鲁棒性。基于上述多样性和不变性的探索机制，电子DIY最大限度地提取了图像内部的多粒度视觉信息。对下游任务的大量实验证明了我们提出的方法的优越性，例如，与COCO上的强基线BYOL相比，有2.1%的改进，同时使用R50-C4主干和1X学习时间表微调Mask R-CNN。
2021-06-01 cs.CV
Comprehensive Video Understanding: Video summarization with content-based video recommender design
Xinhua Zhiyun Technology Co., Ltd.（新华智云科技有限公司）；Columbia University in the City of New York（纽约哥伦比亚大学）
视频摘要旨在从长视频中提取关键帧/镜头。以往的方法主要将摘要的多样性和代表性作为算法设计的先验知识。在本文中，我们制定了视频摘要作为一个基于内容的推荐问题，这应该提取最有用的内容，从长视频的用户谁遭受信息过载。提出了一种可扩展的深度神经网络，通过显式地对片段和视频进行建模来预测一个视频片段是否是对用户有用的片段。此外，我们还完成了未裁剪视频中的场景和动作识别，以便在视频理解任务的不同方面之间找到更多的相关性。此外，本文还将讨论听觉和视觉特征在摘要任务中的作用。我们还通过数据增强和多任务学习来扩展我们的工作，以防止模型早期过拟合。我们模型的最终结果在ICCV 2019 CoView研讨会挑战赛中获得第一名。
2019-10-30 cs.CV
Progressive Video Summarization via Multimodal Self-supervised Learning
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
现代视频摘要方法基于深度神经网络，其需要大量注释数据用于训练。然而，现有的视频摘要数据集规模较小，容易导致深度模型的过拟合。考虑到大规模数据集的标注是耗时的，我们提出了一个多模态自监督学习框架来获得视频的语义表示，这有利于视频摘要任务。具体而言，自监督学习是通过探索视频和文本之间的语义一致性，在粗粒度和细粒度的时尚，以及恢复视频中的掩蔽帧。多模态框架在新收集的由视频-文本对组成的数据集上进行训练。此外，我们引入了一种渐进式视频摘要方法，其中视频中的重要内容被逐步精确定位以生成更好的摘要。大量的实验证明了我们的方法的有效性和优越性的秩相关系数和F-得分。
2022-10-19 cs.CL cs.CV
Scene Summarization: Clustering Scene Videos into Spatially Diverse Frames
New York University（纽约大学）
SceneSum通过自监督方法将场景视频聚类为空间多样化的关键帧，提升空间推理能力，优于现有视频摘要方法。
2025-11-23 cs.CV
Exploring Spatial Diversity for Region-based Active Learning
Institute for Infocomm Research (I2R), A-STAR, Singapore（信息与通信研究所（I2R），A-STAR，新加坡）
本文提出在基于区域的语义分割主动学习中引入局部空间多样性，并与不确定性等准则统一优化，仅用5–9%标注像素即达到全监督方法95%的性能。
2025-07-23 cs.CV
AudioVisual Video Summarization
Xidian University（西安电子科技大学）；Northwestern Polytechnical University（西北工业大学）
音频和视频是视频数据的两种主要形式。多通道学习，特别是视听学习，近年来引起了广泛的关注，它可以提高各种计算机视觉任务的性能。然而，在视频摘要中，现有的方法只利用视觉信息，而忽略了音频信息。在本文中，我们认为，音频模态可以帮助视觉模态更好地理解视频的内容和结构，并进一步有利于摘要过程。出于这一动机，我们建议联合利用音频和视频信息的视频摘要任务，并开发一个视听递归网络（AVRN）来实现这一目标。具体地说，所提出的AVRN可以分为三个部分：1）利用双流LSTM通过捕获它们的时间依赖性来顺序地编码音频和视觉特征。2)视听融合LSTM通过探索它们之间的潜在一致性来融合这两种模态。3)采用自注意视频编码器来捕获视频中的全局依赖性。最后，融合的视听信息，以及集成的时间和全局依赖性被联合用于预测视频摘要。在实际应用中，在\emph{i.e.,} SumMe和TVsum两个基准测试上的实验结果表明了AVRN算法各部分的有效性，以及AVRN算法相对于单纯利用视觉信息进行视频摘要的优越性。
2021-05-17 cs.CV
Exploring Diversity-based Active Learning for 3D Object Detection in Autonomous Driving
I2R, A-STAR（新加坡科技研究局资讯通信研究院）；South China University of Technology（华南理工大学）；Southwest Jiaotong University（西南交通大学）；Chengdu University of Information Technology（成都信息工程大学）
本文针对自动驾驶3D目标检测标注成本高的问题，提出一种基于空间和时间多样性的主动学习采集函数，在nuScenes数据集上显著优于现有主动学习策略。
2024-10-22 cs.CV
Vis-DSS: An Open-Source toolkit for Visual Data Selection and Summarization
Microsoft Corporation（微软公司）；AitoeLabs；IIT Bombay（印度理工学院孟买分校）
随着越来越多的视频和图像形式的视觉数据被创建，视觉数据的选择和摘要正在成为越来越多的问题。我们提出了Vis-DSS，一个用于可视化数据选择和汇总的开源工具包。Vis-DSS实现了一个使用子模块功能进行汇总和数据子集选择的模型框架，这些功能在这些问题中变得越来越流行。我们提出了几类模型，捕捉多样性，覆盖范围，代表性和重要性的概念，以及优化/推理和学习算法。Vis-DSS是第一个用于数据选择和摘要任务的开源工具包，包括图像收集摘要，视频摘要，分类和多样化主动学习的训练数据选择。我们在所有这些任务上展示了最先进的性能，并展示了我们如何扩展到大型问题。Vis-DSS允许轻松集成在其上构建的应用程序，也可以作为一个通用的框架，可以扩展到几个用例，包括用于创建GIF的视频和图像共享平台，图像蒙太奇创建，或作为监控系统的组件，我们通过提供基于Qt框架构建的图形用户界面（GUI）桌面应用程序来演示这一点。Vis-DSS可在https://github.com/rishabhk108/vis-dss上获得
2018-09-24 cs.CV cs.LG
Video Summarization by Learning from Unpaired Data
University of Manitoba（曼尼托巴大学）
我们考虑视频摘要的问题。给定输入原始视频，目标是从输入视频中选择关键帧的小子集，以创建最佳描述原始视频内容的较短摘要视频。当前最先进的视频摘要方法大多使用监督学习，并且需要标记的训练数据。每个训练实例由原始输入视频和由人类注释者策划的地面实况摘要视频组成。然而，创建这种标记的训练样本是非常昂贵和困难的。为了解决这个问题，我们提出了一种新的配方来学习视频摘要从不成对的数据。我们提出了一种方法，学习生成最佳的视频摘要，使用一组原始视频（$V$）和一组摘要视频（$S$），其中$V$和$S$之间不存在对应关系。我们认为这种类型的数据更容易收集。我们的模型旨在学习映射函数$F : V \rightarrow S$，以便在对抗目标的帮助下，从$F(V)$得到的摘要视频的分布与$S$的分布相似。此外，我们对$F(V)$实施多样性约束，以确保生成的视频摘要在视觉上是多样的。两个基准数据集上的实验结果表明，我们提出的方法显着优于其他替代方法。
2019-04-08 cs.CV
Contrastive Losses Are Natural Criteria for Unsupervised Video Summarization
Osaka University（大阪大学）；CyberAgent, Inc.（赛博艾坚特公司）
视频摘要旨在选择视频中信息量最大的帧子集，以促进高效的视频浏览。无监督方法通常依赖于启发式训练目标，如多样性和代表性。然而，这种方法需要引导在线生成的摘要来计算重要性分数回归的目标。我们认为这样的管道效率低下，并寻求直接量化的帧级的重要性的对比损失的帮助下，在表示学习文献。利用对比损失，我们提出了三个指标，具有理想的关键帧：局部相异性，全局一致性和唯一性。通过在图像分类任务中预先训练的特征，这些指标已经可以产生高质量的重要性分数，表现出比过去经过大量训练的方法更有竞争力或更好的性能。我们表明，通过使用轻量级的对比学习投影模块来细化预训练的特征，可以进一步提高帧级重要性分数，并且该模型还可以利用大量的随机视频并推广到测试性能良好的视频。代码可在https://github.com/pangzss/pytorch-CTVSUM获得。
2022-11-18 cs.CV
Hierarchical Modes Exploring in Generative Adversarial Networks
University of Science and Technology of China（中国科学技术大学）
在条件生成对抗网络（cGAN）中，当两个不同的初始噪声与相同的条件信息连接时，它们的输出之间的距离相对较小，这使得小模式可能会崩溃为大模式。为了防止这种情况发生，我们提出了一种分层模式探索方法，通过在目标函数中引入多样性度量作为正则化项，来减轻cGAN中的模式坍塌。我们还在正则化项中引入了期望扩展比（Expected Ratios of Expansion，ERE），通过最小化实际距离变化与ERE之间的差值之和，可以控制生成图像对特定级别特征的多样性。我们验证了所提出的算法在四个条件图像合成任务，包括分类生成，配对和非配对的图像翻译和文本到图像生成。定性和定量结果均表明，该方法能有效缓解cGANs中的模式坍塌问题，并能控制输出图像在特定层次特征上的多样性.
2020-03-05 cs.CV
Query-adaptive Video Summarization via Quality-aware Relevance Estimation
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
尽管自动视频摘要的问题最近受到了很多关注，但是创建还突出显示与搜索查询相关的元素的视频摘要的问题却很少被研究。我们通过将查询相关摘要作为视频帧子集选择问题来解决这个问题，这使我们可以优化同时多样化，代表整个视频并与文本查询相关的摘要。我们量化的相关性，通过测量帧和查询之间的距离在一个共同的文本视觉语义嵌入空间诱导的神经网络。此外，我们扩展了模型，以捕获查询无关的属性，如帧质量。我们将我们的方法与之前用于缩略图选择的文本视觉嵌入的最新技术进行比较，并表明我们的模型在相关性预测方面优于它们。此外，我们引入了一个新的数据集，注释的多样性和查询特定的相关性标签。在这个数据集上，我们训练和测试了我们完整的视频摘要模型，并表明它优于标准基线，如最大边缘相关性。
2017-09-28 cs.CL cs.CV cs.MM
Conditional Modeling Based Automatic Video Summarization
针对现有视频摘要方法忽略趣味性等非视觉因素导致性能欠佳的问题，提出一种基于条件建模的新方法，通过引入随机变量、联合分布、辅助分布及条件注意力模块，在常用数据集上实现了最先进的性能。
2023-11-20 cs.AI cs.CV cs.IR
Exploring the Tradeoff Between Diversity and Discrimination for Continuous Category Discovery
Ocean University of China（中国海洋大学）；East China Normal University（华东师范大学）
提出IDOD方法解决连续类别发现中新类发现与分类的矛盾及误差累积问题，通过多样性独立增强、单阶段联合发现和正交原型生成，在降低存储开销的同时有效防止遗忘并提升了性能。
2025-08-15 cs.CV
A General Framework for Edited Video and Raw Video Summarization
Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；Northwestern Polytechnical University（西北工业大学）
在本文中，我们建立了一个通用的摘要框架编辑视频和原始视频摘要。总体而言，我们的工作可以分为三个方面：1）设计了四个模型来捕获视频摘要的属性，即，包含重要的人和物体（重要性）、视频内容的代表性（代表性）、没有类似的关键镜头（多样性）和故事情节的平滑性（故事性）。具体而言，这些模型适用于编辑的视频和原始视频。2)将上述四个模型加权组合，建立综合评分函数。请注意，得分函数中四个模型的权重（表示为属性权重）是以监督方式学习的。此外，分别为编辑视频和原始视频学习属性权重。3)为了弥补训练数据的不足，训练集由编辑后的视频和原始视频构成。特别地，每个训练视频配备有一对混合系数，这可以减少由粗糙混合引起的训练集中的结构混乱。我们在三个数据集上测试我们的框架，包括编辑的视频，短的原始视频和长的原始视频。实验结果验证了该框架的有效性。
2019-04-24 cs.CV
Exploring Textual Semantics Diversity for Image Transmission in Semantic Communication Systems using Visual Language Model
School of Computer Science and Engineering, Macau University of Science and Technology（计算机科学与工程学院，澳门科技大学）
针对语义通信中图像语义特征不足导致重建精度低的问题，提出基于VLM的Multi-SC系统，通过分块提取多文本信息并结合分割标签恢复图像，显著提升重建精度。
2025-07-30 cs.CV eess.SP
How Good is a Video Summary? A New Benchmarking Dataset and Evaluation Framework Towards Realistic Video Summarization
Indian Institute of Technology Bombay（印度理工学院孟买分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
自动视频摘要仍然是一个未解决的问题，由于一些挑战。目前可用的数据集要么有非常短的短视频，要么只有少数特定类型的长视频。我们引入了一个新的基准视频数据集，称为VISIOCITY（基于连续性，意图和多样性的视频摘要），它包括六个不同类别的较长视频，具有密集的概念注释，能够支持不同风格的视频摘要和其他视觉问题。对于长视频，很难获得监督视频摘要技术所需的人类参考摘要。我们探索策略，自动生成多个参考摘要间接地面实况VISIOCITY。我们表明，这些总结与人类的总结不相上下。我们还提出了一个好的摘要的不同期望特性的研究，并证明了如何有两个不同特性的好摘要是正常的。因此，我们认为，评估一个总结对一个或多个人的总结，并使用单一的措施有其缺点。我们提出了一个评价框架，更好地定量评估摘要质量，这是更接近人类的判断。最后，我们提出了如何增强模型以产生更好的摘要的见解。具体地，当可以存在多个不同的地面实况概要时，从它们单独地学习并且使用测量不同特性的损失函数的组合比使用单个损失函数从单个组合（oracle）地面实况概要学习更好。我们证明了这样做的有效性相比，在VISIOCITY上测试的最先进的技术的一些代表性的国家。我们发布VISIOCITY作为基准数据集，并邀请研究人员在VISIOCITY上测试他们的视频摘要算法的有效性。
2021-01-26 cs.CV cs.MM
