HeSum: a Novel Dataset for Abstractive Text Summarization in Hebrew
Bar-Ilan University（巴伊兰大学）
本文提出HeSum，一个包含10,000个文章-摘要对的现代希伯来语生成式文本摘要新基准，揭示了当前最先进大语言模型在处理该高形态丰富度语言生成任务时面临的显著困难。
2025-07-11 cs.AI cs.CL
SD-MVSum: Script-Driven Multimodal Video Summarization Method and Datasets
CERTH-ITI Thermi（CERTH-ITI热米）
本文提出SD-MVSum方法及两个大规模数据集，通过引入加权跨模态注意力机制，结合脚本与视频音频内容提升摘要相关性，验证了方法在脚本驱动视频摘要中的有效性。
2026-10-30 cs.CV
Fusing Multimodal Signals on Hyper-complex Space for Extreme Abstractive Text Summarization (TL;DR) of Scientific Contents
IIIT Delhi（德里英迪拉·甘地信息技术学院）；IIT Delhi（德里印度理工学院）
提出首个科学多模态极简摘要数据集mTLDR，并构建基于双重融合超复数Transformer与Wasserstein Riemannian编码器的mTLDRgen模型，在多项指标上超越20个基线。
2023-06-24 cs.AI cs.CL
UBiSS: A Unified Framework for Bimodal Semantic Summarization of Videos
Renmin University of China（中国人民大学）；Peking University（北京大学）
针对单模态视频摘要丢失丰富语义的问题，研究者构建三元组大规模数据集BIDS，提出统一框架UBiSS同时生成双模态摘要，优化后性能优于多阶段流水线，还提出新评估指标。
2024-06-24 cs.AI cs.CV cs.MM
SD-VSum: A Method and Dataset for Script-Driven Video Summarization
ITI, CERTH（ITI、CERTH）
本文提出脚本驱动视频摘要任务，扩展VideoXum数据集并设计基于跨模态注意力的SD-VSum网络，实现根据用户脚本生成个性化视频摘要，性能优于现有SOTA方法。
2025-09-22 cs.AI cs.CV cs.MM
Toward expanding the scope of radiology report summarization to multiple anatomies and modalities
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Stanford University（斯坦福大学）
本文提出基于MIMIC-III和MIMIC-CXR的多模态多解剖部位放射学报告摘要数据集MIMIC-RRS，并通过广泛实验和RadGraph指标评估模型在配对内及跨配对场景下的性能与临床有效性。
2023-07-21 cs.CL cs.LG
LVSum: A Benchmark for Timestamp-Aware Long Video Summarization
Apple（苹果公司）
本文提出LVSum基准测试，用于评估长视频摘要中时间对齐的性能，通过引入新的评估指标揭示现有MLLM在时间理解上的系统性差距。
2026-07-20 cs.AI cs.CV cs.LG
Early Exit and Multi Stage Knowledge Distillation in VLMs for Video Summarization
Department of Computer Science and Engineering, IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）；Center of Machine Intelligence and Data Science (C-MInDS), IIT Bombay（印度理工学院班加罗尔人工智能与数据科学中心）
本文提出DEEVISum，一种结合多阶段知识蒸馏与早期退出的轻量级视觉语言模型，用于分段视频摘要，在TVSum上以3B模型取得61.1的F1，兼顾性能与效率。
2025-09-11 cs.AI cs.CV
Query-based Video Summarization with Pseudo Label Supervision
University of Amsterdam（阿姆斯特丹大学）；BBC Research and Development（英国广播公司研发部）
本文针对基于查询的视频摘要数据稀缺问题，提出利用片段级伪标签进行自监督预训练，并结合语义增强器和互注意力机制，在三个基准上取得了最先进性能。
2023-07-04 cs.AI cs.CV cs.IR
Enhancing Surgical Documentation through Multimodal Visual-Temporal Transformers and Generative AI
ETH Zürich（苏黎世联邦理工学院）；University of Calabria（卡拉布里亚大学）；Cambridge University（剑桥大学）
提出一种结合视觉Transformer和大语言模型的多模态框架，通过提取帧级视觉特征、生成帧级描述并聚合时间特征，在CholecT50数据集上实现了高精度的手术视频自动摘要与报告生成。
2025-04-28 cs.AI cs.CV
CNTLS: A Benchmark Dataset for Abstractive or Extractive Chinese Timeline Summarization
Zhongguancun Laboratory（中关村实验室）
本文提出CNTLS，首个中文时间线摘要数据集，含77个主题、2524篇文档，平均压缩60%天数，并评估多种抽取与生成式系统，提供基准支持研究。
2023-11-15 cs.AI cs.IR cs.LG
HierSum: A Global and Local Attention Mechanism for Video Summarization
Georgia Institute of Technology（佐治亚理工学院）；Google DeepMind（谷歌DeepMind）
本研究提出HierSum分层方法，结合字幕局部线索与视频级全局指令，利用“最多重播”信号识别关键片段，在多个基准数据集上优于现有方法，并整理新多模态数据集提升摘要效果。
2025-04-25 cs.AI cs.CV cs.LG
LexSumm and LexT5: Benchmarking and Modeling Legal Summarization Tasks in English
School of Computation, Information, and Technology（计算、信息与技术学院）；Technical University of Munich（慕尼黑工业大学）
本文提出英文法律摘要基准LexSumm及面向法律的序列到序列模型LexT5，弥补现有法律NLP基准忽视生成任务的不足，并揭示零样本LLM生成摘要中的抽象与忠实度错误。
2024-10-12 cs.CL
V2Xum-LLM: Cross-Modal Video Summarization with Temporal Prompt Instruction Tuning
提出Instruct-V2Xum数据集和V2Xum-LLM框架，通过时间提示指令调优统一多模态视频摘要任务，实现任务可控的跨模态摘要生成。
2025-10-08 cs.AI cs.CV
MAST: Multimodal Abstractive Summarization with Trimodal Hierarchical Attention
IIIT Hyderabad（印度国际信息技术研究所海得拉巴分校）；New York University（纽约大学）
本文提出了MAST，一个新的模型，多模态抽象文本摘要，利用所有三种形式的信息-文本，音频和视频-在多模态视频。以前的工作多模态摘要文本摘要只利用信息的文本和视频模态。我们研究的有用性和挑战，从音频模态派生的信息，并提出了一个序列到序列的三模态分层注意力为基础的模型，克服了这些挑战，让模型更加关注的文本模态。MAST在多模态语言理解的How2数据集上的内容F1得分和Rouge-L得分方面优于当前最先进的模型（视频-文本）2.51分和1.00分。
2020-10-15 cs.CL cs.CV cs.LG
TripleSumm: Adaptive Triple-Modality Fusion for Video Summarization
Seoul National University（首尔国立大学）
TripleSumm通过适应性三模态融合技术，在视频摘要任务中实现了最先进的性能，首次提出了多模态视频摘要的大型基准MoSu。
2026-03-01 cs.AI cs.CV cs.LG
Multimodal Abstractive Summarization for How2 Videos
Carnegie Mellon University（卡内基梅隆大学）；Charles University（查理大学）；Amazon AI（亚马逊人工智能）；University of Edinburgh（爱丁堡大学）
在本文中，我们研究了开放域视频摘要。与传统的文本新闻摘要不同，其目标不是“压缩”文本信息，而是提供从不同来源模态收集和融合的信息的流畅文本摘要，在我们的情况下是视频和音频转录（或文本）。我们展示了一个多源的序列到序列模型与层次的注意力可以整合信息从不同的方式到一个连贯的输出，比较不同的模式训练的各种模型和教学视频的How2语料库目前的试点实验。我们还提出了一个新的评估指标（内容F1）的抽象摘要任务，衡量语义充分性，而不是流畅性的摘要，这是由指标，如ROUGE和BLEU。
2019-06-19 cs.CL cs.CV cs.LG
CFSum: A Transformer-Based Multi-Modal Video Summarization Framework With Coarse-Fine Fusion
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Zhejiang University（浙江大学）
本文提出CFSum，一种基于Transformer的多模态视频摘要框架，通过两阶段粗细特征融合机制深度融合视频、文本和音频特征，克服了现有方法模态融合不足及忽视音频的局限，实验证实了其有效性与优越性。
2025-03-01 cs.CV
Extraction and Summarization of Explicit Video Content using Multi-Modal Deep Learning
University of Southern California（南加州大学）
提出一种基于多模态深度学习的自动化流水线，用于提取视频中的显式内容片段并生成文本摘要以判定年龄适宜性，最后通过标准指标验证了其有效性。
2023-11-21 cs.CL cs.CV cs.LG
Modeling Paragraph-Level Vision-Language Semantic Alignment for Multi-Modal Summarization
Tencent Inc.（腾讯公司）；Beihang University（北京航空航天大学）
本文提出ViL-Sum，通过联合多模态编码器及图像重排序和选择任务，建模段落级视觉-语言语义对齐，显著提升多模态摘要性能。
2023-05-10 cs.CL cs.CV
Summarization of Multimodal Presentations with Vision-Language Models: Study of the Effect of Modalities and Structure
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupelec（巴黎中央理工学院）；LISN（南巴黎大学信息学实验室）
本研究分析VLMs对多模态演示文稿摘要的生成效果，提出不同输入长度预算下的成本效益策略，发现幻灯片输入优于原始视频、结构化表示性能最佳，并为提升VLMs能力提供建议。
2025-04-14 cs.CL cs.CV
SITransformer: Shared Information-Guided Transformer for Extreme Multimodal Summarization
The University of Sydney（悉尼大学）；The University of Adelaide（阿德莱德大学）；La Trobe University（拉筹伯大学）
针对极端多模态摘要（XMSMO）中多模态数据含无关信息易误导模型的问题，提出SITransformer，通过共享信息提取器和跨模态交互模块提升视频与文本摘要质量，代码将公开。
2024-12-01 cs.CV
SalSum: Saliency-based Video Summarization using Generative Adversarial Networks
University of Thessaly（塞萨利大学）
基于摄像机的系统（如监控、医疗和电信系统）每天产生大量的视频数据，因此需要有效的视频摘要（VS）方法。这些方法应该能够创建视频内容的概览。在本文中，我们提出了一种新的VS方法的基础上生成的对抗网络（GAN）模型预先训练与人眼固定。所提出的方法的主要贡献是，它可以提供感知兼容的视频摘要相结合的感知颜色和时空视觉注意线索在一个无监督的计划。几种融合方法被认为是不确定性下的鲁棒性，和个性化。所提出的方法进行评估，比较国家的最先进的VS方法的基准数据集VSUMM。实验结果表明，SalSum通过在VSUMM基准测试中提供最高的f-measure分数，优于最先进的方法。
2020-11-20 cs.CV cs.MM eess.IV
Exploring Efficient Foundational Multi-modal Models for Video Summarization
Georgia Institute of Technology（佐治亚理工学院）
针对视频基础模型预训练对齐计算成本高且微调泛化能力难评估的问题，提出即插即用的视频语言模型，利用少样本指令适应策略避免对齐开销，并分析了不同方法在领域偏移下的泛化能力及数据限制下的实用性。
2024-10-09 cs.AI cs.CV
Does Video Summarization Require Videos? Quantifying the Effectiveness of Language in Video Summarization
University of Southern California（南加州大学）
本文提出一种仅用零样本文本字幕训练语言Transformer的视频摘要方法，证明纯语言模态可在高数据效率下取得竞争性准确率并提升可解释性。
2023-09-18 cs.AI cs.CL cs.CV
AudioVisual Video Summarization
Xidian University（西安电子科技大学）；Northwestern Polytechnical University（西北工业大学）
音频和视频是视频数据的两种主要形式。多通道学习，特别是视听学习，近年来引起了广泛的关注，它可以提高各种计算机视觉任务的性能。然而，在视频摘要中，现有的方法只利用视觉信息，而忽略了音频信息。在本文中，我们认为，音频模态可以帮助视觉模态更好地理解视频的内容和结构，并进一步有利于摘要过程。出于这一动机，我们建议联合利用音频和视频信息的视频摘要任务，并开发一个视听递归网络（AVRN）来实现这一目标。具体地说，所提出的AVRN可以分为三个部分：1）利用双流LSTM通过捕获它们的时间依赖性来顺序地编码音频和视觉特征。2)视听融合LSTM通过探索它们之间的潜在一致性来融合这两种模态。3)采用自注意视频编码器来捕获视频中的全局依赖性。最后，融合的视听信息，以及集成的时间和全局依赖性被联合用于预测视频摘要。在实际应用中，在\emph{i.e.,} SumMe和TVsum两个基准测试上的实验结果表明了AVRN算法各部分的有效性，以及AVRN算法相对于单纯利用视觉信息进行视频摘要的优越性。
2021-05-17 cs.CV
Unsupervised Transcript-assisted Video Summarization and Highlight Detection
University of Thessaly（塞萨洛尼基大学）；King Abdullah University of Science and Technology（卡布斯大学）
本文提出一种无监督的多模态强化学习流水线，结合视频帧与转录文本生成精简摘要并检测高光片段，克服了标注数据集规模有限的挑战，实验证明其效果优于仅依赖视觉内容的方法。
2025-05-29 cs.AI cs.CV cs.MM
Enhancing Video Memorability Prediction with Text-Motion Cross-modal Contrastive Loss and Its Application in Video Summarization
Department of Information and Communication Engineering（信息与通信工程系）
针对运动特征利用不足问题，提出 TMCCL 文本-运动跨模态对比损失提升视频可记忆性预测，并以 MWCVS 将其用于降低视频摘要标签主观性。
2025-06-10 cs.CV
MF2Summ: Multimodal Fusion for Video Summarization with Temporal Alignment
Nanjing University（南京大学）；Huazhong University of Science and Technology（华中科技大学）
针对单模态视频摘要语义捕捉不足的问题，提出融合视听多模态的MF2Summ模型，通过跨模态与对齐引导Transformer建模依赖及时空对应，在两个数据集上F1优于DSNet等方法。
2025-06-12 cs.CV
Self-Attention Based Generative Adversarial Networks For Unsupervised Video Summarization
National Technical University of Athens（雅典国立技术大学）
提出无监督 SUM-GAN-AED 视频摘要模型，以自注意力选择帧并用 LSTM 编解码，在 SumMe 上超过现有方法，在 TVSum 和 COGNIMUSE 上达到相当性能。
2023-07-16 cs.CV
TL;DW? Summarizing Instructional Videos with Task Relevance & Cross-Modal Saliency
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；Brown University（布朗大学）
寻找特定任务说明的YouTube用户可能会花很长时间浏览内容，试图找到符合他们需求的正确视频。创建可视化摘要（视频的删节版）为观众提供了快速的概览，并大大减少了搜索时间。在这项工作中，我们专注于总结教学视频，一个未充分开发的视频摘要领域。与通用视频相比，教学视频可以被解析成与所演示任务的重要步骤相对应的语义上有意义的片段。现有的视频摘要数据集依赖于手动帧级注释，使其主观且大小有限。为了克服这一点，我们首先利用两个关键假设为教学视频语料库自动生成伪摘要：（i）相关步骤可能出现在同一任务的多个视频中（任务相关性），以及（ii）它们更可能被演示者口头描述（跨模态显着性）。我们提出了一个教学视频摘要网络，结合了上下文感知的时间视频编码器和分段评分Transformer。使用伪摘要作为弱监督，我们的网络为仅提供视频和转录语音的教学视频构建了视觉摘要。为了评估我们的模型，我们收集了一个高质量的测试集，WikiHow摘要，通过抓取WikiHow文章，这些文章包含视频演示和步骤的视觉说明，使我们能够获得地面事实摘要。在这个新的基准测试中，我们的表现超过了几个基准和最先进的视频摘要模型。
2022-08-14 cs.CV cs.IR cs.LG
IntentVizor: Towards Generic Query Guided Interactive Video Summarization
New York University（纽约大学）
自动视频摘要的目标是在保留主要内容/事件的同时创建原始长视频的简短略读。将用户查询集成到视频摘要或查询驱动的视频摘要中的兴趣越来越大。这种视频摘要方法基于用户查询来预测原始视频的简明概要，该查询通常由输入文本表示。然而，这种查询驱动的方式存在两个固有的问题。首先，文本查询可能不足以描述用户的准确和多样化的需求。第二，一旦摘要生成，用户就不能编辑，而我们假设用户的需求应该是微妙的，需要交互式地进行调整。为了解决这两个问题，我们提出了IntentVizor，一个交互式的视频摘要框架指导下的通用多模态查询。描述用户需求的输入查询不仅限于文本，还包括视频片段。我们进一步表示这些多模态细粒度的查询作为用户的“意图”，这是可解释的，可交互的，可编辑的，可以更好地量化用户的需求。在本文中，我们使用一组建议的意图来表示用户查询和设计一个新的交互式可视化分析界面。用户可以通过界面交互控制和调整这些混合主动意图，以获得更满意的摘要。为了通过视频理解提高摘要质量，提出了一种新的粒度可伸缩的自我-图卷积网络（GSE-GCN）。我们在两个基准数据集上进行了实验。与最先进的方法的比较验证了所提出的框架的有效性。代码和数据集可在https://github.com/jnzs1836/intent-vizor上获得。
2022-03-29 cs.CV
Cross-Modal Generative Augmentation for Visual Question Answering
Imperial College London（帝国理工学院）；University of Sheffield（谢菲尔德大学）
数据增强已被证明可以有效地提高多模态机器学习模型的性能。本文介绍了一种生成模型，数据增强，利用多个模态之间的相关性。不同于传统的数据增强方法，应用低层次的操作与确定性算法，我们的方法学习一个生成器，生成样本的目标模态条件下观察到的模态在变分自动编码器框架。此外，所提出的模型能够通过其生成概率来量化增强数据的置信度，并且可以与下游任务联合优化。视觉问答作为下游任务的实验表明，所提出的生成模型的有效性，这是能够提高强UpDN为基础的模型，以达到最先进的性能。
2021-10-22 cs.CL cs.CV
Demystifying Multi-Faceted Video Summarization: Tradeoff Between Diversity,Representation, Coverage and Importance
IIT Bombay（印度理工学院孟买分校）；Microsoft Corporation（微软公司）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；AitoeLabs（艾托实验室）
本文解决了自动摘要的视频在一个统一的方式。特别是，我们提出了一个多方面的摘要提取，查询基础和实体摘要（在实体，如对象，场景，人类和视频中的脸的水平上的摘要）的框架。我们研究了几种总结模型，捕捉的多样性，覆盖范围，代表性和重要性的概念，并认为这些不同的模型的效用取决于应用程序。虽然大多数关于子模块化摘要方法的先前工作都集中在组合几个模型和学习加权混合物上，但我们专注于不同模型和特征化的可解释性，以及它们如何应用于不同领域。我们还提供了摘要系统和所涉及的不同模式的实现细节。我们希望本文的研究将为从业者提供见解，以便为手头的问题适当选择正确的摘要模型。
2019-01-03 cs.CV
Multi-modal Generative AI: Multi-modal LLMs, Diffusions, and the Unification
Department of Computer Science, Beijing Information Science and Technology National Research Center, Tsinghua University（计算机系，北京信息科学与技术国家研究中心，清华大学）
本文综述了多模态生成式AI，涵盖多模态LLMs、扩散模型及统一模型的设计与应用，探讨了统一理解和生成的方法及未来研究方向。
2025-11-25 cs.AI cs.CV
CM-GANs: Cross-modal Generative Adversarial Networks for Common Representation Learning
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
众所周知，不同模态（如图像和文本）的不一致分布和表示导致异质性差距，这使得将此类异质数据关联起来具有挑战性。生成对抗网络（GANs）具有很强的数据分布建模能力和区分性表示学习能力，现有的基于GANs的工作主要集中在生成问题上，以生成新的数据。我们有不同的目标，旨在通过利用GANs建模跨模态联合分布的能力来关联异构数据。因此，我们提出了跨模态GANs来学习区别性的共同表示，以弥合异质性差距。本文的主要贡献包括：（1）提出了跨模态GANs结构，用于建模不同模态数据的联合分布。生成模型和判别模型可以同时研究通道间和通道内的相关性。两种方法相互作用，促进了跨模态相关学习。(2)提出了一种带权值共享约束的交叉模态卷积自编码器，用于生成模型。它们不仅可以利用跨模态相关性来学习共同的表示，而且还可以保留重构信息以捕获每个模态内的语义一致性。(3)提出了跨通道对抗机制，该机制利用两种识别模型同时进行通道内和通道间的识别。它们可以相互促进，通过对抗训练过程使共同表示更具区分力。据我们所知，我们提出的CM-GANs方法是第一个利用GANs来执行跨模态公共表示学习的方法。在跨模态检索范例上进行了实验，并在3个跨模态数据集上与10种方法进行了比较。
2018-04-26 cs.CV cs.LG cs.MM
DeepQAMVS: Query-Aware Hierarchical Pointer Networks for Multi-Video Summarization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工大学）
最近网络视频共享平台的增长增加了对能够有效地浏览、检索和汇总视频内容的系统的需求。查询感知的多视频摘要是一种很有前途的技术，迎合了这一需求。在这项工作中，我们引入了一种新的用于多视频摘要的查询感知分层指针网络，称为DeepQAMVS，它联合优化了多个标准：（1）简洁性，（2）重要查询相关事件的代表性和（3）时间顺序合理性。我们设计了一个分层注意力模型，它分解了三个分布，每个分布从不同的模态收集证据，然后是一个指针网络，它选择要包含在摘要中的帧。DeepQAMVS通过强化学习进行训练，并结合了捕获代表性，多样性，查询适应性和时间一致性的奖励。我们在MVS1K数据集上实现了最先进的结果，推理时间与输入视频帧的数量呈线性关系。
2021-05-13 cs.AI cs.CV cs.IR
Cut to the Chase: Training-free Multimodal Summarization via Chain-of-Events
School of Computer Science, Hangzhou Dianzi University（杭州电子科技大学计算机科学学院）；School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）智能科学与工程学院）；School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学与技术学院）
无需训练的多模态摘要方法CoE通过事件链和层次事件图实现跨模态整合与时间推理，提升摘要质量与领域适应性。
2026-03-06 cs.AI cs.CV
TriPSS: A Tri-Modal Keyframe Extraction Framework Using Perceptual, Structural, and Semantic Representations
Computer and Information Science, University of Arkansas - Little Rock（计算机与信息科学，亚拉荷马州立大学）；ICSI, University of California, Berkeley（ICSI，加州大学伯克利分校）；COSMOS Research Center, University of Arkansas - Little Rock（COSMOS研究中心，亚拉荷马州立大学）
本研究提出三模态关键帧提取框架TriPSS，融合感知、结构与语义表征，经聚类和优化生成关键帧，在两个基准上达到SOTA，可用于视频摘要等多媒体任务。
2025-09-02 cs.CV cs.IR cs.MM
Conditional Modeling Based Automatic Video Summarization
针对现有视频摘要方法忽略趣味性等非视觉因素导致性能欠佳的问题，提出一种基于条件建模的新方法，通过引入随机变量、联合分布、辅助分布及条件注意力模块，在常用数据集上实现了最先进的性能。
2023-11-20 cs.AI cs.CV cs.IR
Ultrasound Video Summarization using Deep Reinforcement Learning
Imperial College London（帝国理工学院）
视频是用于诊断的基本成像模态，例如在超声成像中，用于内窥镜检查或运动评估。然而，视频在医学图像分析界并没有得到太多的关注。在临床实践中，有效地利用原始诊断视频数据是具有挑战性的，因为视频数据需要很长时间来处理、注释或审核。在本文中，我们介绍了一种新的，全自动的视频摘要方法，是针对医疗视频数据的需求。我们的方法被框定为强化学习问题，并产生代理专注于保存重要的诊断信息。我们评估我们的方法对胎儿超声筛查的视频，其中通常只有少量的记录数据用于诊断。我们表明，我们的方法优于其他视频摘要方法，它保留了临床诊断标准所需的基本信息。
2020-05-19 cs.CV
The Slop Paradox: How Synthetic Standardization Erodes Clinical Uncertainty and Cross-Modal Alignment in AI-Rewritten Radiology Reports
School of Computing and Engineering Sciences, University of Chester（切斯特大学计算与工程科学学院）
本研究通过控制实验测量AI重写放射学报告导致的信息退化，发现电子健康记录摘要虽破坏内容但保留图像-文本对齐，而标准化重写和教学病例准备则相反，造成更大对齐损失，称为slop悖论。
2026-06-17 cs.CL cs.CV
Unlocking Financial Insights: An advanced Multimodal Summarization with Multimodal Output Framework for Financial Advisory Videos
Indian Institute of Technology Patna（印度帕纳杰大学）；CRISIL LTD（CRISIL公司）
提出FASTER框架，结合BLIP、OCR和Whisper等多模态技术，通过改进的DPO损失和排序检索机制，实现金融咨询视频的高效摘要生成，并引入Fin-APT数据集验证其优越性。
2025-09-25 cs.AI cs.CV
Towards an Automated Multimodal Approach for Video Summarization: Building a Bridge Between Text, Audio and Facial Cue-Based Summarization
Center for Machine Vision and Signal Analysis, Faculty of ITEE, University of Oulu, Finland（机器视觉与信号分析中心，ITEE学院，奥卢大学，芬兰）；Center for Machine Vision（机器视觉与信号分析中心）；Signal Analysis, Faculty of ITEE, University of Oulu, Finland（信号分析，ITEE学院，奥卢大学，芬兰）
本文提出一种行为感知的多模态视频摘要框架，通过整合文本、音频和视觉线索及奖励词生成时间戳对齐摘要，在多项指标上显著优于传统方法。
2025-06-30 cs.CL cs.CV
Generative RLHF-V: Learning Principles from Multi-modal Human Preference
Peking University（北京大学）；Hong Kong University of Science and Technology（香港科技大学）；University College London（伦敦大学学院）
提出生成式RLHF-V框架，结合生成式奖励模型与多模态RLHF，通过两阶段流程提升对齐性能，在7个基准上平均提升18.1%。
2025-05-24 cs.AI cs.CV
Overcoming Missing and Incomplete Modalities with Generative Adversarial Networks for Building Footprint Segmentation
TU Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
整合不同模态、空间分辨率和光谱波段获得的信息已证明可提高预测准确性。因此，数据融合是遥感领域的关键挑战之一。大多数先前的工作集中在多模态融合，假设模态总是在推理过程中可用。这一假设限制了多模态模型的应用，因为在实践中，数据汇集过程很可能产生模态缺失、不完整或损坏的数据。在本文中，我们证明了生成对抗网络可以有效地用于克服模态缺失或不完整时出现的问题。专注于语义分割的建筑足迹与丢失的模态，我们的方法实现了约2%的改进的交集超过联盟（IoU）对同一个网络，只依赖于可用的模态。
2018-08-09 cs.CV
Query-Conditioned Three-Player Adversarial Network for Video Summarization
UiT The Arctic University of Norway（挪威特罗姆瑟大学（北极大学））；Carnegie Mellon University（卡内基梅隆大学）
视频摘要通过选择关键帧/镜头在视频理解中起着重要的作用。传统上，它的目标是在视频中找到最具代表性和多样性的内容作为简短的摘要。最近，一个更广义的任务，查询条件下的视频摘要，已被引入，它考虑到用户查询学习更多的面向用户的摘要。在本文中，我们提出了一个查询条件下的三人生成对抗网络来应对这一挑战。该生成器学习用户查询和视频内容的联合表示，并将三对查询条件摘要作为输入，以区分真实摘要与生成的摘要和随机摘要。引入三人损失用于生成器和训练器的联合训练，这迫使生成器学习更好的摘要结果，并且避免随机平凡摘要的生成。最近提出的查询条件下的视频摘要基准数据集上的实验表明，我们所提出的方法的效率和效果。
2018-07-17 cs.CV
Look, Imagine and Match: Improving Textual-Visual Cross-Modal Retrieval with Generative Models
Nanyang Technological University（南洋理工大学）；Rice University（莱斯大学）；Alibaba AI Labs（阿里巴巴人工智能实验室）
文本-视觉跨模态检索一直是计算机视觉和自然语言处理领域的研究热点。学习多模态数据的适当表示对于跨模态检索性能至关重要。与现有的图像-文本检索方法，嵌入图像-文本对作为单一的特征向量在一个共同的表示空间，我们建议将生成过程的跨模态特征嵌入，通过它，我们不仅能够学习的全球抽象功能，但也本地接地功能。实验结果表明，该框架能够很好地匹配内容复杂的图像和句子，并在MSCOCO数据集上取得了较好的跨模态检索效果。
2018-06-13 cs.CV
SCH-GAN: Semi-supervised Cross-modal Hashing by Generative Adversarial Network
Peking University（北京大学）
跨模态哈希算法将异构的多媒体数据映射到一个共同的汉明空间中，实现跨模态的快速、灵活的检索。有监督的跨模态散列方法通过引入语义边信息已经取得了相当大的进展。然而，它们主要有两个局限性：（1）严重依赖于大规模标记的跨模态训练数据，这是劳动密集型和难以获得。(2)忽略跨不同模态的大量未标记数据中包含的丰富信息，特别是容易被错误检索的边缘示例，这有助于对相关性进行建模。为了解决这些问题，在本文中，我们提出了一种新的半监督跨模态哈希方法的生成对抗网络（SCH-GAN）。我们的目标是利用GAN对数据分布建模的能力，以对抗的方式促进跨模态哈希学习。本文的主要贡献可以概括如下：（1）提出了一种新的跨模态哈希生成对抗网络。在我们提出的SCH-GAN中，生成模型试图在给出另一种模态的查询时从未标记数据中选择一种模态的边缘示例。而判别模型则试图区分查询中所选的实例和真正的正例。这两个模型之间存在极大极小博弈，从而使得生成模型能够提高判别模型的哈希性能。(2)我们提出了一种基于强化学习的算法来驱动拟议的SCH-GAN的训练。生成模型将判别模型预测的相关性得分作为奖励，通过最大化正负数据之间的差值，尝试选择接近差值的样本来促进判别模型。在3个广泛使用的数据集上的实验验证了该方法的有效性。
2018-02-07 cs.CV
Video Summarization Techniques: A Comprehensive Review
Egypt-Japan University of Science and Technology（埃及-日本科学技术大学）；Alexandria University（亚历山大大学）
本文是一篇视频摘要技术综述，梳理了抽取式、生成式及混合式三类视频摘要方法的技术细节，介绍了相关应用、挑战与基准数据集，为该领域研究的现状和未来方向提供了全面参考。
2024-10-06 cs.CV
Generative-based Fusion Mechanism for Multi-Modal Tracking
Jiangnan University（江南大学）；University of Surrey（萨里大学）
本文提出一种基于条件生成对抗网络和扩散模型的生成式融合机制，通过向多模态特征注入随机噪声构造更难样本以增强判别性，在多模态跟踪基准上取得最先进性能。
2023-11-30 cs.CV
A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion
ShanghaiTech University（上海科技大学）；Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能科技有限公司）；Northwestern Polytechnical University（西北工业大学）
多模态医学图像补全技术已被广泛应用于缓解大量多模态诊断任务中的模态缺失问题。然而，对于大多数现有的综合方法，他们的推理丢失的模态可以崩溃成一个确定性的映射，从可用的，忽略了固有的跨模态关系的不确定性。在这里，我们提出了统一的多模态条件评分生成模型（UMM-CSGM），以利用评分生成模型（SGM）的建模和随机采样的目标概率分布，并进一步扩展SGM跨模态条件合成在一个统一的框架中的各种丢失的模态配置。具体来说，UMM-CSGM采用了一种新的多输入多输出条件得分网络（mm-CSN），通过条件扩散和逆生成在完整的模态空间中学习一组全面的跨模态条件分布。通过这种方式，生成过程可以由所有可用信息准确地调节，并且可以在单个网络中拟合缺失模态的所有可能配置。在BrTS 19数据集上的实验表明，UMM-CSGM可以更可靠地合成肿瘤诱导病变中的不均匀增强和不规则区域，用于任何缺失的模态。
2022-07-07 cs.CV eess.IV
Multi-Modality Generative Adversarial Networks with Tumor Consistency Loss for Brain MR Image Synthesis
Tsinghua University（清华大学）；Tencent Youtu Lab（腾讯优图实验室）
不同模态的磁共振（MR）图像可以为临床诊断提供补充信息，但是获取整个模态通常是昂贵的。大多数现有的方法只专注于合成两个模态之间的丢失图像，这限制了它们的鲁棒性和效率时，多模态丢失。为了解决这个问题，我们提出了一种多模态生成对抗网络（MGAN），可以同时从一种MR模态T2合成三种高质量的MR模态（FLAIR，T1和T1 ce）。实验结果表明，我们提出的方法合成的图像质量优于基线模型，pix 2 pix合成的图像。此外，对于MR脑图像合成，重要的是要保持关键的肿瘤信息在生成的模态，所以我们进一步引入了多模态肿瘤一致性损失的MGAN，称为TC-MGAN。我们使用TC-MGAN合成的模态来提高肿瘤分割的准确性，结果证明了它的有效性。
2020-05-02 cs.CV eess.IV
Write and Paint: Generative Vision-Language Models are Unified Modal Learners
The Hong Kong University of Science and Technology（香港科技大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
视觉语言预训练的最新进展推动了各种视觉语言任务的最新发展，使机器更有能力进行多模态写作（图像到文本生成）和绘画（文本到图像生成）。然而，很少有研究调查，如果这两个基本能力可以一起学习，并相互促进，使一个通用的和强大的多模态基础模型。在这项工作中，我们揭示了对称生成视觉语言预训练在学习同时写作和绘画方面的潜力，并提出了一种新的统一模态模型，名为DaVinci，使用前缀语言建模和前缀图像建模进行训练，这是一种简单的生成自监督目标。得益于提出的前缀多模态建模框架，DaVinci易于训练，可扩展到巨大的数据，适用于写作和绘画任务，并且在其他视觉，文本和多模态理解任务上也很强大。DaVinci在广泛的27个生成/理解任务上取得了有竞争力的表现，并展示了结合视觉/语言生成预训练的优势。此外，我们仔细地对不同视觉语言预训练目标在不同规模的预训练数据集上的性能进行了基准测试，这些数据集覆盖了异构和广泛的分布范围。我们的研究结果证明了在语言和视觉输入中利用自我监督的潜力，并为未来在不同数据尺度上的比较建立了新的、更强大的基线。代码和预训练模型可在https://github.com/shizhediao/DaVinci上获得。
2023-02-17 cs.CL cs.CV cs.LG
