Adaptive Keyframe Sampling for Long Video Understanding
University of Chinese Academy of Sciences(中国科学院大学);University at Buffalo, SUNY(纽约州立大学布法罗分校)
提出自适应关键帧采样(AKS)算法,通过即插即用的关键帧选择模块,在固定视频标记数下最大化信息量,提升长视频理解基准上的问答准确率。
2025-02-28 cs.AI cs.CV cs.LG
Agentic Keyframe Search for Video Question Answering
Tsinghua University(清华大学)
针对视频问答中视频全面理解需求高、计算成本大的问题,提出结合语言智能体与经典搜索的AKeyS算法,通过树状结构搜索关键帧,在EgoSchema、NExT-QA数据集上效率与精度均超现有方法。
2025-03-20 cs.CV
Online Learnable Keyframe Extraction in Videos and its Application with Semantic Word Vector in Action Recognition
University of Alberta(阿尔伯塔大学)
视频处理由于其在视频摘要、动作识别等方面的各种应用,已经成为计算机视觉中的热门研究方向。最近,基于深度学习的方法在动作识别方面取得了令人瞩目的成果。然而,这些方法需要处理完整的视频序列来识别动作,即使这些帧中的大多数是相似的并且对于识别特定动作是不必要的。此外,这些不必要的帧增加了计算成本,并可能混淆动作识别中的方法。相反,被称为关键帧的重要帧不仅有助于动作的识别,而且还可以减少用于分类或其他应用(例如摘要)的每个视频序列的处理时间。同样,视频处理中的当前方法尚未以在线方式展示。基于上述原因,我们提出了一个在线学习的关键帧提取模块。该模块可用于选择视频中的关键镜头,从而可应用于视频摘要。提取的关键帧可用作任何基于深度学习的分类模型的输入以识别动作。我们还提出了一个插件模块,使用语义词向量作为输入,以及关键帧和一种新的训练/测试策略的分类模型。据我们所知,这是第一次提出这样的在线模块和训练/测试策略。在视频摘要和动作识别中的许多常用数据集上的实验结果表明,使用所提出的模块取得了令人印象深刻的结果。
2020-09-25 cs.CV
From Captions to Keyframes: KeyScore for Multimodal Frame Scoring and Video-Language Understanding
Amazon Prime Video(亚马逊Prime视频)
提出 KeyScore 与 STACFP 方法,结合语义相似性、时间代表性和上下文丢弃影响进行帧评分,实现高达 99% 帧缩减,并在多个视频-语言基准上提升检索与识别性能。
2025-10-10 cs.CV
Coverage-Driven Adaptive Keyframe Selection for Video Understanding
本文针对视频理解中LVLM处理大量帧计算开销大的问题,提出无需训练的CSES关键帧选择器,通过覆盖驱动的自适应策略减少需评分和选择的帧数量,同时保持准确率并提升选择速度。
2026-08-04 cs.AI cs.CV
VSI: Visual Subtitle Integration for Keyframe Selection to enhance Long Video Understanding
AI Thrust, HKUST(GZ)(香港科技大学(广州));Shandong University(山东大学)
VSI通过融合视觉与文本信息提升长视频关键帧检索精度,实现在文本相关任务中的突破性表现。
2026-04-10 cs.AI cs.CV
KFFocus: Highlighting Keyframes for Enhanced Video Understanding
School of Data Science, Fudan University(复旦大学数据科学学院)
针对视频LLM压缩策略易遗漏关键帧的问题,提出KFFocus方法,通过基于时间冗余识别关键帧并动态分配压缩率,结合时空建模模块,有效减少token冗余并在长视频理解基准上显著提升效率与准确率。
2025-08-12 cs.CV
FOCUS: Efficient Keyframe Selection for Long Video Understanding
National University of Singapore(新加坡国立大学);TikTok
FOCUS通过两阶段探索-利用策略,在严格标记预算下高效选择关键帧,提升长视频理解的准确性。
2025-11-24 cs.AI cs.CV cs.LG
Query-Conditioned Evidential Keyframe Sampling for MLLM-Based Long-Form Video Understanding
Duke University(杜克大学);Independent Researcher(独立研究员)
本文提出基于信息瓶颈理论的证据驱动关键帧采样框架,通过最大化选帧与查询的条件互信息,提升长视频理解性能,实验表明在严格token预算下优于现有方法。
2026-11-04 cs.AI cs.CV cs.LG
ReaSon: Reinforced Causal Search with Information Bottleneck for Video Understanding
针对视觉语言模型视频理解中的关键帧选择问题,本文提出ReaSon框架,结合因果信息瓶颈与强化学习筛选兼具预测充分性和因果必要性的关键帧,在多个基准上取得更优性能。
2025-11-16 cs.CV
QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(厦门大学多媒体可信感知与高效计算教育部重点实验室);School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);Peng Cheng Laboratory(鹏城实验室)
提出QCA框架,通过联合建模查询相关性和内容偏差动态分配关键帧预算,无需额外训练即可集成到Video-LLMs,在长视频理解基准上取得最优性能。
2026-07-02 cs.CV
DreamFrame: Enhancing Video Understanding via Automatically Generated QA and Style-Consistent Keyframes
Fudan University(复旦大学);Westlake University, Tencent PCG(西湖大学、腾讯PCG)
为解决视频理解LVLMs下游适配的标注难题,提出三阶段框架DreamFrame,通过LLM生成情节、QA对及风格一致的关键帧构建数据集,微调的DreamFrame-7B模型在多项基准上显著超越同规模模型。
2025-08-11 cs.CV
FORTE: Adaptive Scoring and Exact Keyframe Selection for Long-Video Question Answering
Iowa State University(爱荷华州立大学)
FORTE提出一种无需训练的自适应评分与精确关键帧选择框架,通过高斯过程预测和全局优化,在有限预算下高效提升长视频问答的准确率。
2026-10-02 cs.CV
CueKFS: Agentic Cue-Driven Keyframe Selection for Long Video Understanding
CueKFS提出无需训练的关键帧选择方法,通过动态生成视觉提示并智能体式修订,实现长视频问答的最优性能,增益最高达4.54%。
2026-09-29 cs.AI cs.CL cs.CV
Logic-in-Frames: Dynamic Keyframe Search via Visual Semantic-Logical Verification for Long Video Understanding
AI Thrust, HKUST(GZ)(人工智能 thrust,香港科技大学(广州))
针对长视频理解中现有方法忽略文本查询与视觉元素逻辑关系、计算受限下帧采样难的问题,提出基于视觉语义-逻辑搜索的语义驱动关键帧选择框架,定义四类逻辑依赖动态更新采样分布,在关键帧选择和下游视频问答任务上取得最优性能。
2025-05-17 cs.AI cs.CL cs.CV
Evaluation of MLLM-Agnostic Plug-and-Play Keyframe Selection Methods for Long Video Understanding
University of Miami(迈阿密大学)
本文评估了五种无需训练的即插即用关键帧选择方法,在三个MLLM和三个长视频理解基准上,发现QAaF性能最佳,FOCUS次之。
2026-09-15 cs.AI cs.CV
AdaRD-key: Adaptive Relevance-Diversity Keyframe Sampling for Long-form Video understanding
The University of Western Australia(西澳大学);Dalian University of Technology(大连理工大学);Khalifa University(卡利夫大学);Zhejiang Lab(浙江实验室)
针对长视频理解中现有采样方法易漏关键信息、忽略查询相关性等问题,提出免训练的AdaRD-Key关键帧采样模块,通过统一RD-MV目标和相关性感知门控机制平衡相关性与多样性,在长视频基准上实现SOTA性能,且兼容现有VLM。
2025-10-03 cs.CV
Less Is More, but Where? Dynamic Token Compression via LLM-Guided Keyframe Prior
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Shenzhen Loop Area Institute(深圳河套学院);University of Chinese Academy of Sciences(中国科学院大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出DyToK方法,通过LLM引导的关键帧先验实现动态令牌压缩,提升视频处理效率和准确性。
2025-12-07 cs.AI cs.CL cs.CV
Progressive Video Condensation with MLLM Agent for Long-form Video Understanding
Zhejiang Key Laboratory of Space Information Sensing and Transmission, Hangzhou Dianzi University(浙江省空间信息感知与传输重点实验室,杭州电子科技大学)
本文提出ProVCA,通过逐步缩小范围从粗略片段到精细帧,利用MLLM进行高效视频理解,实现高准确率。
2026-04-03 cs.CV
ReTaKe: Reducing Temporal and Knowledge Redundancy for Long Video Understanding
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Huawei Technologies Co., Ltd.(华为技术有限公司);Shandong University(山东大学)
针对现有VideoLLMs长视频处理能力不足的问题,提出无需训练的ReTaKe方法,通过DPSelect选关键帧、PivotKV压缩非关键帧KV缓存的双模块设计,同时消减时间与知识冗余,大幅提升长视频处理长度与性能,且延迟开销较低。
2025-03-24 cs.CL cs.CV cs.MM
Self-Chained Image-Language Model for Video Localization and Question Answering
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出SeViLA框架,利用单一BLIP-2模型通过前向链和反向链实现视频关键帧定位与问答的协同优化,在多个视频问答基准上取得最先进结果。
2023-11-29 cs.AI cs.CL cs.CV
FocusGraph: Graph-Structured Frame Selection for Embodied Long Video Question Answering
AXXX;MIRAI;Yandex;FusionBrain Lab(FusionBrain实验室)
FocusGraph通过图结构帧选择和轻量级模型实现高效长视频问答,提升性能并减少推理时间。
2026-10-02 cs.CV
Realizing Video Summarization from the Path of Language-based Semantic Understanding
National Yang Ming Chiao Tung University(国立阳明交通大学)
本研究受MoE范式启发,提出无需微调的推理时多VideoLLM整合视频摘要框架,融合音视频内容生成语义更丰富的摘要,提升下游任务性能与方法适应性。
2024-10-06 cs.CL cs.CV
CoPE-VideoLM: Leveraging Codec Primitives For Efficient Video Language Modeling
Microsoft Spatial AI Lab(微软空间人工智能实验室);Stanford University(斯坦福大学);ETH Zurich(苏黎世联邦理工学院)
本文提出CoPE-VideoLM,通过利用视频编解码器原语(如运动矢量和残差)减少计算开销,提升视频语言模型的效率和性能。
2026-03-30 cs.AI cs.CL cs.CV
Gaussian Mixture Modeling for Event-Aware Visual Allocation in Long Video Understanding
Beijing Key Laboratory of Super Intelligent Security of Multi-Modal Information, CASIA(中国科学院自动化所多模态信息超智能安全北京市重点实验室);State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA(中国科学院自动化所多模态人工智能系统国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Hello Group(未知(保留英文));School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院)
针对长视频理解中视觉分配问题,提出GMM-EVA方法,利用高斯混合模型建模事件级结构,采用差异化分配策略,在多个长视频基准实验中显著优于均匀采样,以约一半视觉令牌预算达可比性能,凸显高效性。
2026-07-15 cs.CV
Weakly Supervised Gaussian Contrastive Grounding with Large Multimodal Models for Video Question Answering
Fudan University(复旦大学)
针对视频问答中均匀采样忽略问题相关线索且缺乏关键时间戳标注的问题,提出弱监督高斯对比定位框架,利用CLIP生成伪标签并学习高斯函数采样关键帧作为LMMs输入,显著提升问答性能。
2024-07-23 cs.AI cs.CL cs.CV
EventSTU: Event-Guided Efficient Spatio-Temporal Understanding for Video Large Language Models
University of Science and Technology of China(中国科学技术大学)
EventSTU通过事件引导的方法,高效处理视频大语言模型的空间-时间理解,实现显著的计算效率提升和性能优化。
2025-11-24 cs.CV
Self-supervised Video Representation Learning by Context and Motion Decoupling
Alibaba Group(阿里巴巴集团)
自监督视频表示学习的一个关键挑战是如何有效地捕获除上下文偏差之外的运动信息。虽然大多数现有的作品隐含地通过视频特定的借口任务(例如,预测剪辑顺序、时间箭头和速度),我们开发了一种方法,该方法通过精心设计的借口任务明确地将运动监督从上下文偏差中分离出来。具体来说,我们将压缩视频中的关键帧和运动矢量(例如,H.264格式)分别作为上下文和运动的监督源,可以在CPU上以超过500 fps的速度有效地提取。然后,我们设计了两个借口的任务,联合优化:一个上下文匹配任务,成对的对比损失之间的视频剪辑和关键帧功能铸造;和一个运动预测任务,剪辑功能,通过编码器-解码器网络,用于估计运动功能在不久的将来。这两个任务使用共享的视频主干和单独的MLP头。实验表明,我们的方法提高了学习的视频表示的质量比以前的作品,其中我们获得了16.0%和11.1%的视频检索召回UCF 101和HMDB 51,分别绝对增益。此外,我们发现运动预测是视频网络的强正则化,其中使用它作为辅助任务提高了动作识别的准确性,幅度为7.4%~ 13.8%。
2021-04-02 cs.AI cs.CV
A Challenging Multimodal Video Summary: Simultaneously Extracting and Generating Keyframe-Caption Pairs from Video
Tohoku University(东北大学);LY Corporation(LY公司)
本文提出多模态视频摘要任务,要求同时提取关键帧并生成对应字幕,并构建数据集、评估框架及两个基线系统。
2023-12-04 cs.CL cs.CV
Deep Image-to-Video Adaptation and Fusion Networks for Action Recognition
Sun Yat-Sen University(中山大学);Xidian University(西安电子科技大学);Northwestern Polytechnical University(西北工业大学)
现有的用于视频中动作识别的深度学习方法需要大量标记的视频进行训练,这是劳动密集型和耗时的。对于同一个动作,从不同媒体类型学习的知识,例如,视频和图像可以是相关的和互补的。然而,由于视频和图像之间的域转移和异构特征表示,在图像上训练的分类器的性能可能会显着下降时,直接部署到视频。在本文中,我们提出了一种名为深度图像到视频自适应和融合网络(DIVAFN)的新方法,通过使用视频关键帧作为桥梁从图像中传输知识来增强视频中的动作识别。DIVAFN是一个统一的深度学习模型,它将领域不变表示学习和跨模态特征融合集成到一个统一的优化框架中。具体来说,我们设计了一个有效的跨模态相似性度量,以减少图像,关键帧和视频之间的模态转移。然后,我们采用自动编码器架构,其隐藏层被约束为动作类名的语义表示。通过这种方式,当采用自编码器将来自不同域的学习特征投影到同一空间时,可以获得更紧凑、信息量更大且具有区分性的表示。最后,从这三个自编码器的学习语义特征表示的级联用于训练分类器,用于视频中的动作识别。在四个真实世界数据集上的综合实验表明,我们的方法优于一些最先进的领域自适应和动作识别方法。
2019-11-25 cs.CV
TSPO: Temporal Sampling Policy Optimization for Long-form Video Language Understanding
针对MLLMs处理长视频时的上下文限制和训练成本问题,提出TSPO方法,通过事件感知时间智能体、强化学习范式及双风格训练数据管道优化稀疏帧采样,提升长视频语言理解性能并具迁移性。
2025-11-13 cs.CV
VideoCompressa: Data-Efficient Video Understanding via Joint Temporal Compression and Spatial Reconstruction
EPIC Lab, SJTU(上海交通大学EPIC实验室);KTH(瑞典皇家理工学院);Shanghai AI Laboratory(上海人工智能实验室);HKUST(香港科技大学)
VideoCompressa通过联合时间压缩和空间重建,实现视频数据高效合成,显著提升数据效率和模型性能。
2025-11-24 cs.CV
ChronoForge-RL: Chronological Forging through Reinforcement Learning for Enhanced Video Understanding
本文提出ChronoForge-RL框架,通过时序顶点蒸馏与关键帧感知的分组相对策略优化实现高效关键帧选择与时序推理,在VideoMME和LVBench上显著超越基线,使7B模型达到72B模型的性能。
2025-09-19 cs.AI cs.CV
KeyFrame-Compass: Towards Comprehensive Evaluation of Keyframe-Conditioned Video Generation
研究关键帧条件视频生成,提出关键帧指南针综合基准及自动评估框架,将关键帧执行分解为六个指标评估,通过实验揭示当前模型在关键帧执行与自然视频合成间存在权衡等局限性。
2026-07-17 cs.CV
Deep Flow Collaborative Network for Online Visual Tracking
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
基于深度学习的视觉跟踪算法(诸如MDNet)利用深度神经网络的特征提取能力来实现高性能。然而,这些跟踪器的跟踪效率不是很高,由于缓慢的特征提取为每帧的视频。在本文中,我们提出了一个有效的跟踪算法,以减轻耗时的问题。具体来说,我们设计了一个深流协作网络,它只在稀疏的关键帧上执行昂贵的特征网络,并通过光流将特征映射传输到其他帧。此外,我们提出了一个有效的自适应关键帧调度机制,以选择最合适的关键帧。我们在大规模数据集上评估了所提出的方法:OTB2013和OTB2015。实验结果表明,该算法具有较高的加速比和精度。
2019-11-05 cs.CV cs.LG
FORGE: Frame Orthogonality in Relevance Geometry for Long-Form Video Understanding
Georgia Institute of Technology(佐治亚理工学院);Center for Signal and Information Processing (CSIP)(信号与信息处理中心 (CSIP));School of Electrical and Computer Engineering(电气与计算机工程学院)
研究长视频理解中推理时最大化查询相关信息问题,提出FORGE模型无关方法,通过在预训练嵌入空间引入查询条件几何统一相关性和多样性,实验证明该方法在关键帧选择和问答上有显著提升。
2026-08-03 cs.CV cs.LG
Reasoning with Memory: A Temporal Granularity-Adaptive Framework for Training-Free Long Video Understanding
National University of Singapore(新加坡国立大学);Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)(高性能计算研究所,科学、技术与研究机构(A*STAR));Nanyang Technological University(南洋理工大学);University of Science and Technology of China(中国科学技术大学);Jilin University(吉林大学)
研究针对多模态大语言模型长视频理解受限问题,提出ReMem框架,通过双级记忆增强自适应,在查询和视频级别分别处理,能适应不同时间粒度,经实验验证在多个基准测试中实现高效零样本性能,提升模型长视频推理能力。
2026-07-29 cs.AI cs.CV
Recursive Video In-Context Learning for Agentic Robot
University of Central Florida(中佛罗里达大学);University of Southern California(南加州大学)
提出RV-ICL,一种无需训练的递归视频上下文学习方法,将演示视频组织为层级结构供智能体按需访问,在LIBERO基准上将成功率提升至96.5%和95.8%。
2026-10-06 cs.AI cs.CL cs.MA
Video Colorization using CNNs and Keyframes extraction: An application in saving bandwidth
在本文中,我们解决的问题,彩色灰度视频,以减少带宽的使用。对于这个任务,我们使用一些彩色关键帧作为灰度视频彩色版本的参考图像。我们提出了一个模型,从彩色视频中提取关键帧,并在这些彩色帧上从头开始训练卷积神经网络。通过提取的关键帧,我们可以很好地了解视频中使用的颜色,这有助于我们有效地对视频的灰度版本进行着色。我们在本文中提出的技术的一个应用是在发送未经过任何压缩的原始彩色视频时节省带宽。一个原始的彩色视频占用的内存大约是其灰度版本的三倍。我们可以利用这一事实,发送一个灰度视频和训练好的模型,而不是一个彩色视频。稍后,在本文中,我们将展示这种技术如何有助于在传输原始彩色视频时节省高达三倍的带宽使用。
2018-12-18 cs.CV
SparkVSR: Interactive Video Super-Resolution via Sparse Keyframe Propagation
Texas A\&M University(德克萨斯A&M大学);YouTube, Google(YouTube和谷歌)
SparkVSR提出一种交互式视频超分辨率框架,通过稀疏关键帧作为控制信号,提升时间一致性和恢复质量,实验显示在多个基准上优于基线方法。
2026-03-17 cs.AI cs.CV
Large Model based Sequential Keyframe Extraction for Video Summarization
China University of Geosciences(中国地质大学);Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Beihang University(北京航空航天大学)
本文提出LMSKE方法,通过TransNetV21和CLIP2大模型结合自适应聚类与冗余消除,实现高效视频关键帧提取,在基准数据集上表现优于多种SOTA方法。
2024-01-10 cs.CV
Fetal Brain Imaging: A Composite Neural Network Approach for Keyframe Detection in Ultrasound Videos
Warsaw University of Technology(华沙技术大学)
本文提出了一种复合神经网络方法,结合CNN和RNN用于超声视频中的关键帧检测,以提高胎儿脑部超声分析的效率和准确性。
2026-05-10 cs.CV
AdaFlow: Efficient Long Video Editing via Adaptive Attention Slimming And Keyframe Selection
Xiamen University(厦门大学);Peng Cheng Laboratory(鹏城实验室)
针对文本驱动长视频编辑的内存开销问题,提出无需训练的AdaFlow方法,通过自适应注意力瘦身压缩KV序列、自适应关键帧选择提升质量,实现单GPU超1k帧编辑,长度达对比方法十倍,并构建LongV-EVAL基准。
2025-02-08 cs.CV
KeyID: Decoupled Drafting and Keyframe Editing for Identity-Preserving Video Generation
Guangdong University of Technology(广东工业大学)
KeyID是无需训练的IPVG框架,通过解耦视频动态合成与身份注入,解决身份一致性问题,在ACM MM 2026 IPVG挑战赛获亚军,可扩展至多主体参考及复杂序列动作生成。
2026-08-18 cs.CV cs.GR cs.MM
KeyVID: Keyframe-Aware Video Diffusion for Audio-Synchronized Visual Animation
提出关键帧感知的音频到视觉动画框架KeyVID,通过从音频定位关键帧并生成,再用运动插值器补全中间帧,显著提升高动态场景下的音视频同步与视频质量。
2025-10-15 cs.CV
On the Evaluation of Video Keyframe Summaries using User Ground Truth
Bangor University(班戈大学);Middlesex University(密德萨斯大学)
考虑到人们对从视频中创建关键帧摘要的极大兴趣,令人惊讶的是,很少有人对它们的评估和比较进行正式化。用户研究经常进行,以证明所提出的方法比一个或两个竞争对手的方法产生更有吸引力的摘要。但是,更大规模的比较研究不可能使用这种用户调查。在这里,我们提出了一个歧视能力的措施,作为一个正式的方式来量化统一的基线上的改进,假设一个或多个真值摘要。使用VSUMM视频集合,我们研究了10种视频特征类型,包括CNN和SURF,以及6种用于匹配来自两个摘要的帧的方法。我们的研究结果表明,一个简单的帧表示,通过色调直方图足以比较关键帧摘要的目的。随后,我们提出了一个正式的协议比较摘要时,真值。
2017-12-19 cs.CV
SmartDirector: Keyframe-Conditioned Cinematic Video Generation with Narrative Pacing Control
Youku Moku-Lab(优酷莫酷实验室)
提出SmartDirector框架,通过多关键帧条件控制视频生成中的叙事结构和时间节奏,采用两阶段方法(Director-Gen生成低分辨率视频,Director-SR利用高分辨率关键帧细化细节),显著优于现有方法。
2026-05-27 cs.AI cs.CV
Bridging VideoQA and Video-Guided Agentic Tasks via Generalized Keyframe Extraction
提出VG-GUIBench基准和TASKER关键帧提取算法,联合考虑任务相关性和场景动态,在VideoQA和视频引导的GUI任务上提升性能。
2026-06-28 cs.AI cs.CV
Bidirectional Learned Facial Animation Codec for Low Bitrate Talking Head Videos
Hosei University(法政大学)
针对单向面部动画编码依赖单关键帧、难以处理大幅头部运动的问题,提出结合过去与未来关键帧的双向学习型编解码器,在说话人头部视频上较最新方法和VVC分别降低55%与35%比特率。
2025-03-12 cs.CV eess.IV
Threading Keyframe with Narratives: MLLMs as Strong Long Video Comprehenders
Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系);Baidu Inc.(百度公司);University of Sydney(悉尼大学)
提出即插即用模块Nar-KFC,通过整数二次规划优化关键帧选择并辅以文本叙事缓解时间不连续,高效提升了MLLMs的长视频理解性能。
2025-05-30 cs.CV
MMSummary: Multimodal Summary Generation for Fetal Ultrasound Video
University of Oxford(牛津大学)
该研究提出首个面向胎儿超声视频的多模态摘要生成系统MMSummary,通过三阶段流水线生成检查摘要,可缩短约31.5%的扫描时间,有望提升临床工作流效率。
2024-10-30 cs.CV
DrawVideo: Grounded and Faithful Multi-Shot Video Generation from Storyboard Keyframe Sketches
The University of Sydney(悉尼大学);Charles Sturt University(查尔斯·斯特劳特大学)
提出 DrawVideo 框架,通过草图引导的故事板分解长视频为可控镜头,结合分层生成策略实现结构可控、外观一致的长视频生成。
2026-10-06 cs.AI cs.CV cs.GR
Image Conditioned Keyframe-Based Video Summarization Using Object Detection
GLA University(GLA大学)
视频摘要在选择理解视频的关键帧方面起着重要的作用。传统上,它的目标是找到视频中最具代表性和多样性的内容(或帧)进行简短的摘要。最近,查询条件视频摘要已被引入,它考虑用户查询,以了解更多的面向用户的摘要及其偏好。然而,在文本查询中存在用户主观性和发现用户查询和输入帧之间的相似性的障碍。在这项工作中,(i)图像作为用户偏好的查询(ii)提出了一个数学模型,以最小化冗余的基础上的损失函数和摘要方差和(iii)之间的查询图像和输入视频的相似性得分,以获得总结的视频。此外,基于对象的查询图像(OQI)数据集已被引入,其中包含的查询图像。所提出的方法已经使用UT自我中心(UTE)数据集进行了验证。该模型成功地解决了在不同光照条件下,用户偏好,重要帧识别和关键帧选择等问题。该方法对UTE数据集的平均F1得分为57.06%,比现有的最新方法高出11.01%。在最近提出的UTE数据集上的实验表明了该方法的有效性
2020-09-11 cs.CV
KTV: Keyframes and Key Tokens Selection for Efficient Training-Free Video LLMs
KTV通过两阶段框架高效选择关键帧和令牌,提升无训练视频理解的性能和效率。
2026-02-03 cs.CV