FOCUS: Efficient Keyframe Selection for Long Video Understanding
National University of Singapore(新加坡国立大学);TikTok
FOCUS通过两阶段探索-利用策略,在严格标记预算下高效选择关键帧,提升长视频理解的准确性。
2025-11-24 cs.AI cs.CV cs.LG
AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding
Microsoft Spatial AI Lab(微软空间人工智能实验室);EPFL(瑞士联邦理工学院洛桑);ETH Zurich(苏黎世联邦理工学院)
AdaptToken通过利用模型自不确定性实现全局控制信号,提升多模态大语言模型对长视频的理解能力,通过熵信号分配令牌预算并支持提前停止,提升准确率并减少推理时间。
2026-03-30 cs.AI cs.CV
Foundation Models and Adaptive Feature Selection: A Synergistic Approach to Video Question Answering
Indian Institute of Technology Bombay(印度理工学院孟买分校);LNMIIT(拉克希米·尼瓦思技术与管理学院);Fractal AI Research(分形人工智能研究院);Univesity of Houston(休斯顿大学)
针对视频问答中问题与视频多模态信息整合不足的问题,提出LGQAVE框架,通过交叉注意力选帧、问题感知动态图Transformer及多粒度嵌入融合,结合miniGPT等模型,在多个基准上的多项选择与开放式问答任务性能显著优于现有方法。
2024-12-12 cs.AI cs.CV
VSI: Visual Subtitle Integration for Keyframe Selection to enhance Long Video Understanding
AI Thrust, HKUST(GZ)(香港科技大学(广州));Shandong University(山东大学)
VSI通过融合视觉与文本信息提升长视频关键帧检索精度,实现在文本相关任务中的突破性表现。
2026-04-10 cs.AI cs.CV
Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
本文提出DIG框架,根据查询类型调整帧选择策略,通过高效均匀采样处理全局查询,利用专用流程提取相关帧处理局部查询,提升长视频理解性能。
2026-03-24 cs.AI cs.CV cs.LG
HiMu: Hierarchical Multimodal Frame Selection for Long Video Question Answering
INSIGHT Lab, Ben-Gurion University of the Negev, Israel(本-古里安内盖夫大学INSIGHT实验室,以色列);Ben-Gurion University of the Negev, Israel(本-古里安内盖夫大学,以色列)
提出HiMu框架,通过文本LLM将查询分解为层次逻辑树,由视觉和音频专家处理原子谓词,经模糊逻辑算子组合生成连续帧满意度曲线,在16帧预算下达到帧选择方法的最优精度,并作为即插即用模块提升多种MLLM性能。
2026-10-27 cs.AI cs.CV
From Frames to Clips: Training-free Adaptive Key Clip Selection for Long-Form Video Understanding
Amazon(亚马逊公司);University of Central Florida(中央佛罗里达大学)
F2C通过自适应关键片段选择提升长视频理解,比均匀采样在多个基准上表现更优。
2025-12-18 cs.CV
Q-Frame: Query-aware Frame Selection and Multi-Resolution Adaptation for Video-LLMs
MiLM Plus, Xiaomi Inc.(小米公司)
本文提出 Q-Frame,一种基于 CLIP 和 Gumbel-Max 的免训练即插即用方法,通过查询感知的自适应帧选择与多分辨率缩放,使视频大语言模型在有限计算资源下处理更多关键帧,并在多个视频理解基准上取得优于现有方法的效果。
2025-07-22 cs.CV
Improving Video Question Answering through query-based frame selection
Indian Institute of Technology, Bombay(印度理工学院孟买分校);Indian Institute of Technology, Mandi(印度理工学院曼迪分校)
通过基于查询的帧选择方法提升视频问答的准确性,利用子模ularity互信息函数选择重要帧,实验表明在多动作视频任务中准确率提升达4%。
2026-01-12 cs.CV cs.LG
ReQuest: Rethinking-based Question-Aware Frame Selection for Long-Form Video QA
提出ReQuest,一种不确定性驱动的、问题自适应的关键帧选择方法,通过轻量级选择器、重新思考路由和不确定性引导的NMS,在固定token预算下提升长视频问答准确率。
2026-07-03 cs.CV
Learning Temporal Evidence Selection for Video Anomaly Understanding
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出语义条件时序采样Q-Former,将VAU时序采样定义为下游对齐的证据选择问题,在HIVAU-70K上取得最优性能,证明可学习时序采样及CLIP嵌入物体标签条件可提升VAU效果。
2026-10-14 cs.CV
A.I.R.: Enabling Adaptive, Iterative, and Reasoning-based Frame Selection For Video Question Answering
University of Central Florida(中佛罗里达大学);Weill Cornell Medicine(威尔康奈尔医学院)
本文提出A.I.R方法,通过深度语义分析和高效迭代循环提升视频问答的帧选择效果,实验表明其在性能和计算效率上均优于现有方法。
2026-03-27 cs.CV
CoRDS: Coreset-based Representative and Diverse Selection for Streaming Video Understanding
University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
本文提出CoRDS方法,通过核心集选择优化流视频理解中的缓存压缩,提升代表性与多样性,优于传统启发式方法。
2026-05-14 cs.CV
Event-Anchored Frame Selection for Effective Long-Video Understanding
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(教育部多媒体可信感知与高效计算重点实验室,厦门大学);College of Computer and Data Science, Fuzhou University(福州大学计算机与数据科学学院)
本文提出基于事件的帧选择方法,通过分层事件感知流程提升长视频理解的效率和效果。
2026-03-01 cs.CV
KeyVideoLLM: Towards Large-scale Video Keyframe Selection
Peking University(北京大学);The Open University of China(中国开放大学);Huawei Cloud BU(华为云业务部);Shanghai AI Laboratory(上海人工智能实验室);University of Chinese Academy of Sciences(中国科学院大学)
针对视频大语言模型数据管理的效率、鲁棒性和有效性挑战,提出基于文本-视频帧相似度的关键帧选择方法KeyVideoLLM,实现高压缩率与快处理速度,且提升视频问答任务性能并达SoTA。
2024-08-10 cs.CL cs.CV cs.MM
FlexSelect: Flexible Token Selection for Efficient Long Video Understanding
The College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);WeChat Vision, Tencent Inc(腾讯公司微信视觉团队)
FlexSelect 提出一种基于跨模态注意力排序与轻量级选择器的灵活令牌选择策略,可即插即用扩展 VideoLLM 时间上下文,在多个长视频基准上实现显著性能提升与最高 9 倍加速。
2025-06-01 cs.CV
Static or Dynamic: Towards Query-Adaptive Token Selection for Video Question Answering
Nanyang Technological University(南洋理工大学)
针对视频问答中长视频token过多且静态与动态信息重要性被忽视的问题,提出explore-then-select策略,通过探索关键帧与增量帧的token分配并利用查询感知注意力指标选择最优组合,在多个基准上实现高达5.8%的性能提升。
2025-09-15 cs.CV
Beyond Frame Selection: Rethinking Long-Video Understanding with MLLMs
National Institute of Informatics(信息学研究所)
针对 MLLMs 长视频理解的帧选择策略难以兼顾全局与局部信息的问题,提出 VideoRouter 模型,通过时间层次结构和验证引导路由器协调全局与局部推理,在 VideoMME 数据集上实现性能提升。
2026-09-29 cs.CV
FocusGraph: Graph-Structured Frame Selection for Embodied Long Video Question Answering
AXXX;MIRAI;Yandex;FusionBrain Lab(FusionBrain实验室)
FocusGraph通过图结构帧选择和轻量级模型实现高效长视频问答,提升性能并减少推理时间。
2026-10-02 cs.CV
GleanVID: Complementary Token Selection for Efficient Video Large Language Models
Beihang University(北京航空航天大学);Communication University of China(中国传媒大学)
提出无需训练的GleanVID框架,通过跨帧互补性令牌选择,在仅用25%视觉令牌时保留Qwen3-VL 98.6%性能并降低44.7%延迟,实现高效视频理解。
2026-09-30 cs.CV cs.LG
Video Annotation for Visual Tracking via Selection and Refinement
Dalian University of Technology(大连理工大学);CSA Intellicloud Ltd(CSA 智云有限公司);Remark Holdings(Remark Holdings公司)
基于深度学习的视觉跟踪器需要在大量视频数据集上进行离线预训练,这些视频数据集具有精确的限界框注释,而实现这些注释的劳动力成本很高。我们提出了一个新的框架,以促进限界框注释的视频序列,调查的选择和细化策略,自动提高跟踪算法产生的初步注释。提出了一种时间评估网络(T-Assess Net),该网络能够捕获目标位置的时间相关性,并通过测量其质量来选择可靠的跟踪结果。同时,视觉几何细化网络(VG-Refine Net)也被设计为进一步增强所选择的跟踪结果,通过考虑目标外观和时间几何约束,允许不准确的跟踪结果进行校正。上述两种网络的结合提供了一种原则性的方法来确保自动视频标注的质量。在大规模跟踪基准上的实验表明,我们的方法可以提供高度准确的限界框注释,并显着减少94.0%的人工劳动,产生一种有效的手段,以进一步提高跟踪性能与增强训练数据。
2021-08-09 cs.CV
One Skill Does Not Fit All: Automatic Discovery and Taxonomy-Guided Routing of Frame-Selection Skills for Long-Video Question Answering
Queen Mary University of London(伦敦玛丽女王大学);Samsung AI Research Institute(三星人工智能研究院);Nanyang Technological University, Singapore(新加坡南洋理工大学)
本文提出AutoSkill,一种自动发现和路由帧选择技能的框架,通过分类引导为不同问题分配最优技能,在长视频问答中分别提升Qwen2.5-VL-7B和Qwen3.5-4B性能2.4%和1.2%。
2026-09-14 cs.CV
MarKey: Marginal Utility Guided Greedy Keyframe Selection for Long Video Understanding
Hefei University of Technology(合肥工业大学)
针对长视频理解中关键帧选择冗余和证据覆盖不全的问题,提出免训练框架MarKey,通过子集感知的贪心优化联合考虑查询相关性、边际覆盖增益和冗余,在六个基准上持续优于现有方法。
2026-09-15 cs.CL cs.CV
One Ranking, Any Budget: Matryoshka Evidence-to-Context Frame Selection for Long-Video Understanding
本文提出MEC帧选择框架,将长视频帧选择建模为套娃式排序问题,构建单一可复用排序适配任意预算,提升了长视频理解的准确率并降低了选择延迟。
2026-10-01 cs.CV
K-frames: Scene-Driven Any-k Keyframe Selection for long video understanding
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所);Bytedance(字节跳动)
K-frames提出场景驱动的关键帧选择范式,通过预测语义连贯片段实现任意K帧选择,利用PeakClips数据集和三阶段课程学习,在长视频理解基准上验证了其有效性与即插即用性。
2025-10-14 cs.AI cs.LG
CueKFS: Agentic Cue-Driven Keyframe Selection for Long Video Understanding
CueKFS提出无需训练的关键帧选择方法,通过动态生成视觉提示并智能体式修订,实现长视频问答的最优性能,增益最高达4.54%。
2026-09-29 cs.AI cs.CL cs.CV
Adaptive Greedy Frame Selection for Long Video Understanding
Purdue University(普渡大学)
本文提出一种自适应贪心帧选择方法,在固定帧预算下联合优化查询相关性和语义代表性,通过构建1FPS候选池并嵌入两种互补空间,提升长视频问答的准确率。
2026-05-07 cs.AI cs.CL cs.CV
Reasoning with Memory: A Temporal Granularity-Adaptive Framework for Training-Free Long Video Understanding
National University of Singapore(新加坡国立大学);Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)(高性能计算研究所,科学、技术与研究机构(A*STAR));Nanyang Technological University(南洋理工大学);University of Science and Technology of China(中国科学技术大学);Jilin University(吉林大学)
研究针对多模态大语言模型长视频理解受限问题,提出ReMem框架,通过双级记忆增强自适应,在查询和视频级别分别处理,能适应不同时间粒度,经实验验证在多个基准测试中实现高效零样本性能,提升模型长视频推理能力。
2026-07-29 cs.AI cs.CV
Brain-Aligned Multi-Stream Video Transformers with Sparse Self-Selection
University of Tehran(德黑兰大学)
研究针对现代视频变换器忽视灵长类视觉原理及缺乏神经数据评估的问题,提出含稀疏胜者全得令牌选择模块的脑对齐多流视频变换器,经实验其在精度与推理时间上表现优且鲁棒性强,脑模型相关性高,优于基线。
2026-07-21 cs.CV cs.LG
Training-Free Action Recognition and Goal Inference with Dynamic Frame Selection
Centre for Frontier AI Research(前沿人工智能研究中心);Institute of High Performance Computing(高性能计算研究所)
本文提出免训练的开放词汇视频目标与动作推断框架VidTFS,结合冻结的VFM与LLM并引入动态帧选择模块,在四个数据集上显著优于直接堆叠模型的方法。
2024-08-28 cs.CV
Beyond Frame Selection: Generative Latent Evidence Aggregation for Long-Video Understanding
The Hong Kong University of Science and Technology(香港科技大学);Baidu Inc.(百度公司);Alibaba Group(阿里巴巴集团);Xidian University(西安电子科技大学)
该研究针对长视频理解的帧选择局限,提出GenEvA框架,通过查询条件化分布聚合跨帧潜在证据,在四个基准和两个视频多模态大语言模型主干上显著提升性能且开销极低。
2026-07-31 cs.CV
QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(厦门大学多媒体可信感知与高效计算教育部重点实验室);School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);Peng Cheng Laboratory(鹏城实验室)
提出QCA框架,通过联合建模查询相关性和内容偏差动态分配关键帧预算,无需额外训练即可集成到Video-LLMs,在长视频理解基准上取得最优性能。
2026-07-02 cs.CV
Action Selection Learning for Multi-label Multi-view Action Recognition
Nagoya University(名古屋大学);RIKEN(理化学研究所)
本文提出MultiASL方法,通过多视角时空Transformer和基于弱标签的动作选择学习,在帧级别筛选关键信息以增强多视角融合,并在MM-Office数据集上验证了其在多标签多视角动作识别中的优越性能。
2024-10-18 cs.CV
RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding
Huazhong University of Science and Technology(华中科技大学);National University of Singapore(新加坡国立大学);Fudan University(复旦大学)
针对长视频理解中视觉内容超出LVLM固定token预算的问题,提出RIDGE框架,通过将帧-查询相似性曲线作为时间信号划分区域并选择证据,在多基准和主干上取得最优性能。
2026-09-01 cs.CV
Search-Map-Search: A Frame Selection Paradigm for Action Recognition
University of Alberta(阿尔伯塔大学);Tencent(腾讯)
本文提出 Search-Map-Search 帧选择范式,通过分层搜索、特征映射与推理期搜索建模帧间交互,以低开销提升动作识别性能。
2023-04-20 cs.CV
Where to Focus: Query-Modulated Multimodal Keyframe Selection for Long Video Understanding
Department of CSE, HKUST(香港科技大学计算机科学与工程系)
本文提出Q-Gate框架,通过动态模态路由解决长视频理解中关键帧选择问题,有效抑制模态噪声,提升多模态大语言模型的推理能力。
2026-11-16 cs.CV cs.MM
Horizontal-to-Vertical Video Conversion
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Alibaba(阿里巴巴)
随着移动视频的普及,公众倾向于在手持设备上消费垂直视频。为了恢复水平内容的曝光,我们在此阐述了利用我们提出的H2 V框架对自动水平到垂直(简称为H2 V)视频转换的探索,并附有准确注释的H2 V-142 K数据集。具体来说,H2 V框架集成了视频镜头边界检测、主题选择和多目标跟踪等技术,实现了主题保持转换,其中主题选择是关键。为了实现这一目标,我们提出了一个排名SS模块,检测人体对象,然后选择主题,通过利用位置,外观和突出的线索,以保持。之后,框架自动裁剪主题周围的视频,以从水平源生成垂直内容。为了构建和评估我们的H2 V框架,H2 V-142 K数据集使用125个视频的主题边界框进行了密集注释,这些视频具有132 K帧和9,500个视频封面,与传统的显着方法相比,我们展示了优越的主题选择性能,并表现出整体上有希望的水平到垂直转换性能。通过公开这个数据集以及我们的方法,我们希望为水平到垂直视频转换任务上更有价值的努力铺平道路。
2021-06-23 cs.CV
Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
视频传达丰富的信息。人/物体之间的动态时空关系以及各种多模态事件存在于视频剪辑中。因此,重要的是开发能够从视频中准确提取这些信息的自动化模型。在视频上提问是可以评估这种AI能力的任务之一。在本文中,我们提出了一个视频问答模型,有效地集成多模态输入源,并找到时间相关的信息来回答问题。具体来说,我们首先使用密集的图像标题来帮助识别对象及其详细的显著区域和动作,从而为模型提供有用的额外信息(以显式文本格式,以便更容易匹配)来回答问题。此外,我们的模型还包括双级别的注意力(词/对象和帧级别),多头自我/交叉集成不同的来源(视频和密集的字幕),“与”门传递更多的相关信息到分类器。最后,我们还将帧选择问题转换为多标签分类任务,并引入两个损失函数,In-and Out Frame Score Margin(IOFSM)和Balanced Binary Cross-Entropy(BBCE),以更好地监督具有人类重要性注释的模型。我们在具有挑战性的TVQA数据集上评估了我们的模型,其中我们的每个模型组件都提供了显着的增益,并且我们的整体模型的性能大大优于最先进的模型(74.09%对70.52%)。我们还提出了几个字,对象和帧级可视化研究。我们的代码可在https://github.com/hyounghk/VideoQADenseCapFrameGate-ACL2020上公开获取
2020-05-13 cs.CL cs.CV cs.LG
CoFiE: Coarse-to-Fine Evidence Selection for Efficient Streaming Video Understanding
Harbin Institute of Technology(哈尔滨工业大学);State Key Laboratory of Smart Farm Technologies and Systems(智慧农场技术与系统国家重点实验室);Pengcheng Laboratory(鹏城实验室)
CoFiE 是一种由粗到细证据选择框架,通过解耦证据选择阶段减少流视频理解的延迟,在多个基准上实现最优准确率-效率权衡,性能优于现有模型
2026-10-02 cs.CV
PMI Sampler: Patch Similarity Guided Frame Selection for Aerial Action Recognition
University of Maryland - College Park(马里兰大学帕克分校)
提出PMI Sampler算法,利用补丁互信息分数和自适应帧选择策略,从空中视频中选取运动显著帧,可集成于任何动作识别模型,在多个数据集上提升top-1准确率2.2%-13.8%。
2023-11-15 cs.CV
Unraveling the Complexity of Splitting Sequential Data: Tackling Challenges in Video and Time Series Analysis
University of Kassel(卡塞尔大学);Helmholtz-Zentrum für Materialien und Energie, Berlin (HZB)(柏林亥姆霍兹材料与能源中心(HZB))
本概念文章探讨了视频和时间序列等序列数据分割在数据获取、表示、比例选择及策略制定等方面面临的挑战,并通过电机测试台与液体粒子跟踪两个真实案例进行分析。
2023-07-26 cs.AI cs.CV cs.LG
Wavelet-based Frame Selection by Detecting Semantic Boundary for Long Video Understanding
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(中国教育部多媒体可信感知与高效计算重点实验室,厦门大学);College of Computer and Data Science, Fuzhou University(福州大学计算机与数据科学学院)
本文提出WFS-SB方法,通过小波变换检测语义边界,提升长视频中大视觉语言模型的性能,实验显示在多个基准上均优于现有方法。
2026-03-17 cs.CV
Ground, Cover, and Refine: Evidence-Centric Frame Selection for Long-Video Question Answering
本文针对长视频问答中视觉预算有限及证据对齐弱的问题,提出无需训练的GCR框架,通过锚定、覆盖、优化三步选择帧,在LongVideoBench等基准上较基线取得显著性能提升。
2026-08-04 cs.CV
Tango: Taming Visual Signals for Efficient Video Large Language Models
University of Science and Technology of China(中国科学技术大学);Reconova AI Lab(Reconova AI实验室);Nanjing University(南京大学)
Tango通过改进注意力选择和相似性聚类方法,优化视频大语言模型的视觉信号利用,实现在保留10%视频token时性能损失仅0.1%,推理速度提升1.88倍。
2026-04-13 cs.CV
MaxInfo: A Training-Free Key-Frame Selection Method Using Maximum Volume for Enhanced Video Understanding
AXXX, Russia(AXXX, 俄罗斯);FusionBrain Lab, Russia(融合脑实验室, 俄罗斯);Institute of Numerical Mathematics, Russia(数值数学研究所, 俄罗斯);Innopolis University, Russia(因诺波利斯大学, 俄罗斯)
MaxInfo是一种基于最大体积原理的无训练关键帧选择方法,通过提升视频理解性能,有效减少冗余并保持多样性。
2025-12-29 cs.CV cs.LG
FORTE: Adaptive Scoring and Exact Keyframe Selection for Long-Video Question Answering
Iowa State University(爱荷华州立大学)
FORTE提出一种无需训练的自适应评分与精确关键帧选择框架,通过高斯过程预测和全局优化,在有限预算下高效提升长视频问答的准确率。
2026-10-02 cs.CV
MetaSampling: Making Frame Samplers Efficient for Long-Video Question Answering
University of Southern Mississippi(南密西西比大学)
MetaSampling是一种无需训练的即插即用采样策略,通过动态减少传递给多模态大语言模型的帧数,在36种配置中平均减少8.9%的帧并提升25种配置的准确性,从而提升长视频问答效率。
2026-09-29 cs.CV
ReaSon: Reinforced Causal Search with Information Bottleneck for Video Understanding
针对视觉语言模型视频理解中的关键帧选择问题,本文提出ReaSon框架,结合因果信息瓶颈与强化学习筛选兼具预测充分性和因果必要性的关键帧,在多个基准上取得更优性能。
2025-11-16 cs.CV
SeViCES: Unifying Semantic-Visual Evidence Consensus for Long Video Understanding
University of Science and Technology of China(中国科学技术大学);Hefei University of Technology(合肥工业大学)
针对长视频理解中帧选择忽略时间依赖和单模态证据的问题,提出无需训练的SeViCES框架,通过语义-视觉共识选择帧并精炼答案,在基准上超越现有方法。
2025-10-23 cs.CV
Streaming Long Video Understanding with Large Language Models
The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出VideoStreaming,一种视觉-语言大模型,通过记忆传播流式编码和自适应记忆选择,以恒定令牌数高效理解任意长度视频,在长视频基准上取得优越性能与效率。
2024-05-25 cs.CV
SMART Frame Selection for Action Recognition
University of Edinburgh(爱丁堡大学);Facebook AI Research(Facebook人工智能研究院)
动作识别在计算上是昂贵的。在本文中,我们解决的问题,帧的选择,以提高动作识别的准确性。特别是,我们表明,选择良好的帧有助于动作识别性能,即使在修剪视频域。最近的工作已经成功地利用帧选择长,未经修剪的视频,其中大部分内容是不相关的,很容易丢弃。然而,在这项工作中,我们专注于更标准的短,修剪动作识别问题。我们认为,良好的帧选择,不仅可以减少动作识别的计算成本,但也提高了准确性,摆脱帧是难以分类。与之前的工作相反,我们提出了一种方法,该方法不是通过一次考虑一个帧来选择帧,而是联合考虑它们。这导致更有效的选择,其中好的帧更有效地分布在视频上,就像讲述故事的快照一样。我们将所提出的帧选择称为SMART,并结合不同的骨干架构和多个基准测试(Kinetics,Something-something,UCF 101)对其进行测试。我们表明,SMART帧选择一致地提高了准确性相比,其他帧选择策略,同时减少了4至10倍的计算成本。此外,我们还表明,当主要目标是识别性能时,我们的选择策略可以在各种基准测试(UCF 101,HMDB 51,FCVID和ActivityNet)上改进最新的最先进模型和帧选择策略。
2020-12-19 cs.CV
FiLA-Video: Spatio-Temporal Compression for Fine-Grained Long Video Understanding
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);ZheJiang University(浙江大学)
本文提出FiLA-Video框架,通过轻量级动态权重多帧融合与关键帧选择策略减少计算成本与信息冗余,并结合高效数据生成策略,显著提升了长视频理解的效率与准确率。
2025-04-29 cs.CV
TempCore: Are Video QA Benchmarks Temporally Grounded?
POSTECH(POSTECH大学)
本文通过帧选择敏感性分析揭示视频问答基准测试中多数样本对帧选择不敏感,仅少数样本具有时间敏感性,提出TempCore用于评估时间敏感样本。
2026-09-22 cs.CL cs.CV cs.LG
Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Guangdong University of Technology(广东工业大学);X-Era AI Lab(X-Era人工智能实验室)
提出Video-MTR框架,通过强化多轮推理迭代选择关键视频片段并理解问题,结合门控双层奖励系统实现端到端训练,在长视频理解基准上提升准确率和效率。
2026-05-29 cs.CV