Online Model Distillation for Efficient Video Inference
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
高质量的计算机视觉模型通常解决理解真实世界图像的一般分布的问题。然而，大多数相机只观察到这种分布的一小部分。这提供了通过将紧凑、低成本的模型专门化到由单个相机观察到的帧的特定分布来实现更有效的推断的可能性。在本文中，我们采用的技术模型蒸馏（监督一个低成本的学生模型，使用高成本的教师的输出）专门准确，低成本的语义分割模型的目标视频流。我们不是在视频流的离线数据上学习专门的学生模型，而是在实时视频上以在线方式对学生进行训练，间歇地运行教师以提供学习目标。在线模型蒸馏产生的语义分割模型非常接近他们的Mask R-CNN老师，具有7到17 $\times$更低的推理运行时成本（FLOP中为11到26 $\times$），即使目标视频的分布是非平稳的。我们的方法不需要对目标视频流进行离线预训练，比基于流或视频对象分割的解决方案具有更高的准确性和更低的成本，并且比原始教师具有更好的时间稳定性。我们还提供了一个新的视频数据集，用于评估长时间运行的视频流的推理效率。
2020-01-27 cs.CV
Efficient Video Segmentation Models with Per-frame Inference
The University of Adelaide（阿德莱德大学）；Zhejiang University（浙江大学）；MeiTuan（美团）；Baidu（百度）
当在视频序列上测试时，用每个帧独立训练的大多数现有实时深度模型可能会在时间轴上产生不一致的结果。一些方法考虑了视频序列中的相关性，例如，通过使用光流将结果传播到相邻帧或使用多帧信息提取帧表示，这可能导致不准确的结果或不平衡的等待时间。在这项工作中，我们专注于提高时间的一致性，而不引入计算开销的推理。为此，我们在每一帧执行推理。通过在训练阶段从具有额外约束的视频帧中学习来实现时间一致性。为推理而引入。我们提出了几种技术来学习的视频序列，包括时间一致性损失和在线/离线知识蒸馏方法。在语义视频分割的任务中，在准确性，时间平滑性和效率之间进行权衡，我们提出的方法优于基于关键帧的方法和一些独立训练每帧的基线方法，包括Cityscapes，Camvid和300 VW-Mask。我们进一步将我们的训练方法应用于YouTubeVIS上的视频实例分割，并通过跨帧分割时间一致的实例级trimap，在视频序列中开发肖像抠图的应用程序。实验表明，优越的定性和定量结果。代码可从以下网址获得：https://git.io/vidseg。
2022-02-24 cs.CV
FastInit: Fast Noise Initialization for Temporally Consistent Video Generation
Peking University（北京大学）；ByteDance（字节跳动）
FastInit 提出一种基于视频噪声预测网络的快速噪声初始化方法，通过单次前向传播替代迭代细化，在提升视频生成效率的同时保持高时间一致性。
2025-06-19 cs.AI cs.CV
Joint Inference of Groups, Events and Human Roles in Aerial Videos
University of California, Los Angeles（加州大学洛杉矶分校）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）；Oregon State University（俄勒冈州立大学）
随着无人机的出现，空中视频分析变得越来越重要;然而，它在文献中很少受到关注。本文提出了一个新的问题，解析低分辨率航空视频的大空间区域，在1）分组，2）识别事件和3）分配角色的人参与的事件。我们提出了一个新的框架，旨在进行上述任务的联合推理，因为在我们的设置中，每个单独的推理通常会失败。给定人的噪声轨迹以及大对象和场景表面的检测（例如，建筑，草），我们使用时空AND-OR图来驱动我们的联合推理，使用马尔可夫链蒙特卡罗和动态规划。我们还介绍了一种新的形式主义的时空模板表征潜在的子事件。为了进行评估，我们收集并发布了一个新的空中视频数据集，该数据集使用六角旋翼飞越野餐区，该野餐区富含群体活动。我们的研究结果表明，我们成功地解决上述推理任务具有挑战性的条件下。
2015-05-22 cs.CV
MoViNets: Mobile Video Networks for Efficient Video Recognition
Google Research（谷歌研究院）
我们提出了移动视频网络（MoViNets），一个家庭的计算和内存高效的视频网络，可以操作流媒体视频在线推理。3D卷积神经网络（CNN）在视频识别方面是准确的，但需要大量的计算和内存预算，并且不支持在线推理，这使得它们难以在移动设备上工作。我们提出了一种三步方法来提高计算效率，同时大幅降低3D CNN的峰值内存使用量。首先，我们设计了一个视频网络搜索空间，并采用神经架构搜索来生成高效且多样化的3D CNN架构。其次，我们介绍了流缓冲区技术，该技术从视频剪辑持续时间中提取内存，允许3D CNN嵌入任意长度的流视频序列，用于训练和推理，并且内存占用量较小。第三，我们提出了一个简单的集成技术，以进一步提高精度，而不牺牲效率。这三种渐进式技术使MoViNets能够在Kinetics，Moments in Time和Charades视频动作识别数据集上实现最先进的准确性和效率。例如，MoViNet-A5-Stream在Kinetics 600上实现了与X3 D-XL相同的精度，但所需的FLOP减少了80%，内存减少了65%。代码将在https://github.com/tensorflow/models/tree/master/official/vision上提供。
2021-04-18 cs.AI cs.CV cs.LG
Structured Label Inference for Visual Understanding
图像和视频等视觉数据包含丰富的结构化语义标签源以及广泛的交互组件。视觉内容可以被分配有描述主要组件的细粒度标签、描述高级抽象的粗粒度标签或揭示属性的一组标签。这种分类在不同的，相互作用的标签层显示了潜在的基于图形的编码的标签信息。在本文中，我们利用这种丰富的结构，在标签空间中执行基于图的推理，用于许多任务：多标签图像和视频分类以及未修剪视频中的动作检测。我们考虑使用双向推理神经网络（BINN）和结构化推理神经网络（SINN）在标签空间中执行基于图的推理，并提出了一种基于长短期记忆（LSTM）的扩展，用于利用未修剪视频上的活动进展。这些方法在以下数据集上进行了评估：（i）用于多标签图像分类的动物属性（AwA），场景理解（SUN）和NUS-WIDE数据集，（ii）用于多标签视频分类的YouTube-8 M大规模数据集的前两个版本，以及（iii）用于动作检测的THUMOS'14和MultiTHUMOS视频数据集。我们的研究结果证明了结构化标签推理在这些具有挑战性的任务中的有效性，实现了对基线的显着改进。
2018-02-18 cs.CV
Efficient Semantic Video Segmentation with Per-frame Inference
The University of Adelaide（阿德莱德大学）；Huazhong University of Science and Technology（华中科技大学）；Microsoft Research（微软研究院）
对于语义分割，大多数现有的利用每个帧独立训练的实时深度模型可能对视频序列产生不一致的结果。高级方法考虑视频序列中的相关性，例如，通过使用光流将结果传播到相邻帧，或者提取具有其它帧的帧表示，这可能导致不准确的结果或不平衡的等待时间。在这项工作中，我们在推理过程中以每帧的方式处理高效的语义视频分割。与以往的逐帧模型不同，我们在训练过程中明确考虑帧间的时间一致性作为额外的约束，并将时间一致性嵌入到分割网络中。因此，在推理过程中，我们可以独立地处理每一帧，没有延迟，并提高时间一致性，没有额外的计算成本和后处理。我们采用紧凑的模型进行实时执行。为了缩小紧凑模型和大型模型之间的性能差距，设计了新的知识蒸馏方法。我们的结果优于以前的基于关键帧的方法，在流行的基准测试（包括Cityscapes和Camvid）上，准确性和推理速度之间有更好的权衡。与用每帧独立训练的相应基线相比，时间一致性也得到了改善。代码可在：https://tinyurl.com/segment-video
2020-07-17 cs.CV
Dynamic Network Quantization for Efficient Video Inference
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；MIT（麻省理工学院）
深度卷积网络最近在视频识别方面取得了巨大的成功，但由于实现鲁棒识别需要大量的计算资源，因此其实际实现仍然是一个挑战。受量化提高效率的有效性的启发，在本文中，我们提出了一个动态网络量化框架，该框架根据输入为每帧选择最佳精度，以实现高效的视频识别。具体来说，给定一个视频片段，我们训练一个非常轻量级的网络与识别网络并行，以产生一个动态的政策，表明在识别视频中每帧使用的数值精度。我们训练这两个网络有效地使用标准的反向传播与损失，以实现视频识别所需的竞争力和资源效率。在四个具有挑战性的不同基准数据集上进行的大量实验表明，我们提出的方法在计算和内存使用方面节省了大量资源，同时优于现有的最先进的方法。
2021-08-23 cs.CV
Real-Time Video Inference on Edge Devices via Adaptive Model Streaming
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
由于深度神经网络的高计算成本，在手机和无人机等边缘设备上进行实时的【形】视频推理具有挑战性。我们提出了自适应模型流（AMS），这是一种提高边缘设备上视频推理的高效轻量级模型性能的新方法。AMS使用远程服务器来持续训练和调整在边缘设备上运行的小型模型，使用来自大型最先进模型的在线知识蒸馏来提高其在实时视频上的性能。我们讨论了网络模型自适应视频推理的挑战，并提出了几种技术来降低这种方法的通信成本：避免过度拟合，更新一小部分重要的模型参数，以及在边缘设备上对训练帧进行自适应采样。在视频语义分割的任务中，我们的实验结果显示，与几个视频数据集上的预训练模型相比，平均Intersection-over-Union提高了0.4- 17.8%。我们的原型可以在三星Galaxy S10+手机上以每秒30帧的速度执行视频分割，相机到标签延迟为40毫秒，设备上的上行链路和下行链路带宽小于300 Kbps。
2021-04-05 cs.CV cs.LG cs.NI
PeCA: Palette Context Assisted Inference for Test-Time Paint-Bucket Colourisation on Animation Videos
University of Birmingham（伯明翰大学）
针对动画视频油漆桶上色的区域对应易受模糊片段影响的问题，提出无训练即插即用的PeCA框架，通过空间与时间上下文推理优化，实验证实其性能持续提升。
2026-08-04 cs.CV
Temporal Transductive Inference for Few-Shot Video Object Segmentation
Electrical Engeering and Computer Science, York University, ON, Canada（电气工程与计算机科学系，约克大学，加拿大）
本文提出一种简单有效的时序传递推断方法，利用未标记视频帧中的时间一致性，通过全局和局部时间约束提升时间一致性并减少过拟合，实验显示在YouTube-VIS上平均交并比优于现有元学习方法2.8%。
2023-07-16 cs.CV
Unsupervised Video Decomposition using Spatio-temporal Iterative Inference
University of British Columbia（不列颠哥伦比亚大学）；Borealis AI；Vector Institute for AI（Vector AI研究所）
无监督多目标场景分解是表示学习中的一个新兴问题。尽管在静态场景中取得了重大进展，但这些模型无法利用视频中存在的重要动态线索。我们提出了一种新的时空迭代推理框架，该框架足够强大，可以联合建模复杂的多对象表示和跨帧隐变量之间的显式时间依赖关系。这是通过利用2D-LSTM，时间条件推理和迭代摊销推理中的生成来实现的。我们的方法提高了分解的整体质量，编码有关对象动态的信息，并可用于单独预测每个对象的轨迹。此外，我们表明，我们的模型具有很高的准确性，即使没有颜色信息。我们展示了我们的模型的分解，分割和预测能力，并表明它在几个基准数据集上的表现优于最先进的技术，其中一个是为这项工作策划的，并将公开提供。
2020-06-25 cs.CV cs.LG
TinyNeRV: Compact Neural Video Representations via Capacity Scaling, Distillation, and Low-Precision Inference
organization= Department of Computer Science \& Engineering, American University of Sharjah , city= Sharjah , country= United Arab Emirates
本文提出NeRV-T和NeRV-T+两种轻量级架构，研究紧凑配置对视频重建质量、计算复杂度和解码吞吐量的影响，并通过知识蒸馏和低精度推理提升性能。
2026-04-10 cs.CV
Let Video Teaches You More: Video-to-Image Knowledge Distillation using DEtection TRansformer for Medical Video Lesion Detection
FNii, CUHK-Shenzhen（香港中文大学（深圳）FNii机构）；SSE, CUHK-Shenzhen（香港中文大学（深圳）工学院）；SRIBD, CUHK-Shenzhen（香港中文大学（深圳）SRIBD机构）；IHPC, A*STAR（新加坡科研局高性能计算研究院）
针对医学视频病变检测中基于图像模型缺乏帧间上下文而基于视频模型计算成本高的问题，提出V2I-DETR知识蒸馏框架，将视频多帧时间上下文蒸馏至单帧图像模型，在保持30 FPS实时推理速度的同时大幅超越现有最先进方法。
2024-08-26 cs.CV
Analytic Dynamics: Learning Physics-Grounded Representation for Fast Intrinsic Dynamics Inference from Monocular Videos
School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）
针对从单目视频推断物体动力学的挑战，提出Analytic Dynamics框架，引入基于物理的中间表征，开发相关数据流水线与基准，实现高效准确可泛化的动力学推理。
2026-09-01 cs.CV
DL-KDD: Dual-Light Knowledge Distillation for Action Recognition in the Dark
National Yang Ming Chiao Tung University（国立阳明交通大学）
针对暗光视频动作识别中增强方法丢失信息与双流方法计算成本高的问题，提出DL-KDD师生框架，通过知识蒸馏让模型在训练时结合原始与增强视频，推理时仅需原始视频，在多个数据集上性能优于现有方法。
2024-06-04 cs.CV
Semantically Distributed Robust Optimization for Vision-and-Language Inference
Arizona State University（亚利桑那州立大学）
对视觉-语言模型的分析表明，在释义、否定、语篇蕴涵、同义词或反义词替换等语言现象下，视觉-语言模型是脆弱的。虽然已经设计了数据增强技术来减轻这些故障模式，但是可以将这些知识集成到培训管道中的方法仍然没有得到充分的探索。在本文中，我们提出了\textbf{SDRO}，一个模型不可知的方法，利用一组语言转换在分布式鲁棒优化设置，以及一个集成技术，利用这些转换在推理。在具有图像（NLVR $^2$）和视频（VIOLIN）的基准数据集上的实验证明了性能的改进以及对对抗攻击的鲁棒性。二进制VQA的实验探索这种方法的推广到其他V\&L任务。
2022-03-14 cs.CL cs.CV
Accelerating Video Generation Inference with Sequential-Parallel 3D Positional Encoding Using a Global Time Index
通过全局时间索引的序列-并行3D位置编码优化视频生成推理，实现亚秒首帧延迟和近实时性能。
2026-03-02 cs.AI cs.CV
Enhancing Video Representations with Spatiotemporal-Semantic Residual to Mitigate Hallucinations in Video Large Multimodal Models
Zhejiang University（浙江大学）；University of Toronto（多伦多大学）；Dalian University of Technology（大连理工大学）；Sun Yat-sen University（中山大学）
提出ViSSRes方法，通过轻量级MLP网络学习视频表示的残差，从时空和语义一致性优化，在推理时仅需单次前向传播，有效降低幻觉率并提升视频理解性能。
2026-06-05 cs.AI cs.CV
Keep It Simple: Multi-Key Episodic Memory Retrieval for Ultra-Long Video Understanding
Yonsei University（延世大学）；Adobe Research（奥多比研究院）
针对超长视频理解的两阶段范式需求，提出MERIT框架，通过多键表示与按需时间扩展实现精准检索，在三个长视频基准数据集上取得最优性能。
2026-09-18 cs.AI cs.CL cs.CV
Breaking the accuracy-resource dilemma: a lightweight adaptive video inference enhancement
State Key Laboratory of Radio Frequency Heterogeneous Integration (Shenzhen University)（无线电频率异构集成国家重点实验室（深圳大学））；Institute of Applied Artificial Intelligence of the Guangdong–HongKong–Macao Greater Bay（粤港澳大湾区应用人工智能研究院）；Henan Academy of Science Applied Physics Institute Co.,Ltd.（河南省应用物理科学研究院有限公司）
本文提出了一种轻量级自适应视频推理增强框架，通过动态切换不同规模的模型来平衡资源利用与推理性能。
2026-05-18 cs.AI cs.CV
Adversarial Inference for Multi-Sentence Video Description
University of California, Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）
虽然在图像描述任务中已经取得了显著的进展，但是由于视频数据的复杂性质，视频描述仍然处于婴儿期。为长视频生成多句描述更具挑战性。其中的主要问题是所生成的描述的流畅性和连贯性，以及它们与视频的相关性。最近，已经探索了基于强化和对抗学习的方法来改进图像描述模型;然而，这两种类型的方法都存在许多问题，例如RL的可读性差和冗余度高，以及GANs的稳定性问题。在这项工作中，我们建议在推理过程中应用对抗技术，设计一个鼓励更好的多句视频描述的机器人。此外，我们发现，一个多目标的“混合”设计，其中每个目标的一个方面的描述，导致最好的结果。具体来说，我们将视频解耦以评估三个标准：1）与视频的视觉相关性，2）语言多样性和流畅性，以及3）句子之间的连贯性。我们的方法导致更准确，多样和连贯的多句视频描述，如流行的ActivityNet Captions数据集上的自动和人工评估所示。
2019-04-16 cs.CL cs.CV
Vid-SME: Membership Inference Attacks against Large Video Understanding Models
National University of Singapore（新加坡国立大学）
本文提出首个面向视频理解大语言模型的成员推理攻击方法Vid-SME，通过自适应参数化计算Sharma-Mittal熵并利用自然与时间反转视频帧的熵差生成成员分数，有效判断视频是否属于训练集。
2025-05-29 cs.AI cs.CV
VideoMM: Adaptive Macro-Micro Inference for Efficient Video MLLMs
University of Science and Technology of China（中国科学技术大学）；USTC（中国科学技术大学）；Suzhou Institute for Advanced Research（苏州高等研究院）
VideoMM提出自适应宏-微推理范式，通过解耦选择与推理，在宏代理上过滤语义区域并仅在必要时使用微标记，实现长视频理解中6.13倍加速与7.4%准确率提升。
2026-09-16 cs.AI cs.CL cs.CV
Fast and Memory-Efficient Video Diffusion Using Streamlined Inference
Northeastern University（东北大学）；University of Georgia（佐治亚大学）；Harvard University（哈佛大学）
针对现有视频扩散模型计算和内存需求高的问题，提出无需训练的Streamlined Inference框架，通过特征切片、算子分组和步骤复用三大组件，在单消费级GPU上实现低内存、高速的高质量视频生成。
2024-11-02 cs.AI cs.CV
Inference Compute-Optimal Video Vision Language Models
MIT（麻省理工学院）；Georgia Tech（佐治亚理工学院）；Meta；UC Davis（加州大学戴维斯分校）
本研究在固定推理计算预算下，通过大规模训练扫描和参数化建模，确定了视频视觉语言模型中语言模型大小、帧数和每帧视觉令牌数量的最优配置，并揭示了数据规模对最优前沿的影响，为实际选择提供了指导。
2025-05-24 cs.CL cs.CV
Deep Two-Stream Video Inference for Human Body Pose and Shape Estimation
OPPO Research Institute（OPPO研究院）；Xmotors（小马智行）
为了解决基于单幅图像的三维姿态和形状估计方法在时间上的不一致性，提出了几种基于视频的三维姿态和形状估计算法。然而，稳定和准确的重建仍然具有挑战性。在本文中，我们提出了一个新的框架深度双流视频推理人体姿势和形状估计（DTS-VIBE），从RGB视频生成三维人体姿势和网格。我们重新制定的任务作为一个多模态的问题，融合RGB和光流更可靠的估计。为了充分利用这两种感觉模态（RGB或光流），我们训练一个基于Transformer的双流时间网络来预测SMPL参数。补充模态光流通过利用两个连续帧之间的运动知识来帮助保持时间一致性。该算法在Human3.6和3DPW数据集上进行了广泛的评估。实验结果表明，它优于其他国家的最先进的方法的显着保证金。
2021-10-22 cs.AI cs.CV
E4: Energy-Efficient DNN Inference for Edge Video Analytics Via Early-Exit and DVFS
Harbin Institute of Technology（哈尔滨工业大学）；International Research Institute for Artificial Intelligence, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）国际人工智能研究院）；University at Albany - SUNY（纽约州立大学奥尔巴尼分校）
本文提出E4框架，通过结合早退机制与DVFS调控，并利用注意力级联模块和JIT剖析器协同优化CPU/GPU频率，在边缘视频分析中实现高能效DNN推理，取得2.8倍加速和26%平均节能。
2025-03-06 cs.AI cs.CV
Ctrl-VI: Controllable Video Synthesis via Variational Inference
Stanford University（斯坦福大学）；Harvard University（哈佛大学）
Ctrl-VI提出一种基于变分推断的视频合成方法，通过多骨干网络组合分布和逐步KL散度最小化，实现对指定元素的高可控性，同时保持未指定元素的多样性，实验证明其优于现有方法。
2025-10-16 cs.AI cs.CV
Learning from Online Videos at Inference Time for Computer-Use Agents
UC Santa Barbara（UC圣芭芭拉大学）；Advanced Micro Devices, Inc.（先进微器件公司）
本文提出一个框架，在推理时检索、过滤并分割在线教程视频为结构化演示轨迹，通过两阶段选择机制动态提供上下文指导，使计算机使用智能体在基准上一致优于仅用文本教程或文字记录的基线。
2025-11-06 cs.AI cs.CV
TokenTrim: Inference-Time Token Pruning for Autoregressive Long Video Generation
TokenTrim通过在推理时修剪不稳定潜在标记，减少自回归长视频生成中的时序漂移，提升长时间一致性。
2026-01-30 cs.AI cs.CV
Semantic Video Segmentation : Exploring Inference Efficiency
University of California San Diego（加州大学圣地亚哥分校）；Cornell NYC Tech（康奈尔纽约科技学院）；Korea Electronics Technology Institute（韩国电子技术研究院）
我们探索CRF推理的效率超越图像级语义分割，并在视频帧中执行联合推理。其核心思想是将两个世界的最佳组合：语义共同标记和更具表达力的模型。我们的公式使我们能够在几秒钟内执行超过一万个图像的推理，并使系统能够最有效地执行视频语义分割。在CamVid数据集上，使用TextonBoost一元数，我们提出的方法在没有额外时间开销的情况下，比单个语义图像分割的准确率提高了8%。源代码可在https://github.com/subtri/video_inference上获得
2015-09-04 cs.CV
Inference-based GAN Video Generation
Department of Computer Science, University of York（计算机科学系，约克大学）
本文提出了一种基于对抗的VAE-GAN混合结构，通过马尔可夫链框架实现长视频生成，解决时序扩展难题。
2025-12-31 cs.AI cs.CV
HIPPO: Accelerating Video Large Language Models Inference via Holistic-aware Parallel Speculative Decoding
University of Science and Technology of China（中国科学技术大学）；Shanghai AI Laboratory（上海人工智能实验室）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
HIPPO通过整体感知并行推测解码框架，有效提升视频大语言模型推理速度，实现高达3.51倍的加速效果。
2026-01-13 cs.AI cs.CV
Sol Video Inference Engine: Agent-Native Full-Stack Acceleration Framework for Efficient Video Generation
NVIDIA Research, Efficient AI Team & Singapore Lab（英伟达研究院高效AI团队及新加坡实验室）；NVIDIA SANA Team（英伟达SANA团队）；Codex；GPT-Image2
提出Sol视频推理引擎，通过智能体驱动的缓存、稀疏注意力、令牌剪枝、量化和内核融合五种技术组合，针对具体模型、硬件和配置自动优化，实现视频扩散模型2倍以上加速且保持质量。
2026-06-25 cs.AI cs.CV cs.LG
VidMsg: A Benchmark for Implicit Message Inference in Short Videos
OriginAI, Israel（OriginAI以色列）
提出VidMsg基准，通过消息优先构建流程和双向检索任务，评估视频理解模型对短视频中隐含信息的推断能力。
2026-06-02 cs.AI cs.CV
SRDiffusion: Accelerate Video Diffusion Inference via Sketching-Rendering Cooperation
National University of Singapore（国立新加坡大学）；Sun Yat-sen University（中山大学）；Alibaba Group（阿里巴巴集团）
提出SRDiffusion框架，通过大模型负责高噪声步骤的语义与运动保真（草图），小模型细化低噪声步骤的视觉细节（渲染），实现Wan超3倍、CogVideoX 2倍加速且质量几乎无损。
2025-05-25 cs.AI cs.CV cs.GR
Zoom In, Reason Out: Efficient Far-field Anomaly Detection in Expressway Surveillance Videos via Focused VLM Reasoning Guided by Bayesian Inference
School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）；Key Laboratory of Big Data & Artificial Intelligence in Transportation, Ministry of Education（教育部交通运输大数据与人工智能重点实验室）；Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence (2018)（北京市交通数据挖掘与具身智能重点实验室）
本文提出VIBES框架，通过贝叶斯推理引导的聚焦VLM推理，解决远场目标异常检测中的注意力稀释和计算成本问题，提升检测准确性和实时效率。
2026-08-14 cs.AI cs.CV
Video Moment Retrieval via Natural Language Queries
在本文中，我们提出了一种新的视频矩检索（VMR）的方法，实现了最先进的（SOTA）性能的R@1度量和超过SOTA的高IoU度量（R@1，IoU=0.7）。首先，我们提出了一个多头自我注意力机制，并进一步的交叉注意力计划捕获视频/查询交互和远程查询依赖从视频上下文。基于注意力的方法可以在任意位置进行帧到查询的交互和查询到帧的交互，并且多头设置确保了对复杂依赖关系的充分理解。我们的模型具有简单的架构，可以在维护的同时实现更快的训练和推理。其次，我们还提出了使用多任务训练目标，包括时刻分割任务，开始/结束分布预测和开始/结束位置回归任务。我们已经验证了，开始/结束预测是嘈杂的，由于注释者的分歧和联合训练与时刻分割任务可以提供更丰富的信息，因为目标剪辑内的帧也被用作积极的训练样本。第三，我们建议使用早期融合的方法，它实现了更好的性能，在推理时间的成本。然而，对于我们的模型来说，推理时间不会成为问题，因为我们的模型具有简单的架构，可以进行有效的训练和推理。
2020-09-10 cs.AI cs.CL cs.CV
Content-Aware Adaptive Token Pruning for Video-Language Models
针对视频-语言模型推理延迟高的问题，提出两阶段自适应令牌剪枝策略，先剪去视频冗余帧，再根据视频内容自适应剪去保留帧中的冗余令牌，无需额外训练微调，在10%令牌保留率下提升准确率7%并降低95%计算量。
2026-10-27 cs.AI cs.CV
Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs
SAMOVAR Laboratory, Télécom SudParis, Institut Polytechnique de Paris（萨莫瓦尔实验室，巴黎电信学院，巴黎综合理工学院）；Moments Lab（Moments Lab公司）
本综述系统梳理视频与视听大语言模型的推理效率优化机制，按流水线阶段组织帧采样、模态编码、标记缩减及预填充解码等方法，汇总共享条件下的精度-成本对比，指出视听效率与标准化评估的空白。
2026-09-10 cs.CL cs.CV cs.MM
Recurrent Residual Module for Fast Inference in Videos
Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）；Massachusetts Institute of Technology（麻省理工学院）
深度卷积神经网络（CNN）在视频姿态估计和视频目标检测等许多视频识别任务中取得了令人印象深刻的进展。然而，由于单独处理密集帧，对视频的CNN推断在计算上是昂贵的。在这项工作中，我们提出了一个框架，称为递归残差模块（RRM），以加速视频识别任务的CNN推理。该框架采用了一种新颖的设计，即利用连续两帧的中间特征图的相似性，大大减少了冗余计算。与以前的工作相比，所提出的方法的一个独特的属性是精确计算每帧的特征图。实验表明，在保持类似识别性能的同时，我们的RRM在常用的CNN（如AlexNet，ResNet，深度压缩模型）上平均产生2倍的加速（因此比使用高效推理引擎的原始密集模型快8- 12倍），并且在一些二进制网络（如XNOR-Nets）上产生9倍的加速（因此比原始模型快500倍）。我们进一步验证了RRM在加速CNN进行视频姿态估计和视频目标检测方面的有效性。
2018-02-27 cs.CV
FIFO-Diffusion: Generating Infinite Videos from Text without Training
Seoul National University（首尔大学）
本研究提出FIFO-Diffusion推理技术，通过对角去噪、潜变量划分和前瞻去噪，无需额外训练即可让预训练扩散模型生成无限长视频，内存占用恒定且支持多GPU并行。
2024-11-03 cs.AI cs.CV
PrismVAU: Prompt-Refined Inference System for Multimodal Video Anomaly Understanding
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Aalborg University（奥胡斯大学）；Milestone Systems（Milestone系统）
PrismVAU通过轻量级系统和自动提示工程实现高效的多模态视频异常理解，无需复杂标注和外部模块。
2026-01-07 cs.AI cs.CV
Equilibrium Forcing: Adaptive Video Generation Without Noise Conditioning
UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）；Harvard University（哈佛大学）
该研究提出无需噪声条件的均衡强迫（EqF）框架，解耦去噪场学习与采样，实现自适应闭环推理，提升自回归视频生成的质量与一致性，性能优于传统噪声条件方法。
2026-10-15 cs.AI cs.CV cs.LG
Contrastive Energy Fields for Inference-Time Procedure Planning in Instructional Videos
TU Darmstadt（达姆施塔特工业大学）；TU Munich（慕尼黑工业大学）
针对现有流程规划方法缺乏任务逻辑约束的问题，提出CEFITO方法，将流程规划构建为任务约束优化问题，在两个基准上取得最先进准确率。
2026-08-18 cs.AI cs.CV
VigilFormer: Deformable Attention for Video Anomaly Detection with Causal Risk Inference
University of Southern California（南加州大学）
提出VigilFormer框架，结合可变形时空注意力与因果时序建模，通过稀疏注意力、对比多实例学习和自适应帧跳过，在保持高精度的同时实现实时异常检测。
2026-06-16 cs.AI cs.CV
Adaptive Hierarchical Graph Reasoning with Semantic Coherence for Video-and-Language Inference
Zhejiang University（浙江大学）；University of Technology Sydney（悉尼科技大学）；Université de Montréal（蒙特利尔大学）
视频-语言推理是最近提出的视频-语言理解联合任务。这项新任务需要一个模型来推断自然语言语句是否与给定的视频片段相关或矛盾。在本文中，我们研究了如何解决这一任务的三个关键挑战：判断涉及多个语义的语句的全局正确性，视频和字幕的联合推理，以及建模远程关系和复杂的社会互动。首先，我们提出了一种自适应分层图网络，可以在复杂的交互中深入理解视频。具体而言，它执行联合推理的视频和字幕在三个层次，其中图结构是自适应调整，根据语句的语义结构。其次，我们引入语义一致性学习，明确鼓励三个层次的自适应层次图网络的语义一致性。语义一致性学习可以进一步提高视觉和语言之间的一致性，以及视频片段序列之间的一致性。实验结果表明，我们的方法显着优于基线的大幅度。
2021-08-09 cs.CV
Beyond Semantic Image Segmentation : Exploring Efficient Inference in Video
University of California San Diego（加州大学圣地亚哥分校）；Cornell NYC Tech（康奈尔大学纽约科技校区）
我们探讨的CRF推理模块的效率超越图像级语义分割。其核心思想是将语义联合标记和利用更具表达力的模型这两个世界中的最佳部分结合起来。与[Alvarez 14]类似，我们的公式使我们能够在几秒钟内对一万张图像进行推理。另一方面，它可以处理类似于[vineet 2014]的高阶团势，在区域级标签一致性和同现上下文方面。我们遵循类似于[vineet 2014]的高阶势的平均场更新，并扩展空间平滑度和外观内核[DenseCRF 13]以解决受[Alvarez 14]启发的视频数据;从而使系统能够最有效地执行视频语义分割。
2015-07-01 cs.CV
Free Video-LLM: Prompt-guided Visual Perception for Efficient Training-free Video LLMs
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Sydney（悉尼大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Macau（澳门大学）
本文提出免训练框架Free Video-LLM，通过提示引导解耦时空维度并进行时间帧采样与空间RoI裁剪，有效减少视觉token数量，在多个视频问答基准上以更少token实现高准确率与高计算效率的最佳权衡。
2024-10-16 cs.AI cs.CV
VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting
VisionCoach通过视觉提示指导强化学习，提升视频推理的时空定位能力，实现无需外部工具的高效推理。
2026-08-25 cs.AI cs.CV
FlashVideo: A Framework for Swift Inference in Text-to-Video Generation
University of Connecticut（康涅狄格大学）；Iowa State University（爱荷华州立大学）
本文提出FlashVideo框架，首次将RetNet架构应用于文本到视频生成，将推理时间复杂度从O(L^2)降至O(L)，并结合无冗余帧插值方法，使推理效率较传统自回归模型提升9.17倍。
2023-12-30 cs.CV
PackForcing: Short Video Training Suffices for Long Video Sampling and Long Context Inference
Alaya Studio, Shanda AI Research Tokyo（Alaya工作室，盛大AI研究东京）；Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
本文提出PackForcing框架，通过三部分KV缓存策略有效管理生成历史，实现高效内存使用和长视频生成，展示短视频监督足以支持高质量长视频合成。
2026-03-26 cs.AI cs.CV
Brain-Inspired Inference on Missing Video Sequence
School of Electronics and Computer Engineering, Peking University（北京大学电子与计算机工程学院）
在本文中，我们提出了一种新的端到端的架构，可以产生各种似是而非的视频序列相关的两个给定的不连续帧。我们的工作受到人类推理能力的启发。具体地说，给定两幅静态图像，人类能够推断出其间可能发生的事情，并呈现出他们推断的不同版本。我们首先训练我们的模型来学习变换，以理解给定帧内的运动趋势。为了模仿人类的推理，我们引入了一个从高斯分布中采样的潜变量。通过将不同的隐变量与学习到的变换特征相结合，模型可以学习到更多可能的运动模式。然后将这些运动模式应用到原始帧上，得到相应的中间视频序列。此外，该框架以对抗的方式进行训练，具有无监督学习。在移动Mnist数据集和2D Mnist数据集上的评估表明，我们的模型能够在一定程度上模仿人类的推理。
2019-12-15 cs.CV
