TAda! Temporally-Adaptive Convolutions for Video Understanding
National University of Singapore(新加坡国立大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学)
空间卷积广泛用于许多深度视频模型中。它基本上假设时空不变性,即,对不同帧中的每个位置使用共享权重。这项工作提出了时间自适应卷积(TAdaConv)的视频理解,这表明,自适应权重校准沿时间维度是一种有效的方式,以促进建模复杂的时间动态视频。具体而言,TAdaConv通过根据其局部和全局时间上下文校准每个帧的卷积权重来赋予空间卷积时间建模能力。与以前的时间建模操作相比,TAdaConv更有效,因为它在卷积核而不是特征上操作,其维度比空间分辨率小一个数量级。此外,内核校准带来了增加的模型容量。我们通过将ResNet和ConvNeXt中的2D卷积替换为TAdaConv来构建TAda 2D和TAdaConvNeXt网络,与多个视频动作识别和定位基准的最新方法相比,这至少可以获得同等或更好的性能。我们还证明,作为一个容易的插件操作,可以忽略不计的计算开销,TAdaConv可以有效地改善许多现有的视频模型具有令人信服的利润。
2022-03-17 cs.CV
HaltingVT: Adaptive Token Halting Transformer for Efficient Video Recognition
NetEase Yidun AI Lab(网易易盾人工智能实验室)
提出HaltingVT,通过Glimpser模块和运动损失在每层自适应移除冗余token,实现高效视频识别,在Mini-Kinetics上以低计算量保持高准确率。
2024-01-10 cs.CV
IQViC: In-context, Question Adaptive Vision Compressor for Long-term Video Understanding LMMs
Fujitsu Research, Fujitsu Limited(富士通研究所,富士通株式会社)
针对长期视频理解中现有方法性能下降和内存开销大的问题,提出基于Transformer的上下文、问题自适应视觉压缩器IQViC,通过选择性提取相关信息减少内存令牌,在InfiniBench等基准上提升理解准确率和内存效率。
2024-12-16 cs.CV
Static or Dynamic: Towards Query-Adaptive Token Selection for Video Question Answering
Nanyang Technological University(南洋理工大学)
针对视频问答中长视频token过多且静态与动态信息重要性被忽视的问题,提出explore-then-select策略,通过探索关键帧与增量帧的token分配并利用查询感知注意力指标选择最优组合,在多个基准上实现高达5.8%的性能提升。
2025-09-15 cs.CV
Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition
Fudan University(复旦大学);University of Oxford(牛津大学)
人类可以很容易地识别动作,只有几个例子,而现有的视频识别模型仍然严重依赖于大规模的标记数据输入。这一观察激发了越来越多的兴趣,在Few-Shot视频动作识别,其目的是学习新的动作,只有很少的标记样本。在本文中,我们提出了一个深度引导的自适应元融合网络的Few-Shot视频识别,这是被称为AMeFu-Net。具体来说,我们从三个方面解决了Few-Shot识别问题:首先,通过引入深度信息作为场景的载体,为模型带来额外的视觉信息,从而缓解了这一数据极度匮乏的问题;其次,我们将原始RGB剪辑的表示与通过我们的时间增强增强机制采样的多个非严格对应的深度剪辑相融合,第三,提出了一种新的深度引导自适应实例归一化(DGAdaIN)融合模块,有效地融合了两个流模态。此外,为了更好地模仿Few-Shot识别过程,我们的模型是在元学习的方式进行训练。在多个动作识别基准上的实验证明了该模型的有效性。
2020-10-20 cs.CV
AdaScan: Adaptive Scan Pooling in Deep Convolutional Neural Networks for Human Action Recognition in Videos
IIT Kanpur(印度理工学院坎普尔分校);SRI International(SRI国际);UCSD(加州大学圣地亚哥分校)
我们提出了一种新的方法,用于在视频中的人类动作识别任务的时间池帧。该方法的动机是观察到,只有少量的帧,它们一起包含足够的信息来区分存在于视频中的动作类,从其余的。所提出的方法学习池这样的歧视性和信息帧,而丢弃在一个单一的时间扫描的视频中的非信息帧的大部分。我们的算法通过连续预测每个视频帧的区分重要性并随后将其汇集在深度学习框架中来实现。我们在标准基准上展示了我们提出的池化方法的有效性,它始终改进了基线池化方法,并基于RGB和光流的卷积网络。此外,结合互补的视频表示,我们显示的结果是有竞争力的两个具有挑战性的和公开可用的基准数据集上的最先进的结果。
2017-06-25 cs.CV
Asymmetric Bilateral Motion Estimation for Video Frame Interpolation
Korea University(高丽大学);Dongguk University(东国大学)
提出了一种新的基于非对称双边运动估计(ABME)的视频帧内插算法。首先,我们预测对称的双边运动场插值锚帧。其次,我们估计从锚帧到输入帧的不对称双边运动场。第三,我们使用非对称场将输入帧向后扭曲并重建中间帧。最后,为了改进中间帧,我们开发了一个新的合成网络,该网络使用局部和全局信息生成一组动态滤波器和残差帧。实验结果表明,该算法在不同的数据集上均取得了良好的性能.源代码和预训练模型可在https://github.com/JunHeum/ABME上获得。
2021-08-15 cs.CV
STAIR: Spatial-Temporal Reasoning with Auditable Intermediate Results for Video Question Answering
Peking University(北京大学);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
针对视频问答模型在长视频时序推理上性能下降的问题,提出神经模块网络STAIR,通过分层子任务分解与可审计中间输出提升性能与可解释性。
2024-01-08 cs.CL cs.CV
VideoRouter: Query-Adaptive Dual Routing for Efficient Long-Video Understanding
School of Electronic and Computer Engineering, Peking University(电子与计算机工程学院,北京大学)
VideoRouter通过双路由框架实现高效长视频理解,通过语义路由和图像路由动态分配证据,减少冗余token,提升压缩效率。
2026-05-08 cs.AI cs.CV
AdaVDR: Adaptive Tool Use and Reflection for Video Deep Research
Alibaba Group(阿里巴巴集团);Beijing Institute of Technology(北京理工大学)
提出AdaVDR自适应视频深度研究智能体,通过自适应工具调用与反思解决视频深度研究的不当工具调用等问题,构建相关基准并在VDR-EE、VideoDR上取得优于基础模型的效果。
2026-10-15 cs.AI cs.CV
AdaCM$^2$: On Understanding Extremely Long-Term Video with Adaptive Cross-Modality Memory Reduction
University of Texas at Arlington(德克萨斯大学阿灵顿分校);University of Houston(休斯顿大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Georgia(佐治亚大学)
提出AdaCM$^2$自适应跨模态记忆缩减方法,通过自回归视频-文本对齐解决长视频理解中忽略跨模态关联的问题,在多任务上达SOTA并大幅降低内存。
2025-04-04 cs.AI cs.CV
Video-Skill-CoT: Skill-based Chain-of-Thoughts for Domain-Adaptive Video Reasoning
UNC Chapel Hill(UNC夏洛特山分校);Nanyang Technological University(南洋理工大学)
针对视频推理中领域技能适应难的问题,提出Video-Skill-CoT框架,自动构建技能感知的思维链监督并采用技能特定专家学习,在三个基准上持续优于强基线。
2025-10-24 cs.AI cs.CL cs.CV
End-to-End Video Question Answering with Frame Scoring Mechanisms and Adaptive Sampling
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Center for Data Science, Peking University(北京大学数据科学中心)
针对视频问答中均匀采样帧无法捕捉相关上下文的问题,提出 VidF4 框架,设计三种帧评分机制评估帧重要性,并采用可微自适应采样实现端到端训练,在三个基准上取得新 SOTA。
2024-07-23 cs.CL cs.CV
VidBridge-R1: Bridging QA and Captioning for RL-based Video Understanding Models with Intermediate Proxy Tasks
New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所模式识别实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Kling Team, Kuaishou Technology(快手科技 Kling 团队);Peking University(北京大学);Nanjing University(南京大学)
针对强化学习视频模型在问答与字幕任务上难以兼顾的问题,提出基于DarkEventInfer和MixVidQA两个中间代理任务的训练框架VidBridge-R1,使单一模型在两类任务上均获显著性能提升。
2025-09-26 cs.AI cs.CV
Video Interpolation by Event-driven Anisotropic Adjustment of Optical Flow
Tsinghua University(清华大学);Huawei Technologies Co. Ltd(华为技术有限公司)
视频帧插值是一项具有挑战性的任务,由于不断变化的现实世界的场景。以往的方法通常先计算双向光流,然后在线性运动假设下预测中间光流,导致产生各向同性的中间流。后续研究通过额外帧估计高阶运动信息来实现各向异性调整。这些方法都是基于运动假设的,很难对真实场景中的复杂运动进行建模。在本文中,我们提出了一个端到端的训练方法A^2 OF视频帧插值与事件驱动的各向异性调整的光流。具体来说,我们使用事件来产生中间光流的光流分布掩模,它可以模拟两帧之间的复杂运动。我们提出的方法优于以前的方法在视频帧内插,监督基于事件的视频内插到一个更高的阶段。
2022-12-07 cs.AI cs.CV
LLaVA-Octopus: Unlocking Instruction-Driven Adaptive Projector Fusion for Video Understanding
VCIP, CS, Nankai University(南开大学计算机科学与技术学院);Tongyi Group, Alibaba(阿里巴巴通义集团)
LLaVA-Octopus通过根据用户指令动态调整不同视觉投影器的特征权重,提升视频理解任务的性能,实验表明其在多个基准测试中表现优异。
2026-04-20 cs.AI cs.CV
Adaptive Keyframe Sampling for Long Video Understanding
University of Chinese Academy of Sciences(中国科学院大学);University at Buffalo, SUNY(纽约州立大学布法罗分校)
提出自适应关键帧采样(AKS)算法,通过即插即用的关键帧选择模块,在固定视频标记数下最大化信息量,提升长视频理解基准上的问答准确率。
2025-02-28 cs.AI cs.CV cs.LG
VideoScout: Learning Agentic Active Exploration with Adaptive Reasoning Pacing for Long Video Understanding
针对长视频理解中稀疏证据定位难的问题,提出VideoScout多轮推理智能体,通过自适应观看节奏实现序列证据获取,结合两阶段训练与DAPO强化学习,7B模型在基准上表现强劲。
2026-09-15 cs.AI cs.CV
Task-adaptive Spatial-Temporal Video Sampler for Few-shot Action Recognition
Shanghai Jiao Tong University(上海交通大学);Heriot-Watt University Malaysia(赫瑞-瓦特大学马来西亚分校)
Few-Shot动作识别面临的主要挑战是用于训练的视频数据不足。为了解决这个问题,在这一领域的现有方法主要集中在设计算法的特征层次,而很少注意处理输入视频数据。此外,现有的帧采样策略可能会忽略时间和空间维度上的关键动作信息,这进一步影响视频利用效率。在本文中,我们提出了一种新的视频帧采样器的Few-Shot动作识别,以解决这个问题,特定于任务的时空帧采样是通过一个时间选择器(TS)和空间放大器(SA)。具体来说,我们的采样器首先以较小的计算成本扫描整个视频,以获得视频帧的全局感知。TS在选择贡献最显著和随后的前T帧中发挥其作用。SA通过在显著图的指导下放大关键区域来强调每帧的判别信息。我们进一步采用任务自适应学习,根据手头的情节任务动态调整采样策略。TS和SA的实现对于端到端优化是可区分的,从而促进了我们提出的采样器与大多数Few-Shot动作识别方法的无缝集成。大量的实验表明,在各种基准测试(包括长期视频)中,该代码的性能有了显着提高。https://github.com/R00Kie-Liu/Sampler
2022-12-22 cs.AI cs.CV
VideoTree: Adaptive Tree-based Video Representation for LLM Reasoning on Long Videos
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
针对长视频冗余和查询无关信息问题,本文提出无需训练的 VideoTree,通过查询自适应、由粗到细的树形分层表示提升 LLM 长视频推理的准确率与效率。
2025-03-14 cs.AI cs.CL cs.CV
VideoQA-SC: Adaptive Semantic Communication for Video Question Answering
State Key Laboratory of Advanced Rail Autonomous Operation(先进轨道交通自主运行全国重点实验室);School of Electronic and Information Engineering, Beijing Jiaotong University(北京交通大学电子信息工程学院);Frontiers Science Center for Smart High-speed Railway System(智能高速铁路系统前沿科学中心);School of Information Engineering, Zhengzhou University(郑州大学信息工程学院)
针对视频语义通信多聚焦像素级重建、对下游智能任务非最优的问题,提出端到端VideoQA-SC系统,通过时空语义编码器和带宽自适应DJSCC方案,在噪声信道直接基于语义完成VideoQA任务,显著提升准确率并节省带宽。
2025-02-11 cs.AI cs.CV eess.IV
FastRIFE: Optimization of Real-Time Intermediate Flow Estimation for Video Frame Interpolation
Warsaw University of Technology(华沙工业大学)
视频帧间插值问题是图像处理领域的一个重要课题。正确增加记录中的帧数,同时保持平滑移动,可以提高播放视频序列的质量,实现更有效的压缩并创建慢动作记录。本文提出了FastRIFE算法,该算法是对RIFE(实时的【形】中间流估计)模型的速度改进。新的方法进行了检查,并与其他最近发表的算法进行比较。所有源代码都可以在https://gitlab.com/malwinq/interpolation-of-images-for-slow-motion-videos上获得
2021-06-01 cs.CV
Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Interpolation
UMass Amherst(马萨诸塞大学阿默斯特分校);NVIDIA(英伟达);UC Merced(加州大学默塞德分校)
给定两个连续帧,视频内插旨在生成中间帧以形成空间和时间相干的视频序列。针对现有的多帧视频内插算法多集中于单帧内插的问题,提出了一种基于端到端卷积神经网络的变长多帧视频内插算法,该算法将运动解释和遮挡推理结合起来。我们首先使用U-Net架构计算输入图像之间的双向光流。然后,在每个时间步长处线性地组合这些流以近似中间双向光流。然而,这些近似流仅在局部平滑区域中工作良好,并在运动边界周围产生伪影。为了解决这个缺点,我们使用另一个U-Net来细化近似流,并预测软可见性图。最后,对两幅输入图像进行变形和线性融合,形成每个中间帧。通过在融合前将可见性图应用于变形图像,我们排除了遮挡像素对插值中间帧的贡献,以避免伪影。由于我们学习的网络参数都不是时间依赖的,因此我们的方法能够根据需要产生尽可能多的中间帧。我们使用1,132个240帧/秒的视频剪辑,包含300 K个单独的视频帧,来训练我们的网络。在几个数据集上的实验结果,预测不同数量的插值帧,表明我们的方法比现有的方法表现得更好。
2018-07-13 cs.CV
Sali4Vid: Saliency-Aware Video Reweighting and Adaptive Caption Retrieval for Dense Video Captioning
Hanyang University(翰阳大学)
针对现有密集视频字幕模型帧权重均等、忽略场景转换的问题,提出Sali4Vid框架,通过显著性感知视频重加权和自适应字幕检索优化任务效果,在两个基准上达SOTA。
2025-09-04 cs.CV
Domain Adaptive Video Segmentation via Temporal Consistency Regularization
Nanyang Technological University(南洋理工大学)
视频语义分割是视频分析和理解的一项重要任务。最近的努力主要集中在通过从完全注释的数据中学习来进行有监督的视频分割,但是当应用于不同领域的视频时,学习的模型通常会经历明显的性能下降。本文介绍了DA-VSN,域自适应视频分割网络,解决域的差距,视频的时间一致性正则化(TCR)的连续帧的目标域视频。DA-VSN由两种新颖且互补的设计组成。第一种是跨域TCR,其通过对抗学习引导目标帧的预测具有与源帧(从注释的源数据学习)相似的时间一致性。第二种是域内TCR,其引导目标帧的不置信预测具有与目标帧的置信预测相似的时间一致性。大量的实验证明了我们提出的域自适应视频分割网络的优越性,它始终优于多个基线的大利润率。
2021-07-23 cs.CV
Adaptive Compact Attention For Few-shot Video-to-video Translation
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出了一种自适应的紧凑注意力模型的Few-Shot视频到视频翻译。现有的研究方法只利用像素级注意力特征,没有考虑多幅参考图像之间的相关性,计算量大,但性能有限。因此,我们引入了一种新的自适应紧凑的注意力机制,以有效地提取上下文特征联合从多个参考图像,其中编码的视图相关和运动相关的信息可以显着有益于合成的现实视频。我们的核心思想是从所有参考图像中提取紧凑基集作为更高级别的表示。为了进一步提高可靠性,在推理阶段,我们还提出了一种基于德洛内三角剖分算法的参考文献自动选择方法。我们广泛评估我们的方法在大规模的说话头视频数据集和人类跳舞数据集;实验结果表明,我们的方法产生逼真的和时间一致的视频的优越性能,并大大改善了国家的最先进的方法。
2020-11-30 cs.CV
Adaptive Hierarchical Graph Reasoning with Semantic Coherence for Video-and-Language Inference
Zhejiang University(浙江大学);University of Technology Sydney(悉尼科技大学);Université de Montréal(蒙特利尔大学)
视频-语言推理是最近提出的视频-语言理解联合任务。这项新任务需要一个模型来推断自然语言语句是否与给定的视频片段相关或矛盾。在本文中,我们研究了如何解决这一任务的三个关键挑战:判断涉及多个语义的语句的全局正确性,视频和字幕的联合推理,以及建模远程关系和复杂的社会互动。首先,我们提出了一种自适应分层图网络,可以在复杂的交互中深入理解视频。具体而言,它执行联合推理的视频和字幕在三个层次,其中图结构是自适应调整,根据语句的语义结构。其次,我们引入语义一致性学习,明确鼓励三个层次的自适应层次图网络的语义一致性。语义一致性学习可以进一步提高视觉和语言之间的一致性,以及视频片段序列之间的一致性。实验结果表明,我们的方法显着优于基线的大幅度。
2021-08-09 cs.CV
An Adaptive Dictionary Learning Approach for Modeling Dynamical Textures
Department of Electrical Engineering
视频表示是计算机视觉领域中一项重要而具有挑战性的任务。在本文中,我们假设运动场景的图像帧可以建模为线性动力系统。我们提出了一个稀疏编码框架,称为自适应视频字典学习(AVDL),自适应视频建模。开发的框架是能够捕捉动态的运动场景,通过探索稀疏属性和连续视频帧的时间相关性。所提出的方法进行了比较与国家的最先进的视频处理方法的几个基准数据序列,表现出外观的变化和严重的闭塞。
2013-12-19 cs.CV
AAD: Adaptive Anomaly Detection through traffic surveillance videos
通过视频分析的异常检测对于检测交通路口的任何异常车辆/人行为具有重要意义。虽然大多数现有的作品使用神经网络和传统的机器学习方法的基础上提供的数据集,我们将使用对象识别(更快的R-CNN),以确定对象的标签和它们在视频场景中的相应位置作为第一步,以实现异常检测。然后,将利用光流来识别帧的每个区域中的自适应业务流。基本上,我们提出了一种替代方法,使用自适应异常检测框架进行异常活动检测。与参考文献中描述的基线方法相比,我们的方法是更有效的,并产生相当的精度。
2018-08-29 cs.CV
Region-Adaptive Video Sharpening via Rate-Perception Optimization
Bytedance Inc.(字节跳动公司)
本文提出端到端区域自适应视频锐化模型RPO-AdaSharp,利用编码树单元分区掩码作为先验信息指导增加比特的分配,在实现感知增强的同时节省比特率,定性与定量实验均验证了其有效性。
2025-08-12 cs.CV
Making Every Frame Matter: Continuous Activity Recognition in Streaming Video via Adaptive Video Context Modeling
Nanjing University(南京大学);Microsoft Research(微软研究院);AIR, Tsinghua University(清华大学AIR)
针对流式视频中多尺度未裁剪连续活动识别难题,提出CARS系统,通过自适应时空上下文建模、空间特征提取和活动感知状态更新,在边缘设备上实现超过30 FPS的高效识别并显著提升准确率。
2025-03-13 cs.CV
Adaptive Graph Convolutional Networks for Weakly Supervised Anomaly Detection in Videos
Northwestern Polytechnical University(西北工业大学)
对于弱监督异常检测,大多数现有的工作是有限的问题,由于无法建模长期的上下文信息的视频表示不足。为了解决这个问题,我们提出了一种新的弱监督自适应图卷积网络(WAGCN)的视频片段之间的复杂的上下文关系建模。通过这种方法,我们在为每个视频段生成异常概率得分时,充分考虑了其他视频段对当前视频段的影响。首先,我们结合时间的一致性以及视频片段的特征相似性来构建一个全局图,它充分利用视频异常事件的时空特征之间的关联信息。其次,为了突破人工设置拓扑结构的局限性,提出了一个图学习层,能够有效地自适应地提取基于数据的图邻接矩阵。在两个公共数据集上进行了广泛的实验(即,UCF-Crime数据集和ShanghaiTech数据集)证明了我们方法的有效性,实现了最先进的性能。
2022-10-08 cs.CV
Through the PRISM: Preference Representation in Intermediate States of Video Diffusion Models
City University of Hong Kong(香港城市大学);Video Rebirth;The Chinese University of Hong Kong(香港中文大学)
提出PRISM方法,利用冻结的视频扩散骨干网络和轻量级查询聚合头从噪声潜变量中解码偏好信号,实现高精度偏好预测和噪声鲁棒性,支持早期最佳采样以降低计算成本并提升视频质量。
2026-10-14 cs.CV
Implementing Adaptive Separable Convolution for Video Frame Interpolation
KTH Royal Institute of Technology(瑞典皇家理工学院)
随着深度神经网络越来越受欢迎,人们的注意力越来越多地集中在计算机视觉问题上,而这些问题过去是用更传统的方法解决的。视频帧内插是其中一个挑战,已经看到了涉及深度学习中各种技术的新研究。在本文中,我们复制了Niklaus等人关于自适应可分离卷积的工作,该工作声称视频帧插值任务具有高质量的结果。我们应用在较小数据集上训练的相同网络结构,并使用各种不同的损失函数进行实验,以确定数据稀缺情况下的最佳方法。最好的结果模型仍然能够提供视觉上令人愉悦的视频,尽管获得了较低的评估分数。
2018-09-20 cs.CV
NightRain: Nighttime Video Deraining via Adaptive-Rain-Removal and Adaptive-Correction
National University of Singapore(新加坡国立大学);Huawei International Pte Ltd(华为国际私人有限公司);Beijing Jiaotong University(北京交通大学)
提出NightRain夜间视频去雨方法,通过自适应去雨利用无标签数据生成成对真实数据训练模型,并采用自适应校正解决过饱和和颜色偏移问题,实现26.73dB的PSNR,性能大幅超越现有方法。
2024-01-10 cs.CV
Sequence-Adaptive Video Prediction in Continuous Streams using Diffusion Noise Optimization
University of Bonn(波恩大学);Toyota Motor Europe(丰田欧洲公司);University of Wuerzburg(乌尔姆大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能与机器学习研究所)
本文提出了一种基于扩散噪声优化的连续流序列适应视频预测方法,通过在推理过程中细化扩散噪声以提升视频预测性能。
2025-11-26 cs.CV
Learning Adaptive and Temporally Causal Video Tokenization in a 1D Latent Space
提出AdapTok自适应时间因果视频分词器,通过块级掩蔽和整数线性规划实现内容感知的令牌分配,在UCF-101和Kinetics-600上提升重建与生成性能。
2025-10-14 cs.CV
Revisiting Adaptive Convolutions for Video Frame Interpolation
Adobe Research(Adobe研究(Adobe Research))
视频帧内插,即实时合成新视图,是一个越来越受欢迎的研究方向,许多新的论文进一步推进了这一技术的发展。但是,由于每种新方法都有许多影响内插质量的变量,因此很难判断什么对这项任务真正重要。在这项工作中,我们发现,有点令人惊讶的是,它是可以实现接近国家的最先进的结果与旧的,更简单的方法,即自适应可分离卷积,通过一组微妙的低级别的改进。在此过程中,我们提出了一些直观但有效的技术来提高帧插值质量,这些技术也有可能用于自适应卷积的其他相关应用,如突发图像去噪,联合图像滤波或视频预测。
2020-11-02 cs.CV
Video Frame Interpolation via Adaptive Convolution
Portland State University(波特兰州立大学)
视频帧内插通常涉及两个步骤:运动估计和像素合成。这种两步方法严重依赖于运动估计的质量。本文提出了一种鲁棒的视频帧插值方法,将这两个步骤结合到一个过程中。具体来说,我们的方法认为像素合成的插值帧作为两个输入帧的局部卷积。卷积核捕获输入帧之间的局部运动和用于像素合成的系数。我们的方法采用深度全卷积神经网络来估计每个像素的空间自适应卷积核。这种深度神经网络可以使用广泛可用的视频数据直接进行端到端训练,而无需任何难以获得的地面实况数据,如光流。我们的实验表明,视频插值作为一个单一的卷积过程,使我们的方法能够优雅地处理像遮挡,模糊和突然的亮度变化的挑战,并实现高质量的视频帧插值。
2017-03-22 cs.CV
Scale-Adaptive Feature Aggregation for Efficient Space-Time Video Super-Resolution
Megvii Technology(旷视科技);Nankai University(南开大学)
针对时空视频超分辨率中动态建模不同运动幅度复杂且不灵活的问题,提出尺度自适应特征聚合(SAFA)网络,通过自适应选择不同处理尺度的子网络,在大幅降低参数量和计算成本的同时实现了最先进的性能。
2023-11-27 cs.CV
Adaptive Begin-of-Video Tokens for Autoregressive Video Diffusion Models
Zhejiang University(浙江大学);Manycore Tech Inc.(Manycore科技公司)
针对自回归视频扩散模型长视频生成的现有范式缺陷,本文提出ada-BOV自适应视频起始令牌,搭配流式去噪精细化策略与扰动增强训练噪声调度,在多指标上取得优异的长视频生成效果。
2025-11-15 cs.CV
Learning to Forecast Videos of Human Activity with Multi-granularity Models and Adaptive Rendering
Simon Fraser University(西蒙弗雷泽大学)
我们提出了一种方法来预测视频的复杂的人类活动,涉及多个人。直接的像素级预测过于简单,无法处理复杂活动中的外观变化。因此,我们开发新的中间表示。提出了一种结合用于预测人体姿态的分层时间模型和用于绘制目标外观的编码器-解码器卷积神经网络的架构。我们的层次模型捕捉人与人之间的互动,采用动态的基于组的互动机制。接下来,我们的外观渲染网络通过使用全卷积网络学习自适应外观过滤器来编码目标的外观。最后,将这些滤波器放入编码器-解码器神经网络中完成渲染。我们证明了我们的模型可以生成优于最先进方法的视频,并且可以在视频预测中处理复杂的人类活动场景。
2017-12-05 cs.CV
Multi Modal Adaptive Normalization for Audio to Video Generation
Hike(Hike公司)
语音驱动的人脸视频生成是一个复杂的问题,由于其多模态方面,即音频和视频域。音频包括许多基本特征,例如表情、音高、响度、韵律(说话风格),并且面部视频在头部运动、眨眼、嘴唇同步和各种面部动作单元的运动以及时间平滑度方面具有许多可变性。对于生成对抗网络来说,从音频输入和静态图像中合成高度表达的面部视频仍然是一项具有挑战性的任务。在本文中,我们提出了一种多模态自适应归一化(MAN)的基础架构,合成一个说话的人的视频的任意长度作为输入:一个音频信号和一个人的单个图像。该架构使用多模态自适应归一化、关键点热图预测器、光流预测器和基于类激活图[58]的层来学习表情面部组件的运动,从而生成给定人的高度表情化的讲话头部视频。多模态自适应归一化使用音频和视频的各种特征(诸如来自音频信号的Mel频谱图、音高、能量和预测的关键点热图/光流)和单个图像来学习相应的仿射参数以生成高度表达的视频。实验评估表明,与使用GANs的真实语音驱动面部动画(RSDGAN)[53],Speech 2 Vid [10]和其他方法相比,所提出的方法在多个定量指标上具有优异的性能,包括:SSIM(结构相似性指数),PSNR(峰值信噪比),CPBD(图像清晰度),WER(单词出错率),眨眼/秒和LMD(地标距离)。此外,定性评估和在线图灵测试证明了我们的方法的有效性。
2020-12-14 cs.CV
SOYO: A Tuning-Free Approach for Video Style Morphing via Style-Adaptive Interpolation in Diffusion Models
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学)
SOYO提出一种免调优的扩散模型视频风格渐变框架,通过注意力注入、AdaIN及自适应采样调度器解决多风格过渡中的结构不连续与风格突变问题,实现平滑稳定的视频风格渐变。
2025-03-10 cs.CV
Diverse Video Captioning by Adaptive Spatio-temporal Attention
University of Tübingen(图宾根大学)
为了生成合适的视频字幕,推理需要识别相关概念,并注意它们之间的空间关系以及剪辑中的时间发展。我们的端到端的编码器-解码器视频描述框架结合了两个基于transformer的架构,一个适合的Transformer用于单个联合时空视频分析,以及一个基于自注意力的解码器用于高级文本生成。此外,我们引入了一个自适应帧选择方案,以减少所需的传入帧的数量,同时保持相关的内容时,训练两个Transformers。此外,我们估计语义概念相关的视频描述通过聚合每个样本的所有地面实况字幕。我们的方法实现了最先进的结果MSVD,以及大规模的MSR-VTT和VATEX基准数据集考虑多个自然语言生成(NLG)指标。对多样性分数的额外评估突出了我们生成的字幕结构的表达力和多样性。
2022-08-19 cs.CV
Adaptive Video Highlight Detection by Learning from User History
University of Manitoba(曼尼托巴大学);Huawei Technologies(华为技术有限公司)
最近,有越来越多的兴趣在亮点检测研究,其目标是创建一个短的持续时间的视频从较长的视频提取其有趣的时刻。然而,大多数现有的方法忽略了这样一个事实,即视频亮点的定义是高度主观的。不同的用户对于相同的输入视频可能具有不同的高光偏好。在本文中,我们提出了一个简单而有效的框架,学习适应突出检测到用户利用用户的历史,突出显示的形式,用户以前创建的。我们的框架由两个子网络组成:一个完全时间卷积的亮点检测网络$H$,预测输入视频的亮点和历史编码器网络$M$的用户历史。我们引入了一个新设计的时间自适应实例规范化(T-AIN)层的$H$的两个子网络相互作用。T-AIN具有基于用户历史从$M$预测的仿射参数,并且负责到$H$的用户自适应信号。在大规模数据集上的大量实验表明,我们的框架可以做出更准确和用户特定的亮点预测。
2020-07-19 cs.CV
SATVSR: Scenario Adaptive Transformer for Cross Scenarios Video Super-Resolution
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
本文提出SATVSR,通过光流标签引导的Transformer注意力机制和跨尺度特征聚合模块,使视频超分辨率模型能自适应选择同场景信息,在单场景和跨场景数据上均取得显著性能提升。
2022-11-16 cs.CV
Domain Adaptive Video Segmentation via Temporal Pseudo Supervision
Nanyang Technological University(南洋理工大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
视频语义分割在大量带标签的训练数据的监督下取得了很大的进展。然而,域自适应视频分割,它可以减轻数据标签的约束,从一个标记的源域适应到一个未标记的目标域,在很大程度上被忽视。我们设计了时间伪监督(TPS),这是一种简单有效的方法,它探索了一致性训练的想法,用于从未标记的目标视频中学习有效的表示。与传统的在空间空间中建立一致性的一致性训练不同,我们通过在增强的视频帧中执行模型一致性来探索时空空间中的一致性训练,这有助于从更多样化的目标数据中学习。具体来说,我们设计了跨帧伪标签,以提供从以前的视频帧伪监督,同时从增强的当前视频帧学习。跨帧伪标签鼓励网络产生高确定性的预测,这有助于有效地进行跨帧增强的一致性训练。在多个公开数据集上的实验表明,TPS算法实现简单,训练稳定性好,与现有算法相比,具有更高的视频分割精度.
2022-07-06 cs.CV
Adaptive 1D Video Diffusion Autoencoder
The University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司);CUHK(香港中文大学);Nanjing University(南京大学)
本文提出了一种自适应一维视频扩散自编码器,通过改进的编码和解码机制实现更高效的视频压缩与重建。
2026-02-04 cs.CV
CANeRV: Content Adaptive Neural Representation for Video Compression
School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);Bytedance Inc.(字节跳动公司);School of Computer Science, Peking University(北京大学计算机学院)
针对现有基于隐式神经表示(INR)的视频压缩方法因固定网络架构适应性不足导致效果欠佳的问题,提出CANeRV,通过动态序列级调整、帧级调整及分层结构自适应提升压缩性能,实验表明其优于H.266/VVC等技术。
2025-02-13 cs.CV
Adaptive High-Frequency Preprocessing for Video Coding
Bytedance Inc.(字节跳动公司)
本文提出一种基于端到端学习的自适应高频预处理框架,利用频率注意力特征金字塔预测网络(FFPN)预测最优预处理策略,在视频编码中实现比特率与主观质量的最佳折中。
2025-08-12 cs.CV
TAM: Temporal Adaptive Module for Video Recognition
State Key Lab for Novel Software Technology, Nanjing University, China(南京大学计算机软件新技术国家重点实验室);SenseTime Research(商汤科技研究院)
由于摄像机运动、速度变化和不同的活动等各种因素,视频数据具有复杂的时间动态。为了有效地捕捉这种不同的运动模式,本文提出了一种新的时间自适应模块({ \bf TAM}),以产生视频特定的时间内核的基础上,自己的特征地图。TAM提出了一种独特的两级自适应建模方案,通过解耦的动态内核到一个位置敏感的重要性地图和位置不变的聚合权重。重要性图是在局部时间窗口中学习的,以捕获短期信息,而聚合权重是从全局视图生成的,重点是长期结构。TAM是一个模块化的块,可以集成到2D CNN中,以非常小的额外计算成本产生强大的视频架构(TANet)。在Kinetics-400和Something-Something数据集上的大量实验表明,该方法的性能始终优于其他时态建模方法,并在相似的复杂度下达到了最先进的性能。代码可在\url{ https://github.com/liu-zhy/temporal-adaptive-module}上获得。
2021-08-18 cs.CV
Adaptive Detrending to Accelerate Convolutional Gated Recurrent Unit Training for Contextual Video Recognition
Korea Advanced Institute of Science and Technology(韩国科学技术院);Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
随着图像识别技术的发展,视频识别技术成为当前研究的热点。然而,大多数现有的方法都集中在短期而不是长期的视频识别,称为上下文视频识别。为了解决上下文视频识别问题,我们使用具有丰富时空信息处理能力的卷积递归神经网络(ConvRNN),但ConvRNN需要大量计算,这会减慢训练速度。在本文中,受归一化和去趋势方法的启发,我们提出了用于时间归一化的自适应去趋势(AD),以加速ConvRNN的训练,特别是卷积门控递归单元(ConvGRU)。AD通过减去趋势来去除递归神经网络(RNN)中每个神经元的序列内的内部协变量偏移。在ConvGRU的上下文识别实验中,结果表明:(1)ConvGRU明显优于前馈神经网络,(2)AD始终提供显着的训练加速和泛化改进,(3)AD通过与现有的归一化方法合作得到进一步改进。
2017-05-24 cs.CV
VADER: Adaptive Debiasing for Hallucination Mitigation in Video Large Language Models
本研究针对视频大语言模型的幻觉问题,提出无训练自适应去偏框架VADER,通过视觉焦点重分配与选择性证据擦除模块结合对比解码,在LLaVA-Video-7B等模型的EventHallusion任务上取得显著性能提升。
2026-08-11 cs.CV