Repurposing Pre-trained Video Diffusion Models for Event-based Video Interpolation
University of Maryland, College Park(马里兰大学帕克分校);Massachusetts Institute of Technology(麻省理工学院)
本文通过将预训练视频扩散模型适配到基于事件的视频插帧任务,克服了配对数据有限的挑战,在真实数据集上优于现有方法并展现出更强的跨相机泛化能力。
2025-03-25 cs.CV
Motion-Aware Generative Frame Interpolation
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Platform and Content Group (PCG), Tencent(腾讯平台与内容事业群);Shanghai AI Lab(上海人工智能实验室)
本文提出运动感知的生成式视频插帧方法MoG,通过中间光流双重引导注入与选择性参数微调,在保持运动稳定性的同时自适应修正复杂区域伪影,在真实与动画基准上均优于现有方法。
2025-03-08 cs.CV
SNM-VFI: Symmetric Nonlinear Motion-Guided Generative Video Frame Interpolation
Qualcomm(高通公司)
提出无需训练的SNM-VFI框架,结合预训练光流与视频扩散模型,用对称非线性运动模型引导生成过程,经多基准评估实现了优质视频帧插值效果。
2026-08-14 cs.CV
Framer: Interactive Frame Interpolation
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
提出交互式帧插值框架Framer,通过用户指定关键点轨迹定制过渡过程,并支持自动模式,在图像变形、延时视频等任务上表现优异。
2024-11-04 cs.CV
Bridging Event Streams and DiT: Event-Guided Video Frame Interpolation
The University of Tokyo(东京大学);South China University of Technology(华南理工大学);Wuhan University(武汉大学);Singapore Management University(新加坡管理大学)
本文提出基于适配器的框架,将事件衍生提示融入预训练图像转视频扩散模型,利用IWEs与双向稀疏光流引导生成,提升视频帧插值质量,效果优于现有SOTA方法。
2026-08-13 cs.CV
EDEN: Enhanced Diffusion for High-quality Large-motion Video Frame Interpolation
Shanghai Key Lab of Intell. Info. Processing, School of CS, Fudan University(上海智能信息处理关键实验室,复旦大学计算机学院);Shanghai Collaborative Innovation Center of Intelligent Visual Computing(上海智能视觉计算协同创新中心);Noah’s Ark Lab, Huawei(华为诺亚实验室)
针对大运动视频帧插值中帧模糊和时间不一致问题,本文提出 EDEN,通过 transformer tokenizer、时间注意力和起止帧差异嵌入增强扩散生成,并在多个基准上取得最优性能。
2025-05-10 cs.CV
AceVFI: A Comprehensive Survey of Advances in Video Frame Interpolation
本文综述了视频帧插值领域的发展,系统分类了基于核心设计原则和架构特征的方法,分析了关键挑战并探讨了未来研究方向。
2026-03-26 cs.CV
LADDER: An Efficient Framework for Video Frame Interpolation
Advanced Micro Devices(超威半导体公司)
针对视频帧插帧中效率与质量的平衡问题,提出LADDER框架,采用大核深度可分离卷积光流估计器、仅解码器细化模块及高清感知增强策略,以更少的计算量和参数量实现了SOTA性能。
2024-04-17 cs.CV
Envision3D: One Image to 3D with Anchor Views Interpolation
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);National University of Singapore(新加坡国立大学);PengCheng Laboratory(鹏城实验室);Rabbitpre(睿比特科技)
Envision3D提出级联扩散框架,将单图三维重建分解为锚视图生成与插值两阶段,并采用从粗到细采样,生成高质量三维内容,超越基线方法。
2024-03-13 cs.CV
LIFI: Towards Linguistically Informed Frame Interpolation
IIIT-Delhi(德里印度信息技术学院);Adobe(奥多比公司);NUS(新加坡国立大学)
在这项工作中,我们探讨了一个新的语音视频帧内插问题。今天,这种内容构成了在线交流的主要形式。我们试图通过使用几种深度学习视频生成算法来生成丢失的帧来解决这个问题。我们还提供了一些例子,其中计算机视觉模型尽管在传统的非语言指标上表现出高性能,但无法准确地产生忠实的语音插值。有了这个动机,我们提供了一套新的语言信息的指标,专门针对语音视频插值的问题。我们还发布了几个数据集来测试他们的语音理解的计算机视觉视频生成模型。
2020-12-02 cs.CV eess.IV
T-GMSI: A transformer-based generative model for spatial interpolation under sparse measurements
Purdue University(普渡大学)
针对稀疏测量下空间插值精度不足的问题,提出基于ViT的T-GMSI模型,结合地形特征感知损失,在70%以上稀疏度数据上表现优于传统方法与CEDGAN,且无需微调即可跨地貌迁移,为稀疏数据插值提供新方案。
2024-12-13 cs.CV eess.IV
ALANET: Adaptive Latent Attention Network forJoint Video Deblurring and Interpolation
University of California, Riverside(加州大学河滨分校)
现有的工作解决的问题,产生高帧率清晰的视频通过单独学习帧去模糊和帧插值模块。这些方法中的大多数都有一个很强的先验假设,即所有输入帧都是模糊的,而在现实世界中,帧的质量是变化的。此外,这些方法被训练成单独执行两个任务中的任何一个-去模糊或插值,而许多实际情况需要两者。不同于这些作品,我们解决了一个更现实的问题,高帧率锐利的视频合成,没有事先假设输入总是模糊的。我们介绍了一种新的架构,自适应潜在注意力网络(ALANET),它合成锐利的高帧率视频,没有输入帧模糊或不模糊的先验知识,从而执行去模糊和插值的任务。我们假设,可以利用来自连续帧的潜在表示的信息来生成用于帧去模糊和帧插值的优化表示。具体来说,我们采用的自注意力和交叉注意力模块在潜在空间中的连续帧之间的组合,以生成优化的表示为每一帧。使用这些注意力模块学习的优化表示有助于模型生成和插入清晰的帧。在标准数据集上进行的大量实验表明,我们的方法与各种最先进的方法相比表现良好,即使我们解决的问题要困难得多。
2020-08-31 cs.CV cs.LG eess.IV
MCVD: Masked Conditional Video Diffusion for Prediction, Generation, and Interpolation
Mila(米拉人工智能研究所);University of Montreal(蒙特利尔大学);Polytechnique Montreal(蒙特利尔理工学院);ServiceNow Research(ServiceNow研究院)
视频预测是一项具有挑战性的任务。当前最新技术水平(SOTA)生成模型的视频帧质量往往较差,并且难以在训练数据之外进行泛化。此外,现有的预测框架通常不能同时处理其他视频相关的任务,例如无条件生成或插值。在这项工作中,我们设计了一个通用的框架,称为掩蔽条件视频扩散(MCVD)的所有这些视频合成任务,使用概率条件分数为基础的去噪扩散模型,条件上的过去和/或未来的帧。我们训练模型的方式是随机和独立地屏蔽所有过去的帧或所有未来的帧。这种新颖但简单的设置允许我们训练一个能够执行广泛视频任务的单一模型,具体来说:未来/过去预测-当只有未来/过去帧被掩蔽时;无条件生成-当过去和未来帧都被掩蔽时;以及插值-当过去和未来帧都不被掩蔽时。我们的实验表明,这种方法可以为不同类型的视频生成高质量的帧。我们的MCVD模型由简单的非递归2D卷积架构构建,对帧块进行调节并生成帧块。我们以块方式自回归生成任意长度的视频。我们的方法在标准视频预测和插值基准测试中产生SOTA结果,使用$\le$ 4 GPU在1-12天内测量训练模型的计算时间。项目页面:https://mask-cond-video-diffusion.github.io;代码:https://github.com/voletiv/mcvd-pytorch
2022-10-12 cs.AI cs.CV cs.LG
An intelligent approach towards automatic shape modeling and object extraction from satellite images using cellular automata based algorithm
MANIT-Bhopal(曼尼特-博帕尔)
自动特征提取领域在过去的十年中已经见证了许多智能方法的应用,然而这些方法的检测精度受到限制,因为对象的几何形状和上下文知识没有得到足够的考虑。在本文中,我们提出了一个框架工作的准确检测功能,自动插值,并解释建模特征形状以及上下文知识,使用先进的技术,如SVRF,细胞神经网络,核心集,和MACA。已开发的方法进行了比较,与当代方法使用不同的统计措施。对各种卫星图像的调查表明,CNN的做法取得了相当大的成功。CNN在有效地对不同的复杂特征进行建模方面是有效的,并且使用紧身胸衣优化大大降低了该方法的复杂性。该系统使用CNN-Prolog方法动态地使用光谱和空间信息来表示上下文知识。该系统在提供智能插值和解释随机特征方面也被证明是有效的。
2013-03-27 cs.CV
MixUp-MIL: A Study on Linear & Multilinear Interpolation-Based Data Augmentation for Whole Slide Image Classification
Salzburg University of Applied Sciences(萨尔茨堡应用科学大学);Spinal Cord Injury and Tissue Regeneration Center Salzburg(萨尔茨堡脊髓损伤与组织再生中心);Research Institute of Experimental Neuroregeneration(实验神经再生研究所);Kardinal Schwarzenberg Klinikum(红衣主教施瓦岑贝格医院)
针对全切片图像多示例学习中数据增强研究不足的问题,本文系统评估特征向量线性与多线性插值在10种数据集配置、两类特征提取方法、染色归一化及两种MIL架构下的效果,揭示其高度变异规律并指出后续研究方向。
2023-12-06 cs.CV
Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual Meta-Learning
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Bigo
现有的视频帧内插方法只能在给定的中间时间步长(例如,1/2)处内插帧。在本文中,我们的目标是探索一种更广义的视频帧内插,在一个任意的时间步长。为此,我们考虑在元学习的帮助下,以统一的方式使用自适应生成的卷积核处理不同的时间步长。具体来说,我们开发了一个双重元学习帧插值框架,以合成中间帧的指导下的上下文信息和光流,以及采取的时间步长作为边信息。首先,构建内容感知元学习流细化模块,以基于输入帧的下采样版本来提高光流估计的准确性。第二,利用经细化的光流和时间步长作为输入,运动感知元学习帧内插模块为在输入帧的粗略变形版本的特征图上的卷积操作中使用的每个像素生成卷积核,以生成预测帧。广泛的定性和定量评估以及消融研究表明,通过以这种精心设计的方式在我们的框架中引入元学习,我们的方法不仅实现了优于最先进的帧插值方法的性能,而且还具有扩展的能力,以支持任意时间步长的插值。
2022-07-27 cs.CV
Optimizing Video Prediction via Video Frame Interpolation
The Hong Kong University of Science and Technology(香港科技大学)
视频预测是预测给定过去帧的未来帧的外推任务,并且视频帧内插是估计两个帧之间的中间帧的内插任务。视频帧内插技术已经取得了巨大的进步,但在实际应用中,视频预测仍然是一个悬而未决的问题。受视频帧内插的照片般逼真的结果的启发,我们提出了一种新的优化框架,通过视频帧内插的视频预测,其中我们解决了外推问题的基础上的内插模型。我们的视频预测框架基于使用预训练的可微分视频帧插值模块进行优化,而不需要训练数据集,因此在训练数据和测试数据之间没有域间隙问题。此外,我们的方法不需要任何额外的信息,如语义或实例映射,这使得我们的框架适用于任何视频。在Cityscapes、KITTI、DAVIS、Middlebury和Vimeo90K数据集上的大量实验表明,我们的视频预测结果在一般情况下是鲁棒的,并且我们的方法优于其他需要大量训练数据或额外语义信息的视频预测方法。
2022-06-27 cs.CV
AdaFNIO: Adaptive Fourier Neural Interpolation Operator for video frame interpolation
Purdue University(普渡大学)
我们提出,AdaFNIO -自适应傅立叶神经插值算子,一个基于神经运算符的架构来执行视频帧内插。当前基于深度学习的方法依赖于局部卷积进行特征学习,并且不是尺度不变的,因此需要通过随机翻转和重新缩放来增强训练数据。另一方面,AdaFNIO通过使用快速傅立叶变换(FFT)在傅立叶空间或谱域中进行令牌混合和全局卷积,学习帧中的特征,与输入分辨率无关。我们表明,AdaFNIO可以产生视觉上平滑和准确的结果。为了评估我们的插值帧的视觉质量,我们计算生成的帧和地面真实帧之间的结构相似性指数(SSIM)和峰值信噪比(PSNR)。我们提供了我们的模型在Vimeo-90 K数据集,DAVIS,UCF 101和DISFA+数据集上的定量性能。
2023-03-09 cs.CV
Splatting-based Synthesis for Video Frame Interpolation
Adobe Research(奥多比研究院);Boston University(波士顿大学);Adobe Inc(奥多比公司)
帧内插是一种重要的视频处理技术,可以调整图像序列的时间分辨率。虽然深度学习为视频帧内插领域带来了巨大的改进,但利用神经网络的技术通常不容易部署在视频编辑器等实际应用中,因为它们要么在计算上过于苛刻,要么在高分辨率下失败。相比之下,我们提出了一种深度学习方法,该方法仅依赖于飞溅来合成插值帧。这种基于分裂的视频帧内插合成不仅比类似方法快得多,特别是对于多帧内插,而且还可以在高分辨率下产生新的最先进的结果。
2022-10-26 cs.CV
Unified Arbitrary-Time Video Frame Interpolation and Prediction
Samsung Electronics(三星电子)
本文提出uniVIP,一个统一的任意时刻视频帧插值与预测框架,通过扩展插值网络并引入任务编码通道,在三元组帧上训练统一模型,在插值任务上表现具竞争力且在预测任务上超越现有最先进方法。
2025-03-04 cs.CV
Deep Frame Interpolation
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
这项工作提出了一种基于监督学习的方法来解决帧插值的计算机视觉问题。所提出的技术也可以用于卡通动画,因为绘制每个单独的帧消耗了大量的时间。针对该问题的大多数现有解决方案使用无监督方法并且仅关注具有已经高的帧速率的现实生活视频。然而,实验表明,当帧速率变低并且帧之间的对象位移变大时,这样的方法不起作用。这是由于大位移运动的内插需要运动结构的知识,因此诸如帧平均的简单技术开始失效。在这项工作中,深度卷积神经网络用于解决帧内插问题。此外,它表明,纳入先验信息,如光流显着提高插值质量。
2017-06-15 cs.CV
Extracting Motion and Appearance via Inter-Frame Attention for Efficient Video Frame Interpolation
Nanjing University(南京大学);Samsung Electronics (China) R&D Centre(三星电子(中国)研发中心);Shanghai AI Lab(上海人工智能实验室)
有效地提取帧间运动和外观信息对于视频帧内插(VFI)具有重要意义。以往的工作要么是混合提取两类信息,要么是对每类信息分别进行模块化处理,导致表达歧义和效率低下。在本文中,我们提出了一个新的模块,明确地提取运动和外观信息,通过统一的操作。具体来说,我们重新考虑帧间注意的信息处理,并将其注意图重新用于外观特征增强和运动信息抽取。此外,为了高效的VFI,我们提出的模块可以无缝集成到混合CNN和Transformer架构中。这种混合流水线可以减轻帧间注意的计算复杂性,并保留详细的低层结构信息。实验结果表明,对于固定和任意时间步长插值,我们的方法在各种数据集上都达到了最先进的性能。同时,我们的方法享有一个较轻的计算开销的模型具有接近的性能。源代码和模型可以在https://github.com/MCG-NJU/EMA-VFI上找到。
2023-03-05 cs.CV
Video Frame Interpolation via Adaptive Convolution
Portland State University(波特兰州立大学)
视频帧内插通常涉及两个步骤:运动估计和像素合成。这种两步方法严重依赖于运动估计的质量。本文提出了一种鲁棒的视频帧插值方法,将这两个步骤结合到一个过程中。具体来说,我们的方法认为像素合成的插值帧作为两个输入帧的局部卷积。卷积核捕获输入帧之间的局部运动和用于像素合成的系数。我们的方法采用深度全卷积神经网络来估计每个像素的空间自适应卷积核。这种深度神经网络可以使用广泛可用的视频数据直接进行端到端训练,而无需任何难以获得的地面实况数据,如光流。我们的实验表明,视频插值作为一个单一的卷积过程,使我们的方法能够优雅地处理像遮挡,模糊和突然的亮度变化的挑战,并实现高质量的视频帧插值。
2017-03-22 cs.CV
EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation
Northwestern Polytechnical University(西北工业大学)
视频帧内插可以上变频帧速率并提高视频质量。近年来,虽然插值性能已经取得了很大的成功,但由于大的运动,图像模糊通常发生在物体边界处。这是一个长期存在的问题,尚未得到解决。在本文中,我们提出了减少图像模糊,并得到清晰的形状的对象,通过保持边缘的插值帧。为此,提出的边缘感知网络(EA-Net)集成的边缘信息到帧内插任务。它遵循端到端的架构,可以分为两个阶段,\emph{i.e.},边缘引导的流量估计和边缘保护的帧合成。具体而言,在流估计阶段,提出了三种边缘感知机制,在估计流图时强调帧边缘,从而将边缘图作为辅助信息,为提高流估计精度提供更多的指导。在帧合成阶段,设计了流细化模块对流图进行细化,设计了注意力模块,在合成中间帧时自适应地关注双向流图。此外,采用帧和边缘鉴别器进行对抗性训练策略,以增强合成帧的真实感和清晰度。在Vimeo 90 k、UCF 101单帧内插和EA 240-fps多帧内插三个基准测试上的实验表明,EA-Net在视频帧内插方面具有优越性。
2021-05-17 cs.CV
Depth-Aware Video Frame Interpolation
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(上海交通大学图像通信与网络工程研究所);University of California, Merced(加州大学默塞德分校);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院);Google(谷歌)
视频帧插值的目的是在原始帧之间合成不存在的帧。虽然最近的深度卷积神经网络已经取得了重大进展,但由于大的对象运动或遮挡,插值的质量通常会降低。在这项工作中,我们提出了一种视频帧插值方法,明确地检测通过探索的深度信息的遮挡。具体来说,我们开发了一个深度感知流投影层来合成中间流,这些中间流最好对距离较近的对象进行采样,而不是距离较远的对象。此外,我们学习层次特征来收集来自相邻像素的上下文信息。然后,所提出的模型基于光流和局部插值核来扭曲输入帧、深度图和上下文特征,以合成输出帧。我们的模型是紧凑的,有效的,完全可微的。定量和定性的结果表明,该模型表现良好,对国家的最先进的帧插值方法在各种各样的数据集。
2019-04-01 cs.CV
NeuralPCI: Spatio-temporal Neural Field for 3D Point Cloud Multi-frame Non-linear Interpolation
Tongji University(同济大学)
近年来,对计算机视觉的插值任务的关注显著增加。尽管视频插值取得了巨大的进步,但点云插值仍然没有得到充分的探索。同时,现实场景中大量非线性大运动的存在使得点云插值任务更具挑战性。鉴于这些问题,我们提出了NeuralPCI:一个用于3D点云插值的端到端4D时空神经场,它隐式地集成了多帧信息,以处理室内和室外场景的非线性大运动。此外,我们构建了一个新的多帧点云插值数据集,称为NL-Drive,用于自动驾驶场景中的大非线性运动,以更好地展示我们的方法的优越性。最终,NeuralPCI在DHB(动态人体)和NL-Drive数据集上实现了最先进的性能。除了插值任务,我们的方法可以自然地扩展到点云外推,变形和自动标记,这表明它在其他领域的巨大潜力。代码可在https://github.com/ispc-lab/NeuralPCI上获得。
2023-03-27 cs.CV
FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation
UCSD(加州大学圣地亚哥分校);CMU(卡内基梅隆大学);Facebook AI(脸书人工智能研究院)
用于视频帧内插的大多数方法计算视频的相邻帧之间的双向光流,随后是合适的扭曲算法以生成输出帧。然而,依赖于光流的方法通常无法直接从视频对遮挡和复杂的非线性运动进行建模,并且引入了不适合于广泛部署的附加瓶颈。我们通过FLAVR解决了这些限制,FLAVR是一种灵活高效的架构,使用3D空时卷积来实现视频帧插值的端到端学习和推理。我们的方法有效地学习推理非线性运动,复杂的遮挡和时间抽象,从而提高视频插值的性能,同时不需要以光流或深度图的形式进行额外的输入。由于其简单性,FLAVR可以提供比当前最精确的多帧插值方法快3倍的推理速度,而不会损失插值精度。此外,我们在各种具有挑战性的设置上评估了FLAVR,并在各种流行的基准测试(包括Vimeo-90 K,UCF 101,DAVIS,Adobe和GoPro)上与之前的方法相比,始终展示出卓越的定性和定量结果。最后,我们证明了FLAVR视频帧内插可以作为一个有用的自我监督的借口任务,动作识别,光流估计,和运动放大。
2022-02-24 cs.CV
Video Frame Interpolation via Generalized Deformable Convolution
McMaster University(麦克马斯特大学)
视频帧内插的目的是从相邻的源帧中合成中间帧,同时保持空间和时间上的连续性。现有的基于深度学习的视频帧插值方法大致可以分为两类:基于流的方法和基于核的方法。基于流的方法的性能通常受到由于过度简化的运动模型而导致的流图估计的不准确性的危害,而基于核的方法的性能往往受到核形状的刚性的约束。为了解决这些性能限制的问题,提出了一种新的机制,称为广义可变形卷积,它可以有效地学习运动信息的数据驱动的方式和自由选择采样点在时空。在此基础上,提出了一种新的视频帧内插方法.我们广泛的实验表明,新方法的性能优于国家的最先进的,特别是在处理复杂的运动。
2021-03-18 cs.CV
Video Frame Interpolation without Temporal Priors
The University of Sydney(悉尼大学)
视频帧内插是计算机视觉的一个重要研究课题,其目的是合成视频序列中不存在的中间帧。现有的视频帧内插方法在特定的假设条件下,如瞬时或已知曝光时间,都取得了显著的效果。然而,在复杂的现实世界的情况下,视频的时间先验,即每秒帧数(FPS)和帧曝光时间,可能会因不同的相机传感器而异。当测试视频在与训练视频不同的曝光设置下拍摄时,插值帧将遭受严重的错位问题。在这项工作中,我们解决了一般情况下,输入帧可以在不确定的曝光(和间隔)时间下获取的视频帧插值问题。不同于以往的方法,只能适用于一个特定的时间先验,我们推导出一个通用的曲线运动轨迹公式,从四个连续的清晰帧或两个连续的模糊帧没有时间先验。此外,利用相邻运动轨迹内的约束,我们设计了一种新的光流细化策略,以获得更好的插值结果。最后,实验表明,一个经过良好训练的模型就足以在复杂的现实世界情况下合成高质量的慢动作视频。代码可在https://github.com/yjzhang96/UTI-VFI上获得。
2021-12-02 cs.CV
A Unified Pyramid Recurrent Network for Video Frame Interpolation
Samsung Electronics (China) R&D Center(三星电子(中国)研发中心);Samsung Electronics, South Korea(三星电子(韩国))
流引导合成为帧内插提供了通用框架,其中估计光流以引导连续输入之间的中间帧的合成。在本文中,我们提出了UPR-Net,一种新的统一金字塔递归网络的帧内插。在一个灵活的金字塔框架中,UPR-Net利用轻量级的递归模块进行双向流估计和中间帧合成。在每个金字塔级别,它利用估计的双向流来生成用于帧合成的前向扭曲表示;在金字塔级别上,它能够对光流和中间帧进行迭代细化。特别是,我们表明,我们的迭代合成策略可以显着提高帧插值的鲁棒性大运动的情况下。尽管非常轻量级(1.7M参数),我们的UPR-Net基础版本在大范围的基准测试中实现了出色的性能。我们的UPR-Net系列的代码和训练模型可在https://github.com/srcn-ivl/UPR-Net上获得。
2023-03-23 cs.CV
Revisiting Adaptive Convolutions for Video Frame Interpolation
Adobe Research(Adobe研究(Adobe Research))
视频帧内插,即实时合成新视图,是一个越来越受欢迎的研究方向,许多新的论文进一步推进了这一技术的发展。但是,由于每种新方法都有许多影响内插质量的变量,因此很难判断什么对这项任务真正重要。在这项工作中,我们发现,有点令人惊讶的是,它是可以实现接近国家的最先进的结果与旧的,更简单的方法,即自适应可分离卷积,通过一组微妙的低级别的改进。在此过程中,我们提出了一些直观但有效的技术来提高帧插值质量,这些技术也有可能用于自适应卷积的其他相关应用,如突发图像去噪,联合图像滤波或视频预测。
2020-11-02 cs.CV
FastRIFE: Optimization of Real-Time Intermediate Flow Estimation for Video Frame Interpolation
Warsaw University of Technology(华沙工业大学)
视频帧间插值问题是图像处理领域的一个重要课题。正确增加记录中的帧数,同时保持平滑移动,可以提高播放视频序列的质量,实现更有效的压缩并创建慢动作记录。本文提出了FastRIFE算法,该算法是对RIFE(实时的【形】中间流估计)模型的速度改进。新的方法进行了检查,并与其他最近发表的算法进行比较。所有源代码都可以在https://gitlab.com/malwinq/interpolation-of-images-for-slow-motion-videos上获得
2021-06-01 cs.CV
H-VFI: Hierarchical Frame Interpolation for Videos with Large Motions
Kuaishou Technology(快手科技);The Hong Kong University of Science and Technology(香港科技大学)
随着神经网络技术的迅速发展,近年来的视频帧内插(VFI)方法取得了显著的进步。然而,对于包含大运动的真实世界视频,它们仍然不足。大运动引起的复杂变形和/或遮挡使其成为视频帧内插中极其困难的问题。在本文中,我们提出了一个简单而有效的解决方案,H-VFI,以处理大的运动在视频帧内插。H-VFI提供了一个层次化的视频插值Transformer(HVIT),用于在多尺度下以由粗到精的策略学习可变形核。然后利用学习的可变形核对输入帧进行卷积,以预测内插帧。H-VFI算法从最小尺度开始,根据前一次预测核、中间插值结果和Transformer的层次特征,通过残差连续更新变形核。然后由Transformer块基于插值结果预测用于细化最终输出的偏置和掩码。这种渐进近似的优点在于,大运动帧插值问题可以被分解成几个相对简单的子任务,这使得能够非常准确地预测最终结果。我们的论文的另一个值得注意的贡献包括一个大规模的高质量数据集,YouTube 200 K,其中包含以高分辨率和高帧速率捕获的各种场景的视频。多帧插值基准上的大量实验验证了H-VFI优于现有的最先进的方法,特别是对于具有大运动的视频。
2022-11-21 cs.CV
Video Frame Interpolation Based on Deformable Kernel Region
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Shenzhen Technology University(深圳技术大学)
视频帧内插任务是近年来计算机视觉领域的一个热点问题。目前,基于深度学习的多项研究已经取得了巨大的成功。大多数方法或者基于光流信息,或者基于插值核,或者这两种方法的结合。然而,这些方法都忽略了在合成每个目标像素时,核区域的位置有网格限制。这些限制导致它们不能很好地适应对象形状的不规则性和运动的不确定性,这可能导致用于插值的无关参考像素。为了解决这一问题,我们重新研究了用于视频插值的可变形卷积,它可以打破核区域上固定网格的限制,使得参考点的分布更适合对象的形状,从而扭曲出更精确的插值帧。在四个数据集上进行了实验,以证明所提出的模型相比,国家的最先进的替代品的优越性能。
2022-04-25 cs.CV
BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation
Korea University(高丽大学);Dongguk University(东国大学)
视频内插通过合成两个连续帧之间的中间帧来增加视频序列的时间分辨率。本文提出了一种基于深度学习的双向运动估计视频插值算法。首先,我们开发了双边运动网络的双边成本量,以准确地估计双边运动。然后,我们近似双向运动来预测不同类型的双边运动。然后,我们使用估计的双边运动来扭曲两个输入帧。接下来,我们开发了动态滤波器生成网络来生成动态混合滤波器。最后,我们使用动态混合滤波器组合变形帧以生成中间帧。实验结果表明,该算法优于国家的最先进的视频插值算法在几个基准数据集。
2020-07-17 cs.CV
PointINet: Point Cloud Frame Interpolation Network
Tongji University(同济大学);University of Science and Technology of China(中国科学技术大学)
LiDAR点云流在时间维度上通常是稀疏的,这受到硬件性能的限制。通常,机械LiDAR传感器的帧速率为10至20 Hz,远低于相机等其他常用传感器。为了克服LiDAR传感器的时间限制,本文研究了一种新的点云框架内插任务。给定两个连续的点云帧,点云帧插值旨在生成它们之间的中间帧。为了实现这一点,我们提出了一种新的框架,即点云帧插值网络(PointINet)。基于所提出的方法,低帧速率点云流可以被上采样到更高的帧速率。我们首先估计两个点云之间的双向3D场景流,然后基于3D场景流将它们扭曲到给定的时间步长。为了融合两个变形帧并生成中间点云,我们提出了一种新的基于学习的点融合模块,该模块同时考虑两个变形点云。我们设计了定量和定性实验来评估点云帧插值方法的性能,并在两个大规模户外LiDAR数据集上进行了广泛的实验,证明了所提出的PointINet的有效性。我们的代码可在https://github.com/ispc-lab/PointINet.git上获得。
2020-12-18 cs.CV
Quadratic video interpolation
Carnegie Mellon University(卡内基梅隆大学);SenseTime Research(商汤科技研究院);Beijing Normal University(北京师范大学);University of California, Merced(加州大学默塞德分校);Google(谷歌)
视频插值是计算机视觉中的一个重要问题,它有助于克服摄像机传感器的时间限制。现有的视频插值方法通常假设相邻帧之间的运动是均匀的,并且采用线性模型进行插值,不能很好地逼近真实世界中的复杂运动。为了解决这些问题,我们提出了一个二次视频插值方法,利用视频中的加速度信息。该方法允许曲线轨迹和变速预测,并生成更精确的插值结果。对于高质量的帧合成,我们开发了一个流反转层来估计从未知目标帧到源帧的流场。此外,我们提出的技术流细化。大量的实验表明,我们的方法表现良好,对现有的线性模型在各种各样的视频数据集。
2019-11-02 cs.CV
Implementing Adaptive Separable Convolution for Video Frame Interpolation
KTH Royal Institute of Technology(瑞典皇家理工学院)
随着深度神经网络越来越受欢迎,人们的注意力越来越多地集中在计算机视觉问题上,而这些问题过去是用更传统的方法解决的。视频帧内插是其中一个挑战,已经看到了涉及深度学习中各种技术的新研究。在本文中,我们复制了Niklaus等人关于自适应可分离卷积的工作,该工作声称视频帧插值任务具有高质量的结果。我们应用在较小数据集上训练的相同网络结构,并使用各种不同的损失函数进行实验,以确定数据稀缺情况下的最佳方法。最好的结果模型仍然能够提供视觉上令人愉悦的视频,尽管获得了较低的评估分数。
2018-09-20 cs.CV
Blurry Video Frame Interpolation
Shanghai Jiao Tong University(上海交通大学)
现有的工作通过两种不同的方式来减少运动模糊和上转换帧速率,包括帧去模糊和帧内插。然而,很少有研究探讨联合视频增强问题,即从低帧率模糊输入合成高帧率清晰结果。在本文中,我们提出了一种模糊的视频帧内插方法,以减少运动模糊和提高帧速率的同时。具体来说,我们开发了一个金字塔模块来循环合成清晰的中间帧。金字塔模块具有可调的空间感受野和时间范围,从而有助于可控的计算复杂性和恢复能力。此外,我们提出了一个金字塔间的递归模块来连接序列模型,以利用时间关系。金字塔模块集成了一个递归模块,因此可以迭代地合成时间平滑的结果,而不会显着增加模型的大小。大量的实验结果表明,我们的方法对国家的最先进的方法表现良好。
2020-02-27 cs.CV
Asymmetric Bilateral Motion Estimation for Video Frame Interpolation
Korea University(高丽大学);Dongguk University(东国大学)
提出了一种新的基于非对称双边运动估计(ABME)的视频帧内插算法。首先,我们预测对称的双边运动场插值锚帧。其次,我们估计从锚帧到输入帧的不对称双边运动场。第三,我们使用非对称场将输入帧向后扭曲并重建中间帧。最后,为了改进中间帧,我们开发了一个新的合成网络,该网络使用局部和全局信息生成一组动态滤波器和残差帧。实验结果表明,该算法在不同的数据集上均取得了良好的性能.源代码和预训练模型可在https://github.com/JunHeum/ABME上获得。
2021-08-15 cs.CV
Enhanced Bi-directional Motion Estimation for Video Frame Interpolation
Samsung Electronics (China) R&D Center(三星电子(中国)研发中心);Samsung Electronics, South Korea(韩国三星电子)
提出了一种简单有效的基于运动的视频帧内插算法。现有的基于运动的内插方法通常依赖于预先训练的光流模型或基于U-Net的金字塔网络来进行运动估计,其在处理复杂且大的运动情况时或者遭受大的模型尺寸或者受限的容量。在这项工作中,通过仔细整合intermediateoriented的前向翘曲,轻量级的特征编码器,相关体积到一个金字塔经常性的框架,我们推导出一个紧凑的模型,同时估计输入帧之间的双向运动。它的尺寸比PWC-Net小15倍,但能够更可靠和灵活地处理具有挑战性的运动情况。基于估计的双向运动,我们前向扭曲输入帧及其上下文特征到中间帧,并采用合成网络从扭曲表示估计中间帧。我们的方法在广泛的视频帧插值基准上实现了优异的性能。代码和训练模型可在\url{https://github.com/srcn-ivl/EBME}上获得。
2022-11-07 cs.CV
Softmax Splatting for Video Frame Interpolation
Portland State University(波特兰州立大学)
向后翘曲形式的可微分图像采样已经在像深度估计和光流预测的任务中得到广泛采用。相比之下,如何执行前向扭曲的关注较少,部分原因是额外的挑战,例如解决以可区分的方式将多个像素映射到同一目标位置的冲突。我们提出了softmax splatting来解决这种范式转变,并展示了其在帧插值应用中的有效性。具体来说,给定两个输入帧,我们使用softmax splatting基于光流估计向前扭曲帧及其特征金字塔表示。这样做,softmax splatting可以无缝地处理多个源像素映射到同一目标位置的情况。然后,我们使用一个合成网络来预测扭曲表示的插值结果。我们的softmax splatting不仅允许我们在任意时间内插帧,还可以微调特征金字塔和光流。我们表明,我们的合成方法,授权softmax飞溅,实现了新的国家的最先进的视频帧内插的结果。
2020-03-11 cs.CV
Physically Aware Radiomics Without Interpolation: Disentangling Voxel Geometry and Signal Modification in CT and MRI
Complejo Asistencial Universitario de León(莱昂大学附属医院综合体);Hospital Universitario Rey Juan Carlos(雷·胡安·卡洛斯大学医院);Health Research Institute of the Jiménez Díaz Foundation(希门尼斯·迪亚斯基金会健康研究所);Rey Juan Carlos University(雷·胡安·卡洛斯大学);Universidad de Oviedo(奥维耶多大学);Universidad de León(莱昂大学);IFCA-CSIC(西班牙国家研究委员会高级计算与电子科学研究所);Universidad Autónoma de Chile(智利大学)
该研究针对放射组学纹理特征计算中因各向异性图像导致的问题,开发体素间距感知放射组学框架,通过修改PyRadiomics并比较四种配置进行实验,结果表明VS能有效分离几何建模与信号修正,为放射组学分析提供新方法。
2026-09-15 cs.AI cs.CV
A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild
Zhejiang University(浙江大学);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);INSAIT
该研究提出一种带自适应去模糊的基于事件的帧插值统一双向循环网络,结合自监督提升真实场景泛化能力,构建了HighREV高分辨率真实数据集,在多任务上性能优于现有最优方法。
2025-05-20 cs.CV
Video Frame Interpolation Transformer
Shanghai Jiao Tong University(上海交通大学);McMaster Univeristy(麦克马斯特大学);University of California, Merced(加州大学默塞德分校);Yonsei University(延世大学);Google Research(谷歌研究院);Nanyang Technological University(南洋理工大学)
现有的视频插值方法严重依赖于深度卷积神经网络,因此受到其固有局限性的影响,例如内容不可知的内核权重和受限的感受野。为了解决这些问题,我们提出了一个基于transformer的视频插值框架,该框架允许内容感知聚合权重,并考虑了自注意操作的长程依赖关系。为了避免全局自注意的高计算成本,我们将局部注意的概念引入到视频插值中,并将其扩展到时空域。此外,我们提出了一个时空分离的策略,以节省内存的使用,这也提高了性能。此外,我们开发了一个多尺度的帧合成方案,以充分发挥Transformers的潜力。大量的实验表明,该模型在各种基准数据集上的定量和定性表现都优于最先进的方法。
2022-03-28 cs.CV
Video Frame Interpolation via Adaptive Separable Convolution
Portland State University(波特兰州立大学)
标准视频帧内插方法首先估计输入帧之间的光流,然后合成由运动引导的中间帧。最近的方法通过将输入帧与同时考虑运动和重新采样的空间自适应内核卷积来将这两个步骤合并到单个卷积过程中。这些方法需要大的内核来处理大的运动,由于大的存储器需求,这限制了可以一次估计其内核的像素的数量。为了解决这个问题,本文制定了帧内插作为本地可分离的卷积输入帧使用1D内核对。与常规的2D内核相比,1D内核需要估计的参数明显更少。我们的方法开发了一个深度全卷积神经网络,它采用两个输入帧,同时估计所有像素的1D内核对。由于我们的方法能够估计内核并一次合成整个视频帧,因此它允许将感知损失并入训练神经网络以产生视觉上令人愉悦的帧。这个深度神经网络是使用广泛可用的视频数据进行端到端训练的,没有任何人工注释。定性和定量的实验表明,我们的方法提供了一个实用的解决方案,高质量的视频帧内插。
2017-08-05 cs.CV
Error-Aware Spatial Ensembles for Video Frame Interpolation
University of Toronto(多伦多大学);Huawei Technologies(华为技术有限公司)
近年来,视频帧内插(VFI)算法在数据驱动算法及其实现方面取得了前所未有的进展。最近的研究已经引入了先进的运动估计或新颖的变形方法作为解决具有挑战性的VFI场景的手段。然而,没有一个已发表的VFI作品考虑空间非均匀特性的插值误差(IE)。这项工作介绍了这样一个解决方案。通过仔细研究光流和IE之间的相关性,本文提出了新的错误预测指标,划分中间帧到不同的区域对应于不同的IE水平。建立在这个IE驱动的分割,并通过使用新的误差控制的损失函数,它引入了一个合奏的空间自适应插值单元,逐步处理和整合的分割区域。这种空间集成的结果在一个有效的和计算上有吸引力的VFI解决方案。广泛的实验流行的视频插值基准表明,所提出的解决方案优于当前国家的最先进的(SOTA)在当前感兴趣的应用。
2022-07-25 cs.CV
Dynamic Video Frame Interpolation with integrated Difficulty Pre-Assessment
Samsung Electronics (China) R&D Center(三星电子(中国)研发中心);Samsung Electronics(三星电子)
针对视频帧插值中精度与效率难以兼顾的问题,本文提出难度预评估与模型动态选择相结合的集成流水线,并构建大规模难度评估数据集,从而改善精度—效率权衡。
2023-04-25 cs.CV
CDFI: Compression-Driven Network Design for Frame Interpolation
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft(微软公司);University of Denver(丹佛大学)
基于DNN的帧内插--在给定两个连续帧的情况下生成中间帧--通常依赖于具有大量特征的重型模型架构,这阻止了它们被部署在资源有限的系统上,例如,移动设备.我们提出了一种压缩驱动的帧内插网络设计(CDFI),它通过稀疏诱导优化来利用模型修剪,以显着减少模型大小,同时实现卓越的性能。具体地说,我们首先压缩最近提出的AdaCoF模型,并表明10倍压缩的AdaCoF与其原始对应物的性能相似;然后我们通过引入多分辨率扭曲模块进一步改进此压缩模型,该模块通过多层次细节增强视觉效果。因此,我们实现了显着的性能增益,只有四分之一的大小相比,原来的AdaCoF。此外,我们的模型在广泛的数据集中与其他最先进的模型相比表现良好。最后,提出的压缩驱动框架是通用的,可以很容易地转移到其他基于DNN的帧内插算法。我们的源代码可以在https://github.com/tding1/CDFI上找到。
2021-03-28 cs.CV
PhaseNet for Video Frame Interpolation
ETH Zurich(苏黎世联邦理工学院);Disney Research(迪士尼研究院)
大多数视频帧插值方法需要精确的密集对应来合成中间帧。因此,它们在具有挑战性的场景中表现不佳,例如照明变化或运动模糊。最近的深度学习方法依赖于内核来表示运动,只能在一定程度上缓解这些问题。在这些情况下,使用基于每像素相位的运动表示的方法已经被证明工作良好。然而,它们仅适用于有限的运动量。我们提出了一种新的方法,PhaseNet,旨在鲁棒地处理具有挑战性的场景,同时也应对更大的运动。我们的方法包括一个神经网络解码器,直接估计的中间帧的相位分解。我们表明,这优于先前在基于相位的方法中使用的手工制作的算法,并且与最近基于深度学习的方法相比,在具有挑战性的数据集上进行视频帧插值。
2018-04-03 cs.CV
Video Frame Interpolation with Transformer
The Chinese University of Hong Kong(香港中文大学);SmartMore(思谋科技)
视频帧内插(VFI)旨在合成视频的中间帧,近年来随着深度卷积网络的发展取得了显着进展。由于卷积运算的局部性,基于卷积网络构建的现有方法通常面临处理大运动的挑战。为了克服这个限制,我们引入了一个新的框架,它利用Transformer来模拟视频帧之间的长距离像素相关性。此外,我们的网络配备了一种新的跨尺度窗口的注意力机制,跨尺度窗口相互作用。这种设计有效地扩大了感受野,聚合了多尺度信息。大量的定量和定性实验表明,我们的方法在各种基准上取得了新的最先进的结果。
2022-05-15 cs.CV
NNVISR: Bring Neural Network Video Interpolation and Super Resolution into Video Processing Framework
Wuhan University(武汉大学)
NNVISR 是一个面向 VapourSynth 的开源滤镜插件,通过统一接入任意帧组增强网络并自动处理网络无关细节,将神经网络去噪、超分辨率、插值和时空超分辨率能力引入视频处理流水线。
2023-08-06 cs.CV
MEMC-Net: Motion Estimation and Motion Compensation Driven Neural Network for Video Interpolation and Enhancement
Shanghai Jiao Tong University(上海交通大学);University of California, Merced(加州大学默塞德分校)
在过去的几十年中,运动估计(ME)和运动补偿(MC)已被广泛用于经典的视频帧内插系统。近年来,提出了许多基于卷积神经网络的数据驱动帧内插方法。然而,现有的基于学习的方法通常估计流量或补偿内核,从而限制了计算效率和插值精度的性能。在这项工作中,我们提出了一个运动估计和补偿驱动的神经网络的视频帧内插。提出了一种新的自适应扭曲层,用于集成光流和插值核来合成目标帧像素。这一层是完全可微的,使得流量和核估计网络都可以联合优化。所提出的模型受益于运动估计和补偿方法的优点,而不使用手工制作的功能。与现有的方法相比,我们的方法是计算效率高,能够产生更具视觉吸引力的结果。此外,所提出的MEMC-Net可以无缝地适应于几个视频增强任务,例如,超分辨率、去噪和去块。广泛的定量和定性评估表明,该方法表现良好,对国家的最先进的视频帧插值和增强算法在广泛的数据集。
2019-09-05 cs.CV
FineNet: Frame Interpolation and Enhancement for Face Video Deblurring
VinAI Research(VinAI研究院)
这项工作的目标是去模糊面部视频。我们提出了一种从两个方向解决这个问题的方法:(1)增强模糊帧,(2)将模糊帧视为缺失值并通过插值来估计它们。这些方法是相辅相成的,它们的组合优于单独的。我们还介绍了一个新的模块,利用结构的脸找到视频帧之间的位置偏移。该模块可以集成到两种方法的处理管道中,从而提高最终结果的质量。在三个真实和合成生成的模糊视频数据集上的实验表明,我们的方法在定量和定性结果方面都大大优于以前的最先进的方法。
2021-03-01 cs.CV