Video Frame Interpolation Based on Deformable Kernel Region
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Shenzhen Technology University（深圳技术大学）
视频帧内插任务是近年来计算机视觉领域的一个热点问题。目前，基于深度学习的多项研究已经取得了巨大的成功。大多数方法或者基于光流信息，或者基于插值核，或者这两种方法的结合。然而，这些方法都忽略了在合成每个目标像素时，核区域的位置有网格限制。这些限制导致它们不能很好地适应对象形状的不规则性和运动的不确定性，这可能导致用于插值的无关参考像素。为了解决这一问题，我们重新研究了用于视频插值的可变形卷积，它可以打破核区域上固定网格的限制，使得参考点的分布更适合对象的形状，从而扭曲出更精确的插值帧。在四个数据集上进行了实验，以证明所提出的模型相比，国家的最先进的替代品的优越性能。
2022-04-25 cs.CV
TETO: Tracking Events with Teacher Observation for Motion Estimation and Frame Interpolation
KAIST AI（韩国科学技术院人工智能实验室）；ETH Zurich（苏黎世联邦理工学院）；Korea Aerospace University（韩国航空航天大学）
TETO提出一种教师-学生框架，通过知识蒸馏从预训练的RGB跟踪器中学习事件运动估计，仅用25分钟未标注真实数据实现高精度点跟踪和光流估计，提升帧插值质量。
2026-03-24 cs.CV
Continuous Intermediate Token Learning with Implicit Motion Manifold for Keyframe Based Motion Interpolation
The University of Sydney（悉尼大学）；Meta Reality Labs（Meta现实实验室）
由于连续性和异常的骨架精度，从稀疏关键帧导出复杂的3D运动是一个特别具有挑战性的问题。动作特征通常可以从完整系列的关键帧中准确地导出，因此，利用Transformers的全局上下文一直是一种有前途的数据驱动嵌入方法。然而，现有的方法往往与输入的插值中间帧的连续性使用基本的插值方法与关键帧，这导致在一个平凡的局部最小值在训练过程中。在本文中，我们提出了一个新的框架，制定潜在的运动流形与基于关键帧的约束，从中间令牌表示的连续性被认为是。特别地，我们提出的框架包括用于识别潜在运动子空间的两个阶段，即，关键帧编码阶段和中间标记生成阶段，以及随后的运动合成阶段，以从流形外推和合成运动数据。通过我们在LaFAN 1和CMU Mocap数据集上进行的大量实验，我们提出的方法既具有优越的插值精度，又具有与地面真实运动的高度视觉相似性。
2023-03-27 cs.CV cs.GR
Error-Aware Spatial Ensembles for Video Frame Interpolation
University of Toronto（多伦多大学）；Huawei Technologies（华为技术有限公司）
近年来，视频帧内插（VFI）算法在数据驱动算法及其实现方面取得了前所未有的进展。最近的研究已经引入了先进的运动估计或新颖的变形方法作为解决具有挑战性的VFI场景的手段。然而，没有一个已发表的VFI作品考虑空间非均匀特性的插值误差（IE）。这项工作介绍了这样一个解决方案。通过仔细研究光流和IE之间的相关性，本文提出了新的错误预测指标，划分中间帧到不同的区域对应于不同的IE水平。建立在这个IE驱动的分割，并通过使用新的误差控制的损失函数，它引入了一个合奏的空间自适应插值单元，逐步处理和整合的分割区域。这种空间集成的结果在一个有效的和计算上有吸引力的VFI解决方案。广泛的实验流行的视频插值基准表明，所提出的解决方案优于当前国家的最先进的（SOTA）在当前感兴趣的应用。
2022-07-25 cs.CV
CDFI: Compression-Driven Network Design for Frame Interpolation
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft（微软公司）；University of Denver（丹佛大学）
基于DNN的帧内插--在给定两个连续帧的情况下生成中间帧--通常依赖于具有大量特征的重型模型架构，这阻止了它们被部署在资源有限的系统上，例如，移动设备.我们提出了一种压缩驱动的帧内插网络设计（CDFI），它通过稀疏诱导优化来利用模型修剪，以显着减少模型大小，同时实现卓越的性能。具体地说，我们首先压缩最近提出的AdaCoF模型，并表明10倍压缩的AdaCoF与其原始对应物的性能相似;然后我们通过引入多分辨率扭曲模块进一步改进此压缩模型，该模块通过多层次细节增强视觉效果。因此，我们实现了显着的性能增益，只有四分之一的大小相比，原来的AdaCoF。此外，我们的模型在广泛的数据集中与其他最先进的模型相比表现良好。最后，提出的压缩驱动框架是通用的，可以很容易地转移到其他基于DNN的帧内插算法。我们的源代码可以在https://github.com/tding1/CDFI上找到。
2021-03-28 cs.CV
Progressive Motion Context Refine Network for Efficient Video Frame Interpolation
Shanghai Jiao Tong University（上海交通大学）
近年来，基于流的帧插值方法取得了很大的成功，该方法首先对目标帧和输入帧之间的光流进行建模，然后构建合成网络生成目标帧。然而，上述级联结构会导致模型规模过大和推理延迟，阻碍了它们在移动和实时应用中的应用。为了解决这个问题，我们提出了一种新的渐进运动上下文细化网络（PMCRNet）来预测运动场和图像上下文联合更高的效率。与其他直接从深度特征合成目标帧的方法不同，我们探索通过从相邻输入帧中借用已有的纹理来简化帧插值任务，这意味着我们的PMCRNet的每个金字塔级别的解码器只需要更新更容易的中间光流、遮挡合并掩码和图像残差。此外，我们引入了一个新的退火多尺度重建损失，以更好地指导这个高效的PMCRNet的学习过程。在多个基准测试上的实验表明，所提出的方法不仅取得了良好的定量和定性结果，而且显着减少了当前模型的大小和运行时间。
2022-11-11 cs.CV
All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；University of Toronto（多伦多大学）
高刷新率显示器的最新进展以及对高速率慢动作和帧上转换的兴趣增加，推动了对高效且具有成本效益的多帧视频插值解决方案的需求。在这方面，在连续视频帧之间插入多个帧对于消费电子行业是至关重要的。最先进的方法是每次插值一帧的迭代解。它们引入了时间上的不一致性和明显可见的视觉伪影。从国家的最先进的出发，这项工作介绍了一个真正的多帧图像。该算法利用时间域的金字塔型网络，一次性完成多帧插值任务。当遇到复杂运动段时，还使用使用放松的损失函数和先进的基于运动模型的新的流估计过程来进一步提高插值精度。实验结果表明，该方法生成的帧在视觉上令人愉悦，时间上一致，PSNR比目前最好的现成方法高1.57db，模型小8倍，速度快7.7倍。该方法可以很容易地扩展到插入大量的新帧，同时保持效率，因为一个镜头的机制。
2021-01-09 cs.CV
Sparsity-guided Network Design for Frame Interpolation
Microsoft（微软）；the Ohio State University（俄亥俄州立大学）
基于DNN的帧内插从两个连续帧生成中间帧，通常依赖于具有大量功能的模型架构，从而阻止其在资源有限的系统（如移动设备）上的部署。我们提出了一种压缩驱动的帧插值网络设计，利用模型修剪通过稀疏诱导优化，大大减少了模型的大小，同时获得更高的性能。具体地说，我们首先压缩最近提出的AdaCoF模型，并证明了10倍压缩的AdaCoF执行类似于其原来的对应物，其中使用分层稀疏信息作为指导的不同策略进行了全面研究各种超参数设置下。然后，我们通过引入多分辨率变形模块来增强这个压缩模型，从而提高了多层次细节的视觉一致性。因此，我们实现了相当大的性能增益与原来的AdaCoF的四分之一的大小。此外，我们的模型在各种数据集上的表现优于其他最先进的方法。我们注意到，建议的压缩驱动框架是通用的，可以很容易地转移到其他基于DNN的帧内插算法。源代码可在https://github.com/tding1/CDFI上获得。
2022-09-09 cs.CV
Technical Report on Visual Quality Assessment for Frame Interpolation
University of Konstanz（康斯坦茨大学）；University of Stuttgart（斯图加特大学）
光流算法的当前基准通过将其预测的流场与地面实况进行比较来评估估计质量，并且另外可以基于这些预测将内插帧与来自实际图像序列的正确帧进行比较。对于后一种比较，应用了均方误差等客观测量。然而，对于像图像插值这样的应用，期望的用户体验质量不能完全从这样简单的质量测量中推断出来。因此，我们通过众包对光流基准之一，即Middlebury基准中提供的插值图像进行了主观质量评估研究。我们使用配对比较与强制选择和重建绝对质量量表值根据瑟斯顿的模型，使用经典的最小二乘法。结果引起了141参与算法w.r.t.内插帧的视觉质量主要基于光流估计。我们的重新排名的结果表明，视觉质量评估的必要性，作为另一个评价指标的光流和帧插值基准。
2019-03-26 cs.CV
Benchmarking Video Frame Interpolation
TU Darmstadt（达姆施塔特工业大学）；Adobe Research（奥多比研究院）
针对视频帧插值评估中数据集繁多、指标不一致及违反线性假设等问题，提出一个包含一致误差指标、逐像素属性分析、符合线性假设的合成测试集及计算效率评估的公平基准。
2024-03-25 cs.CV
Dynamic Frame Interpolation in Wavelet Domain
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）；Nanjing University（南京大学）
本文提出WaveletVFI两阶段帧插值框架，通过小波域稀疏卷积和动态阈值分类器减少空间冗余，在保持精度的同时降低高达40%的计算量。
2023-09-21 cs.CV
Deep Animation Video Interpolation in the Wild
SenseTime Research and Tetras.AI（商汤科技研究院与Tetras.AI）；Rutgers University（罗格斯大学）；Sun Yat-sen University（中山大学）；Shanghai AI Laboratory（上海人工智能实验室）；S-Lab Nanyang Technological University（南洋理工大学S-Lab）
在动画产业中，卡通视频通常以低帧速率产生，因为手绘这样的帧是昂贵且耗时的。因此，期望开发能够自动内插中间动画帧的计算模型。然而，现有的视频插值方法不能产生令人满意的结果上的动画数据。与自然视频相比，动画视频具有使帧插值困难的两个独特特征：1）卡通包括线条和平滑的颜色片段。平滑区域缺乏纹理，因此难以估计动画视频上的准确运动。2)漫画通过夸张来表达故事。有些运动是非线性的，而且非常大。本文首次对动画视频插值问题进行了形式化的定义和研究。为了解决上述挑战，我们提出了一个有效的框架，AnimeInterp，在一个由粗到细的方式有两个专用模块。具体地，1）分段引导匹配通过利用逐段连贯的颜色片段之间的全局匹配来解决“缺乏纹理”的挑战。2)递归流优化通过使用类似transformer的架构进行递归预测，解决了“非线性和超大运动”的挑战。为了便于全面的训练和评估，我们构建了一个大规模的动画三元组数据集ATD-12 K，其中包括12，000个具有丰富注释的三元组。大量的实验表明，我们的方法优于现有的国家的最先进的动画视频插值方法。值得注意的是，AnimeInterp在野外的动画场景中显示出良好的感知质量和鲁棒性。建议的数据集和代码可在https://github.com/lisiyao21/AnimeInterp/上获得。
2021-04-06 cs.CV
Cross-Attention Transformer for Video Interpolation
Duke University（杜克大学）
我们提出了TAIN（Transformers and Attention for video Interpolation），一个用于视频插值的残差神经网络，它的目标是在给定两个连续图像帧的情况下对中间帧进行插值.我们首先提出了一个新的视觉Transformer模块，称为交叉相似性（Cross Similarity，CS），用于全局聚集与预测插值帧外观相似的输入图像特征.然后，这些CS特征被用于改进内插预测。为了解决CS特征中的遮挡问题，我们提出了一个图像注意力（IA）模块，允许网络专注于一帧的CS特征。TAIN优于不需要流量估计的现有方法，并执行基于流量的方法，同时在Vimeo 90 k，UCF 101和SNU-FILM基准测试的推理时间方面具有计算效率。
2022-12-02 cs.CV
Video Frame Interpolation Transformer
Shanghai Jiao Tong University（上海交通大学）；McMaster Univeristy（麦克马斯特大学）；University of California, Merced（加州大学默塞德分校）；Yonsei University（延世大学）；Google Research（谷歌研究院）；Nanyang Technological University（南洋理工大学）
现有的视频插值方法严重依赖于深度卷积神经网络，因此受到其固有局限性的影响，例如内容不可知的内核权重和受限的感受野。为了解决这些问题，我们提出了一个基于transformer的视频插值框架，该框架允许内容感知聚合权重，并考虑了自注意操作的长程依赖关系。为了避免全局自注意的高计算成本，我们将局部注意的概念引入到视频插值中，并将其扩展到时空域。此外，我们提出了一个时空分离的策略，以节省内存的使用，这也提高了性能。此外，我们开发了一个多尺度的帧合成方案，以充分发挥Transformers的潜力。大量的实验表明，该模型在各种基准数据集上的定量和定性表现都优于最先进的方法。
2022-03-28 cs.CV
Multi-domain Integrative Swin Transformer network for Sparse-View Tomographic Reconstruction
Sun Yat-sen University（中山大学）；China Three Gorges University（三峡大学）；The First People’s Hospital of Yichang（宜昌市第一人民医院）
减少投影视图以降低X射线辐射剂量通常会导致严重的条纹伪影。为了提高稀疏数据的图像质量，本文提出了一种多域集成Swin Transformer网络（MIST-net）。首先，MIST-net采用灵活的网络结构，将数据、残差数据、图像和残差图像等丰富的域特征融合在一起，其中残差数据和残差图像子网络被视为数据一致性模块，以消除插值和重建误差。其次，一个可训练的边缘增强滤波器被纳入检测和保护图像的边缘。第三，高质量的重建Swin Transformer（即，Recformer）被设计用于捕获图像全局特征。在48个视图的数值和真实心脏临床数据集上的实验结果表明，我们提出的MIST-net提供了更好的图像质量，具有更多的小特征和尖锐的边缘比其他竞争对手。
2022-04-15 cs.CV cs.LG eess.IV
Blur Interpolation Transformer for Real-World Motion from Blur
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
本文研究了从模糊中恢复运动的挑战性问题，也称为联合去模糊和插值或模糊时间超分辨率。挑战是双重的：1）即使在合成数据集上，当前的方法在视觉质量方面仍有相当大的改进空间，以及2）对真实世界数据的泛化能力差。为此，我们提出了一个模糊插值Transformer（BiT），以有效地解开模糊编码的底层时间相关性。基于多尺度残差Swin Transformer块，引入双端时间监督和时间对称集成策略，生成有效的时变运动绘制特征。此外，我们设计了一个混合相机系统来收集第一个一对多模糊清晰视频对的真实世界数据集。实验结果表明，BiT在公共数据集上具有显着的增益。此外，所提出的真实世界数据集有效地帮助模型推广到真实的模糊场景。代码和数据可在https://github.com/zzh-tech/BiT上获得。
2023-03-07 cs.CV
Beyond the Final Layer: Hierarchical Query Fusion Transformer with Agent-Interpolation Initialization for 3D Instance Segmentation
University of Science and Technology of China（中国科学技术大学）
本文提出BFL方法，通过智能体插值初始化模块和层次化查询融合解码器，解决三维实例分割中查询初始化位置与内容信息难以兼顾及深层物体消失问题，在多个数据集上取得优越性能。
2025-02-06 cs.CV
BiFormer: Learning Bilateral Motion Estimation via Bilateral Transformer for 4K Video Frame Interpolation
Korea University（高丽大学）
本文提出基于双向 Transformer 的 4K 视频帧插值器 BiFormer，通过全局运动估计、局部运动细化与帧合成三步法，利用分块双向代价卷高效细化运动场，在 4K 数据集上实现了出色的插值性能。
2023-04-05 cs.CV
TTVFI: Learning Trajectory-Aware Transformer for Video Frame Interpolation
Xi’an Jiaotong University（西安交通大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Research（微软研究院）
视频帧内插（VFI）的目的是合成两个连续帧之间的中间帧。现有技术的方法通常采用两步解决方案，其包括1）通过基于流的运动估计生成局部变形像素，2）通过深度神经合成网络混合变形像素以形成全帧。然而，由于来自两个连续帧的不一致的扭曲，新帧的扭曲特征通常不对齐，这导致失真和模糊的帧，特别是当发生大的和复杂的运动时。为了解决这个问题，在本文中，我们提出了一种新的轨迹感知Transformer视频帧内插（TTVFI）。特别是，我们制定了不一致的运动作为查询令牌的翘曲功能，并制定相关区域的运动轨迹从两个原始连续帧到键和值。自我注意力是沿着轨迹在相关标记上学习的，以通过端到端训练将原始特征混合到中间帧中。实验结果表明，我们的方法优于其他国家的最先进的方法在四个广泛使用的VFI基准。代码和预训练模型都将很快发布。
2022-07-19 cs.CV
T-GMSI: A transformer-based generative model for spatial interpolation under sparse measurements
Purdue University（普渡大学）
针对稀疏测量下空间插值精度不足的问题，提出基于ViT的T-GMSI模型，结合地形特征感知损失，在70%以上稀疏度数据上表现优于传统方法与CEDGAN，且无需微调即可跨地貌迁移，为稀疏数据插值提供新方案。
2024-12-13 cs.CV eess.IV
Towards Holistic Modeling for Video Frame Interpolation with Auto-regressive Diffusion Transformers
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）
本文提出LDF-VFI方法，通过自回归扩散变换器建模整个视频序列，结合跳连采样策略和稀疏注意力机制，提升视频帧插值的时序一致性和重建质量。
2026-03-30 cs.CV
Towards Globally Predictable k-Space Interpolation: A White-box Transformer Approach
School of Mathematical Sciences, Inner Mongolia University, China（内蒙古大学数学科学学院）；College of Computer and Information, lnner Mongolia Medical University, China（内蒙古医学院计算机与信息学院）；Inner Mongolia Medical University Affiliated Hospital, China（内蒙古医学院附属医院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, China（中国科学院深圳先进技术研究所）；School of Mathematics and Statistics, Hubei Minzu University, China（湖北民族大学数学与统计学院）；Key Laboratory of Biomedical Imaging Science and System, Chinese Academy of Sciences, China（中国科学院生物医学成像科学与系统重点实验室）
针对现有k空间插值方法忽视全局依赖且缺乏可解释性的问题，提出基于全局可预测插值的白盒Transformer框架GPI-WT，通过结构化低秩模型与可学习注意力机制，显著提升插值精度与可解释性。
2025-08-06 cs.CV math.OC
H-VFI: Hierarchical Frame Interpolation for Videos with Large Motions
Kuaishou Technology（快手科技）；The Hong Kong University of Science and Technology（香港科技大学）
随着神经网络技术的迅速发展，近年来的视频帧内插（VFI）方法取得了显著的进步。然而，对于包含大运动的真实世界视频，它们仍然不足。大运动引起的复杂变形和/或遮挡使其成为视频帧内插中极其困难的问题。在本文中，我们提出了一个简单而有效的解决方案，H-VFI，以处理大的运动在视频帧内插。H-VFI提供了一个层次化的视频插值Transformer（HVIT），用于在多尺度下以由粗到精的策略学习可变形核。然后利用学习的可变形核对输入帧进行卷积，以预测内插帧。H-VFI算法从最小尺度开始，根据前一次预测核、中间插值结果和Transformer的层次特征，通过残差连续更新变形核。然后由Transformer块基于插值结果预测用于细化最终输出的偏置和掩码。这种渐进近似的优点在于，大运动帧插值问题可以被分解成几个相对简单的子任务，这使得能够非常准确地预测最终结果。我们的论文的另一个值得注意的贡献包括一个大规模的高质量数据集，YouTube 200 K，其中包含以高分辨率和高帧速率捕获的各种场景的视频。多帧插值基准上的大量实验验证了H-VFI优于现有的最先进的方法，特别是对于具有大运动的视频。
2022-11-21 cs.CV
Video Frame Interpolation for Polarization via Swin-Transformer
School of Mechanical Engineering and Automation, Fuzhou University（福州大学机械工程及自动化学院）
针对偏振视频因曝光长导致采样率低且偏振随视角变化的问题，提出基于 Swin-Transformer 的多阶段多尺度 Swin-VFI 及定制损失，并在 SfP 等任务中验证其精度优于现有方法。
2024-06-17 cs.CV physics.optics
EDEN: Enhanced Diffusion for High-quality Large-motion Video Frame Interpolation
Shanghai Key Lab of Intell. Info. Processing, School of CS, Fudan University（上海智能信息处理关键实验室，复旦大学计算机学院）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）；Noah’s Ark Lab, Huawei（华为诺亚实验室）
针对大运动视频帧插值中帧模糊和时间不一致问题，本文提出 EDEN，通过 transformer tokenizer、时间注意力和起止帧差异嵌入增强扩散生成，并在多个基准上取得最优性能。
2025-05-10 cs.CV
FastPCI: Motion-Structure Guided Fast Point Cloud Frame Interpolation
Nankai University（南开大学）；Snap Research（Snap研究院）；Nanjing University（南京大学）
本文提出 FastPCI，采用金字塔混合 Convolution-Transformer 与双向运动结构模块实现高效点云帧插值，在 KITTI 上精度和速度均显著超越 PointINet 与 NeuralPCI。
2024-10-25 cs.CV
Video Frame Interpolation with Many-to-many Splatting and Spatial Selective Refinement
University of Electronic Science and Technology of China（电子科技大学）；Boston University（波士顿大学）；Adobe（Adobe公司）；Dalian University of Technology（大连理工大学）；Meta
本文提出多对多泼溅框架M2M及其扩展M2M++，通过多双向光流映射和空间选择性细化困难区域，在保证插值质量的同时显著提升多帧插值效率。
2023-10-29 cs.CV cs.MM
Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors
York University（约克大学）
本文通过展开图平滑先验优化算法构建可解释轻量Transformer，用浅CNN学习图结构替代自注意力，大幅减少参数，并在图像插值中验证了性能与鲁棒性。
2024-11-05 cs.CV cs.LG eess.IV
Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual Meta-Learning
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Bigo
现有的视频帧内插方法只能在给定的中间时间步长（例如，1/2）处内插帧。在本文中，我们的目标是探索一种更广义的视频帧内插，在一个任意的时间步长。为此，我们考虑在元学习的帮助下，以统一的方式使用自适应生成的卷积核处理不同的时间步长。具体来说，我们开发了一个双重元学习帧插值框架，以合成中间帧的指导下的上下文信息和光流，以及采取的时间步长作为边信息。首先，构建内容感知元学习流细化模块，以基于输入帧的下采样版本来提高光流估计的准确性。第二，利用经细化的光流和时间步长作为输入，运动感知元学习帧内插模块为在输入帧的粗略变形版本的特征图上的卷积操作中使用的每个像素生成卷积核，以生成预测帧。广泛的定性和定量评估以及消融研究表明，通过以这种精心设计的方式在我们的框架中引入元学习，我们的方法不仅实现了优于最先进的帧插值方法的性能，而且还具有扩展的能力，以支持任意时间步长的插值。
2022-07-27 cs.CV
Optimizing Video Prediction via Video Frame Interpolation
The Hong Kong University of Science and Technology（香港科技大学）
视频预测是预测给定过去帧的未来帧的外推任务，并且视频帧内插是估计两个帧之间的中间帧的内插任务。视频帧内插技术已经取得了巨大的进步，但在实际应用中，视频预测仍然是一个悬而未决的问题。受视频帧内插的照片般逼真的结果的启发，我们提出了一种新的优化框架，通过视频帧内插的视频预测，其中我们解决了外推问题的基础上的内插模型。我们的视频预测框架基于使用预训练的可微分视频帧插值模块进行优化，而不需要训练数据集，因此在训练数据和测试数据之间没有域间隙问题。此外，我们的方法不需要任何额外的信息，如语义或实例映射，这使得我们的框架适用于任何视频。在Cityscapes、KITTI、DAVIS、Middlebury和Vimeo90K数据集上的大量实验表明，我们的视频预测结果在一般情况下是鲁棒的，并且我们的方法优于其他需要大量训练数据或额外语义信息的视频预测方法。
2022-06-27 cs.CV
Many-to-many Splatting for Efficient Video Frame Interpolation
Boston University（波士顿大学）；Adobe Research（奥多比研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
基于运动的视频帧内插通常依赖于光流来将像素从输入扭曲到期望的内插时刻。然而，由于运动估计的固有挑战（例如，遮挡和不连续性），大多数最先进的内插方法需要对扭曲结果进行后续细化以生成令人满意的输出，这大大降低了多帧内插的效率。在这项工作中，我们提出了一个完全可微的多对多（M2M）飞溅框架，有效地内插帧。具体来说，给定一个帧对，我们估计多个双向流，以直接将像素向前扭曲到所需的时间步长，然后融合任何重叠的像素。在这样做时，每个源像素渲染多个目标像素，并且每个目标像素可以从更大的视觉上下文区域合成。这建立了一个多对多的飞溅计划与鲁棒性的文物，如洞。此外，对于每个输入帧对，M2M仅执行一次运动估计，并且在对任意数量的中间帧进行插值时具有极小的计算开销，因此实现了快速多帧插值。我们进行了大量的实验来分析M2M，发现它在保持高效率的同时显著提高了效率。
2022-04-07 cs.AI cs.CV cs.MM
A Perceptual Quality Metric for Video Frame Interpolation
Portland State University（波特兰州立大学）
视频帧内插技术的研究近年来取得了很大的进展。然而，现有的方法大多使用现成的指标来衡量插值结果的质量，除了少数方法，采用用户研究，这是耗时的。由于视频帧内插结果经常表现出独特的伪影，现有的质量度量在测量内插结果时有时与人类感知不一致。一些最近的基于深度学习的感知质量指标显示出与人类判断更一致，但它们在视频上的性能受到影响，因为它们不考虑时间信息。在本文中，我们提出了一个专门的感知质量度量测量视频帧插值结果。我们的方法直接从视频而不是单个帧中学习感知特征。该方法比较了从视频帧中提取的金字塔特征，并采用Swin Transformer基于块的时空模块提取时空信息。为了训练我们的度量，我们收集了一个新的视频帧插值质量评估数据集。我们的实验表明，我们的专用质量指标优于国家的最先进的方法时，测量视频帧插值结果。我们的代码和模型在\url{https://github.com/hqqxyy/VFIPS}上公开提供。
2022-10-04 cs.CV eess.IV
AdaFNIO: Adaptive Fourier Neural Interpolation Operator for video frame interpolation
Purdue University（普渡大学）
我们提出，AdaFNIO -自适应傅立叶神经插值算子，一个基于神经运算符的架构来执行视频帧内插。当前基于深度学习的方法依赖于局部卷积进行特征学习，并且不是尺度不变的，因此需要通过随机翻转和重新缩放来增强训练数据。另一方面，AdaFNIO通过使用快速傅立叶变换（FFT）在傅立叶空间或谱域中进行令牌混合和全局卷积，学习帧中的特征，与输入分辨率无关。我们表明，AdaFNIO可以产生视觉上平滑和准确的结果。为了评估我们的插值帧的视觉质量，我们计算生成的帧和地面真实帧之间的结构相似性指数（SSIM）和峰值信噪比（PSNR）。我们提供了我们的模型在Vimeo-90 K数据集，DAVIS，UCF 101和DISFA+数据集上的定量性能。
2023-03-09 cs.CV
Interpolation between Convolution and Attention via K-Nearest Neighbors
Bowdoin College（博德因学院）
提出ConvNN统一框架，将卷积和自注意力视为K近邻聚合的特例，通过可配置的相似度函数和邻居选择策略实现局部与全局聚合的连续插值。
2026-06-16 cs.CV
Splatting-based Synthesis for Video Frame Interpolation
Adobe Research（奥多比研究院）；Boston University（波士顿大学）；Adobe Inc（奥多比公司）
帧内插是一种重要的视频处理技术，可以调整图像序列的时间分辨率。虽然深度学习为视频帧内插领域带来了巨大的改进，但利用神经网络的技术通常不容易部署在视频编辑器等实际应用中，因为它们要么在计算上过于苛刻，要么在高分辨率下失败。相比之下，我们提出了一种深度学习方法，该方法仅依赖于飞溅来合成插值帧。这种基于分裂的视频帧内插合成不仅比类似方法快得多，特别是对于多帧内插，而且还可以在高分辨率下产生新的最先进的结果。
2022-10-26 cs.CV
Unified Arbitrary-Time Video Frame Interpolation and Prediction
Samsung Electronics（三星电子）
本文提出uniVIP，一个统一的任意时刻视频帧插值与预测框架，通过扩展插值网络并引入任务编码通道，在三元组帧上训练统一模型，在插值任务上表现具竞争力且在预测任务上超越现有最先进方法。
2025-03-04 cs.CV
SILK: Smooth InterpoLation frameworK for motion in-betweening A Simplified Computational Approach
SEED, Electronic Arts（SEED电子艺术公司）；Electronic Arts（电子艺术公司）
本文提出 SILK，一种仅用单个 Transformer 编码器的动作中间帧生成框架，并证明数据量、姿态表示和速度特征对动画质量的关键作用。
2025-06-09 cs.CV cs.GR cs.LG
Deep Frame Interpolation
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
这项工作提出了一种基于监督学习的方法来解决帧插值的计算机视觉问题。所提出的技术也可以用于卡通动画，因为绘制每个单独的帧消耗了大量的时间。针对该问题的大多数现有解决方案使用无监督方法并且仅关注具有已经高的帧速率的现实生活视频。然而，实验表明，当帧速率变低并且帧之间的对象位移变大时，这样的方法不起作用。这是由于大位移运动的内插需要运动结构的知识，因此诸如帧平均的简单技术开始失效。在这项工作中，深度卷积神经网络用于解决帧内插问题。此外，它表明，纳入先验信息，如光流显着提高插值质量。
2017-06-15 cs.CV
Adapting Image-to-Video Diffusion Models for Large-Motion Frame Interpolation
Waseda University（早稻田大学）
针对视频帧插值问题，提出条件编码器适配图像转视频扩散模型，集成双分支特征提取器与跨帧注意力机制捕捉时空信息，在FVD指标上优于现有方法，尤其提升大运动场景插值性能。
2025-02-17 cs.CV
Video Frame Interpolation via Adaptive Convolution
Portland State University（波特兰州立大学）
视频帧内插通常涉及两个步骤：运动估计和像素合成。这种两步方法严重依赖于运动估计的质量。本文提出了一种鲁棒的视频帧插值方法，将这两个步骤结合到一个过程中。具体来说，我们的方法认为像素合成的插值帧作为两个输入帧的局部卷积。卷积核捕获输入帧之间的局部运动和用于像素合成的系数。我们的方法采用深度全卷积神经网络来估计每个像素的空间自适应卷积核。这种深度神经网络可以使用广泛可用的视频数据直接进行端到端训练，而无需任何难以获得的地面实况数据，如光流。我们的实验表明，视频插值作为一个单一的卷积过程，使我们的方法能够优雅地处理像遮挡，模糊和突然的亮度变化的挑战，并实现高质量的视频帧插值。
2017-03-22 cs.CV
EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation
Northwestern Polytechnical University（西北工业大学）
视频帧内插可以上变频帧速率并提高视频质量。近年来，虽然插值性能已经取得了很大的成功，但由于大的运动，图像模糊通常发生在物体边界处。这是一个长期存在的问题，尚未得到解决。在本文中，我们提出了减少图像模糊，并得到清晰的形状的对象，通过保持边缘的插值帧。为此，提出的边缘感知网络（EA-Net）集成的边缘信息到帧内插任务。它遵循端到端的架构，可以分为两个阶段，\emph{i.e.}，边缘引导的流量估计和边缘保护的帧合成。具体而言，在流估计阶段，提出了三种边缘感知机制，在估计流图时强调帧边缘，从而将边缘图作为辅助信息，为提高流估计精度提供更多的指导。在帧合成阶段，设计了流细化模块对流图进行细化，设计了注意力模块，在合成中间帧时自适应地关注双向流图。此外，采用帧和边缘鉴别器进行对抗性训练策略，以增强合成帧的真实感和清晰度。在Vimeo 90 k、UCF 101单帧内插和EA 240-fps多帧内插三个基准测试上的实验表明，EA-Net在视频帧内插方面具有优越性。
2021-05-17 cs.CV
Depth-Aware Video Frame Interpolation
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；University of California, Merced（加州大学默塞德分校）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）；Google（谷歌）
视频帧插值的目的是在原始帧之间合成不存在的帧。虽然最近的深度卷积神经网络已经取得了重大进展，但由于大的对象运动或遮挡，插值的质量通常会降低。在这项工作中，我们提出了一种视频帧插值方法，明确地检测通过探索的深度信息的遮挡。具体来说，我们开发了一个深度感知流投影层来合成中间流，这些中间流最好对距离较近的对象进行采样，而不是距离较远的对象。此外，我们学习层次特征来收集来自相邻像素的上下文信息。然后，所提出的模型基于光流和局部插值核来扭曲输入帧、深度图和上下文特征，以合成输出帧。我们的模型是紧凑的，有效的，完全可微的。定量和定性的结果表明，该模型表现良好，对国家的最先进的帧插值方法在各种各样的数据集。
2019-04-01 cs.CV
Frame Interpolation with Multi-Scale Deep Loss Functions and Generative Adversarial Networks
Twitter（推特）
帧内插尝试在给定一个或多个连续视频帧的情况下合成帧。近年来，深度学习方法，特别是卷积神经网络，已经成功地解决了包括帧内插在内的低级和高级计算机视觉问题。这些技术通常解决两个问题，即算法效率和重建质量。在本文中，我们提出了一个多尺度生成对抗网络帧插值（\mbox{FIGAN}）。为了最大限度地提高我们的网络的效率，我们提出了一种新的多尺度残差估计模块，其中预测流和合成帧以粗到细的方式构建。为了提高合成的中间视频帧的质量，我们的网络在不同的级别上与感知损失函数联合监督，感知损失函数由对抗性损失和两个内容损失组成。我们评估所提出的方法，使用60 fps的视频从YouTube-8 m的集合。我们的研究结果提高了最先进的准确性，并提供了主观视觉质量相媲美的最佳性能插值方法在x47更快的运行时间。
2019-02-26 cs.CV
NeuralPCI: Spatio-temporal Neural Field for 3D Point Cloud Multi-frame Non-linear Interpolation
Tongji University（同济大学）
近年来，对计算机视觉的插值任务的关注显著增加。尽管视频插值取得了巨大的进步，但点云插值仍然没有得到充分的探索。同时，现实场景中大量非线性大运动的存在使得点云插值任务更具挑战性。鉴于这些问题，我们提出了NeuralPCI：一个用于3D点云插值的端到端4D时空神经场，它隐式地集成了多帧信息，以处理室内和室外场景的非线性大运动。此外，我们构建了一个新的多帧点云插值数据集，称为NL-Drive，用于自动驾驶场景中的大非线性运动，以更好地展示我们的方法的优越性。最终，NeuralPCI在DHB（动态人体）和NL-Drive数据集上实现了最先进的性能。除了插值任务，我们的方法可以自然地扩展到点云外推，变形和自动标记，这表明它在其他领域的巨大潜力。代码可在https://github.com/ispc-lab/NeuralPCI上获得。
2023-03-27 cs.CV
FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation
UCSD（加州大学圣地亚哥分校）；CMU（卡内基梅隆大学）；Facebook AI（脸书人工智能研究院）
用于视频帧内插的大多数方法计算视频的相邻帧之间的双向光流，随后是合适的扭曲算法以生成输出帧。然而，依赖于光流的方法通常无法直接从视频对遮挡和复杂的非线性运动进行建模，并且引入了不适合于广泛部署的附加瓶颈。我们通过FLAVR解决了这些限制，FLAVR是一种灵活高效的架构，使用3D空时卷积来实现视频帧插值的端到端学习和推理。我们的方法有效地学习推理非线性运动，复杂的遮挡和时间抽象，从而提高视频插值的性能，同时不需要以光流或深度图的形式进行额外的输入。由于其简单性，FLAVR可以提供比当前最精确的多帧插值方法快3倍的推理速度，而不会损失插值精度。此外，我们在各种具有挑战性的设置上评估了FLAVR，并在各种流行的基准测试（包括Vimeo-90 K，UCF 101，DAVIS，Adobe和GoPro）上与之前的方法相比，始终展示出卓越的定性和定量结果。最后，我们证明了FLAVR视频帧内插可以作为一个有用的自我监督的借口任务，动作识别，光流估计，和运动放大。
2022-02-24 cs.CV
Video Frame Interpolation via Generalized Deformable Convolution
McMaster University（麦克马斯特大学）
视频帧内插的目的是从相邻的源帧中合成中间帧，同时保持空间和时间上的连续性。现有的基于深度学习的视频帧插值方法大致可以分为两类：基于流的方法和基于核的方法。基于流的方法的性能通常受到由于过度简化的运动模型而导致的流图估计的不准确性的危害，而基于核的方法的性能往往受到核形状的刚性的约束。为了解决这些性能限制的问题，提出了一种新的机制，称为广义可变形卷积，它可以有效地学习运动信息的数据驱动的方式和自由选择采样点在时空。在此基础上，提出了一种新的视频帧内插方法.我们广泛的实验表明，新方法的性能优于国家的最先进的，特别是在处理复杂的运动。
2021-03-18 cs.CV
Extracting Motion and Appearance via Inter-Frame Attention for Efficient Video Frame Interpolation
Nanjing University（南京大学）；Samsung Electronics (China) R&D Centre（三星电子（中国）研发中心）；Shanghai AI Lab（上海人工智能实验室）
有效地提取帧间运动和外观信息对于视频帧内插（VFI）具有重要意义。以往的工作要么是混合提取两类信息，要么是对每类信息分别进行模块化处理，导致表达歧义和效率低下。在本文中，我们提出了一个新的模块，明确地提取运动和外观信息，通过统一的操作。具体来说，我们重新考虑帧间注意的信息处理，并将其注意图重新用于外观特征增强和运动信息抽取。此外，为了高效的VFI，我们提出的模块可以无缝集成到混合CNN和Transformer架构中。这种混合流水线可以减轻帧间注意的计算复杂性，并保留详细的低层结构信息。实验结果表明，对于固定和任意时间步长插值，我们的方法在各种数据集上都达到了最先进的性能。同时，我们的方法享有一个较轻的计算开销的模型具有接近的性能。源代码和模型可以在https://github.com/MCG-NJU/EMA-VFI上找到。
2023-03-05 cs.CV
Video Frame Interpolation without Temporal Priors
The University of Sydney（悉尼大学）
视频帧内插是计算机视觉的一个重要研究课题，其目的是合成视频序列中不存在的中间帧。现有的视频帧内插方法在特定的假设条件下，如瞬时或已知曝光时间，都取得了显著的效果。然而，在复杂的现实世界的情况下，视频的时间先验，即每秒帧数（FPS）和帧曝光时间，可能会因不同的相机传感器而异。当测试视频在与训练视频不同的曝光设置下拍摄时，插值帧将遭受严重的错位问题。在这项工作中，我们解决了一般情况下，输入帧可以在不确定的曝光（和间隔）时间下获取的视频帧插值问题。不同于以往的方法，只能适用于一个特定的时间先验，我们推导出一个通用的曲线运动轨迹公式，从四个连续的清晰帧或两个连续的模糊帧没有时间先验。此外，利用相邻运动轨迹内的约束，我们设计了一种新的光流细化策略，以获得更好的插值结果。最后，实验表明，一个经过良好训练的模型就足以在复杂的现实世界情况下合成高质量的慢动作视频。代码可在https://github.com/yjzhang96/UTI-VFI上获得。
2021-12-02 cs.CV
AMT: All-Pairs Multi-Field Transforms for Efficient Frame Interpolation
Nankai University（南开大学）
本文提出视频帧插值架构 AMT，通过全像素对双向相关体和多组细粒度反向变形光流场提升大运动与遮挡建模能力，在多个基准上以高效率达到最先进性能。
2023-04-19 cs.CV
Triple Motion Estimation and Frame Interpolation based on Adaptive Threshold for Frame Rate Up-Conversion
在本文中，我们提出了一种新的运动补偿帧速率上转换（MC-FRUC）算法。所提出的算法通过首先使用单侧（联合向前和向后）和双侧运动估计估计运动矢量来创建内插帧。然后基于自适应阈值对运动矢量进行组合，以产生高质量的插值帧并减少块效应。针对运动补偿帧内插沿单边运动轨迹产生空洞的问题，提出了一种新的算法。实验结果表明，该算法的插值帧质量明显高于现有算法。
2022-03-05 cs.AI cs.CV cs.MM
A Unified Pyramid Recurrent Network for Video Frame Interpolation
Samsung Electronics (China) R&D Center（三星电子（中国）研发中心）；Samsung Electronics, South Korea（三星电子（韩国））
流引导合成为帧内插提供了通用框架，其中估计光流以引导连续输入之间的中间帧的合成。在本文中，我们提出了UPR-Net，一种新的统一金字塔递归网络的帧内插。在一个灵活的金字塔框架中，UPR-Net利用轻量级的递归模块进行双向流估计和中间帧合成。在每个金字塔级别，它利用估计的双向流来生成用于帧合成的前向扭曲表示;在金字塔级别上，它能够对光流和中间帧进行迭代细化。特别是，我们表明，我们的迭代合成策略可以显着提高帧插值的鲁棒性大运动的情况下。尽管非常轻量级（1.7M参数），我们的UPR-Net基础版本在大范围的基准测试中实现了出色的性能。我们的UPR-Net系列的代码和训练模型可在https://github.com/srcn-ivl/UPR-Net上获得。
2023-03-23 cs.CV
Revisiting Adaptive Convolutions for Video Frame Interpolation
Adobe Research（Adobe研究（Adobe Research））
视频帧内插，即实时合成新视图，是一个越来越受欢迎的研究方向，许多新的论文进一步推进了这一技术的发展。但是，由于每种新方法都有许多影响内插质量的变量，因此很难判断什么对这项任务真正重要。在这项工作中，我们发现，有点令人惊讶的是，它是可以实现接近国家的最先进的结果与旧的，更简单的方法，即自适应可分离卷积，通过一组微妙的低级别的改进。在此过程中，我们提出了一些直观但有效的技术来提高帧插值质量，这些技术也有可能用于自适应卷积的其他相关应用，如突发图像去噪，联合图像滤波或视频预测。
2020-11-02 cs.CV
FastRIFE: Optimization of Real-Time Intermediate Flow Estimation for Video Frame Interpolation
Warsaw University of Technology（华沙工业大学）
视频帧间插值问题是图像处理领域的一个重要课题。正确增加记录中的帧数，同时保持平滑移动，可以提高播放视频序列的质量，实现更有效的压缩并创建慢动作记录。本文提出了FastRIFE算法，该算法是对RIFE（实时的【形】中间流估计）模型的速度改进。新的方法进行了检查，并与其他最近发表的算法进行比较。所有源代码都可以在https://gitlab.com/malwinq/interpolation-of-images-for-slow-motion-videos上获得
2021-06-01 cs.CV
An Efficient Quality Metric for Video Frame Interpolation Based on Motion-Field Divergence
Taighde Éireann – Research Ireland（塔尔德·爱尔兰——爱尔兰研究）；Overcast HQ（Overcast总部）；YouTube Video Algorithms team（YouTube视频算法团队）
提出PSNR_DIV，一种基于运动发散加权的高效视频帧插值质量度量，提升PSNR并提高计算效率。
2026-01-22 cs.CV cs.MM eess.IV
