Adapting Image-to-Video Diffusion Models for Large-Motion Frame Interpolation
Waseda University（早稻田大学）
针对视频帧插值问题，提出条件编码器适配图像转视频扩散模型，集成双分支特征提取器与跨帧注意力机制捕捉时空信息，在FVD指标上优于现有方法，尤其提升大运动场景插值性能。
2025-02-17 cs.CV
Video Frame Interpolation via Adaptive Convolution
Portland State University（波特兰州立大学）
视频帧内插通常涉及两个步骤：运动估计和像素合成。这种两步方法严重依赖于运动估计的质量。本文提出了一种鲁棒的视频帧插值方法，将这两个步骤结合到一个过程中。具体来说，我们的方法认为像素合成的插值帧作为两个输入帧的局部卷积。卷积核捕获输入帧之间的局部运动和用于像素合成的系数。我们的方法采用深度全卷积神经网络来估计每个像素的空间自适应卷积核。这种深度神经网络可以使用广泛可用的视频数据直接进行端到端训练，而无需任何难以获得的地面实况数据，如光流。我们的实验表明，视频插值作为一个单一的卷积过程，使我们的方法能够优雅地处理像遮挡，模糊和突然的亮度变化的挑战，并实现高质量的视频帧插值。
2017-03-22 cs.CV
EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation
Northwestern Polytechnical University（西北工业大学）
视频帧内插可以上变频帧速率并提高视频质量。近年来，虽然插值性能已经取得了很大的成功，但由于大的运动，图像模糊通常发生在物体边界处。这是一个长期存在的问题，尚未得到解决。在本文中，我们提出了减少图像模糊，并得到清晰的形状的对象，通过保持边缘的插值帧。为此，提出的边缘感知网络（EA-Net）集成的边缘信息到帧内插任务。它遵循端到端的架构，可以分为两个阶段，\emph{i.e.}，边缘引导的流量估计和边缘保护的帧合成。具体而言，在流估计阶段，提出了三种边缘感知机制，在估计流图时强调帧边缘，从而将边缘图作为辅助信息，为提高流估计精度提供更多的指导。在帧合成阶段，设计了流细化模块对流图进行细化，设计了注意力模块，在合成中间帧时自适应地关注双向流图。此外，采用帧和边缘鉴别器进行对抗性训练策略，以增强合成帧的真实感和清晰度。在Vimeo 90 k、UCF 101单帧内插和EA 240-fps多帧内插三个基准测试上的实验表明，EA-Net在视频帧内插方面具有优越性。
2021-05-17 cs.CV
Depth-Aware Video Frame Interpolation
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；University of California, Merced（加州大学默塞德分校）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）；Google（谷歌）
视频帧插值的目的是在原始帧之间合成不存在的帧。虽然最近的深度卷积神经网络已经取得了重大进展，但由于大的对象运动或遮挡，插值的质量通常会降低。在这项工作中，我们提出了一种视频帧插值方法，明确地检测通过探索的深度信息的遮挡。具体来说，我们开发了一个深度感知流投影层来合成中间流，这些中间流最好对距离较近的对象进行采样，而不是距离较远的对象。此外，我们学习层次特征来收集来自相邻像素的上下文信息。然后，所提出的模型基于光流和局部插值核来扭曲输入帧、深度图和上下文特征，以合成输出帧。我们的模型是紧凑的，有效的，完全可微的。定量和定性的结果表明，该模型表现良好，对国家的最先进的帧插值方法在各种各样的数据集。
2019-04-01 cs.CV
Frame Interpolation with Multi-Scale Deep Loss Functions and Generative Adversarial Networks
Twitter（推特）
帧内插尝试在给定一个或多个连续视频帧的情况下合成帧。近年来，深度学习方法，特别是卷积神经网络，已经成功地解决了包括帧内插在内的低级和高级计算机视觉问题。这些技术通常解决两个问题，即算法效率和重建质量。在本文中，我们提出了一个多尺度生成对抗网络帧插值（\mbox{FIGAN}）。为了最大限度地提高我们的网络的效率，我们提出了一种新的多尺度残差估计模块，其中预测流和合成帧以粗到细的方式构建。为了提高合成的中间视频帧的质量，我们的网络在不同的级别上与感知损失函数联合监督，感知损失函数由对抗性损失和两个内容损失组成。我们评估所提出的方法，使用60 fps的视频从YouTube-8 m的集合。我们的研究结果提高了最先进的准确性，并提供了主观视觉质量相媲美的最佳性能插值方法在x47更快的运行时间。
2019-02-26 cs.CV
NeuralPCI: Spatio-temporal Neural Field for 3D Point Cloud Multi-frame Non-linear Interpolation
Tongji University（同济大学）
近年来，对计算机视觉的插值任务的关注显著增加。尽管视频插值取得了巨大的进步，但点云插值仍然没有得到充分的探索。同时，现实场景中大量非线性大运动的存在使得点云插值任务更具挑战性。鉴于这些问题，我们提出了NeuralPCI：一个用于3D点云插值的端到端4D时空神经场，它隐式地集成了多帧信息，以处理室内和室外场景的非线性大运动。此外，我们构建了一个新的多帧点云插值数据集，称为NL-Drive，用于自动驾驶场景中的大非线性运动，以更好地展示我们的方法的优越性。最终，NeuralPCI在DHB（动态人体）和NL-Drive数据集上实现了最先进的性能。除了插值任务，我们的方法可以自然地扩展到点云外推，变形和自动标记，这表明它在其他领域的巨大潜力。代码可在https://github.com/ispc-lab/NeuralPCI上获得。
2023-03-27 cs.CV
FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation
UCSD（加州大学圣地亚哥分校）；CMU（卡内基梅隆大学）；Facebook AI（脸书人工智能研究院）
用于视频帧内插的大多数方法计算视频的相邻帧之间的双向光流，随后是合适的扭曲算法以生成输出帧。然而，依赖于光流的方法通常无法直接从视频对遮挡和复杂的非线性运动进行建模，并且引入了不适合于广泛部署的附加瓶颈。我们通过FLAVR解决了这些限制，FLAVR是一种灵活高效的架构，使用3D空时卷积来实现视频帧插值的端到端学习和推理。我们的方法有效地学习推理非线性运动，复杂的遮挡和时间抽象，从而提高视频插值的性能，同时不需要以光流或深度图的形式进行额外的输入。由于其简单性，FLAVR可以提供比当前最精确的多帧插值方法快3倍的推理速度，而不会损失插值精度。此外，我们在各种具有挑战性的设置上评估了FLAVR，并在各种流行的基准测试（包括Vimeo-90 K，UCF 101，DAVIS，Adobe和GoPro）上与之前的方法相比，始终展示出卓越的定性和定量结果。最后，我们证明了FLAVR视频帧内插可以作为一个有用的自我监督的借口任务，动作识别，光流估计，和运动放大。
2022-02-24 cs.CV
Video Frame Interpolation via Generalized Deformable Convolution
McMaster University（麦克马斯特大学）
视频帧内插的目的是从相邻的源帧中合成中间帧，同时保持空间和时间上的连续性。现有的基于深度学习的视频帧插值方法大致可以分为两类：基于流的方法和基于核的方法。基于流的方法的性能通常受到由于过度简化的运动模型而导致的流图估计的不准确性的危害，而基于核的方法的性能往往受到核形状的刚性的约束。为了解决这些性能限制的问题，提出了一种新的机制，称为广义可变形卷积，它可以有效地学习运动信息的数据驱动的方式和自由选择采样点在时空。在此基础上，提出了一种新的视频帧内插方法.我们广泛的实验表明，新方法的性能优于国家的最先进的，特别是在处理复杂的运动。
2021-03-18 cs.CV
Video Frame Interpolation without Temporal Priors
The University of Sydney（悉尼大学）
视频帧内插是计算机视觉的一个重要研究课题，其目的是合成视频序列中不存在的中间帧。现有的视频帧内插方法在特定的假设条件下，如瞬时或已知曝光时间，都取得了显著的效果。然而，在复杂的现实世界的情况下，视频的时间先验，即每秒帧数（FPS）和帧曝光时间，可能会因不同的相机传感器而异。当测试视频在与训练视频不同的曝光设置下拍摄时，插值帧将遭受严重的错位问题。在这项工作中，我们解决了一般情况下，输入帧可以在不确定的曝光（和间隔）时间下获取的视频帧插值问题。不同于以往的方法，只能适用于一个特定的时间先验，我们推导出一个通用的曲线运动轨迹公式，从四个连续的清晰帧或两个连续的模糊帧没有时间先验。此外，利用相邻运动轨迹内的约束，我们设计了一种新的光流细化策略，以获得更好的插值结果。最后，实验表明，一个经过良好训练的模型就足以在复杂的现实世界情况下合成高质量的慢动作视频。代码可在https://github.com/yjzhang96/UTI-VFI上获得。
2021-12-02 cs.CV
A Unified Pyramid Recurrent Network for Video Frame Interpolation
Samsung Electronics (China) R&D Center（三星电子（中国）研发中心）；Samsung Electronics, South Korea（三星电子（韩国））
流引导合成为帧内插提供了通用框架，其中估计光流以引导连续输入之间的中间帧的合成。在本文中，我们提出了UPR-Net，一种新的统一金字塔递归网络的帧内插。在一个灵活的金字塔框架中，UPR-Net利用轻量级的递归模块进行双向流估计和中间帧合成。在每个金字塔级别，它利用估计的双向流来生成用于帧合成的前向扭曲表示;在金字塔级别上，它能够对光流和中间帧进行迭代细化。特别是，我们表明，我们的迭代合成策略可以显着提高帧插值的鲁棒性大运动的情况下。尽管非常轻量级（1.7M参数），我们的UPR-Net基础版本在大范围的基准测试中实现了出色的性能。我们的UPR-Net系列的代码和训练模型可在https://github.com/srcn-ivl/UPR-Net上获得。
2023-03-23 cs.CV
Revisiting Adaptive Convolutions for Video Frame Interpolation
Adobe Research（Adobe研究（Adobe Research））
视频帧内插，即实时合成新视图，是一个越来越受欢迎的研究方向，许多新的论文进一步推进了这一技术的发展。但是，由于每种新方法都有许多影响内插质量的变量，因此很难判断什么对这项任务真正重要。在这项工作中，我们发现，有点令人惊讶的是，它是可以实现接近国家的最先进的结果与旧的，更简单的方法，即自适应可分离卷积，通过一组微妙的低级别的改进。在此过程中，我们提出了一些直观但有效的技术来提高帧插值质量，这些技术也有可能用于自适应卷积的其他相关应用，如突发图像去噪，联合图像滤波或视频预测。
2020-11-02 cs.CV
FastRIFE: Optimization of Real-Time Intermediate Flow Estimation for Video Frame Interpolation
Warsaw University of Technology（华沙工业大学）
视频帧间插值问题是图像处理领域的一个重要课题。正确增加记录中的帧数，同时保持平滑移动，可以提高播放视频序列的质量，实现更有效的压缩并创建慢动作记录。本文提出了FastRIFE算法，该算法是对RIFE（实时的【形】中间流估计）模型的速度改进。新的方法进行了检查，并与其他最近发表的算法进行比较。所有源代码都可以在https://gitlab.com/malwinq/interpolation-of-images-for-slow-motion-videos上获得
2021-06-01 cs.CV
H-VFI: Hierarchical Frame Interpolation for Videos with Large Motions
Kuaishou Technology（快手科技）；The Hong Kong University of Science and Technology（香港科技大学）
随着神经网络技术的迅速发展，近年来的视频帧内插（VFI）方法取得了显著的进步。然而，对于包含大运动的真实世界视频，它们仍然不足。大运动引起的复杂变形和/或遮挡使其成为视频帧内插中极其困难的问题。在本文中，我们提出了一个简单而有效的解决方案，H-VFI，以处理大的运动在视频帧内插。H-VFI提供了一个层次化的视频插值Transformer（HVIT），用于在多尺度下以由粗到精的策略学习可变形核。然后利用学习的可变形核对输入帧进行卷积，以预测内插帧。H-VFI算法从最小尺度开始，根据前一次预测核、中间插值结果和Transformer的层次特征，通过残差连续更新变形核。然后由Transformer块基于插值结果预测用于细化最终输出的偏置和掩码。这种渐进近似的优点在于，大运动帧插值问题可以被分解成几个相对简单的子任务，这使得能够非常准确地预测最终结果。我们的论文的另一个值得注意的贡献包括一个大规模的高质量数据集，YouTube 200 K，其中包含以高分辨率和高帧速率捕获的各种场景的视频。多帧插值基准上的大量实验验证了H-VFI优于现有的最先进的方法，特别是对于具有大运动的视频。
2022-11-21 cs.CV
Video Frame Interpolation Based on Deformable Kernel Region
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Shenzhen Technology University（深圳技术大学）
视频帧内插任务是近年来计算机视觉领域的一个热点问题。目前，基于深度学习的多项研究已经取得了巨大的成功。大多数方法或者基于光流信息，或者基于插值核，或者这两种方法的结合。然而，这些方法都忽略了在合成每个目标像素时，核区域的位置有网格限制。这些限制导致它们不能很好地适应对象形状的不规则性和运动的不确定性，这可能导致用于插值的无关参考像素。为了解决这一问题，我们重新研究了用于视频插值的可变形卷积，它可以打破核区域上固定网格的限制，使得参考点的分布更适合对象的形状，从而扭曲出更精确的插值帧。在四个数据集上进行了实验，以证明所提出的模型相比，国家的最先进的替代品的优越性能。
2022-04-25 cs.CV
A Temporally-Aware Interpolation Network for Video Frame Inpainting
University of Michigan（密歇根大学）
我们提出了视频帧修复的第一个深度学习解决方案，这是视频编辑，操作和取证中应用的一般视频修复问题的一个具有挑战性的实例。我们的任务比帧插值和视频预测更明确，因为我们可以访问时间上下文和未来的部分一瞥，使我们能够更好地客观评估模型预测的质量。我们设计了一个由两个模块组成的流水线：一个双向视频预测模块，和一个时间感知帧插值模块。预测模块使用共享的基于卷积LSTM的编码器-解码器对丢失帧进行两个中间预测，一个以先前帧为条件，另一个以后续帧为条件。插值模块混合中间预测以形成最终结果。具体来说，它利用时间信息和来自视频预测模块的隐藏激活来解决预测之间的不一致。我们的实验表明，我们的方法比最先进的视频预测方法和许多强大的帧修复基线产生更准确和质量上令人满意的结果。
2018-11-03 cs.CV
BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation
Korea University（高丽大学）；Dongguk University（东国大学）
视频内插通过合成两个连续帧之间的中间帧来增加视频序列的时间分辨率。本文提出了一种基于深度学习的双向运动估计视频插值算法。首先，我们开发了双边运动网络的双边成本量，以准确地估计双边运动。然后，我们近似双向运动来预测不同类型的双边运动。然后，我们使用估计的双边运动来扭曲两个输入帧。接下来，我们开发了动态滤波器生成网络来生成动态混合滤波器。最后，我们使用动态混合滤波器组合变形帧以生成中间帧。实验结果表明，该算法优于国家的最先进的视频插值算法在几个基准数据集。
2020-07-17 cs.CV
PointINet: Point Cloud Frame Interpolation Network
Tongji University（同济大学）；University of Science and Technology of China（中国科学技术大学）
LiDAR点云流在时间维度上通常是稀疏的，这受到硬件性能的限制。通常，机械LiDAR传感器的帧速率为10至20 Hz，远低于相机等其他常用传感器。为了克服LiDAR传感器的时间限制，本文研究了一种新的点云框架内插任务。给定两个连续的点云帧，点云帧插值旨在生成它们之间的中间帧。为了实现这一点，我们提出了一种新的框架，即点云帧插值网络（PointINet）。基于所提出的方法，低帧速率点云流可以被上采样到更高的帧速率。我们首先估计两个点云之间的双向3D场景流，然后基于3D场景流将它们扭曲到给定的时间步长。为了融合两个变形帧并生成中间点云，我们提出了一种新的基于学习的点融合模块，该模块同时考虑两个变形点云。我们设计了定量和定性实验来评估点云帧插值方法的性能，并在两个大规模户外LiDAR数据集上进行了广泛的实验，证明了所提出的PointINet的有效性。我们的代码可在https://github.com/ispc-lab/PointINet.git上获得。
2020-12-18 cs.CV
Quadratic video interpolation
Carnegie Mellon University（卡内基梅隆大学）；SenseTime Research（商汤科技研究院）；Beijing Normal University（北京师范大学）；University of California, Merced（加州大学默塞德分校）；Google（谷歌）
视频插值是计算机视觉中的一个重要问题，它有助于克服摄像机传感器的时间限制。现有的视频插值方法通常假设相邻帧之间的运动是均匀的，并且采用线性模型进行插值，不能很好地逼近真实世界中的复杂运动。为了解决这些问题，我们提出了一个二次视频插值方法，利用视频中的加速度信息。该方法允许曲线轨迹和变速预测，并生成更精确的插值结果。对于高质量的帧合成，我们开发了一个流反转层来估计从未知目标帧到源帧的流场。此外，我们提出的技术流细化。大量的实验表明，我们的方法表现良好，对现有的线性模型在各种各样的视频数据集。
2019-11-02 cs.CV
Implementing Adaptive Separable Convolution for Video Frame Interpolation
KTH Royal Institute of Technology（瑞典皇家理工学院）
随着深度神经网络越来越受欢迎，人们的注意力越来越多地集中在计算机视觉问题上，而这些问题过去是用更传统的方法解决的。视频帧内插是其中一个挑战，已经看到了涉及深度学习中各种技术的新研究。在本文中，我们复制了Niklaus等人关于自适应可分离卷积的工作，该工作声称视频帧插值任务具有高质量的结果。我们应用在较小数据集上训练的相同网络结构，并使用各种不同的损失函数进行实验，以确定数据稀缺情况下的最佳方法。最好的结果模型仍然能够提供视觉上令人愉悦的视频，尽管获得了较低的评估分数。
2018-09-20 cs.CV
Blurry Video Frame Interpolation
Shanghai Jiao Tong University（上海交通大学）
现有的工作通过两种不同的方式来减少运动模糊和上转换帧速率，包括帧去模糊和帧内插。然而，很少有研究探讨联合视频增强问题，即从低帧率模糊输入合成高帧率清晰结果。在本文中，我们提出了一种模糊的视频帧内插方法，以减少运动模糊和提高帧速率的同时。具体来说，我们开发了一个金字塔模块来循环合成清晰的中间帧。金字塔模块具有可调的空间感受野和时间范围，从而有助于可控的计算复杂性和恢复能力。此外，我们提出了一个金字塔间的递归模块来连接序列模型，以利用时间关系。金字塔模块集成了一个递归模块，因此可以迭代地合成时间平滑的结果，而不会显着增加模型的大小。大量的实验结果表明，我们的方法对国家的最先进的方法表现良好。
2020-02-27 cs.CV
Asymmetric Bilateral Motion Estimation for Video Frame Interpolation
Korea University（高丽大学）；Dongguk University（东国大学）
提出了一种新的基于非对称双边运动估计（ABME）的视频帧内插算法。首先，我们预测对称的双边运动场插值锚帧。其次，我们估计从锚帧到输入帧的不对称双边运动场。第三，我们使用非对称场将输入帧向后扭曲并重建中间帧。最后，为了改进中间帧，我们开发了一个新的合成网络，该网络使用局部和全局信息生成一组动态滤波器和残差帧。实验结果表明，该算法在不同的数据集上均取得了良好的性能.源代码和预训练模型可在https://github.com/JunHeum/ABME上获得。
2021-08-15 cs.CV
Arbitrary Generative Video Interpolation
Nanjing University（南京大学）；Tencent Hunyuan（腾讯混元）；Shanghai AI Laboratory（上海人工智能实验室）
ArbInterp提出了一种可灵活调整时间戳和长度的视频帧插值框架，通过时间戳感知旋转位置嵌入和外观-运动解耦策略，实现更高效的生成与更流畅的时空过渡。
2026-03-03 cs.CV
Enhanced Bi-directional Motion Estimation for Video Frame Interpolation
Samsung Electronics (China) R&D Center（三星电子（中国）研发中心）；Samsung Electronics, South Korea（韩国三星电子）
提出了一种简单有效的基于运动的视频帧内插算法。现有的基于运动的内插方法通常依赖于预先训练的光流模型或基于U-Net的金字塔网络来进行运动估计，其在处理复杂且大的运动情况时或者遭受大的模型尺寸或者受限的容量。在这项工作中，通过仔细整合intermediateoriented的前向翘曲，轻量级的特征编码器，相关体积到一个金字塔经常性的框架，我们推导出一个紧凑的模型，同时估计输入帧之间的双向运动。它的尺寸比PWC-Net小15倍，但能够更可靠和灵活地处理具有挑战性的运动情况。基于估计的双向运动，我们前向扭曲输入帧及其上下文特征到中间帧，并采用合成网络从扭曲表示估计中间帧。我们的方法在广泛的视频帧插值基准上实现了优异的性能。代码和训练模型可在\url{https://github.com/srcn-ivl/EBME}上获得。
2022-11-07 cs.CV
Softmax Splatting for Video Frame Interpolation
Portland State University（波特兰州立大学）
向后翘曲形式的可微分图像采样已经在像深度估计和光流预测的任务中得到广泛采用。相比之下，如何执行前向扭曲的关注较少，部分原因是额外的挑战，例如解决以可区分的方式将多个像素映射到同一目标位置的冲突。我们提出了softmax splatting来解决这种范式转变，并展示了其在帧插值应用中的有效性。具体来说，给定两个输入帧，我们使用softmax splatting基于光流估计向前扭曲帧及其特征金字塔表示。这样做，softmax splatting可以无缝地处理多个源像素映射到同一目标位置的情况。然后，我们使用一个合成网络来预测扭曲表示的插值结果。我们的softmax splatting不仅允许我们在任意时间内插帧，还可以微调特征金字塔和光流。我们表明，我们的合成方法，授权softmax飞溅，实现了新的国家的最先进的视频帧内插的结果。
2020-03-11 cs.CV
A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild
Zhejiang University（浙江大学）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；INSAIT
该研究提出一种带自适应去模糊的基于事件的帧插值统一双向循环网络，结合自监督提升真实场景泛化能力，构建了HighREV高分辨率真实数据集，在多任务上性能优于现有最优方法。
2025-05-20 cs.CV
Video Frame Interpolation Transformer
Shanghai Jiao Tong University（上海交通大学）；McMaster Univeristy（麦克马斯特大学）；University of California, Merced（加州大学默塞德分校）；Yonsei University（延世大学）；Google Research（谷歌研究院）；Nanyang Technological University（南洋理工大学）
现有的视频插值方法严重依赖于深度卷积神经网络，因此受到其固有局限性的影响，例如内容不可知的内核权重和受限的感受野。为了解决这些问题，我们提出了一个基于transformer的视频插值框架，该框架允许内容感知聚合权重，并考虑了自注意操作的长程依赖关系。为了避免全局自注意的高计算成本，我们将局部注意的概念引入到视频插值中，并将其扩展到时空域。此外，我们提出了一个时空分离的策略，以节省内存的使用，这也提高了性能。此外，我们开发了一个多尺度的帧合成方案，以充分发挥Transformers的潜力。大量的实验表明，该模型在各种基准数据集上的定量和定性表现都优于最先进的方法。
2022-03-28 cs.CV
Video Frame Interpolation via Adaptive Separable Convolution
Portland State University（波特兰州立大学）
标准视频帧内插方法首先估计输入帧之间的光流，然后合成由运动引导的中间帧。最近的方法通过将输入帧与同时考虑运动和重新采样的空间自适应内核卷积来将这两个步骤合并到单个卷积过程中。这些方法需要大的内核来处理大的运动，由于大的存储器需求，这限制了可以一次估计其内核的像素的数量。为了解决这个问题，本文制定了帧内插作为本地可分离的卷积输入帧使用1D内核对。与常规的2D内核相比，1D内核需要估计的参数明显更少。我们的方法开发了一个深度全卷积神经网络，它采用两个输入帧，同时估计所有像素的1D内核对。由于我们的方法能够估计内核并一次合成整个视频帧，因此它允许将感知损失并入训练神经网络以产生视觉上令人愉悦的帧。这个深度神经网络是使用广泛可用的视频数据进行端到端训练的，没有任何人工注释。定性和定量的实验表明，我们的方法提供了一个实用的解决方案，高质量的视频帧内插。
2017-08-05 cs.CV
Error-Aware Spatial Ensembles for Video Frame Interpolation
University of Toronto（多伦多大学）；Huawei Technologies（华为技术有限公司）
近年来，视频帧内插（VFI）算法在数据驱动算法及其实现方面取得了前所未有的进展。最近的研究已经引入了先进的运动估计或新颖的变形方法作为解决具有挑战性的VFI场景的手段。然而，没有一个已发表的VFI作品考虑空间非均匀特性的插值误差（IE）。这项工作介绍了这样一个解决方案。通过仔细研究光流和IE之间的相关性，本文提出了新的错误预测指标，划分中间帧到不同的区域对应于不同的IE水平。建立在这个IE驱动的分割，并通过使用新的误差控制的损失函数，它引入了一个合奏的空间自适应插值单元，逐步处理和整合的分割区域。这种空间集成的结果在一个有效的和计算上有吸引力的VFI解决方案。广泛的实验流行的视频插值基准表明，所提出的解决方案优于当前国家的最先进的（SOTA）在当前感兴趣的应用。
2022-07-25 cs.CV
FC-VFI: Faithful and Consistent Video Frame Interpolation for High-FPS Slow Motion Video Generation
Zhejiang University Chinese University of Hong Kong（浙江大学香港中文大学）
FC-VFI通过引入时间建模策略和语义匹配线，实现了高帧率慢动作视频生成中的忠实且一致的帧插值。
2026-03-05 cs.CV
Dynamic Video Frame Interpolation with integrated Difficulty Pre-Assessment
Samsung Electronics (China) R&D Center（三星电子（中国）研发中心）；Samsung Electronics（三星电子）
针对视频帧插值中精度与效率难以兼顾的问题，本文提出难度预评估与模型动态选择相结合的集成流水线，并构建大规模难度评估数据集，从而改善精度—效率权衡。
2023-04-25 cs.CV
CDFI: Compression-Driven Network Design for Frame Interpolation
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft（微软公司）；University of Denver（丹佛大学）
基于DNN的帧内插--在给定两个连续帧的情况下生成中间帧--通常依赖于具有大量特征的重型模型架构，这阻止了它们被部署在资源有限的系统上，例如，移动设备.我们提出了一种压缩驱动的帧内插网络设计（CDFI），它通过稀疏诱导优化来利用模型修剪，以显着减少模型大小，同时实现卓越的性能。具体地说，我们首先压缩最近提出的AdaCoF模型，并表明10倍压缩的AdaCoF与其原始对应物的性能相似;然后我们通过引入多分辨率扭曲模块进一步改进此压缩模型，该模块通过多层次细节增强视觉效果。因此，我们实现了显着的性能增益，只有四分之一的大小相比，原来的AdaCoF。此外，我们的模型在广泛的数据集中与其他最先进的模型相比表现良好。最后，提出的压缩驱动框架是通用的，可以很容易地转移到其他基于DNN的帧内插算法。我们的源代码可以在https://github.com/tding1/CDFI上找到。
2021-03-28 cs.CV
PhaseNet for Video Frame Interpolation
ETH Zurich（苏黎世联邦理工学院）；Disney Research（迪士尼研究院）
大多数视频帧插值方法需要精确的密集对应来合成中间帧。因此，它们在具有挑战性的场景中表现不佳，例如照明变化或运动模糊。最近的深度学习方法依赖于内核来表示运动，只能在一定程度上缓解这些问题。在这些情况下，使用基于每像素相位的运动表示的方法已经被证明工作良好。然而，它们仅适用于有限的运动量。我们提出了一种新的方法，PhaseNet，旨在鲁棒地处理具有挑战性的场景，同时也应对更大的运动。我们的方法包括一个神经网络解码器，直接估计的中间帧的相位分解。我们表明，这优于先前在基于相位的方法中使用的手工制作的算法，并且与最近基于深度学习的方法相比，在具有挑战性的数据集上进行视频帧插值。
2018-04-03 cs.CV
Video Frame Interpolation with Transformer
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）
视频帧内插（VFI）旨在合成视频的中间帧，近年来随着深度卷积网络的发展取得了显着进展。由于卷积运算的局部性，基于卷积网络构建的现有方法通常面临处理大运动的挑战。为了克服这个限制，我们引入了一个新的框架，它利用Transformer来模拟视频帧之间的长距离像素相关性。此外，我们的网络配备了一种新的跨尺度窗口的注意力机制，跨尺度窗口相互作用。这种设计有效地扩大了感受野，聚合了多尺度信息。大量的定量和定性实验表明，我们的方法在各种基准上取得了新的最先进的结果。
2022-05-15 cs.CV
NNVISR: Bring Neural Network Video Interpolation and Super Resolution into Video Processing Framework
Wuhan University（武汉大学）
NNVISR 是一个面向 VapourSynth 的开源滤镜插件，通过统一接入任意帧组增强网络并自动处理网络无关细节，将神经网络去噪、超分辨率、插值和时空超分辨率能力引入视频处理流水线。
2023-08-06 cs.CV
MEMC-Net: Motion Estimation and Motion Compensation Driven Neural Network for Video Interpolation and Enhancement
Shanghai Jiao Tong University（上海交通大学）；University of California, Merced（加州大学默塞德分校）
在过去的几十年中，运动估计（ME）和运动补偿（MC）已被广泛用于经典的视频帧内插系统。近年来，提出了许多基于卷积神经网络的数据驱动帧内插方法。然而，现有的基于学习的方法通常估计流量或补偿内核，从而限制了计算效率和插值精度的性能。在这项工作中，我们提出了一个运动估计和补偿驱动的神经网络的视频帧内插。提出了一种新的自适应扭曲层，用于集成光流和插值核来合成目标帧像素。这一层是完全可微的，使得流量和核估计网络都可以联合优化。所提出的模型受益于运动估计和补偿方法的优点，而不使用手工制作的功能。与现有的方法相比，我们的方法是计算效率高，能够产生更具视觉吸引力的结果。此外，所提出的MEMC-Net可以无缝地适应于几个视频增强任务，例如，超分辨率、去噪和去块。广泛的定量和定性评估表明，该方法表现良好，对国家的最先进的视频帧插值和增强算法在广泛的数据集。
2019-09-05 cs.CV
FineNet: Frame Interpolation and Enhancement for Face Video Deblurring
VinAI Research（VinAI研究院）
这项工作的目标是去模糊面部视频。我们提出了一种从两个方向解决这个问题的方法：（1）增强模糊帧，（2）将模糊帧视为缺失值并通过插值来估计它们。这些方法是相辅相成的，它们的组合优于单独的。我们还介绍了一个新的模块，利用结构的脸找到视频帧之间的位置偏移。该模块可以集成到两种方法的处理管道中，从而提高最终结果的质量。在三个真实和合成生成的模糊视频数据集上的实验表明，我们的方法在定量和定性结果方面都大大优于以前的最先进的方法。
2021-03-01 cs.CV
Progressive Motion Context Refine Network for Efficient Video Frame Interpolation
Shanghai Jiao Tong University（上海交通大学）
近年来，基于流的帧插值方法取得了很大的成功，该方法首先对目标帧和输入帧之间的光流进行建模，然后构建合成网络生成目标帧。然而，上述级联结构会导致模型规模过大和推理延迟，阻碍了它们在移动和实时应用中的应用。为了解决这个问题，我们提出了一种新的渐进运动上下文细化网络（PMCRNet）来预测运动场和图像上下文联合更高的效率。与其他直接从深度特征合成目标帧的方法不同，我们探索通过从相邻输入帧中借用已有的纹理来简化帧插值任务，这意味着我们的PMCRNet的每个金字塔级别的解码器只需要更新更容易的中间光流、遮挡合并掩码和图像残差。此外，我们引入了一个新的退火多尺度重建损失，以更好地指导这个高效的PMCRNet的学习过程。在多个基准测试上的实验表明，所提出的方法不仅取得了良好的定量和定性结果，而且显着减少了当前模型的大小和运行时间。
2022-11-11 cs.CV
Deep CNN Frame Interpolation with Lessons Learned from Natural Language Processing
University of Southern California（南加州大学）
深度学习的一个主要发展领域是卷积神经网络的研究和实现。深度学习社区对图像识别中卷积神经网络（CNN）的鲁棒性的一般解释基于CNN能够提取局部特征的想法。然而，自然语言处理等领域的最新发展表明，这种范式可能是不正确的。在本文中，我们分析了该领域的现状有关CNN的，并提出了一个假设，提供了一个新的解释的鲁棒性的CNN模型。从那里，我们展示了我们的方法的有效性，提出了新的深度CNN帧插值架构，这是与最先进的插值模型的复杂性的一小部分。
2018-09-17 cs.CV
ATCA: an Arc Trajectory Based Model with Curvature Attention for Video Frame Interpolation
Shanghai Jiao Tong University（上海交通大学）
视频帧内插是一个经典的、具有挑战性的低层计算机视觉任务。最近，基于深度学习的方法已经取得了令人印象深刻的结果，并且已经证明基于光流的方法可以合成具有更高质量的帧。然而，大多数基于流的方法假设两个输入帧之间具有恒定速度的线轨迹。只有很少的工作可以强制执行曲线轨迹的预测，但这需要两个以上的帧作为输入来估计加速度，这需要更多的时间和内存来执行。为了解决这个问题，我们提出了一个弧轨迹为基础的模型（ATCA），学习运动之前，只有两个连续的帧，也是轻量级的。实验表明，该方法具有参数少、推理速度快的特点，优于许多SOTA方法。
2022-08-01 cs.CV
TTVFI: Learning Trajectory-Aware Transformer for Video Frame Interpolation
Xi’an Jiaotong University（西安交通大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Research（微软研究院）
视频帧内插（VFI）的目的是合成两个连续帧之间的中间帧。现有技术的方法通常采用两步解决方案，其包括1）通过基于流的运动估计生成局部变形像素，2）通过深度神经合成网络混合变形像素以形成全帧。然而，由于来自两个连续帧的不一致的扭曲，新帧的扭曲特征通常不对齐，这导致失真和模糊的帧，特别是当发生大的和复杂的运动时。为了解决这个问题，在本文中，我们提出了一种新的轨迹感知Transformer视频帧内插（TTVFI）。特别是，我们制定了不一致的运动作为查询令牌的翘曲功能，并制定相关区域的运动轨迹从两个原始连续帧到键和值。自我注意力是沿着轨迹在相关标记上学习的，以通过端到端训练将原始特征混合到中间帧中。实验结果表明，我们的方法优于其他国家的最先进的方法在四个广泛使用的VFI基准。代码和预训练模型都将很快发布。
2022-07-19 cs.CV
All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；University of Toronto（多伦多大学）
高刷新率显示器的最新进展以及对高速率慢动作和帧上转换的兴趣增加，推动了对高效且具有成本效益的多帧视频插值解决方案的需求。在这方面，在连续视频帧之间插入多个帧对于消费电子行业是至关重要的。最先进的方法是每次插值一帧的迭代解。它们引入了时间上的不一致性和明显可见的视觉伪影。从国家的最先进的出发，这项工作介绍了一个真正的多帧图像。该算法利用时间域的金字塔型网络，一次性完成多帧插值任务。当遇到复杂运动段时，还使用使用放松的损失函数和先进的基于运动模型的新的流估计过程来进一步提高插值精度。实验结果表明，该方法生成的帧在视觉上令人愉悦，时间上一致，PSNR比目前最好的现成方法高1.57db，模型小8倍，速度快7.7倍。该方法可以很容易地扩展到插入大量的新帧，同时保持效率，因为一个镜头的机制。
2021-01-09 cs.CV
Scene-Adaptive Video Frame Interpolation via Meta-Learning
Seoul National University（首尔大学）；Hanyang University（汉阳大学）
视频帧内插是一个具有挑战性的问题，因为根据前景和背景运动、帧速率和遮挡的变化，每个视频都有不同的场景。因此，具有固定参数的单个网络很难在不同的视频中推广。理想情况下，每个场景都可以有不同的网络，但这对于实际应用来说在计算上是不可行的。在这项工作中，我们建议通过使用在测试时随时可用的额外信息来使模型适应每个视频，但在以前的作品中尚未被利用。我们首先通过对网络进行简单的微调来展示"测试时自适应"的好处，然后通过结合元学习来大大提高其效率。我们获得显着的性能增益，只有一个单一的梯度更新，没有任何额外的参数。最后，我们证明了我们的元学习框架可以很容易地应用于任何视频帧插值网络，并且可以在多个基准数据集上持续提高其性能。
2020-04-02 cs.CV
Cross-Attention Transformer for Video Interpolation
Duke University（杜克大学）
我们提出了TAIN（Transformers and Attention for video Interpolation），一个用于视频插值的残差神经网络，它的目标是在给定两个连续图像帧的情况下对中间帧进行插值.我们首先提出了一个新的视觉Transformer模块，称为交叉相似性（Cross Similarity，CS），用于全局聚集与预测插值帧外观相似的输入图像特征.然后，这些CS特征被用于改进内插预测。为了解决CS特征中的遮挡问题，我们提出了一个图像注意力（IA）模块，允许网络专注于一帧的CS特征。TAIN优于不需要流量估计的现有方法，并执行基于流量的方法，同时在Vimeo 90 k，UCF 101和SNU-FILM基准测试的推理时间方面具有计算效率。
2022-12-02 cs.CV
Sparsity-guided Network Design for Frame Interpolation
Microsoft（微软）；the Ohio State University（俄亥俄州立大学）
基于DNN的帧内插从两个连续帧生成中间帧，通常依赖于具有大量功能的模型架构，从而阻止其在资源有限的系统（如移动设备）上的部署。我们提出了一种压缩驱动的帧插值网络设计，利用模型修剪通过稀疏诱导优化，大大减少了模型的大小，同时获得更高的性能。具体地说，我们首先压缩最近提出的AdaCoF模型，并证明了10倍压缩的AdaCoF执行类似于其原来的对应物，其中使用分层稀疏信息作为指导的不同策略进行了全面研究各种超参数设置下。然后，我们通过引入多分辨率变形模块来增强这个压缩模型，从而提高了多层次细节的视觉一致性。因此，我们实现了相当大的性能增益与原来的AdaCoF的四分之一的大小。此外，我们的模型在各种数据集上的表现优于其他最先进的方法。我们注意到，建议的压缩驱动框架是通用的，可以很容易地转移到其他基于DNN的帧内插算法。源代码可在https://github.com/tding1/CDFI上获得。
2022-09-09 cs.CV
Long-term Video Frame Interpolation via Feature Propagation
Korea Advanced Institute of Science and Technology（韩国科学技术院）
视频帧内插（VFI）通常通过首先估计输入之间的运动并且然后利用所估计的运动将输入扭曲到目标时间来预测中间帧。然而，当输入序列之间的时间距离增加时，这种方法不是最佳的，因为现有的运动估计模块不能有效地处理大的运动。因此，VFI工作对于小的帧间隙表现良好，并且随着帧间隙增加而表现不佳。在这项工作中，我们提出了一个新的框架来解决这个问题。我们认为，当输入之间有一个很大的差距，而不是估计不精确的运动，最终将导致不准确的插值，我们可以安全地传播从输入的一侧到一个可靠的时间帧使用其他输入作为参考。然后，可以使用标准方法对中间帧的其余部分进行插值，因为时间间隙现在变窄了。为此，我们提出了一种传播网络（PNet），通过扩展经典的特征级预测与一种新的运动特征的方法。为了彻底，我们采用了一个简单的插值模型和PNet作为我们的完整模型，并设计了一个简单的过程来以端到端的方式训练完整模型。在几个基准数据集上的实验结果证实了我们的方法与最先进的方法相比对长期VFI的有效性。
2022-03-29 cs.CV
Extracting Motion and Appearance via Inter-Frame Attention for Efficient Video Frame Interpolation
Nanjing University（南京大学）；Samsung Electronics (China) R&D Centre（三星电子（中国）研发中心）；Shanghai AI Lab（上海人工智能实验室）
有效地提取帧间运动和外观信息对于视频帧内插（VFI）具有重要意义。以往的工作要么是混合提取两类信息，要么是对每类信息分别进行模块化处理，导致表达歧义和效率低下。在本文中，我们提出了一个新的模块，明确地提取运动和外观信息，通过统一的操作。具体来说，我们重新考虑帧间注意的信息处理，并将其注意图重新用于外观特征增强和运动信息抽取。此外，为了高效的VFI，我们提出的模块可以无缝集成到混合CNN和Transformer架构中。这种混合流水线可以减轻帧间注意的计算复杂性，并保留详细的低层结构信息。实验结果表明，对于固定和任意时间步长插值，我们的方法在各种数据集上都达到了最先进的性能。同时，我们的方法享有一个较轻的计算开销的模型具有接近的性能。源代码和模型可以在https://github.com/MCG-NJU/EMA-VFI上找到。
2023-03-05 cs.CV
Technical Report on Visual Quality Assessment for Frame Interpolation
University of Konstanz（康斯坦茨大学）；University of Stuttgart（斯图加特大学）
光流算法的当前基准通过将其预测的流场与地面实况进行比较来评估估计质量，并且另外可以基于这些预测将内插帧与来自实际图像序列的正确帧进行比较。对于后一种比较，应用了均方误差等客观测量。然而，对于像图像插值这样的应用，期望的用户体验质量不能完全从这样简单的质量测量中推断出来。因此，我们通过众包对光流基准之一，即Middlebury基准中提供的插值图像进行了主观质量评估研究。我们使用配对比较与强制选择和重建绝对质量量表值根据瑟斯顿的模型，使用经典的最小二乘法。结果引起了141参与算法w.r.t.内插帧的视觉质量主要基于光流估计。我们的重新排名的结果表明，视觉质量评估的必要性，作为另一个评价指标的光流和帧插值基准。
2019-03-26 cs.CV
JNMR: Joint Non-linear Motion Regression for Video Frame Interpolation
Beijing Jiaotong University（北京交通大学）；University of Science and Technology Beijing（北京科技大学）
本文提出JNMR策略，通过多阶段二次模型时间拼接回归目标帧与参考帧间的复杂运动轨迹，并利用ConvLSTM构建时间联合分布，结合特征学习网络与由粗到精合成增强模块，显著提升了视频帧插值性能。
2023-09-10 cs.CV
AdaCoF: Adaptive Collaboration of Flows for Video Frame Interpolation
Yonsei University（延世大学）；Agency for Defense Development（国防发展局）
视频帧内插是视频处理研究中最具挑战性的课题之一。最近，许多基于深度学习的研究已经被提出。这些方法中的大多数专注于寻找具有有用信息的位置，以使用它们自己的帧扭曲操作来估计每个输出像素。然而，他们中的许多人有自由度（DoF）的限制，并未能处理在现实世界的视频中发现的复杂运动。为了解决这个问题，我们提出了一个新的翘曲模块命名为自适应流协作（AdaCoF）。我们的方法估计每个目标像素的内核权重和偏移向量，以合成输出帧。AdaCoF是最广义的翘曲模块之一，它涵盖了大多数的特殊情况，因此，它可以处理一个显着的范围广泛的复杂运动。为了进一步改进我们的框架并合成更真实的输出，我们引入了仅适用于视频帧插值任务的双帧对抗性损失。实验结果表明，我们的方法优于国家的最先进的方法固定的训练集环境和Middlebury基准。
2020-03-08 cs.CV
Unifying Motion Deblurring and Frame Interpolation with Events
Wuhan University（武汉大学）
基于帧的相机的慢快门速度和长曝光时间通常会导致视觉模糊和帧间信息的丢失，从而降低所捕获视频的整体质量。为此，我们提出了一个统一的框架，基于事件的运动去模糊和帧内插模糊视频增强，利用极低的延迟事件，以减轻运动模糊，促进中间帧预测。具体地说，首先通过一个可学习的双积分网络预测模糊帧和清晰潜像之间的映射关系，然后通过利用连续模糊输入和并发事件的信息，提出一个融合网络来改进粗糙结果。通过探索模糊帧，潜像和事件流之间的相互约束，我们进一步提出了一个自监督学习框架，使网络训练与现实世界的模糊视频和事件。大量的实验表明，我们的方法与最先进的方法相比毫不逊色，在合成和真实世界的数据集上都取得了显着的性能。
2022-04-14 cs.CV
Hierarchical Flow Diffusion for Efficient Frame Interpolation
Insta360 Research（影石创新研究院）；MagicLeap（魔力跳跃公司）
针对基于扩散的视频帧插值方法在精度和效率上的不足，提出通过分层扩散模型显式建模双向光流以缩小搜索空间，并结合流引导图像合成器端到端训练，实现了最优精度且速度提升10倍以上。
2025-04-01 cs.CV
Benchmarking Video Frame Interpolation
TU Darmstadt（达姆施塔特工业大学）；Adobe Research（奥多比研究院）
针对视频帧插值评估中数据集繁多、指标不一致及违反线性假设等问题，提出一个包含一致误差指标、逐像素属性分析、符合线性假设的合成测试集及计算效率评估的公平基准。
2024-03-25 cs.CV
Repurposing Pre-trained Video Diffusion Models for Event-based Video Interpolation
University of Maryland, College Park（马里兰大学帕克分校）；Massachusetts Institute of Technology（麻省理工学院）
本文通过将预训练视频扩散模型适配到基于事件的视频插帧任务，克服了配对数据有限的挑战，在真实数据集上优于现有方法并展现出更强的跨相机泛化能力。
2025-03-25 cs.CV
Dynamic Frame Interpolation in Wavelet Domain
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）；Nanjing University（南京大学）
本文提出WaveletVFI两阶段帧插值框架，通过小波域稀疏卷积和动态阈值分类器减少空间冗余，在保持精度的同时降低高达40%的计算量。
2023-09-21 cs.CV
