BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation
Korea University（高丽大学）；Dongguk University（东国大学）
视频内插通过合成两个连续帧之间的中间帧来增加视频序列的时间分辨率。本文提出了一种基于深度学习的双向运动估计视频插值算法。首先，我们开发了双边运动网络的双边成本量，以准确地估计双边运动。然后，我们近似双向运动来预测不同类型的双边运动。然后，我们使用估计的双边运动来扭曲两个输入帧。接下来，我们开发了动态滤波器生成网络来生成动态混合滤波器。最后，我们使用动态混合滤波器组合变形帧以生成中间帧。实验结果表明，该算法优于国家的最先进的视频插值算法在几个基准数据集。
2020-07-17 cs.CV
Asymmetric Bilateral Motion Estimation for Video Frame Interpolation
Korea University（高丽大学）；Dongguk University（东国大学）
提出了一种新的基于非对称双边运动估计（ABME）的视频帧内插算法。首先，我们预测对称的双边运动场插值锚帧。其次，我们估计从锚帧到输入帧的不对称双边运动场。第三，我们使用非对称场将输入帧向后扭曲并重建中间帧。最后，为了改进中间帧，我们开发了一个新的合成网络，该网络使用局部和全局信息生成一组动态滤波器和残差帧。实验结果表明，该算法在不同的数据集上均取得了良好的性能.源代码和预训练模型可在https://github.com/JunHeum/ABME上获得。
2021-08-15 cs.CV
Enhanced Bi-directional Motion Estimation for Video Frame Interpolation
Samsung Electronics (China) R&D Center（三星电子（中国）研发中心）；Samsung Electronics, South Korea（韩国三星电子）
提出了一种简单有效的基于运动的视频帧内插算法。现有的基于运动的内插方法通常依赖于预先训练的光流模型或基于U-Net的金字塔网络来进行运动估计，其在处理复杂且大的运动情况时或者遭受大的模型尺寸或者受限的容量。在这项工作中，通过仔细整合intermediateoriented的前向翘曲，轻量级的特征编码器，相关体积到一个金字塔经常性的框架，我们推导出一个紧凑的模型，同时估计输入帧之间的双向运动。它的尺寸比PWC-Net小15倍，但能够更可靠和灵活地处理具有挑战性的运动情况。基于估计的双向运动，我们前向扭曲输入帧及其上下文特征到中间帧，并采用合成网络从扭曲表示估计中间帧。我们的方法在广泛的视频帧插值基准上实现了优异的性能。代码和训练模型可在\url{https://github.com/srcn-ivl/EBME}上获得。
2022-11-07 cs.CV
Learnable Sampling 3D Convolution for Video Enhancement and Action Recognition
USTC（中国科学技术大学）；Microsoft Research（微软研究院）
视频增强和动作识别中的一个关键挑战是融合相邻帧中的有用信息。最近的工作建议在融合时间信息之前在相邻帧之间建立准确的对应关系。然而，生成的结果在很大程度上取决于对应性估计的质量。在本文中，我们提出了一个更强大的解决方案：跨邻域帧的\emph{sampling and fusing multi-level features}来生成结果。基于这一思想，我们引入了一个新的模块，以提高三维卷积的能力，即可学习的采样三维卷积（\emph{LS3D-Conv}）。我们将可学习的2D偏移量添加到3D卷积中，旨在跨帧对空间特征图上的位置进行采样。可以针对特定任务学习偏移。\emph{LS3D-Conv}可以灵活地替换现有3D网络中的3D卷积层，并获得新的架构，该架构在多个特征级别上学习采样。在视频插值、视频超分辨率、视频去噪和动作识别等方面的实验证明了该方法的有效性。
2020-11-22 cs.CV
Optical Flow Regularization of Implicit Neural Representations for Video Frame Interpolation
Kobe University（神户大学）
最近的工作表明，隐式神经表征（INR）的能力进行有意义的表示信号的衍生物。在这项工作中，我们利用这一属性来执行视频帧插值（VFI）明确约束的导数的INR，以满足光流约束方程。我们只使用目标视频及其光流在有限的运动范围上实现了最先进的VFI，而不需要从额外的训练数据中学习插值算子。我们进一步表明，约束INR导数不仅可以更好地插值中间帧，而且还提高了窄网络的能力，以适应观察到的帧，这表明潜在的应用视频压缩和INR优化。
2022-06-22 cs.CV cs.LG
Video Frame Interpolation via Adaptive Convolution
Portland State University（波特兰州立大学）
视频帧内插通常涉及两个步骤：运动估计和像素合成。这种两步方法严重依赖于运动估计的质量。本文提出了一种鲁棒的视频帧插值方法，将这两个步骤结合到一个过程中。具体来说，我们的方法认为像素合成的插值帧作为两个输入帧的局部卷积。卷积核捕获输入帧之间的局部运动和用于像素合成的系数。我们的方法采用深度全卷积神经网络来估计每个像素的空间自适应卷积核。这种深度神经网络可以使用广泛可用的视频数据直接进行端到端训练，而无需任何难以获得的地面实况数据，如光流。我们的实验表明，视频插值作为一个单一的卷积过程，使我们的方法能够优雅地处理像遮挡，模糊和突然的亮度变化的挑战，并实现高质量的视频帧插值。
2017-03-22 cs.CV
Fast CNN-Based Object Tracking Using Localization Layers and Deep Features Interpolation
基于卷积神经网络（CNN）的目标跟踪器在最近的跟踪基准测试中取得了最先进的性能，但它们的计算速度较慢。高计算量来自于提取每个视频帧中的候选和训练块的特征图。候选和训练块通常分别随机地放置在先前目标位置和估计目标位置周围。在本文中，我们提出了新的计划，以加快处理的CNN为基础的跟踪器。我们将整个感兴趣区域一次输入到CNN，以消除随机候选块的冗余计算。除了将每个候选补丁分类为对象或背景之外，我们还将CNN调整为将对象补丁内的目标位置分类为粗略定位步骤，并且我们将CNN特征图的双线性插值作为精细定位步骤。此外，利用双线性插值来生成训练补丁的CNN特征图，而无需通过网络实际转发训练补丁，这实现了所需计算的显著减少。我们的跟踪器不依赖于离线视频训练。它在OTB基准测试中获得了具有竞争力的性能结果，与同等跟踪器相比，速度提高了8倍。
2019-01-09 cs.CV eess.IV
Revisiting Adaptive Convolutions for Video Frame Interpolation
Adobe Research（Adobe研究（Adobe Research））
视频帧内插，即实时合成新视图，是一个越来越受欢迎的研究方向，许多新的论文进一步推进了这一技术的发展。但是，由于每种新方法都有许多影响内插质量的变量，因此很难判断什么对这项任务真正重要。在这项工作中，我们发现，有点令人惊讶的是，它是可以实现接近国家的最先进的结果与旧的，更简单的方法，即自适应可分离卷积，通过一组微妙的低级别的改进。在此过程中，我们提出了一些直观但有效的技术来提高帧插值质量，这些技术也有可能用于自适应卷积的其他相关应用，如突发图像去噪，联合图像滤波或视频预测。
2020-11-02 cs.CV
Implementing Adaptive Separable Convolution for Video Frame Interpolation
KTH Royal Institute of Technology（瑞典皇家理工学院）
随着深度神经网络越来越受欢迎，人们的注意力越来越多地集中在计算机视觉问题上，而这些问题过去是用更传统的方法解决的。视频帧内插是其中一个挑战，已经看到了涉及深度学习中各种技术的新研究。在本文中，我们复制了Niklaus等人关于自适应可分离卷积的工作，该工作声称视频帧插值任务具有高质量的结果。我们应用在较小数据集上训练的相同网络结构，并使用各种不同的损失函数进行实验，以确定数据稀缺情况下的最佳方法。最好的结果模型仍然能够提供视觉上令人愉悦的视频，尽管获得了较低的评估分数。
2018-09-20 cs.CV
Video Frame Interpolation via Generalized Deformable Convolution
McMaster University（麦克马斯特大学）
视频帧内插的目的是从相邻的源帧中合成中间帧，同时保持空间和时间上的连续性。现有的基于深度学习的视频帧插值方法大致可以分为两类：基于流的方法和基于核的方法。基于流的方法的性能通常受到由于过度简化的运动模型而导致的流图估计的不准确性的危害，而基于核的方法的性能往往受到核形状的刚性的约束。为了解决这些性能限制的问题，提出了一种新的机制，称为广义可变形卷积，它可以有效地学习运动信息的数据驱动的方式和自由选择采样点在时空。在此基础上，提出了一种新的视频帧内插方法.我们广泛的实验表明，新方法的性能优于国家的最先进的，特别是在处理复杂的运动。
2021-03-18 cs.CV
Video Frame Interpolation via Adaptive Separable Convolution
Portland State University（波特兰州立大学）
标准视频帧内插方法首先估计输入帧之间的光流，然后合成由运动引导的中间帧。最近的方法通过将输入帧与同时考虑运动和重新采样的空间自适应内核卷积来将这两个步骤合并到单个卷积过程中。这些方法需要大的内核来处理大的运动，由于大的存储器需求，这限制了可以一次估计其内核的像素的数量。为了解决这个问题，本文制定了帧内插作为本地可分离的卷积输入帧使用1D内核对。与常规的2D内核相比，1D内核需要估计的参数明显更少。我们的方法开发了一个深度全卷积神经网络，它采用两个输入帧，同时估计所有像素的1D内核对。由于我们的方法能够估计内核并一次合成整个视频帧，因此它允许将感知损失并入训练神经网络以产生视觉上令人愉悦的帧。这个深度神经网络是使用广泛可用的视频数据进行端到端训练的，没有任何人工注释。定性和定量的实验表明，我们的方法提供了一个实用的解决方案，高质量的视频帧内插。
2017-08-05 cs.CV
Efficient Convolution and Transformer-Based Network for Video Frame Interpolation
British Broadcasting Cooperation（英国广播公司）
针对 Transformer 视频帧插值内存与计算开销高的问题，提出卷积与 Transformer 双编码器融合网络，在保持竞争力的同时降低近一半内存并最高提速四倍。
2023-07-12 cs.CV
Enhancing Deformable Convolution based Video Frame Interpolation with Coarse-to-fine 3D CNN
University of Bristol（布里斯托大学）
本文提出一种基于可变形卷积的视频帧插值方法，通过由粗到细的3D CNN增强多流预测，在三个数据库上相比12种先进方法取得最高0.19dB的PSNR提升。
2023-06-22 cs.CV eess.IV
Interpolation between Convolution and Attention via K-Nearest Neighbors
Bowdoin College（博德因学院）
提出ConvNN统一框架，将卷积和自注意力视为K近邻聚合的特例，通过可配置的相似度函数和邻居选择策略实现局部与全局聚合的连续插值。
2026-06-16 cs.CV
Video Frame Interpolation with Transformer
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）
视频帧内插（VFI）旨在合成视频的中间帧，近年来随着深度卷积网络的发展取得了显着进展。由于卷积运算的局部性，基于卷积网络构建的现有方法通常面临处理大运动的挑战。为了克服这个限制，我们引入了一个新的框架，它利用Transformer来模拟视频帧之间的长距离像素相关性。此外，我们的网络配备了一种新的跨尺度窗口的注意力机制，跨尺度窗口相互作用。这种设计有效地扩大了感受野，聚合了多尺度信息。大量的定量和定性实验表明，我们的方法在各种基准上取得了新的最先进的结果。
2022-05-15 cs.CV
Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual Meta-Learning
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Bigo
现有的视频帧内插方法只能在给定的中间时间步长（例如，1/2）处内插帧。在本文中，我们的目标是探索一种更广义的视频帧内插，在一个任意的时间步长。为此，我们考虑在元学习的帮助下，以统一的方式使用自适应生成的卷积核处理不同的时间步长。具体来说，我们开发了一个双重元学习帧插值框架，以合成中间帧的指导下的上下文信息和光流，以及采取的时间步长作为边信息。首先，构建内容感知元学习流细化模块，以基于输入帧的下采样版本来提高光流估计的准确性。第二，利用经细化的光流和时间步长作为输入，运动感知元学习帧内插模块为在输入帧的粗略变形版本的特征图上的卷积操作中使用的每个像素生成卷积核，以生成预测帧。广泛的定性和定量评估以及消融研究表明，通过以这种精心设计的方式在我们的框架中引入元学习，我们的方法不仅实现了优于最先进的帧插值方法的性能，而且还具有扩展的能力，以支持任意时间步长的插值。
2022-07-27 cs.CV
AdaFNIO: Adaptive Fourier Neural Interpolation Operator for video frame interpolation
Purdue University（普渡大学）
我们提出，AdaFNIO -自适应傅立叶神经插值算子，一个基于神经运算符的架构来执行视频帧内插。当前基于深度学习的方法依赖于局部卷积进行特征学习，并且不是尺度不变的，因此需要通过随机翻转和重新缩放来增强训练数据。另一方面，AdaFNIO通过使用快速傅立叶变换（FFT）在傅立叶空间或谱域中进行令牌混合和全局卷积，学习帧中的特征，与输入分辨率无关。我们表明，AdaFNIO可以产生视觉上平滑和准确的结果。为了评估我们的插值帧的视觉质量，我们计算生成的帧和地面真实帧之间的结构相似性指数（SSIM）和峰值信噪比（PSNR）。我们提供了我们的模型在Vimeo-90 K数据集，DAVIS，UCF 101和DISFA+数据集上的定量性能。
2023-03-09 cs.CV
Deep CNN Frame Interpolation with Lessons Learned from Natural Language Processing
University of Southern California（南加州大学）
深度学习的一个主要发展领域是卷积神经网络的研究和实现。深度学习社区对图像识别中卷积神经网络（CNN）的鲁棒性的一般解释基于CNN能够提取局部特征的想法。然而，自然语言处理等领域的最新发展表明，这种范式可能是不正确的。在本文中，我们分析了该领域的现状有关CNN的，并提出了一个假设，提供了一个新的解释的鲁棒性的CNN模型。从那里，我们展示了我们的方法的有效性，提出了新的深度CNN帧插值架构，这是与最先进的插值模型的复杂性的一小部分。
2018-09-17 cs.CV
Adaptive convolutional neural networks for k-space data interpolation in fast magnetic resonance imaging
School of Information and Communication Engineering, Beijing University of Posts and Telecommunications（北京邮电大学信息与通信工程学院）；Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）
在快速磁共振成像（MRI）中，k空间中的深度学习已经证明了从欠采样的k空间数据重建图像重建的巨大潜力。然而，现有的基于深度学习的图像重建方法通常将权重共享卷积神经网络（CNN）应用于k空间数据，而不考虑k空间数据的空间频率属性，导致图像重建模型的无效学习。此外，在现有的深度学习方法中，空间相邻切片的互补信息往往被忽略。为了克服这些限制，我们开发了一种深度学习算法，称为用于k空间数据插值的自适应卷积神经网络（ACNN-k-Space），该算法采用残差编码器-解码器网络架构，通过将空间连续切片作为多通道输入，以及来自多个线圈的k空间数据（如果可用）来插值欠采样的k空间数据。该网络通过自关注层来增强，以自适应地关注不同空间频率和信道的k空间数据。我们在两个公共数据集上评估了我们的方法，并将其与最先进的现有方法进行了比较。消融研究和实验结果表明，我们的方法有效地重建图像欠采样的k空间数据，并实现显着更好的图像重建性能比目前最先进的技术。
2020-06-09 cs.CV eess.IV
Frame-rate Up-conversion Detection Based on Convolutional Neural Network for Learning Spatiotemporal Features
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；School of Electrical Engineering（电气工程学院）
随着用户友好和强大的视频编辑工具的进步，任何人都可以轻松地操纵视频，而不会留下明显的视觉痕迹。帧速率上转换（FRUC）是一种代表性的时域操作，其增加了具有较低帧率的视频的运动连续性，并且被恶意伪造者用于视频篡改，例如生成假帧率视频而不提高质量或混合时间拼接的视频。FRUC基于帧插值方案，并且保留在插值帧中的细微伪影通常难以区分。因此，检测这种伪造痕迹是视频取证中的一个关键问题。本文提出了一种帧速率转换检测网络（FCDNet），它以端到端的方式学习FRUC引起的取证特征。所提出的网络使用连续帧的堆栈作为输入，并使用网络块来学习时空特征，从而有效地学习插值伪影。本研究首次尝试将神经网络应用于FRUC的检测。此外，它可以涵盖以下三种类型的帧内插方案：最近邻内插，双线性内插和运动补偿内插。与利用所有帧来验证完整性的现有方法相比，所提出的方法实现了高检测速度，因为它只观察六帧来测试其真实性。为了验证我们的研究成果，我们使用传统的取证方法和神经网络进行了大量的视频取证实验。该网络在检测FRUC的内插伪影方面达到了最先进的性能。实验结果还表明，我们的训练模型对于看不见的数据集，未学习的帧速率和未学习的质量因子是鲁棒的。
2021-03-25 cs.AI cs.CV cs.MM
Multiple Video Frame Interpolation via Enhanced Deformable Separable Convolution
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）
从连续视频序列中生成不存在的帧一直是视频处理领域中一个有趣且具有挑战性的问题。典型的基于核的插值方法利用单个卷积过程来预测像素，该单个卷积过程将源帧与空间自适应局部核进行卷积，这避免了以光流形式的耗时的显式运动估计。然而，当场景运动大于预定义的内核大小时，这些方法倾向于产生不太合理的结果。此外，它们不能直接在任意时间位置生成帧，因为学习的内核与输入帧之间的时间中点相关联。在本文中，我们试图解决这些问题，并提出了一种新的基于非流核的方法，我们称之为增强的可变形可分离卷积（EDSC），不仅估计自适应核，而且估计偏移，掩码和偏差，使网络从非局部邻域中获取信息。在学习过程中，不同的中间时间步长可以作为一个控制变量，通过coord-conv技巧的扩展，允许估计的组件，以不同的输入时间信息。这使得我们的方法能够产生多个中间帧。此外，我们调查我们的方法和其他典型的内核和基于流的方法之间的关系。实验结果表明，我们的方法在广泛的数据集上对最先进的方法表现良好。代码将在URL：\url{https://github.com/Xianhang/EDSC-pytorch}上公开。
2021-01-25 cs.CV eess.IV
W-Cell-Net: Multi-frame Interpolation of Cellular Microscopy Videos
University of Toronto（多伦多大学）
深度神经网络越来越多地用于视频帧插值任务，例如帧速率更改以及生成假人脸视频。我们的项目旨在应用深度视频插值的最新进展来提高荧光显微镜延时电影的时间分辨率。据我们所知，没有以前的工作，使用卷积神经网络（CNN）来生成两个连续的显微镜图像之间的帧。我们提出了一个完全卷积的自动编码器网络，它以两张图像作为输入，并生成多达七张中间图像。我们的架构有两个编码器，每个编码器都有一个跳过连接到一个解码器。我们评估了我们的模型的几个变种，不同的网络架构和损失函数的性能。我们最好的模型优于最先进的视频帧插值算法。我们还展示了定性和定量的比较与国家的最先进的视频帧内插算法。我们相信，深度视频插值代表了一种提高荧光显微镜时间分辨率的新方法。
2020-05-14 cs.CV cs.LG eess.IV
Computationally Efficient Approaches for Image Style Transfer
Indian Institute of Science（印度科学学院）；National Institute of Technology, Warangal（瓦朗加尔国立理工学院）
在这项工作中，我们已经调查了各种风格转移的方法和（i）检查如何风格化重建的变化与损失函数的变化和（ii）提供了一个计算效率相同的解决方案。我们使用了一些优雅的技术，比如深度可分离卷积代替卷积，最近邻插值代替转置卷积。此外，我们还添加了多次插值来代替转置卷积。所获得的结果在质量上感知相似，同时在计算上非常有效。我们的架构的计算复杂性的减少是通过测试时间分别减少26.1%，39.1%和57.1%，验证。
2018-07-16 cs.CV
Enhanced Deep Animation Video Interpolation
Shanghai Jiao Tong University（上海交通大学）；PointSpread Technology Inc.（点扩散科技公司）
现有的基于学习的帧内插算法从高速自然视频中提取连续帧来训练模型。与自然视频相比，卡通视频通常处于低帧速率。此外，连续动画帧之间的运动是典型的非线性，这打破了线性运动假设的插值算法。因此，它不适合直接从卡通视频生成训练集。为了更好地适应自然视频到动画视频的帧内插算法，提出了AutoFI，一种简单有效的自动渲染深度动画视频内插训练数据的方法。AutoFI采用分层架构来渲染合成数据，这确保了线性运动的假设。实验结果表明，AutoFI在训练DAIN和ANIN时表现良好。然而，大多数帧内插算法仍然会在容易出错的区域失败，例如快速运动或大遮挡。除了AutoFI，我们还提出了一个即插即用的草图为基础的后处理模块，名为SktFI，细化使用用户手动提供的草图的最终结果。使用AutoFI和SktFI，插值动画帧显示出高感知质量。
2022-06-25 cs.AI cs.CV
Image space formalism of convolutional neural networks for k-space interpolation
University of Würzburg（维尔茨堡大学）；University Hospital Erlangen（埃尔朗根大学医院）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；University Hospital Würzburg（维尔茨堡大学医院）
本文提出 RAKI 的图像空间形式化方法，通过激活掩码与雅可比矩阵解析分析 k 空间非线性激活对噪声传播和重建伪影的影响，实现 g 因子图的解析量化与噪声鲁棒性调控。
2025-05-09 cs.AI cs.CV cs.LG
Deep Frame Interpolation
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
这项工作提出了一种基于监督学习的方法来解决帧插值的计算机视觉问题。所提出的技术也可以用于卡通动画，因为绘制每个单独的帧消耗了大量的时间。针对该问题的大多数现有解决方案使用无监督方法并且仅关注具有已经高的帧速率的现实生活视频。然而，实验表明，当帧速率变低并且帧之间的对象位移变大时，这样的方法不起作用。这是由于大位移运动的内插需要运动结构的知识，因此诸如帧平均的简单技术开始失效。在这项工作中，深度卷积神经网络用于解决帧内插问题。此外，它表明，纳入先验信息，如光流显着提高插值质量。
2017-06-15 cs.CV
Shuffled Autoregression For Motion Interpolation
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
针对输入为孤立姿态的运动插值任务，提出打乱自回归框架与时空运动Transformer，利用帧间灵活依赖提升性能，效果优于现有方法且可扩展至多场景。
2023-06-10 cs.AI cs.CV
Supersampling Stable Diffusion and Beyond: A Seamless, Training-Free Approach for Scaling Neural Networks Using Common Interpolation Methods
School of Data and Sciences BRAC University, Dhaka（数据与科学学院，布拉克大学，达卡）；Computing for Sustainability and Social Good (C2SG) Research Group Department of Computer Science and Engineering United Internation University, Dhaka（可持续性与社会公益（C2SG）研究组，计算机科学与工程系，联合国际大学，达卡）
本文提出无需训练的超采样方法，通过插值扩展神经网络以生成更高分辨率图像，同时减少内存占用。
2026-05-14 cs.CV cs.LG
FastPCI: Motion-Structure Guided Fast Point Cloud Frame Interpolation
Nankai University（南开大学）；Snap Research（Snap研究院）；Nanjing University（南京大学）
本文提出 FastPCI，采用金字塔混合 Convolution-Transformer 与双向运动结构模块实现高效点云帧插值，在 KITTI 上精度和速度均显著超越 PointINet 与 NeuralPCI。
2024-10-25 cs.CV
Video Frame Interpolation with Flow Transformer
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对卷积视频帧插值丢失细节的问题，提出流 Transformer，将光流运动动力学融入时间自注意力机制并结合多尺度架构，在三个基准上实现了更优的视觉质量。
2023-07-30 cs.CV cs.MM
Deep Reference Generation with Multi-Domain Hierarchical Constraints for Inter Prediction
帧间预测是视频编码中用于时间冗余去除的重要模块，其中从先前编码的帧中搜索相似的参考块并用于预测要编码的块。虽然传统的视频编解码器可以估计和补偿块级运动，但它们的帧间预测性能仍然受到由不规则旋转和变形引起的剩余不一致的逐像素位移的严重影响。在本文中，我们通过提出一种深度帧插值网络来解决这个问题，以在编码场景中生成额外的参考帧。首先，我们总结了以前用于帧内插的自适应卷积，并提出了一种因子分解核卷积网络，以提高建模能力，同时保持其紧凑的形式。其次，为了更好地训练该网络，引入多域层次约束来正则化我们的因子化核卷积网络的训练。对于空间域，我们使用逐渐下采样和上采样的自动编码器来生成用于不同尺度下的帧插值的因式分解核。对于质量域，考虑到输入帧的质量不一致，因子分解核卷积与质量相关的特征进行调制，以学习从高质量帧中利用更多的信息。对于频域，从编码性能的角度来看，利用执行频率变换的绝对变换差损失之和来促进网络优化。通过设计良好的帧内插网络，通过多域分层约束进行正则化，我们的方法在随机访问配置下平均节省6.1%的BD速率，并为亮度分量节省高达11.0%的BD速率。
2019-05-16 cs.CV eess.IV
E-VFIA : Event-Based Video Frame Interpolation with Attention
Middle East Technical University（中东技术大学）
视频帧内插（VFI）是一种基本的视觉任务，其目的是在两个连续的原始视频图像之间合成多个帧。大多数算法旨在通过仅使用关键帧来实现VFI，这是一个不适定问题，因为关键帧通常不会产生关于场景中对象的轨迹的任何准确精度。另一方面，基于事件的摄像机在视频的关键帧之间提供更精确的信息。最近一些基于事件的方法通过利用事件数据进行更好的光流估计来通过扭曲对视频帧进行内插来解决这个问题。然而，这些方法严重地受到重影效应的影响。另一方面，一些仅使用帧作为输入的基于内核的VFI方法已经表明，当使用Transformers备份时，可变形卷积可以是处理长距离依赖关系的可靠方法。我们提出了基于事件的视频帧插值与注意力（E-VFIA），作为一个轻量级的基于内核的方法。E-VFIA通过可变形卷积将事件信息与标准视频帧融合，生成高质量的插值帧。所提出的方法表示具有高时间分辨率的事件，并使用多头自注意力机制来更好地编码基于事件的信息，同时不易受到模糊和重影伪影的影响;因此，生成更清晰的帧。仿真结果表明，所提出的技术优于当前国家的最先进的方法（帧和事件为基础的）与一个显着更小的模型大小。
2023-03-01 cs.CV
Video Frame Interpolation Transformer
Shanghai Jiao Tong University（上海交通大学）；McMaster Univeristy（麦克马斯特大学）；University of California, Merced（加州大学默塞德分校）；Yonsei University（延世大学）；Google Research（谷歌研究院）；Nanyang Technological University（南洋理工大学）
现有的视频插值方法严重依赖于深度卷积神经网络，因此受到其固有局限性的影响，例如内容不可知的内核权重和受限的感受野。为了解决这些问题，我们提出了一个基于transformer的视频插值框架，该框架允许内容感知聚合权重，并考虑了自注意操作的长程依赖关系。为了避免全局自注意的高计算成本，我们将局部注意的概念引入到视频插值中，并将其扩展到时空域。此外，我们提出了一个时空分离的策略，以节省内存的使用，这也提高了性能。此外，我们开发了一个多尺度的帧合成方案，以充分发挥Transformers的潜力。大量的实验表明，该模型在各种基准数据集上的定量和定性表现都优于最先进的方法。
2022-03-28 cs.CV
Frame Interpolation with Multi-Scale Deep Loss Functions and Generative Adversarial Networks
Twitter（推特）
帧内插尝试在给定一个或多个连续视频帧的情况下合成帧。近年来，深度学习方法，特别是卷积神经网络，已经成功地解决了包括帧内插在内的低级和高级计算机视觉问题。这些技术通常解决两个问题，即算法效率和重建质量。在本文中，我们提出了一个多尺度生成对抗网络帧插值（\mbox{FIGAN}）。为了最大限度地提高我们的网络的效率，我们提出了一种新的多尺度残差估计模块，其中预测流和合成帧以粗到细的方式构建。为了提高合成的中间视频帧的质量，我们的网络在不同的级别上与感知损失函数联合监督，感知损失函数由对抗性损失和两个内容损失组成。我们评估所提出的方法，使用60 fps的视频从YouTube-8 m的集合。我们的研究结果提高了最先进的准确性，并提供了主观视觉质量相媲美的最佳性能插值方法在x47更快的运行时间。
2019-02-26 cs.CV
Video Frame Interpolation Based on Deformable Kernel Region
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Shenzhen Technology University（深圳技术大学）
视频帧内插任务是近年来计算机视觉领域的一个热点问题。目前，基于深度学习的多项研究已经取得了巨大的成功。大多数方法或者基于光流信息，或者基于插值核，或者这两种方法的结合。然而，这些方法都忽略了在合成每个目标像素时，核区域的位置有网格限制。这些限制导致它们不能很好地适应对象形状的不规则性和运动的不确定性，这可能导致用于插值的无关参考像素。为了解决这一问题，我们重新研究了用于视频插值的可变形卷积，它可以打破核区域上固定网格的限制，使得参考点的分布更适合对象的形状，从而扭曲出更精确的插值帧。在四个数据集上进行了实验，以证明所提出的模型相比，国家的最先进的替代品的优越性能。
2022-04-25 cs.CV
Segmentation of Liver Lesions with Reduced Complexity Deep Models
Indian Institute of Science（印度科学学院）
我们提出了一个计算效率高的架构，学习分割病变的CT图像的肝脏。该架构使用双线性插值与亚像素卷积在最后一层，以提升瓶颈架构中的课程功能。由于双线性插值和子像素卷积没有任何可学习的参数，因此我们的整体模型比传统的U网更快，占用的内存更少。我们在2017年肝脏肿瘤分割（LiTS）挑战赛的高度竞争数据集上评估了我们提出的架构。我们的方法取得了有竞争力的结果，同时减少了可学习参数的数量，与原始UNet模型相比，大约减少了13.8倍。
2018-05-23 cs.CV
Many-to-many Splatting for Efficient Video Frame Interpolation
Boston University（波士顿大学）；Adobe Research（奥多比研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
基于运动的视频帧内插通常依赖于光流来将像素从输入扭曲到期望的内插时刻。然而，由于运动估计的固有挑战（例如，遮挡和不连续性），大多数最先进的内插方法需要对扭曲结果进行后续细化以生成令人满意的输出，这大大降低了多帧内插的效率。在这项工作中，我们提出了一个完全可微的多对多（M2M）飞溅框架，有效地内插帧。具体来说，给定一个帧对，我们估计多个双向流，以直接将像素向前扭曲到所需的时间步长，然后融合任何重叠的像素。在这样做时，每个源像素渲染多个目标像素，并且每个目标像素可以从更大的视觉上下文区域合成。这建立了一个多对多的飞溅计划与鲁棒性的文物，如洞。此外，对于每个输入帧对，M2M仅执行一次运动估计，并且在对任意数量的中间帧进行插值时具有极小的计算开销，因此实现了快速多帧插值。我们进行了大量的实验来分析M2M，发现它在保持高效率的同时显著提高了效率。
2022-04-07 cs.AI cs.CV cs.MM
Optimizing Video Prediction via Video Frame Interpolation
The Hong Kong University of Science and Technology（香港科技大学）
视频预测是预测给定过去帧的未来帧的外推任务，并且视频帧内插是估计两个帧之间的中间帧的内插任务。视频帧内插技术已经取得了巨大的进步，但在实际应用中，视频预测仍然是一个悬而未决的问题。受视频帧内插的照片般逼真的结果的启发，我们提出了一种新的优化框架，通过视频帧内插的视频预测，其中我们解决了外推问题的基础上的内插模型。我们的视频预测框架基于使用预训练的可微分视频帧插值模块进行优化，而不需要训练数据集，因此在训练数据和测试数据之间没有域间隙问题。此外，我们的方法不需要任何额外的信息，如语义或实例映射，这使得我们的框架适用于任何视频。在Cityscapes、KITTI、DAVIS、Middlebury和Vimeo90K数据集上的大量实验表明，我们的视频预测结果在一般情况下是鲁棒的，并且我们的方法优于其他需要大量训练数据或额外语义信息的视频预测方法。
2022-06-27 cs.CV
Depth-Aware Video Frame Interpolation
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；University of California, Merced（加州大学默塞德分校）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）；Google（谷歌）
视频帧插值的目的是在原始帧之间合成不存在的帧。虽然最近的深度卷积神经网络已经取得了重大进展，但由于大的对象运动或遮挡，插值的质量通常会降低。在这项工作中，我们提出了一种视频帧插值方法，明确地检测通过探索的深度信息的遮挡。具体来说，我们开发了一个深度感知流投影层来合成中间流，这些中间流最好对距离较近的对象进行采样，而不是距离较远的对象。此外，我们学习层次特征来收集来自相邻像素的上下文信息。然后，所提出的模型基于光流和局部插值核来扭曲输入帧、深度图和上下文特征，以合成输出帧。我们的模型是紧凑的，有效的，完全可微的。定量和定性的结果表明，该模型表现良好，对国家的最先进的帧插值方法在各种各样的数据集。
2019-04-01 cs.CV
Splatting-based Synthesis for Video Frame Interpolation
Adobe Research（奥多比研究院）；Boston University（波士顿大学）；Adobe Inc（奥多比公司）
帧内插是一种重要的视频处理技术，可以调整图像序列的时间分辨率。虽然深度学习为视频帧内插领域带来了巨大的改进，但利用神经网络的技术通常不容易部署在视频编辑器等实际应用中，因为它们要么在计算上过于苛刻，要么在高分辨率下失败。相比之下，我们提出了一种深度学习方法，该方法仅依赖于飞溅来合成插值帧。这种基于分裂的视频帧内插合成不仅比类似方法快得多，特别是对于多帧内插，而且还可以在高分辨率下产生新的最先进的结果。
2022-10-26 cs.CV
Unified Arbitrary-Time Video Frame Interpolation and Prediction
Samsung Electronics（三星电子）
本文提出uniVIP，一个统一的任意时刻视频帧插值与预测框架，通过扩展插值网络并引入任务编码通道，在三元组帧上训练统一模型，在插值任务上表现具竞争力且在预测任务上超越现有最先进方法。
2025-03-04 cs.CV
A Temporally-Aware Interpolation Network for Video Frame Inpainting
University of Michigan（密歇根大学）
我们提出了视频帧修复的第一个深度学习解决方案，这是视频编辑，操作和取证中应用的一般视频修复问题的一个具有挑战性的实例。我们的任务比帧插值和视频预测更明确，因为我们可以访问时间上下文和未来的部分一瞥，使我们能够更好地客观评估模型预测的质量。我们设计了一个由两个模块组成的流水线：一个双向视频预测模块，和一个时间感知帧插值模块。预测模块使用共享的基于卷积LSTM的编码器-解码器对丢失帧进行两个中间预测，一个以先前帧为条件，另一个以后续帧为条件。插值模块混合中间预测以形成最终结果。具体来说，它利用时间信息和来自视频预测模块的隐藏激活来解决预测之间的不一致。我们的实验表明，我们的方法比最先进的视频预测方法和许多强大的帧修复基线产生更准确和质量上令人满意的结果。
2018-11-03 cs.CV
Adapting Image-to-Video Diffusion Models for Large-Motion Frame Interpolation
Waseda University（早稻田大学）
针对视频帧插值问题，提出条件编码器适配图像转视频扩散模型，集成双分支特征提取器与跨帧注意力机制捕捉时空信息，在FVD指标上优于现有方法，尤其提升大运动场景插值性能。
2025-02-17 cs.CV
Video Frame Interpolation by Plug-and-Play Deep Locally Linear Embedding
Yonsei University（延世大学）
我们提出了一个生成框架，它承担了视频帧插值问题。我们的框架，我们称之为深度局部线性嵌入（DeepLLE），由深度卷积神经网络（CNN）提供支持，同时它可以像传统模型一样立即使用。DeepLLE将自动编码CNN拟合到一组几个连续帧，并在潜在代码上嵌入线性约束，以便可以通过插入新的潜在代码来生成新帧。与当前需要在大型数据集上进行训练的深度学习范式不同，DeepLLE以即插即用和无监督的方式工作，并且能够生成任意数量的帧。彻底的实验表明，没有花里胡哨，我们的方法是目前最先进的模型之间的竞争力很强。
2018-07-04 cs.CV eess.IV
EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation
Northwestern Polytechnical University（西北工业大学）
视频帧内插可以上变频帧速率并提高视频质量。近年来，虽然插值性能已经取得了很大的成功，但由于大的运动，图像模糊通常发生在物体边界处。这是一个长期存在的问题，尚未得到解决。在本文中，我们提出了减少图像模糊，并得到清晰的形状的对象，通过保持边缘的插值帧。为此，提出的边缘感知网络（EA-Net）集成的边缘信息到帧内插任务。它遵循端到端的架构，可以分为两个阶段，\emph{i.e.}，边缘引导的流量估计和边缘保护的帧合成。具体而言，在流估计阶段，提出了三种边缘感知机制，在估计流图时强调帧边缘，从而将边缘图作为辅助信息，为提高流估计精度提供更多的指导。在帧合成阶段，设计了流细化模块对流图进行细化，设计了注意力模块，在合成中间帧时自适应地关注双向流图。此外，采用帧和边缘鉴别器进行对抗性训练策略，以增强合成帧的真实感和清晰度。在Vimeo 90 k、UCF 101单帧内插和EA 240-fps多帧内插三个基准测试上的实验表明，EA-Net在视频帧内插方面具有优越性。
2021-05-17 cs.CV
NeuralPCI: Spatio-temporal Neural Field for 3D Point Cloud Multi-frame Non-linear Interpolation
Tongji University（同济大学）
近年来，对计算机视觉的插值任务的关注显著增加。尽管视频插值取得了巨大的进步，但点云插值仍然没有得到充分的探索。同时，现实场景中大量非线性大运动的存在使得点云插值任务更具挑战性。鉴于这些问题，我们提出了NeuralPCI：一个用于3D点云插值的端到端4D时空神经场，它隐式地集成了多帧信息，以处理室内和室外场景的非线性大运动。此外，我们构建了一个新的多帧点云插值数据集，称为NL-Drive，用于自动驾驶场景中的大非线性运动，以更好地展示我们的方法的优越性。最终，NeuralPCI在DHB（动态人体）和NL-Drive数据集上实现了最先进的性能。除了插值任务，我们的方法可以自然地扩展到点云外推，变形和自动标记，这表明它在其他领域的巨大潜力。代码可在https://github.com/ispc-lab/NeuralPCI上获得。
2023-03-27 cs.CV
Dilated Convolution with Learnable Spacings
University of Toulouse（图卢兹大学）
本研究提出可学习间距空洞卷积（DCLS）方法，应用于CNN、混合架构及SNN，在视觉、音频多类任务中性能优于现有卷积技术，还实现SNN突触延迟学习并达到SOTA。
2024-08-10 cs.CV cs.LG cs.NE
Video Frame Interpolation without Temporal Priors
The University of Sydney（悉尼大学）
视频帧内插是计算机视觉的一个重要研究课题，其目的是合成视频序列中不存在的中间帧。现有的视频帧内插方法在特定的假设条件下，如瞬时或已知曝光时间，都取得了显著的效果。然而，在复杂的现实世界的情况下，视频的时间先验，即每秒帧数（FPS）和帧曝光时间，可能会因不同的相机传感器而异。当测试视频在与训练视频不同的曝光设置下拍摄时，插值帧将遭受严重的错位问题。在这项工作中，我们解决了一般情况下，输入帧可以在不确定的曝光（和间隔）时间下获取的视频帧插值问题。不同于以往的方法，只能适用于一个特定的时间先验，我们推导出一个通用的曲线运动轨迹公式，从四个连续的清晰帧或两个连续的模糊帧没有时间先验。此外，利用相邻运动轨迹内的约束，我们设计了一种新的光流细化策略，以获得更好的插值结果。最后，实验表明，一个经过良好训练的模型就足以在复杂的现实世界情况下合成高质量的慢动作视频。代码可在https://github.com/yjzhang96/UTI-VFI上获得。
2021-12-02 cs.CV
A Unified Pyramid Recurrent Network for Video Frame Interpolation
Samsung Electronics (China) R&D Center（三星电子（中国）研发中心）；Samsung Electronics, South Korea（三星电子（韩国））
流引导合成为帧内插提供了通用框架，其中估计光流以引导连续输入之间的中间帧的合成。在本文中，我们提出了UPR-Net，一种新的统一金字塔递归网络的帧内插。在一个灵活的金字塔框架中，UPR-Net利用轻量级的递归模块进行双向流估计和中间帧合成。在每个金字塔级别，它利用估计的双向流来生成用于帧合成的前向扭曲表示;在金字塔级别上，它能够对光流和中间帧进行迭代细化。特别是，我们表明，我们的迭代合成策略可以显着提高帧插值的鲁棒性大运动的情况下。尽管非常轻量级（1.7M参数），我们的UPR-Net基础版本在大范围的基准测试中实现了出色的性能。我们的UPR-Net系列的代码和训练模型可在https://github.com/srcn-ivl/UPR-Net上获得。
2023-03-23 cs.CV
FastRIFE: Optimization of Real-Time Intermediate Flow Estimation for Video Frame Interpolation
Warsaw University of Technology（华沙工业大学）
视频帧间插值问题是图像处理领域的一个重要课题。正确增加记录中的帧数，同时保持平滑移动，可以提高播放视频序列的质量，实现更有效的压缩并创建慢动作记录。本文提出了FastRIFE算法，该算法是对RIFE（实时的【形】中间流估计）模型的速度改进。新的方法进行了检查，并与其他最近发表的算法进行比较。所有源代码都可以在https://gitlab.com/malwinq/interpolation-of-images-for-slow-motion-videos上获得
2021-06-01 cs.CV
H-VFI: Hierarchical Frame Interpolation for Videos with Large Motions
Kuaishou Technology（快手科技）；The Hong Kong University of Science and Technology（香港科技大学）
随着神经网络技术的迅速发展，近年来的视频帧内插（VFI）方法取得了显著的进步。然而，对于包含大运动的真实世界视频，它们仍然不足。大运动引起的复杂变形和/或遮挡使其成为视频帧内插中极其困难的问题。在本文中，我们提出了一个简单而有效的解决方案，H-VFI，以处理大的运动在视频帧内插。H-VFI提供了一个层次化的视频插值Transformer（HVIT），用于在多尺度下以由粗到精的策略学习可变形核。然后利用学习的可变形核对输入帧进行卷积，以预测内插帧。H-VFI算法从最小尺度开始，根据前一次预测核、中间插值结果和Transformer的层次特征，通过残差连续更新变形核。然后由Transformer块基于插值结果预测用于细化最终输出的偏置和掩码。这种渐进近似的优点在于，大运动帧插值问题可以被分解成几个相对简单的子任务，这使得能够非常准确地预测最终结果。我们的论文的另一个值得注意的贡献包括一个大规模的高质量数据集，YouTube 200 K，其中包含以高分辨率和高帧速率捕获的各种场景的视频。多帧插值基准上的大量实验验证了H-VFI优于现有的最先进的方法，特别是对于具有大运动的视频。
2022-11-21 cs.CV
A Perceptual Quality Metric for Video Frame Interpolation
Portland State University（波特兰州立大学）
视频帧内插技术的研究近年来取得了很大的进展。然而，现有的方法大多使用现成的指标来衡量插值结果的质量，除了少数方法，采用用户研究，这是耗时的。由于视频帧内插结果经常表现出独特的伪影，现有的质量度量在测量内插结果时有时与人类感知不一致。一些最近的基于深度学习的感知质量指标显示出与人类判断更一致，但它们在视频上的性能受到影响，因为它们不考虑时间信息。在本文中，我们提出了一个专门的感知质量度量测量视频帧插值结果。我们的方法直接从视频而不是单个帧中学习感知特征。该方法比较了从视频帧中提取的金字塔特征，并采用Swin Transformer基于块的时空模块提取时空信息。为了训练我们的度量，我们收集了一个新的视频帧插值质量评估数据集。我们的实验表明，我们的专用质量指标优于国家的最先进的方法时，测量视频帧插值结果。我们的代码和模型在\url{https://github.com/hqqxyy/VFIPS}上公开提供。
2022-10-04 cs.CV eess.IV
PointINet: Point Cloud Frame Interpolation Network
Tongji University（同济大学）；University of Science and Technology of China（中国科学技术大学）
LiDAR点云流在时间维度上通常是稀疏的，这受到硬件性能的限制。通常，机械LiDAR传感器的帧速率为10至20 Hz，远低于相机等其他常用传感器。为了克服LiDAR传感器的时间限制，本文研究了一种新的点云框架内插任务。给定两个连续的点云帧，点云帧插值旨在生成它们之间的中间帧。为了实现这一点，我们提出了一种新的框架，即点云帧插值网络（PointINet）。基于所提出的方法，低帧速率点云流可以被上采样到更高的帧速率。我们首先估计两个点云之间的双向3D场景流，然后基于3D场景流将它们扭曲到给定的时间步长。为了融合两个变形帧并生成中间点云，我们提出了一种新的基于学习的点融合模块，该模块同时考虑两个变形点云。我们设计了定量和定性实验来评估点云帧插值方法的性能，并在两个大规模户外LiDAR数据集上进行了广泛的实验，证明了所提出的PointINet的有效性。我们的代码可在https://github.com/ispc-lab/PointINet.git上获得。
2020-12-18 cs.CV
Quadratic video interpolation
Carnegie Mellon University（卡内基梅隆大学）；SenseTime Research（商汤科技研究院）；Beijing Normal University（北京师范大学）；University of California, Merced（加州大学默塞德分校）；Google（谷歌）
视频插值是计算机视觉中的一个重要问题，它有助于克服摄像机传感器的时间限制。现有的视频插值方法通常假设相邻帧之间的运动是均匀的，并且采用线性模型进行插值，不能很好地逼近真实世界中的复杂运动。为了解决这些问题，我们提出了一个二次视频插值方法，利用视频中的加速度信息。该方法允许曲线轨迹和变速预测，并生成更精确的插值结果。对于高质量的帧合成，我们开发了一个流反转层来估计从未知目标帧到源帧的流场。此外，我们提出的技术流细化。大量的实验表明，我们的方法表现良好，对现有的线性模型在各种各样的视频数据集。
2019-11-02 cs.CV
