SportsSloMo: A New Benchmark and Baselines for Human-centric Video Frame Interpolation
UC San Diego(加州大学圣迭戈分校);Northeastern University(东北大学)
针对现有视频帧插值基准缺乏以人为中心场景的问题,研究构建了包含13万+体育慢动作视频片段的SportsSloMo基准,提出两种人体感知损失项,在5个现有模型上实现稳定性能提升并建立强基线。
2023-12-12 cs.CV
Benchmarking Video Frame Interpolation
TU Darmstadt(达姆施塔特工业大学);Adobe Research(奥多比研究院)
针对视频帧插值评估中数据集繁多、指标不一致及违反线性假设等问题,提出一个包含一致误差指标、逐像素属性分析、符合线性假设的合成测试集及计算效率评估的公平基准。
2024-03-25 cs.CV
Video Frame Interpolation via Structure-Motion based Iterative Fusion
Apple(苹果公司);Tsinghua University(清华大学);University of Science and Technology Beijing(北京科技大学)
视频帧插值在相邻帧之间合成不存在的图像,目的是提供平滑和一致的视觉体验。解决这一挑战性任务的两种方法是基于光流和基于核的方法。现有的基于光流的方法虽然能够提供精确的点到点运动描述,但缺乏对物体结构的约束。相反,基于核的方法侧重于结构对齐,这依赖于语义和表观特征,但往往会模糊结果。基于这些观察,我们提出了一种基于结构-运动的迭代融合方法。该框架是一个端到端的可学习结构,分为两个阶段。首先,插值帧合成分别基于结构和运动的学习分支,然后,通过空间和时间特征集成的迭代细化模块。受观众对前景和背景对象具有不同视觉偏好的观察启发,我们首次提出在视频帧插值任务的评估过程中使用显著性掩模。在三个典型基准测试上的实验结果表明,该方法在所有评估指标上都取得了优于现有方法的性能,即使我们的模型只使用其他方法使用的十分之一的数据进行训练。
2021-05-11 cs.CV
Progressive Motion Context Refine Network for Efficient Video Frame Interpolation
Shanghai Jiao Tong University(上海交通大学)
近年来,基于流的帧插值方法取得了很大的成功,该方法首先对目标帧和输入帧之间的光流进行建模,然后构建合成网络生成目标帧。然而,上述级联结构会导致模型规模过大和推理延迟,阻碍了它们在移动和实时应用中的应用。为了解决这个问题,我们提出了一种新的渐进运动上下文细化网络(PMCRNet)来预测运动场和图像上下文联合更高的效率。与其他直接从深度特征合成目标帧的方法不同,我们探索通过从相邻输入帧中借用已有的纹理来简化帧插值任务,这意味着我们的PMCRNet的每个金字塔级别的解码器只需要更新更容易的中间光流、遮挡合并掩码和图像残差。此外,我们引入了一个新的退火多尺度重建损失,以更好地指导这个高效的PMCRNet的学习过程。在多个基准测试上的实验表明,所提出的方法不仅取得了良好的定量和定性结果,而且显着减少了当前模型的大小和运行时间。
2022-11-11 cs.CV
EVDI++: Event-based Video Deblurring and Interpolation via Self-Supervised Learning
School of Electronic Information, Wuhan University(武汉大学电子信息学院);Peng Cheng Laboratory(鹏城实验室);Computer Graphics Lab of ETH Zurich(苏黎世联邦理工学院计算机图形实验室);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院)
EVDI++提出统一自监督框架,利用事件相机高时间分辨率,通过可学习双重积分网络与融合策略,实现视频去模糊与插值,在合成及真实数据集上达到最先进性能。
2025-09-10 cs.CV
XVFI: eXtreme Video Frame Interpolation
Korea Advanced Institute of Science and Technology(韩国科学技术院)
在本文中,我们首先向视频帧插值(VFI)研究社区提供了一个具有极端运动的1000 fps 4K视频数据集(X4 K1000 FPS),并提出了一个称为XVFI-Net的极端VFI网络,该网络首先处理具有大运动的4K视频的VFI。XVFI-Net基于递归多尺度共享结构,该结构由两个级联模块组成,用于两个输入帧之间的双向光流学习(BiOF-I)和用于从目标到输入帧的双向光流学习(BiOF-T)。利用BiOF-T模块中提出的互补流反转(CFR)方法稳定地近似了光流。在推理过程中,BiOF-I模块可以在任何输入规模下启动,而BiOF-T模块仅在原始输入规模下运行,因此可以加速推理,同时保持高度准确的VFI性能。大量的实验结果表明,我们的XVFI-Net可以成功地捕获具有极大运动和复杂纹理的对象的基本信息,而最先进的方法表现出较差的性能。此外,我们的XVFI-Net框架还对以前的低分辨率基准数据集进行了测试,这也表明了我们算法的鲁棒性。所有源代码、预训练模型和拟议的X4 K1000 FPS数据集均可在https://github.com/JihyongOh/XVFI上公开获取。
2021-08-05 cs.CV
BiM-VFI: Bidirectional Motion Field-Guided Frame Interpolation for Video with Non-uniform Motions
KAIST(韩国科学技术院);Korea Advanced Institute of Science and Technology(韩国科学技术院);Chung-Ang University(中央大学)
针对非均匀运动视频导致现有VFI模型插值帧模糊的问题,提出BiM-VFI模型,通过双向运动场、BiMFN网络及KDVCF蒸馏策略提升光流估计精度,在LPIPS和STLPIPS指标上较SOTA分别提升26%和45%。
2025-03-24 cs.CV
Sparse Global Matching for Video Frame Interpolation with Large Motion
Nanjing University(南京大学);SenseTime Research(商汤科技研究院);Shanghai AI Lab(上海人工智能实验室)
针对大运动下视频帧插值性能受限的问题,提出融合初始光流与稀疏全局匹配补偿的新流水线,在大运动基准子集上达到SOTA性能。
2024-08-19 cs.CV
360VFI: A Dataset and Benchmark for Omnidirectional Video Frame Interpolation
School of Computer Science(计算机学院);Wuhan University(武汉大学);S-Lab;Nanyang Technological University(南洋理工大学)
本文构建首个全向视频帧插值数据集与基准360VFI,并提出融合ERP畸变先验的金字塔特征提取器和仿射变换解码器,证明畸变建模可有效提升插值性能。
2024-09-09 cs.CV cs.LG cs.MM
Event-Based Video Frame Interpolation With Cross-Modal Asymmetric Bidirectional Motion Fields
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对现有基于事件的视频帧插值方法难以应对复杂运动的问题,本文提出EIF-BiOFNet框架,通过跨模态非对称双向运动场估计及交互式注意力帧合成网络提升性能,并构建大规模数据集ERF-X170FPS,实验表明其优于现有方法。
2025-02-19 cs.CV
Video Frame Interpolation with Flow Transformer
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对卷积视频帧插值丢失细节的问题,提出流 Transformer,将光流运动动力学融入时间自注意力机制并结合多尺度架构,在三个基准上实现了更优的视觉质量。
2023-07-30 cs.CV cs.MM
Controllable Human-centric Keyframe Interpolation with Generative Prior
S-Lab, Nanyang Technological University(南洋理工大学S实验室);SenseTime Research(商汤科技研究院)
本文提出PoseFuse3D-KI框架,通过整合3D人体指导信号提升关键帧插值的可控性和保真度,实验表明其在PSNR和LPIPS指标上均优于现有方法。
2025-12-31 cs.CV
TimeLens: Event-based Video Frame Interpolation
Huawei Technologies(华为技术);Zurich Research Center(苏黎世研究中心);Univ. of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
现有技术的帧插值方法通过从连续的关键帧推断图像中的对象运动来生成中间帧。在没有附加信息的情况下,必须使用一阶近似,即光流,但这种选择限制了可以建模的运动类型,导致高度动态场景中的误差。事件摄像机是一种新型传感器,它通过在帧之间的盲时间提供辅助视觉信息来解决这一限制。它们异步测量每个像素的亮度变化,并以高时间分辨率和低延迟来实现。基于事件的帧插值方法通常采用基于合成的方法,其中预测的帧残差直接应用于关键帧。然而,虽然这些方法可以捕获非线性运动,但它们遭受重影,并且在具有很少事件的低纹理区域中表现不佳。因此,基于综合的方法和基于流程的方法是互补的。在这项工作中,我们介绍了时间透镜,一种新的表示相等的贡献的方法,利用两者的优点。我们广泛地评估我们的方法在三个合成和两个真正的基准,我们表现出高达5.21 dB的改善,在PSNR方面超过最先进的基于帧和基于事件的方法。最后,我们在高度动态的场景中发布了一个新的大规模数据集,旨在推动现有方法的极限。
2021-06-14 cs.CV
Multiple Hypothesis Flow Estimation for Video Frame Interpolation under Matching Ambiguity
针对视频帧插值中匹配歧义导致的重影等问题,提出多假设流估计框架,保留前K个候选对应并选优,在多基准上获最优LPIPS与DISTS
2026-08-10 cs.CV
Optimizing Video Prediction via Video Frame Interpolation
The Hong Kong University of Science and Technology(香港科技大学)
视频预测是预测给定过去帧的未来帧的外推任务,并且视频帧内插是估计两个帧之间的中间帧的内插任务。视频帧内插技术已经取得了巨大的进步,但在实际应用中,视频预测仍然是一个悬而未决的问题。受视频帧内插的照片般逼真的结果的启发,我们提出了一种新的优化框架,通过视频帧内插的视频预测,其中我们解决了外推问题的基础上的内插模型。我们的视频预测框架基于使用预训练的可微分视频帧插值模块进行优化,而不需要训练数据集,因此在训练数据和测试数据之间没有域间隙问题。此外,我们的方法不需要任何额外的信息,如语义或实例映射,这使得我们的框架适用于任何视频。在Cityscapes、KITTI、DAVIS、Middlebury和Vimeo90K数据集上的大量实验表明,我们的视频预测结果在一般情况下是鲁棒的,并且我们的方法优于其他需要大量训练数据或额外语义信息的视频预测方法。
2022-06-27 cs.CV
Splatting-based Synthesis for Video Frame Interpolation
Adobe Research(奥多比研究院);Boston University(波士顿大学);Adobe Inc(奥多比公司)
帧内插是一种重要的视频处理技术,可以调整图像序列的时间分辨率。虽然深度学习为视频帧内插领域带来了巨大的改进,但利用神经网络的技术通常不容易部署在视频编辑器等实际应用中,因为它们要么在计算上过于苛刻,要么在高分辨率下失败。相比之下,我们提出了一种深度学习方法,该方法仅依赖于飞溅来合成插值帧。这种基于分裂的视频帧内插合成不仅比类似方法快得多,特别是对于多帧内插,而且还可以在高分辨率下产生新的最先进的结果。
2022-10-26 cs.CV
Quadratic video interpolation
Carnegie Mellon University(卡内基梅隆大学);SenseTime Research(商汤科技研究院);Beijing Normal University(北京师范大学);University of California, Merced(加州大学默塞德分校);Google(谷歌)
视频插值是计算机视觉中的一个重要问题,它有助于克服摄像机传感器的时间限制。现有的视频插值方法通常假设相邻帧之间的运动是均匀的,并且采用线性模型进行插值,不能很好地逼近真实世界中的复杂运动。为了解决这些问题,我们提出了一个二次视频插值方法,利用视频中的加速度信息。该方法允许曲线轨迹和变速预测,并生成更精确的插值结果。对于高质量的帧合成,我们开发了一个流反转层来估计从未知目标帧到源帧的流场。此外,我们提出的技术流细化。大量的实验表明,我们的方法表现良好,对现有的线性模型在各种各样的视频数据集。
2019-11-02 cs.CV
Adapting Image-to-Video Diffusion Models for Large-Motion Frame Interpolation
Waseda University(早稻田大学)
针对视频帧插值问题,提出条件编码器适配图像转视频扩散模型,集成双分支特征提取器与跨帧注意力机制捕捉时空信息,在FVD指标上优于现有方法,尤其提升大运动场景插值性能。
2025-02-17 cs.CV
Unified Arbitrary-Time Video Frame Interpolation and Prediction
Samsung Electronics(三星电子)
本文提出uniVIP,一个统一的任意时刻视频帧插值与预测框架,通过扩展插值网络并引入任务编码通道,在三元组帧上训练统一模型,在插值任务上表现具竞争力且在预测任务上超越现有最先进方法。
2025-03-04 cs.CV
Video Compression through Image Interpolation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们越来越多的数字通信、媒体消费和内容创作都围绕着视频。我们通过它们分享、观看和存档我们生活的许多方面,所有这些都是由强大的视频压缩驱动的。传统的视频压缩是手工设计和手工优化的。本文提出了一种端到端深度学习编解码器中的替代方案。我们的编解码器建立在一个简单的想法:视频压缩是重复的图像插值。因此,它受益于深度图像插值和生成的最新进展。我们的深度视频编解码器优于当今流行的编解码器,如H.261,MPEG-4第2部分,并与H.264相当。
2018-04-18 cs.CV
NNVISR: Bring Neural Network Video Interpolation and Super Resolution into Video Processing Framework
Wuhan University(武汉大学)
NNVISR 是一个面向 VapourSynth 的开源滤镜插件,通过统一接入任意帧组增强网络并自动处理网络无关细节,将神经网络去噪、超分辨率、插值和时空超分辨率能力引入视频处理流水线。
2023-08-06 cs.CV
Video Frame Interpolation via Adaptive Convolution
Portland State University(波特兰州立大学)
视频帧内插通常涉及两个步骤:运动估计和像素合成。这种两步方法严重依赖于运动估计的质量。本文提出了一种鲁棒的视频帧插值方法,将这两个步骤结合到一个过程中。具体来说,我们的方法认为像素合成的插值帧作为两个输入帧的局部卷积。卷积核捕获输入帧之间的局部运动和用于像素合成的系数。我们的方法采用深度全卷积神经网络来估计每个像素的空间自适应卷积核。这种深度神经网络可以使用广泛可用的视频数据直接进行端到端训练,而无需任何难以获得的地面实况数据,如光流。我们的实验表明,视频插值作为一个单一的卷积过程,使我们的方法能够优雅地处理像遮挡,模糊和突然的亮度变化的挑战,并实现高质量的视频帧插值。
2017-03-22 cs.CV
BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation
Korea University(高丽大学);Dongguk University(东国大学)
视频内插通过合成两个连续帧之间的中间帧来增加视频序列的时间分辨率。本文提出了一种基于深度学习的双向运动估计视频插值算法。首先,我们开发了双边运动网络的双边成本量,以准确地估计双边运动。然后,我们近似双向运动来预测不同类型的双边运动。然后,我们使用估计的双边运动来扭曲两个输入帧。接下来,我们开发了动态滤波器生成网络来生成动态混合滤波器。最后,我们使用动态混合滤波器组合变形帧以生成中间帧。实验结果表明,该算法优于国家的最先进的视频插值算法在几个基准数据集。
2020-07-17 cs.CV
FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation
UCSD(加州大学圣地亚哥分校);CMU(卡内基梅隆大学);Facebook AI(脸书人工智能研究院)
用于视频帧内插的大多数方法计算视频的相邻帧之间的双向光流,随后是合适的扭曲算法以生成输出帧。然而,依赖于光流的方法通常无法直接从视频对遮挡和复杂的非线性运动进行建模,并且引入了不适合于广泛部署的附加瓶颈。我们通过FLAVR解决了这些限制,FLAVR是一种灵活高效的架构,使用3D空时卷积来实现视频帧插值的端到端学习和推理。我们的方法有效地学习推理非线性运动,复杂的遮挡和时间抽象,从而提高视频插值的性能,同时不需要以光流或深度图的形式进行额外的输入。由于其简单性,FLAVR可以提供比当前最精确的多帧插值方法快3倍的推理速度,而不会损失插值精度。此外,我们在各种具有挑战性的设置上评估了FLAVR,并在各种流行的基准测试(包括Vimeo-90 K,UCF 101,DAVIS,Adobe和GoPro)上与之前的方法相比,始终展示出卓越的定性和定量结果。最后,我们证明了FLAVR视频帧内插可以作为一个有用的自我监督的借口任务,动作识别,光流估计,和运动放大。
2022-02-24 cs.CV
FastRIFE: Optimization of Real-Time Intermediate Flow Estimation for Video Frame Interpolation
Warsaw University of Technology(华沙工业大学)
视频帧间插值问题是图像处理领域的一个重要课题。正确增加记录中的帧数,同时保持平滑移动,可以提高播放视频序列的质量,实现更有效的压缩并创建慢动作记录。本文提出了FastRIFE算法,该算法是对RIFE(实时的【形】中间流估计)模型的速度改进。新的方法进行了检查,并与其他最近发表的算法进行比较。所有源代码都可以在https://gitlab.com/malwinq/interpolation-of-images-for-slow-motion-videos上获得
2021-06-01 cs.CV
A Temporally-Aware Interpolation Network for Video Frame Inpainting
University of Michigan(密歇根大学)
我们提出了视频帧修复的第一个深度学习解决方案,这是视频编辑,操作和取证中应用的一般视频修复问题的一个具有挑战性的实例。我们的任务比帧插值和视频预测更明确,因为我们可以访问时间上下文和未来的部分一瞥,使我们能够更好地客观评估模型预测的质量。我们设计了一个由两个模块组成的流水线:一个双向视频预测模块,和一个时间感知帧插值模块。预测模块使用共享的基于卷积LSTM的编码器-解码器对丢失帧进行两个中间预测,一个以先前帧为条件,另一个以后续帧为条件。插值模块混合中间预测以形成最终结果。具体来说,它利用时间信息和来自视频预测模块的隐藏激活来解决预测之间的不一致。我们的实验表明,我们的方法比最先进的视频预测方法和许多强大的帧修复基线产生更准确和质量上令人满意的结果。
2018-11-03 cs.CV
Video Frame Interpolation without Temporal Priors
The University of Sydney(悉尼大学)
视频帧内插是计算机视觉的一个重要研究课题,其目的是合成视频序列中不存在的中间帧。现有的视频帧内插方法在特定的假设条件下,如瞬时或已知曝光时间,都取得了显著的效果。然而,在复杂的现实世界的情况下,视频的时间先验,即每秒帧数(FPS)和帧曝光时间,可能会因不同的相机传感器而异。当测试视频在与训练视频不同的曝光设置下拍摄时,插值帧将遭受严重的错位问题。在这项工作中,我们解决了一般情况下,输入帧可以在不确定的曝光(和间隔)时间下获取的视频帧插值问题。不同于以往的方法,只能适用于一个特定的时间先验,我们推导出一个通用的曲线运动轨迹公式,从四个连续的清晰帧或两个连续的模糊帧没有时间先验。此外,利用相邻运动轨迹内的约束,我们设计了一种新的光流细化策略,以获得更好的插值结果。最后,实验表明,一个经过良好训练的模型就足以在复杂的现实世界情况下合成高质量的慢动作视频。代码可在https://github.com/yjzhang96/UTI-VFI上获得。
2021-12-02 cs.CV
Implementing Adaptive Separable Convolution for Video Frame Interpolation
KTH Royal Institute of Technology(瑞典皇家理工学院)
随着深度神经网络越来越受欢迎,人们的注意力越来越多地集中在计算机视觉问题上,而这些问题过去是用更传统的方法解决的。视频帧内插是其中一个挑战,已经看到了涉及深度学习中各种技术的新研究。在本文中,我们复制了Niklaus等人关于自适应可分离卷积的工作,该工作声称视频帧插值任务具有高质量的结果。我们应用在较小数据集上训练的相同网络结构,并使用各种不同的损失函数进行实验,以确定数据稀缺情况下的最佳方法。最好的结果模型仍然能够提供视觉上令人愉悦的视频,尽管获得了较低的评估分数。
2018-09-20 cs.CV
AdaFNIO: Adaptive Fourier Neural Interpolation Operator for video frame interpolation
Purdue University(普渡大学)
我们提出,AdaFNIO -自适应傅立叶神经插值算子,一个基于神经运算符的架构来执行视频帧内插。当前基于深度学习的方法依赖于局部卷积进行特征学习,并且不是尺度不变的,因此需要通过随机翻转和重新缩放来增强训练数据。另一方面,AdaFNIO通过使用快速傅立叶变换(FFT)在傅立叶空间或谱域中进行令牌混合和全局卷积,学习帧中的特征,与输入分辨率无关。我们表明,AdaFNIO可以产生视觉上平滑和准确的结果。为了评估我们的插值帧的视觉质量,我们计算生成的帧和地面真实帧之间的结构相似性指数(SSIM)和峰值信噪比(PSNR)。我们提供了我们的模型在Vimeo-90 K数据集,DAVIS,UCF 101和DISFA+数据集上的定量性能。
2023-03-09 cs.CV
H-VFI: Hierarchical Frame Interpolation for Videos with Large Motions
Kuaishou Technology(快手科技);The Hong Kong University of Science and Technology(香港科技大学)
随着神经网络技术的迅速发展,近年来的视频帧内插(VFI)方法取得了显著的进步。然而,对于包含大运动的真实世界视频,它们仍然不足。大运动引起的复杂变形和/或遮挡使其成为视频帧内插中极其困难的问题。在本文中,我们提出了一个简单而有效的解决方案,H-VFI,以处理大的运动在视频帧内插。H-VFI提供了一个层次化的视频插值Transformer(HVIT),用于在多尺度下以由粗到精的策略学习可变形核。然后利用学习的可变形核对输入帧进行卷积,以预测内插帧。H-VFI算法从最小尺度开始,根据前一次预测核、中间插值结果和Transformer的层次特征,通过残差连续更新变形核。然后由Transformer块基于插值结果预测用于细化最终输出的偏置和掩码。这种渐进近似的优点在于,大运动帧插值问题可以被分解成几个相对简单的子任务,这使得能够非常准确地预测最终结果。我们的论文的另一个值得注意的贡献包括一个大规模的高质量数据集,YouTube 200 K,其中包含以高分辨率和高帧速率捕获的各种场景的视频。多帧插值基准上的大量实验验证了H-VFI优于现有的最先进的方法,特别是对于具有大运动的视频。
2022-11-21 cs.CV
Video Frame Interpolation via Generalized Deformable Convolution
McMaster University(麦克马斯特大学)
视频帧内插的目的是从相邻的源帧中合成中间帧,同时保持空间和时间上的连续性。现有的基于深度学习的视频帧插值方法大致可以分为两类:基于流的方法和基于核的方法。基于流的方法的性能通常受到由于过度简化的运动模型而导致的流图估计的不准确性的危害,而基于核的方法的性能往往受到核形状的刚性的约束。为了解决这些性能限制的问题,提出了一种新的机制,称为广义可变形卷积,它可以有效地学习运动信息的数据驱动的方式和自由选择采样点在时空。在此基础上,提出了一种新的视频帧内插方法.我们广泛的实验表明,新方法的性能优于国家的最先进的,特别是在处理复杂的运动。
2021-03-18 cs.CV
SVI360: Spherical Video Interpolation
Université Bourgogne Europe, ICB UMR 6303 CNRS, France(法国布尔格ogne欧洲大学,ICB UMR 6303 CNRS);Université de Picardie Jules Verne, MIS UR 4290, France(法国皮卡第-朱尔斯·维尔纳大学,MIS UR 4290)
针对全向视频插值问题,提出双分支框架SVI360,结合图像帧及其旋转正交视图处理失真,增强原始视图与正交视图间流位移等变性改进中间帧预测,在插值质量上优于现有方法。
2026-07-14 cs.CV
FC-VFI: Faithful and Consistent Video Frame Interpolation for High-FPS Slow Motion Video Generation
Zhejiang University Chinese University of Hong Kong(浙江大学香港中文大学)
FC-VFI通过引入时间建模策略和语义匹配线,实现了高帧率慢动作视频生成中的忠实且一致的帧插值。
2026-03-05 cs.CV
Revisiting Adaptive Convolutions for Video Frame Interpolation
Adobe Research(Adobe研究(Adobe Research))
视频帧内插,即实时合成新视图,是一个越来越受欢迎的研究方向,许多新的论文进一步推进了这一技术的发展。但是,由于每种新方法都有许多影响内插质量的变量,因此很难判断什么对这项任务真正重要。在这项工作中,我们发现,有点令人惊讶的是,它是可以实现接近国家的最先进的结果与旧的,更简单的方法,即自适应可分离卷积,通过一组微妙的低级别的改进。在此过程中,我们提出了一些直观但有效的技术来提高帧插值质量,这些技术也有可能用于自适应卷积的其他相关应用,如突发图像去噪,联合图像滤波或视频预测。
2020-11-02 cs.CV
MEMC-Net: Motion Estimation and Motion Compensation Driven Neural Network for Video Interpolation and Enhancement
Shanghai Jiao Tong University(上海交通大学);University of California, Merced(加州大学默塞德分校)
在过去的几十年中,运动估计(ME)和运动补偿(MC)已被广泛用于经典的视频帧内插系统。近年来,提出了许多基于卷积神经网络的数据驱动帧内插方法。然而,现有的基于学习的方法通常估计流量或补偿内核,从而限制了计算效率和插值精度的性能。在这项工作中,我们提出了一个运动估计和补偿驱动的神经网络的视频帧内插。提出了一种新的自适应扭曲层,用于集成光流和插值核来合成目标帧像素。这一层是完全可微的,使得流量和核估计网络都可以联合优化。所提出的模型受益于运动估计和补偿方法的优点,而不使用手工制作的功能。与现有的方法相比,我们的方法是计算效率高,能够产生更具视觉吸引力的结果。此外,所提出的MEMC-Net可以无缝地适应于几个视频增强任务,例如,超分辨率、去噪和去块。广泛的定量和定性评估表明,该方法表现良好,对国家的最先进的视频帧插值和增强算法在广泛的数据集。
2019-09-05 cs.CV
Video Frame Interpolation Transformer
Shanghai Jiao Tong University(上海交通大学);McMaster Univeristy(麦克马斯特大学);University of California, Merced(加州大学默塞德分校);Yonsei University(延世大学);Google Research(谷歌研究院);Nanyang Technological University(南洋理工大学)
现有的视频插值方法严重依赖于深度卷积神经网络,因此受到其固有局限性的影响,例如内容不可知的内核权重和受限的感受野。为了解决这些问题,我们提出了一个基于transformer的视频插值框架,该框架允许内容感知聚合权重,并考虑了自注意操作的长程依赖关系。为了避免全局自注意的高计算成本,我们将局部注意的概念引入到视频插值中,并将其扩展到时空域。此外,我们提出了一个时空分离的策略,以节省内存的使用,这也提高了性能。此外,我们开发了一个多尺度的帧合成方案,以充分发挥Transformers的潜力。大量的实验表明,该模型在各种基准数据集上的定量和定性表现都优于最先进的方法。
2022-03-28 cs.CV
Repurposing Pre-trained Video Diffusion Models for Event-based Video Interpolation
University of Maryland, College Park(马里兰大学帕克分校);Massachusetts Institute of Technology(麻省理工学院)
本文通过将预训练视频扩散模型适配到基于事件的视频插帧任务,克服了配对数据有限的挑战,在真实数据集上优于现有方法并展现出更强的跨相机泛化能力。
2025-03-25 cs.CV
Cross-Attention Transformer for Video Interpolation
Duke University(杜克大学)
我们提出了TAIN(Transformers and Attention for video Interpolation),一个用于视频插值的残差神经网络,它的目标是在给定两个连续图像帧的情况下对中间帧进行插值.我们首先提出了一个新的视觉Transformer模块,称为交叉相似性(Cross Similarity,CS),用于全局聚集与预测插值帧外观相似的输入图像特征.然后,这些CS特征被用于改进内插预测。为了解决CS特征中的遮挡问题,我们提出了一个图像注意力(IA)模块,允许网络专注于一帧的CS特征。TAIN优于不需要流量估计的现有方法,并执行基于流量的方法,同时在Vimeo 90 k,UCF 101和SNU-FILM基准测试的推理时间方面具有计算效率。
2022-12-02 cs.CV
Scene-Adaptive Video Frame Interpolation via Meta-Learning
Seoul National University(首尔大学);Hanyang University(汉阳大学)
视频帧内插是一个具有挑战性的问题,因为根据前景和背景运动、帧速率和遮挡的变化,每个视频都有不同的场景。因此,具有固定参数的单个网络很难在不同的视频中推广。理想情况下,每个场景都可以有不同的网络,但这对于实际应用来说在计算上是不可行的。在这项工作中,我们建议通过使用在测试时随时可用的额外信息来使模型适应每个视频,但在以前的作品中尚未被利用。我们首先通过对网络进行简单的微调来展示"测试时自适应"的好处,然后通过结合元学习来大大提高其效率。我们获得显着的性能增益,只有一个单一的梯度更新,没有任何额外的参数。最后,我们证明了我们的元学习框架可以很容易地应用于任何视频帧插值网络,并且可以在多个基准数据集上持续提高其性能。
2020-04-02 cs.CV
FineNet: Frame Interpolation and Enhancement for Face Video Deblurring
VinAI Research(VinAI研究院)
这项工作的目标是去模糊面部视频。我们提出了一种从两个方向解决这个问题的方法:(1)增强模糊帧,(2)将模糊帧视为缺失值并通过插值来估计它们。这些方法是相辅相成的,它们的组合优于单独的。我们还介绍了一个新的模块,利用结构的脸找到视频帧之间的位置偏移。该模块可以集成到两种方法的处理管道中,从而提高最终结果的质量。在三个真实和合成生成的模糊视频数据集上的实验表明,我们的方法在定量和定性结果方面都大大优于以前的最先进的方法。
2021-03-01 cs.CV
Video Shadow Detection via Spatio-Temporal Interpolation Consistency Training
Hunan Normal University(湖南师范大学);Meta Reality Labs(Meta现实实验室);Wuhan University(武汉大学);Lakehead University(湖首大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所)
对大规模数据集进行注释是有监督视频阴影检测方法的一个挑战。将在标记图像上训练的模型直接用于视频帧可能导致高泛化误差和时间不一致的结果。在本文中,我们通过提出时空插值一致性训练(STICT)框架来解决这些挑战,以合理地将未标记的视频帧与标记的图像一起送入图像阴影检测网络训练。具体来说,我们提出了空间和时间的ICT,其中我们定义了两个新的插值方案,\textit{i.e.},空间内插和时间内插。然后,我们推导出相应的空间和时间插值一致性约束,以提高泛化的像素分类任务和鼓励时间一致的预测,分别。此外,我们还设计了一个用于图像中多尺度阴影知识学习的尺度感知网络,并提出了一个尺度一致性约束,以最小化不同尺度下预测结果之间的差异。我们提出的方法在ViSha数据集和自注释数据集上进行了广泛的验证。实验结果表明,即使没有视频标签,我们的方法是优于大多数国家的最先进的监督,半监督或无监督的图像/视频阴影检测方法和其他方法在相关的任务。代码和数据集可在\url{https://github.com/yihong-97/STICT}获得。
2022-06-17 cs.CV
LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models
National Yang Ming Chiao Tung University(国立阳明交通大学)
研究从稀疏事件流恢复高质量视频的难题,提出LongE2V方法,利用预训练视频扩散先验,通过微调基础模型实现联合处理视频重建、预测和帧插值,在多任务上优于现有方法,有高数据效率、时间连贯性和零样本泛化能力。
2026-07-10 cs.CV
Video Motion Graphs
The University of Tokyo(东京大学);Adobe Research(Adobe研究)
本文提出视频运动图系统,通过检索匹配条件信号的视频片段,并利用核心模型HMInterp进行双分支插值和条件渐进训练,实现多模态条件下高质量人体运动视频生成。
2025-06-03 cs.CV
Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation
University of Washington(华盛顿大学);Google DeepMind(谷歌DeepMind);UC Berkeley(加州大学伯克利分校)
该研究提出生成式帧间补全方法,通过轻量级微调将预训练图像转视频扩散模型适配为可预测反向视频的版本,结合原模型进行双向扩散采样,在关键帧间生成连贯视频,实验证明其性能优于现有扩散类及传统帧插值技术。
2025-02-12 cs.CV
Real-time Video Prediction With Fast Video Interpolation Model and Prediction Training
Waseda University(早稻田大学);Tokyo Institute of Technology(东京工业大学);Yokohama National University(横滨国立大学)
本文提出IFRVP实时视频预测方法,通过扩展IFRNet帧插值网络并引入基于ELAN的残差块,在预测准确率与计算速度间实现了最佳权衡,有效缓解网络传输延迟。
2025-04-04 cs.CV
Unsupervised Video Interpolation by Learning Multilayered 2.5D Motion Fields
The Australian National University(澳大利亚国立大学);Baidu Research(百度研究院)
视频帧内插的问题是通过在现有的时间稀疏的帧之间插入新的帧来增加低帧率视频的时间分辨率。本文提出了一种自监督的方法来视频帧插值,只需要一个单一的视频。我们将视频设置为一组图层。每一层都由两个隐式神经网络参数化--一个用于学习静态帧,另一个用于学习与视频动态相对应的时变运动场。它们一起表示具有伪深度通道的场景的无遮挡子集。为了对层间遮挡进行建模,所有层都被提升到2.5D空间,以便正面层遮挡远处的层。这是通过为每个层分配一个深度通道来完成的,我们称之为“伪深度”,其偏序定义了层之间的遮挡。伪深度通过完全可微的SoftMin函数转换为可见性值,使得较近的层比距离较远的层更可见。另一方面,我们通过求解定义在时变神经速度场上的常微分方程(ODE)来参数化视频运动,该时变神经速度场保证了有效的运动。这种隐式神经表征将视频学习为时空连续体,允许以任何时间分辨率进行帧插值。我们在真实世界的数据集上证明了我们的方法的有效性,我们的方法实现了与需要地面真值标签进行训练的最新技术相当的性能。
2022-04-21 cs.CV
Depth-Aware Video Frame Interpolation
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(上海交通大学图像通信与网络工程研究所);University of California, Merced(加州大学默塞德分校);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院);Google(谷歌)
视频帧插值的目的是在原始帧之间合成不存在的帧。虽然最近的深度卷积神经网络已经取得了重大进展,但由于大的对象运动或遮挡,插值的质量通常会降低。在这项工作中,我们提出了一种视频帧插值方法,明确地检测通过探索的深度信息的遮挡。具体来说,我们开发了一个深度感知流投影层来合成中间流,这些中间流最好对距离较近的对象进行采样,而不是距离较远的对象。此外,我们学习层次特征来收集来自相邻像素的上下文信息。然后,所提出的模型基于光流和局部插值核来扭曲输入帧、深度图和上下文特征,以合成输出帧。我们的模型是紧凑的,有效的,完全可微的。定量和定性的结果表明,该模型表现良好,对国家的最先进的帧插值方法在各种各样的数据集。
2019-04-01 cs.CV
EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation
Northwestern Polytechnical University(西北工业大学)
视频帧内插可以上变频帧速率并提高视频质量。近年来,虽然插值性能已经取得了很大的成功,但由于大的运动,图像模糊通常发生在物体边界处。这是一个长期存在的问题,尚未得到解决。在本文中,我们提出了减少图像模糊,并得到清晰的形状的对象,通过保持边缘的插值帧。为此,提出的边缘感知网络(EA-Net)集成的边缘信息到帧内插任务。它遵循端到端的架构,可以分为两个阶段,\emph{i.e.},边缘引导的流量估计和边缘保护的帧合成。具体而言,在流估计阶段,提出了三种边缘感知机制,在估计流图时强调帧边缘,从而将边缘图作为辅助信息,为提高流估计精度提供更多的指导。在帧合成阶段,设计了流细化模块对流图进行细化,设计了注意力模块,在合成中间帧时自适应地关注双向流图。此外,采用帧和边缘鉴别器进行对抗性训练策略,以增强合成帧的真实感和清晰度。在Vimeo 90 k、UCF 101单帧内插和EA 240-fps多帧内插三个基准测试上的实验表明,EA-Net在视频帧内插方面具有优越性。
2021-05-17 cs.CV
Video Frame Interpolation via Adaptive Separable Convolution
Portland State University(波特兰州立大学)
标准视频帧内插方法首先估计输入帧之间的光流,然后合成由运动引导的中间帧。最近的方法通过将输入帧与同时考虑运动和重新采样的空间自适应内核卷积来将这两个步骤合并到单个卷积过程中。这些方法需要大的内核来处理大的运动,由于大的存储器需求,这限制了可以一次估计其内核的像素的数量。为了解决这个问题,本文制定了帧内插作为本地可分离的卷积输入帧使用1D内核对。与常规的2D内核相比,1D内核需要估计的参数明显更少。我们的方法开发了一个深度全卷积神经网络,它采用两个输入帧,同时估计所有像素的1D内核对。由于我们的方法能够估计内核并一次合成整个视频帧,因此它允许将感知损失并入训练神经网络以产生视觉上令人愉悦的帧。这个深度神经网络是使用广泛可用的视频数据进行端到端训练的,没有任何人工注释。定性和定量的实验表明,我们的方法提供了一个实用的解决方案,高质量的视频帧内插。
2017-08-05 cs.CV
Blurry Video Frame Interpolation
Shanghai Jiao Tong University(上海交通大学)
现有的工作通过两种不同的方式来减少运动模糊和上转换帧速率,包括帧去模糊和帧内插。然而,很少有研究探讨联合视频增强问题,即从低帧率模糊输入合成高帧率清晰结果。在本文中,我们提出了一种模糊的视频帧内插方法,以减少运动模糊和提高帧速率的同时。具体来说,我们开发了一个金字塔模块来循环合成清晰的中间帧。金字塔模块具有可调的空间感受野和时间范围,从而有助于可控的计算复杂性和恢复能力。此外,我们提出了一个金字塔间的递归模块来连接序列模型,以利用时间关系。金字塔模块集成了一个递归模块,因此可以迭代地合成时间平滑的结果,而不会显着增加模型的大小。大量的实验结果表明,我们的方法对国家的最先进的方法表现良好。
2020-02-27 cs.CV
Video Interpolation with Diffusion Models
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本文提出基于级联扩散模型的视频插帧方法 VIDIM,通过低分辨率生成再超分的方式处理复杂非线性运动,并利用无分类器引导和高分辨率条件实现高保真快速插帧。
2024-04-01 cs.CV
PhaseNet for Video Frame Interpolation
ETH Zurich(苏黎世联邦理工学院);Disney Research(迪士尼研究院)
大多数视频帧插值方法需要精确的密集对应来合成中间帧。因此,它们在具有挑战性的场景中表现不佳,例如照明变化或运动模糊。最近的深度学习方法依赖于内核来表示运动,只能在一定程度上缓解这些问题。在这些情况下,使用基于每像素相位的运动表示的方法已经被证明工作良好。然而,它们仅适用于有限的运动量。我们提出了一种新的方法,PhaseNet,旨在鲁棒地处理具有挑战性的场景,同时也应对更大的运动。我们的方法包括一个神经网络解码器,直接估计的中间帧的相位分解。我们表明,这优于先前在基于相位的方法中使用的手工制作的算法,并且与最近基于深度学习的方法相比,在具有挑战性的数据集上进行视频帧插值。
2018-04-03 cs.CV
Long-Term Video Interpolation with Bidirectional Predictive Network
Peking University(北京大学)
本文考虑了具有挑战性的任务,长期的视频插值。与大多数现有的方法,只产生几个现有的相邻帧之间的中间帧,我们试图推测或想象的过程中的情节,并进一步产生多个帧之间的两个非连续的帧在视频。在本文中,我们提出了一种称为双向预测网络(BiPN)的新型深度架构,它可以从两个相反的方向预测中间帧。双向架构允许模型随着时间学习场景变换,并生成更长的视频序列。此外,我们的模型可以扩展到预测多种可能的程序,通过采样不同的噪声向量。设计了由图像和特征空间中的线索以及对抗性损失组成的联合损失来训练模型。我们在两个基准上展示了BiPN的优势,移动2D和UCF 101,并报告了最近方法的竞争结果。
2017-06-13 cs.CV
Dynamic Video Frame Interpolation with integrated Difficulty Pre-Assessment
Samsung Electronics (China) R&D Center(三星电子(中国)研发中心);Samsung Electronics(三星电子)
针对视频帧插值中精度与效率难以兼顾的问题,本文提出难度预评估与模型动态选择相结合的集成流水线,并构建大规模难度评估数据集,从而改善精度—效率权衡。
2023-04-25 cs.CV