Progressive Motion Context Refine Network for Efficient Video Frame Interpolation
Shanghai Jiao Tong University(上海交通大学)
近年来,基于流的帧插值方法取得了很大的成功,该方法首先对目标帧和输入帧之间的光流进行建模,然后构建合成网络生成目标帧。然而,上述级联结构会导致模型规模过大和推理延迟,阻碍了它们在移动和实时应用中的应用。为了解决这个问题,我们提出了一种新的渐进运动上下文细化网络(PMCRNet)来预测运动场和图像上下文联合更高的效率。与其他直接从深度特征合成目标帧的方法不同,我们探索通过从相邻输入帧中借用已有的纹理来简化帧插值任务,这意味着我们的PMCRNet的每个金字塔级别的解码器只需要更新更容易的中间光流、遮挡合并掩码和图像残差。此外,我们引入了一个新的退火多尺度重建损失,以更好地指导这个高效的PMCRNet的学习过程。在多个基准测试上的实验表明,所提出的方法不仅取得了良好的定量和定性结果,而且显着减少了当前模型的大小和运行时间。
2022-11-11 cs.CV
All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling
Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);University of Toronto(多伦多大学)
高刷新率显示器的最新进展以及对高速率慢动作和帧上转换的兴趣增加,推动了对高效且具有成本效益的多帧视频插值解决方案的需求。在这方面,在连续视频帧之间插入多个帧对于消费电子行业是至关重要的。最先进的方法是每次插值一帧的迭代解。它们引入了时间上的不一致性和明显可见的视觉伪影。从国家的最先进的出发,这项工作介绍了一个真正的多帧图像。该算法利用时间域的金字塔型网络,一次性完成多帧插值任务。当遇到复杂运动段时,还使用使用放松的损失函数和先进的基于运动模型的新的流估计过程来进一步提高插值精度。实验结果表明,该方法生成的帧在视觉上令人愉悦,时间上一致,PSNR比目前最好的现成方法高1.57db,模型小8倍,速度快7.7倍。该方法可以很容易地扩展到插入大量的新帧,同时保持效率,因为一个镜头的机制。
2021-01-09 cs.CV
Sparsity-guided Network Design for Frame Interpolation
Microsoft(微软);the Ohio State University(俄亥俄州立大学)
基于DNN的帧内插从两个连续帧生成中间帧,通常依赖于具有大量功能的模型架构,从而阻止其在资源有限的系统(如移动设备)上的部署。我们提出了一种压缩驱动的帧插值网络设计,利用模型修剪通过稀疏诱导优化,大大减少了模型的大小,同时获得更高的性能。具体地说,我们首先压缩最近提出的AdaCoF模型,并证明了10倍压缩的AdaCoF执行类似于其原来的对应物,其中使用分层稀疏信息作为指导的不同策略进行了全面研究各种超参数设置下。然后,我们通过引入多分辨率变形模块来增强这个压缩模型,从而提高了多层次细节的视觉一致性。因此,我们实现了相当大的性能增益与原来的AdaCoF的四分之一的大小。此外,我们的模型在各种数据集上的表现优于其他最先进的方法。我们注意到,建议的压缩驱动框架是通用的,可以很容易地转移到其他基于DNN的帧内插算法。源代码可在https://github.com/tding1/CDFI上获得。
2022-09-09 cs.CV
Technical Report on Visual Quality Assessment for Frame Interpolation
University of Konstanz(康斯坦茨大学);University of Stuttgart(斯图加特大学)
光流算法的当前基准通过将其预测的流场与地面实况进行比较来评估估计质量,并且另外可以基于这些预测将内插帧与来自实际图像序列的正确帧进行比较。对于后一种比较,应用了均方误差等客观测量。然而,对于像图像插值这样的应用,期望的用户体验质量不能完全从这样简单的质量测量中推断出来。因此,我们通过众包对光流基准之一,即Middlebury基准中提供的插值图像进行了主观质量评估研究。我们使用配对比较与强制选择和重建绝对质量量表值根据瑟斯顿的模型,使用经典的最小二乘法。结果引起了141参与算法w.r.t.内插帧的视觉质量主要基于光流估计。我们的重新排名的结果表明,视觉质量评估的必要性,作为另一个评价指标的光流和帧插值基准。
2019-03-26 cs.CV
Benchmarking the Reproducibility of Brain MRI Segmentation Across Scanners and Time
本研究基准测试了FastSurfer和SynthSeg在跨扫描仪和时间上的脑MRI分割可重复性,发现小结构体积变异达7-8%,并提出表面质量过滤以提高可靠性。
2025-04-22 cs.CV
Dynamic Frame Interpolation in Wavelet Domain
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯);Nanjing University(南京大学)
本文提出WaveletVFI两阶段帧插值框架,通过小波域稀疏卷积和动态阈值分类器减少空间冗余,在保持精度的同时降低高达40%的计算量。
2023-09-21 cs.CV
Efficient Convolution and Transformer-Based Network for Video Frame Interpolation
British Broadcasting Cooperation(英国广播公司)
针对 Transformer 视频帧插值内存与计算开销高的问题,提出卷积与 Transformer 双编码器融合网络,在保持竞争力的同时降低近一半内存并最高提速四倍。
2023-07-12 cs.CV
Event-based Video Frame Interpolation with Edge Guided Motion Refinement
College of Computer Science, Beijing University of Technology(北京工业大学计算机学院);City University of Hong Kong(香港城市大学);Southeast University(东南大学)
提出端到端方法EGMR,利用事件信号的边缘特征引导运动流和扭曲细化,通过边缘引导注意力模块和学习可见性图缓解遮挡问题,显著提升了视频帧插值质量。
2024-04-28 cs.CV
Video Frame Interpolation with Flow Transformer
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对卷积视频帧插值丢失细节的问题,提出流 Transformer,将光流运动动力学融入时间自注意力机制并结合多尺度架构,在三个基准上实现了更优的视觉质量。
2023-07-30 cs.CV cs.MM
360VFI: A Dataset and Benchmark for Omnidirectional Video Frame Interpolation
School of Computer Science(计算机学院);Wuhan University(武汉大学);S-Lab;Nanyang Technological University(南洋理工大学)
本文构建首个全向视频帧插值数据集与基准360VFI,并提出融合ERP畸变先验的金字塔特征提取器和仿射变换解码器,证明畸变建模可有效提升插值性能。
2024-09-09 cs.CV cs.LG cs.MM
PyRobot: An Open-source Robotics Framework for Research and Benchmarking
Facebook AI Research(脸书人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
本文介绍了PyRobot,一个用于研究和基准测试的开源机器人框架。PyRobot是ROS之上的一个轻量级的高级接口,它提供了一组一致的独立于硬件的中级API来控制不同的机器人。PyRobot抽象了底层控制器和进程间通信的细节,并允许非机器人研究人员(ML,CV研究人员)专注于构建高级AI应用程序。PyRobot旨在提供一个研究生态系统,可以方便地访问机器人数据集,算法实现和模型,可用于快速创建最先进的基线。我们相信,PyRobot与LoCoBot等低成本机器人平台相结合,将降低机器人技术的准入门槛,并使机器人技术民主化。PyRobot是开源的,可以通过www.example.com访问。
2019-06-19 cs.AI cs.CV cs.LG
Flow Gym: A framework for the development, benchmarking, training, and deployment of flow-field quantification methods
Institute for Dynamic Systems;Control, ETH Z\"urich, Z\"urich, Switzerland
本文提出Flow Gym框架,旨在解决流场量化方法开发和评估中的软件碎片化、接口不一致和可重复性差问题,通过标准化接口整合经典和基于学习的算法,提升方法的可重复性和应用性。
2026-04-11 cs.CV cs.SE physics.comp-ph
Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual Meta-Learning
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Bigo
现有的视频帧内插方法只能在给定的中间时间步长(例如,1/2)处内插帧。在本文中,我们的目标是探索一种更广义的视频帧内插,在一个任意的时间步长。为此,我们考虑在元学习的帮助下,以统一的方式使用自适应生成的卷积核处理不同的时间步长。具体来说,我们开发了一个双重元学习帧插值框架,以合成中间帧的指导下的上下文信息和光流,以及采取的时间步长作为边信息。首先,构建内容感知元学习流细化模块,以基于输入帧的下采样版本来提高光流估计的准确性。第二,利用经细化的光流和时间步长作为输入,运动感知元学习帧内插模块为在输入帧的粗略变形版本的特征图上的卷积操作中使用的每个像素生成卷积核,以生成预测帧。广泛的定性和定量评估以及消融研究表明,通过以这种精心设计的方式在我们的框架中引入元学习,我们的方法不仅实现了优于最先进的帧插值方法的性能,而且还具有扩展的能力,以支持任意时间步长的插值。
2022-07-27 cs.CV
Optimizing Video Prediction via Video Frame Interpolation
The Hong Kong University of Science and Technology(香港科技大学)
视频预测是预测给定过去帧的未来帧的外推任务,并且视频帧内插是估计两个帧之间的中间帧的内插任务。视频帧内插技术已经取得了巨大的进步,但在实际应用中,视频预测仍然是一个悬而未决的问题。受视频帧内插的照片般逼真的结果的启发,我们提出了一种新的优化框架,通过视频帧内插的视频预测,其中我们解决了外推问题的基础上的内插模型。我们的视频预测框架基于使用预训练的可微分视频帧插值模块进行优化,而不需要训练数据集,因此在训练数据和测试数据之间没有域间隙问题。此外,我们的方法不需要任何额外的信息,如语义或实例映射,这使得我们的框架适用于任何视频。在Cityscapes、KITTI、DAVIS、Middlebury和Vimeo90K数据集上的大量实验表明,我们的视频预测结果在一般情况下是鲁棒的,并且我们的方法优于其他需要大量训练数据或额外语义信息的视频预测方法。
2022-06-27 cs.CV
AdaFNIO: Adaptive Fourier Neural Interpolation Operator for video frame interpolation
Purdue University(普渡大学)
我们提出,AdaFNIO -自适应傅立叶神经插值算子,一个基于神经运算符的架构来执行视频帧内插。当前基于深度学习的方法依赖于局部卷积进行特征学习,并且不是尺度不变的,因此需要通过随机翻转和重新缩放来增强训练数据。另一方面,AdaFNIO通过使用快速傅立叶变换(FFT)在傅立叶空间或谱域中进行令牌混合和全局卷积,学习帧中的特征,与输入分辨率无关。我们表明,AdaFNIO可以产生视觉上平滑和准确的结果。为了评估我们的插值帧的视觉质量,我们计算生成的帧和地面真实帧之间的结构相似性指数(SSIM)和峰值信噪比(PSNR)。我们提供了我们的模型在Vimeo-90 K数据集,DAVIS,UCF 101和DISFA+数据集上的定量性能。
2023-03-09 cs.CV
Splatting-based Synthesis for Video Frame Interpolation
Adobe Research(奥多比研究院);Boston University(波士顿大学);Adobe Inc(奥多比公司)
帧内插是一种重要的视频处理技术,可以调整图像序列的时间分辨率。虽然深度学习为视频帧内插领域带来了巨大的改进,但利用神经网络的技术通常不容易部署在视频编辑器等实际应用中,因为它们要么在计算上过于苛刻,要么在高分辨率下失败。相比之下,我们提出了一种深度学习方法,该方法仅依赖于飞溅来合成插值帧。这种基于分裂的视频帧内插合成不仅比类似方法快得多,特别是对于多帧内插,而且还可以在高分辨率下产生新的最先进的结果。
2022-10-26 cs.CV
Unified Arbitrary-Time Video Frame Interpolation and Prediction
Samsung Electronics(三星电子)
本文提出uniVIP,一个统一的任意时刻视频帧插值与预测框架,通过扩展插值网络并引入任务编码通道,在三元组帧上训练统一模型,在插值任务上表现具竞争力且在预测任务上超越现有最先进方法。
2025-03-04 cs.CV
Deep Frame Interpolation
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
这项工作提出了一种基于监督学习的方法来解决帧插值的计算机视觉问题。所提出的技术也可以用于卡通动画,因为绘制每个单独的帧消耗了大量的时间。针对该问题的大多数现有解决方案使用无监督方法并且仅关注具有已经高的帧速率的现实生活视频。然而,实验表明,当帧速率变低并且帧之间的对象位移变大时,这样的方法不起作用。这是由于大位移运动的内插需要运动结构的知识,因此诸如帧平均的简单技术开始失效。在这项工作中,深度卷积神经网络用于解决帧内插问题。此外,它表明,纳入先验信息,如光流显着提高插值质量。
2017-06-15 cs.CV
Adapting Image-to-Video Diffusion Models for Large-Motion Frame Interpolation
Waseda University(早稻田大学)
针对视频帧插值问题,提出条件编码器适配图像转视频扩散模型,集成双分支特征提取器与跨帧注意力机制捕捉时空信息,在FVD指标上优于现有方法,尤其提升大运动场景插值性能。
2025-02-17 cs.CV
Video Frame Interpolation via Adaptive Convolution
Portland State University(波特兰州立大学)
视频帧内插通常涉及两个步骤:运动估计和像素合成。这种两步方法严重依赖于运动估计的质量。本文提出了一种鲁棒的视频帧插值方法,将这两个步骤结合到一个过程中。具体来说,我们的方法认为像素合成的插值帧作为两个输入帧的局部卷积。卷积核捕获输入帧之间的局部运动和用于像素合成的系数。我们的方法采用深度全卷积神经网络来估计每个像素的空间自适应卷积核。这种深度神经网络可以使用广泛可用的视频数据直接进行端到端训练,而无需任何难以获得的地面实况数据,如光流。我们的实验表明,视频插值作为一个单一的卷积过程,使我们的方法能够优雅地处理像遮挡,模糊和突然的亮度变化的挑战,并实现高质量的视频帧插值。
2017-03-22 cs.CV
EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation
Northwestern Polytechnical University(西北工业大学)
视频帧内插可以上变频帧速率并提高视频质量。近年来,虽然插值性能已经取得了很大的成功,但由于大的运动,图像模糊通常发生在物体边界处。这是一个长期存在的问题,尚未得到解决。在本文中,我们提出了减少图像模糊,并得到清晰的形状的对象,通过保持边缘的插值帧。为此,提出的边缘感知网络(EA-Net)集成的边缘信息到帧内插任务。它遵循端到端的架构,可以分为两个阶段,\emph{i.e.},边缘引导的流量估计和边缘保护的帧合成。具体而言,在流估计阶段,提出了三种边缘感知机制,在估计流图时强调帧边缘,从而将边缘图作为辅助信息,为提高流估计精度提供更多的指导。在帧合成阶段,设计了流细化模块对流图进行细化,设计了注意力模块,在合成中间帧时自适应地关注双向流图。此外,采用帧和边缘鉴别器进行对抗性训练策略,以增强合成帧的真实感和清晰度。在Vimeo 90 k、UCF 101单帧内插和EA 240-fps多帧内插三个基准测试上的实验表明,EA-Net在视频帧内插方面具有优越性。
2021-05-17 cs.CV
Depth-Aware Video Frame Interpolation
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(上海交通大学图像通信与网络工程研究所);University of California, Merced(加州大学默塞德分校);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院);Google(谷歌)
视频帧插值的目的是在原始帧之间合成不存在的帧。虽然最近的深度卷积神经网络已经取得了重大进展,但由于大的对象运动或遮挡,插值的质量通常会降低。在这项工作中,我们提出了一种视频帧插值方法,明确地检测通过探索的深度信息的遮挡。具体来说,我们开发了一个深度感知流投影层来合成中间流,这些中间流最好对距离较近的对象进行采样,而不是距离较远的对象。此外,我们学习层次特征来收集来自相邻像素的上下文信息。然后,所提出的模型基于光流和局部插值核来扭曲输入帧、深度图和上下文特征,以合成输出帧。我们的模型是紧凑的,有效的,完全可微的。定量和定性的结果表明,该模型表现良好,对国家的最先进的帧插值方法在各种各样的数据集。
2019-04-01 cs.CV
Frame Interpolation with Multi-Scale Deep Loss Functions and Generative Adversarial Networks
Twitter(推特)
帧内插尝试在给定一个或多个连续视频帧的情况下合成帧。近年来,深度学习方法,特别是卷积神经网络,已经成功地解决了包括帧内插在内的低级和高级计算机视觉问题。这些技术通常解决两个问题,即算法效率和重建质量。在本文中,我们提出了一个多尺度生成对抗网络帧插值(\mbox{FIGAN})。为了最大限度地提高我们的网络的效率,我们提出了一种新的多尺度残差估计模块,其中预测流和合成帧以粗到细的方式构建。为了提高合成的中间视频帧的质量,我们的网络在不同的级别上与感知损失函数联合监督,感知损失函数由对抗性损失和两个内容损失组成。我们评估所提出的方法,使用60 fps的视频从YouTube-8 m的集合。我们的研究结果提高了最先进的准确性,并提供了主观视觉质量相媲美的最佳性能插值方法在x47更快的运行时间。
2019-02-26 cs.CV
NeuralPCI: Spatio-temporal Neural Field for 3D Point Cloud Multi-frame Non-linear Interpolation
Tongji University(同济大学)
近年来,对计算机视觉的插值任务的关注显著增加。尽管视频插值取得了巨大的进步,但点云插值仍然没有得到充分的探索。同时,现实场景中大量非线性大运动的存在使得点云插值任务更具挑战性。鉴于这些问题,我们提出了NeuralPCI:一个用于3D点云插值的端到端4D时空神经场,它隐式地集成了多帧信息,以处理室内和室外场景的非线性大运动。此外,我们构建了一个新的多帧点云插值数据集,称为NL-Drive,用于自动驾驶场景中的大非线性运动,以更好地展示我们的方法的优越性。最终,NeuralPCI在DHB(动态人体)和NL-Drive数据集上实现了最先进的性能。除了插值任务,我们的方法可以自然地扩展到点云外推,变形和自动标记,这表明它在其他领域的巨大潜力。代码可在https://github.com/ispc-lab/NeuralPCI上获得。
2023-03-27 cs.CV
FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation
UCSD(加州大学圣地亚哥分校);CMU(卡内基梅隆大学);Facebook AI(脸书人工智能研究院)
用于视频帧内插的大多数方法计算视频的相邻帧之间的双向光流,随后是合适的扭曲算法以生成输出帧。然而,依赖于光流的方法通常无法直接从视频对遮挡和复杂的非线性运动进行建模,并且引入了不适合于广泛部署的附加瓶颈。我们通过FLAVR解决了这些限制,FLAVR是一种灵活高效的架构,使用3D空时卷积来实现视频帧插值的端到端学习和推理。我们的方法有效地学习推理非线性运动,复杂的遮挡和时间抽象,从而提高视频插值的性能,同时不需要以光流或深度图的形式进行额外的输入。由于其简单性,FLAVR可以提供比当前最精确的多帧插值方法快3倍的推理速度,而不会损失插值精度。此外,我们在各种具有挑战性的设置上评估了FLAVR,并在各种流行的基准测试(包括Vimeo-90 K,UCF 101,DAVIS,Adobe和GoPro)上与之前的方法相比,始终展示出卓越的定性和定量结果。最后,我们证明了FLAVR视频帧内插可以作为一个有用的自我监督的借口任务,动作识别,光流估计,和运动放大。
2022-02-24 cs.CV
Video Frame Interpolation via Generalized Deformable Convolution
McMaster University(麦克马斯特大学)
视频帧内插的目的是从相邻的源帧中合成中间帧,同时保持空间和时间上的连续性。现有的基于深度学习的视频帧插值方法大致可以分为两类:基于流的方法和基于核的方法。基于流的方法的性能通常受到由于过度简化的运动模型而导致的流图估计的不准确性的危害,而基于核的方法的性能往往受到核形状的刚性的约束。为了解决这些性能限制的问题,提出了一种新的机制,称为广义可变形卷积,它可以有效地学习运动信息的数据驱动的方式和自由选择采样点在时空。在此基础上,提出了一种新的视频帧内插方法.我们广泛的实验表明,新方法的性能优于国家的最先进的,特别是在处理复杂的运动。
2021-03-18 cs.CV
Video Frame Interpolation without Temporal Priors
The University of Sydney(悉尼大学)
视频帧内插是计算机视觉的一个重要研究课题,其目的是合成视频序列中不存在的中间帧。现有的视频帧内插方法在特定的假设条件下,如瞬时或已知曝光时间,都取得了显著的效果。然而,在复杂的现实世界的情况下,视频的时间先验,即每秒帧数(FPS)和帧曝光时间,可能会因不同的相机传感器而异。当测试视频在与训练视频不同的曝光设置下拍摄时,插值帧将遭受严重的错位问题。在这项工作中,我们解决了一般情况下,输入帧可以在不确定的曝光(和间隔)时间下获取的视频帧插值问题。不同于以往的方法,只能适用于一个特定的时间先验,我们推导出一个通用的曲线运动轨迹公式,从四个连续的清晰帧或两个连续的模糊帧没有时间先验。此外,利用相邻运动轨迹内的约束,我们设计了一种新的光流细化策略,以获得更好的插值结果。最后,实验表明,一个经过良好训练的模型就足以在复杂的现实世界情况下合成高质量的慢动作视频。代码可在https://github.com/yjzhang96/UTI-VFI上获得。
2021-12-02 cs.CV
A Unified Pyramid Recurrent Network for Video Frame Interpolation
Samsung Electronics (China) R&D Center(三星电子(中国)研发中心);Samsung Electronics, South Korea(三星电子(韩国))
流引导合成为帧内插提供了通用框架,其中估计光流以引导连续输入之间的中间帧的合成。在本文中,我们提出了UPR-Net,一种新的统一金字塔递归网络的帧内插。在一个灵活的金字塔框架中,UPR-Net利用轻量级的递归模块进行双向流估计和中间帧合成。在每个金字塔级别,它利用估计的双向流来生成用于帧合成的前向扭曲表示;在金字塔级别上,它能够对光流和中间帧进行迭代细化。特别是,我们表明,我们的迭代合成策略可以显着提高帧插值的鲁棒性大运动的情况下。尽管非常轻量级(1.7M参数),我们的UPR-Net基础版本在大范围的基准测试中实现了出色的性能。我们的UPR-Net系列的代码和训练模型可在https://github.com/srcn-ivl/UPR-Net上获得。
2023-03-23 cs.CV
Revisiting Adaptive Convolutions for Video Frame Interpolation
Adobe Research(Adobe研究(Adobe Research))
视频帧内插,即实时合成新视图,是一个越来越受欢迎的研究方向,许多新的论文进一步推进了这一技术的发展。但是,由于每种新方法都有许多影响内插质量的变量,因此很难判断什么对这项任务真正重要。在这项工作中,我们发现,有点令人惊讶的是,它是可以实现接近国家的最先进的结果与旧的,更简单的方法,即自适应可分离卷积,通过一组微妙的低级别的改进。在此过程中,我们提出了一些直观但有效的技术来提高帧插值质量,这些技术也有可能用于自适应卷积的其他相关应用,如突发图像去噪,联合图像滤波或视频预测。
2020-11-02 cs.CV
FastRIFE: Optimization of Real-Time Intermediate Flow Estimation for Video Frame Interpolation
Warsaw University of Technology(华沙工业大学)
视频帧间插值问题是图像处理领域的一个重要课题。正确增加记录中的帧数,同时保持平滑移动,可以提高播放视频序列的质量,实现更有效的压缩并创建慢动作记录。本文提出了FastRIFE算法,该算法是对RIFE(实时的【形】中间流估计)模型的速度改进。新的方法进行了检查,并与其他最近发表的算法进行比较。所有源代码都可以在https://gitlab.com/malwinq/interpolation-of-images-for-slow-motion-videos上获得
2021-06-01 cs.CV
H-VFI: Hierarchical Frame Interpolation for Videos with Large Motions
Kuaishou Technology(快手科技);The Hong Kong University of Science and Technology(香港科技大学)
随着神经网络技术的迅速发展,近年来的视频帧内插(VFI)方法取得了显著的进步。然而,对于包含大运动的真实世界视频,它们仍然不足。大运动引起的复杂变形和/或遮挡使其成为视频帧内插中极其困难的问题。在本文中,我们提出了一个简单而有效的解决方案,H-VFI,以处理大的运动在视频帧内插。H-VFI提供了一个层次化的视频插值Transformer(HVIT),用于在多尺度下以由粗到精的策略学习可变形核。然后利用学习的可变形核对输入帧进行卷积,以预测内插帧。H-VFI算法从最小尺度开始,根据前一次预测核、中间插值结果和Transformer的层次特征,通过残差连续更新变形核。然后由Transformer块基于插值结果预测用于细化最终输出的偏置和掩码。这种渐进近似的优点在于,大运动帧插值问题可以被分解成几个相对简单的子任务,这使得能够非常准确地预测最终结果。我们的论文的另一个值得注意的贡献包括一个大规模的高质量数据集,YouTube 200 K,其中包含以高分辨率和高帧速率捕获的各种场景的视频。多帧插值基准上的大量实验验证了H-VFI优于现有的最先进的方法,特别是对于具有大运动的视频。
2022-11-21 cs.CV
A Temporally-Aware Interpolation Network for Video Frame Inpainting
University of Michigan(密歇根大学)
我们提出了视频帧修复的第一个深度学习解决方案,这是视频编辑,操作和取证中应用的一般视频修复问题的一个具有挑战性的实例。我们的任务比帧插值和视频预测更明确,因为我们可以访问时间上下文和未来的部分一瞥,使我们能够更好地客观评估模型预测的质量。我们设计了一个由两个模块组成的流水线:一个双向视频预测模块,和一个时间感知帧插值模块。预测模块使用共享的基于卷积LSTM的编码器-解码器对丢失帧进行两个中间预测,一个以先前帧为条件,另一个以后续帧为条件。插值模块混合中间预测以形成最终结果。具体来说,它利用时间信息和来自视频预测模块的隐藏激活来解决预测之间的不一致。我们的实验表明,我们的方法比最先进的视频预测方法和许多强大的帧修复基线产生更准确和质量上令人满意的结果。
2018-11-03 cs.CV
BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation
Korea University(高丽大学);Dongguk University(东国大学)
视频内插通过合成两个连续帧之间的中间帧来增加视频序列的时间分辨率。本文提出了一种基于深度学习的双向运动估计视频插值算法。首先,我们开发了双边运动网络的双边成本量,以准确地估计双边运动。然后,我们近似双向运动来预测不同类型的双边运动。然后,我们使用估计的双边运动来扭曲两个输入帧。接下来,我们开发了动态滤波器生成网络来生成动态混合滤波器。最后,我们使用动态混合滤波器组合变形帧以生成中间帧。实验结果表明,该算法优于国家的最先进的视频插值算法在几个基准数据集。
2020-07-17 cs.CV
PointINet: Point Cloud Frame Interpolation Network
Tongji University(同济大学);University of Science and Technology of China(中国科学技术大学)
LiDAR点云流在时间维度上通常是稀疏的,这受到硬件性能的限制。通常,机械LiDAR传感器的帧速率为10至20 Hz,远低于相机等其他常用传感器。为了克服LiDAR传感器的时间限制,本文研究了一种新的点云框架内插任务。给定两个连续的点云帧,点云帧插值旨在生成它们之间的中间帧。为了实现这一点,我们提出了一种新的框架,即点云帧插值网络(PointINet)。基于所提出的方法,低帧速率点云流可以被上采样到更高的帧速率。我们首先估计两个点云之间的双向3D场景流,然后基于3D场景流将它们扭曲到给定的时间步长。为了融合两个变形帧并生成中间点云,我们提出了一种新的基于学习的点融合模块,该模块同时考虑两个变形点云。我们设计了定量和定性实验来评估点云帧插值方法的性能,并在两个大规模户外LiDAR数据集上进行了广泛的实验,证明了所提出的PointINet的有效性。我们的代码可在https://github.com/ispc-lab/PointINet.git上获得。
2020-12-18 cs.CV
Quadratic video interpolation
Carnegie Mellon University(卡内基梅隆大学);SenseTime Research(商汤科技研究院);Beijing Normal University(北京师范大学);University of California, Merced(加州大学默塞德分校);Google(谷歌)
视频插值是计算机视觉中的一个重要问题,它有助于克服摄像机传感器的时间限制。现有的视频插值方法通常假设相邻帧之间的运动是均匀的,并且采用线性模型进行插值,不能很好地逼近真实世界中的复杂运动。为了解决这些问题,我们提出了一个二次视频插值方法,利用视频中的加速度信息。该方法允许曲线轨迹和变速预测,并生成更精确的插值结果。对于高质量的帧合成,我们开发了一个流反转层来估计从未知目标帧到源帧的流场。此外,我们提出的技术流细化。大量的实验表明,我们的方法表现良好,对现有的线性模型在各种各样的视频数据集。
2019-11-02 cs.CV
Implementing Adaptive Separable Convolution for Video Frame Interpolation
KTH Royal Institute of Technology(瑞典皇家理工学院)
随着深度神经网络越来越受欢迎,人们的注意力越来越多地集中在计算机视觉问题上,而这些问题过去是用更传统的方法解决的。视频帧内插是其中一个挑战,已经看到了涉及深度学习中各种技术的新研究。在本文中,我们复制了Niklaus等人关于自适应可分离卷积的工作,该工作声称视频帧插值任务具有高质量的结果。我们应用在较小数据集上训练的相同网络结构,并使用各种不同的损失函数进行实验,以确定数据稀缺情况下的最佳方法。最好的结果模型仍然能够提供视觉上令人愉悦的视频,尽管获得了较低的评估分数。
2018-09-20 cs.CV
Blurry Video Frame Interpolation
Shanghai Jiao Tong University(上海交通大学)
现有的工作通过两种不同的方式来减少运动模糊和上转换帧速率,包括帧去模糊和帧内插。然而,很少有研究探讨联合视频增强问题,即从低帧率模糊输入合成高帧率清晰结果。在本文中,我们提出了一种模糊的视频帧内插方法,以减少运动模糊和提高帧速率的同时。具体来说,我们开发了一个金字塔模块来循环合成清晰的中间帧。金字塔模块具有可调的空间感受野和时间范围,从而有助于可控的计算复杂性和恢复能力。此外,我们提出了一个金字塔间的递归模块来连接序列模型,以利用时间关系。金字塔模块集成了一个递归模块,因此可以迭代地合成时间平滑的结果,而不会显着增加模型的大小。大量的实验结果表明,我们的方法对国家的最先进的方法表现良好。
2020-02-27 cs.CV
Asymmetric Bilateral Motion Estimation for Video Frame Interpolation
Korea University(高丽大学);Dongguk University(东国大学)
提出了一种新的基于非对称双边运动估计(ABME)的视频帧内插算法。首先,我们预测对称的双边运动场插值锚帧。其次,我们估计从锚帧到输入帧的不对称双边运动场。第三,我们使用非对称场将输入帧向后扭曲并重建中间帧。最后,为了改进中间帧,我们开发了一个新的合成网络,该网络使用局部和全局信息生成一组动态滤波器和残差帧。实验结果表明,该算法在不同的数据集上均取得了良好的性能.源代码和预训练模型可在https://github.com/JunHeum/ABME上获得。
2021-08-15 cs.CV
Arbitrary Generative Video Interpolation
Nanjing University(南京大学);Tencent Hunyuan(腾讯混元);Shanghai AI Laboratory(上海人工智能实验室)
ArbInterp提出了一种可灵活调整时间戳和长度的视频帧插值框架,通过时间戳感知旋转位置嵌入和外观-运动解耦策略,实现更高效的生成与更流畅的时空过渡。
2026-03-03 cs.CV
Enhanced Bi-directional Motion Estimation for Video Frame Interpolation
Samsung Electronics (China) R&D Center(三星电子(中国)研发中心);Samsung Electronics, South Korea(韩国三星电子)
提出了一种简单有效的基于运动的视频帧内插算法。现有的基于运动的内插方法通常依赖于预先训练的光流模型或基于U-Net的金字塔网络来进行运动估计,其在处理复杂且大的运动情况时或者遭受大的模型尺寸或者受限的容量。在这项工作中,通过仔细整合intermediateoriented的前向翘曲,轻量级的特征编码器,相关体积到一个金字塔经常性的框架,我们推导出一个紧凑的模型,同时估计输入帧之间的双向运动。它的尺寸比PWC-Net小15倍,但能够更可靠和灵活地处理具有挑战性的运动情况。基于估计的双向运动,我们前向扭曲输入帧及其上下文特征到中间帧,并采用合成网络从扭曲表示估计中间帧。我们的方法在广泛的视频帧插值基准上实现了优异的性能。代码和训练模型可在\url{https://github.com/srcn-ivl/EBME}上获得。
2022-11-07 cs.CV
Softmax Splatting for Video Frame Interpolation
Portland State University(波特兰州立大学)
向后翘曲形式的可微分图像采样已经在像深度估计和光流预测的任务中得到广泛采用。相比之下,如何执行前向扭曲的关注较少,部分原因是额外的挑战,例如解决以可区分的方式将多个像素映射到同一目标位置的冲突。我们提出了softmax splatting来解决这种范式转变,并展示了其在帧插值应用中的有效性。具体来说,给定两个输入帧,我们使用softmax splatting基于光流估计向前扭曲帧及其特征金字塔表示。这样做,softmax splatting可以无缝地处理多个源像素映射到同一目标位置的情况。然后,我们使用一个合成网络来预测扭曲表示的插值结果。我们的softmax splatting不仅允许我们在任意时间内插帧,还可以微调特征金字塔和光流。我们表明,我们的合成方法,授权softmax飞溅,实现了新的国家的最先进的视频帧内插的结果。
2020-03-11 cs.CV
A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild
Zhejiang University(浙江大学);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);INSAIT
该研究提出一种带自适应去模糊的基于事件的帧插值统一双向循环网络,结合自监督提升真实场景泛化能力,构建了HighREV高分辨率真实数据集,在多任务上性能优于现有最优方法。
2025-05-20 cs.CV
Video Frame Interpolation Transformer
Shanghai Jiao Tong University(上海交通大学);McMaster Univeristy(麦克马斯特大学);University of California, Merced(加州大学默塞德分校);Yonsei University(延世大学);Google Research(谷歌研究院);Nanyang Technological University(南洋理工大学)
现有的视频插值方法严重依赖于深度卷积神经网络,因此受到其固有局限性的影响,例如内容不可知的内核权重和受限的感受野。为了解决这些问题,我们提出了一个基于transformer的视频插值框架,该框架允许内容感知聚合权重,并考虑了自注意操作的长程依赖关系。为了避免全局自注意的高计算成本,我们将局部注意的概念引入到视频插值中,并将其扩展到时空域。此外,我们提出了一个时空分离的策略,以节省内存的使用,这也提高了性能。此外,我们开发了一个多尺度的帧合成方案,以充分发挥Transformers的潜力。大量的实验表明,该模型在各种基准数据集上的定量和定性表现都优于最先进的方法。
2022-03-28 cs.CV
Video Frame Interpolation via Adaptive Separable Convolution
Portland State University(波特兰州立大学)
标准视频帧内插方法首先估计输入帧之间的光流,然后合成由运动引导的中间帧。最近的方法通过将输入帧与同时考虑运动和重新采样的空间自适应内核卷积来将这两个步骤合并到单个卷积过程中。这些方法需要大的内核来处理大的运动,由于大的存储器需求,这限制了可以一次估计其内核的像素的数量。为了解决这个问题,本文制定了帧内插作为本地可分离的卷积输入帧使用1D内核对。与常规的2D内核相比,1D内核需要估计的参数明显更少。我们的方法开发了一个深度全卷积神经网络,它采用两个输入帧,同时估计所有像素的1D内核对。由于我们的方法能够估计内核并一次合成整个视频帧,因此它允许将感知损失并入训练神经网络以产生视觉上令人愉悦的帧。这个深度神经网络是使用广泛可用的视频数据进行端到端训练的,没有任何人工注释。定性和定量的实验表明,我们的方法提供了一个实用的解决方案,高质量的视频帧内插。
2017-08-05 cs.CV
FC-VFI: Faithful and Consistent Video Frame Interpolation for High-FPS Slow Motion Video Generation
Zhejiang University Chinese University of Hong Kong(浙江大学香港中文大学)
FC-VFI通过引入时间建模策略和语义匹配线,实现了高帧率慢动作视频生成中的忠实且一致的帧插值。
2026-03-05 cs.CV
Dynamic Video Frame Interpolation with integrated Difficulty Pre-Assessment
Samsung Electronics (China) R&D Center(三星电子(中国)研发中心);Samsung Electronics(三星电子)
针对视频帧插值中精度与效率难以兼顾的问题,本文提出难度预评估与模型动态选择相结合的集成流水线,并构建大规模难度评估数据集,从而改善精度—效率权衡。
2023-04-25 cs.CV
PhaseNet for Video Frame Interpolation
ETH Zurich(苏黎世联邦理工学院);Disney Research(迪士尼研究院)
大多数视频帧插值方法需要精确的密集对应来合成中间帧。因此,它们在具有挑战性的场景中表现不佳,例如照明变化或运动模糊。最近的深度学习方法依赖于内核来表示运动,只能在一定程度上缓解这些问题。在这些情况下,使用基于每像素相位的运动表示的方法已经被证明工作良好。然而,它们仅适用于有限的运动量。我们提出了一种新的方法,PhaseNet,旨在鲁棒地处理具有挑战性的场景,同时也应对更大的运动。我们的方法包括一个神经网络解码器,直接估计的中间帧的相位分解。我们表明,这优于先前在基于相位的方法中使用的手工制作的算法,并且与最近基于深度学习的方法相比,在具有挑战性的数据集上进行视频帧插值。
2018-04-03 cs.CV
NNVISR: Bring Neural Network Video Interpolation and Super Resolution into Video Processing Framework
Wuhan University(武汉大学)
NNVISR 是一个面向 VapourSynth 的开源滤镜插件,通过统一接入任意帧组增强网络并自动处理网络无关细节,将神经网络去噪、超分辨率、插值和时空超分辨率能力引入视频处理流水线。
2023-08-06 cs.CV
MEMC-Net: Motion Estimation and Motion Compensation Driven Neural Network for Video Interpolation and Enhancement
Shanghai Jiao Tong University(上海交通大学);University of California, Merced(加州大学默塞德分校)
在过去的几十年中,运动估计(ME)和运动补偿(MC)已被广泛用于经典的视频帧内插系统。近年来,提出了许多基于卷积神经网络的数据驱动帧内插方法。然而,现有的基于学习的方法通常估计流量或补偿内核,从而限制了计算效率和插值精度的性能。在这项工作中,我们提出了一个运动估计和补偿驱动的神经网络的视频帧内插。提出了一种新的自适应扭曲层,用于集成光流和插值核来合成目标帧像素。这一层是完全可微的,使得流量和核估计网络都可以联合优化。所提出的模型受益于运动估计和补偿方法的优点,而不使用手工制作的功能。与现有的方法相比,我们的方法是计算效率高,能够产生更具视觉吸引力的结果。此外,所提出的MEMC-Net可以无缝地适应于几个视频增强任务,例如,超分辨率、去噪和去块。广泛的定量和定性评估表明,该方法表现良好,对国家的最先进的视频帧插值和增强算法在广泛的数据集。
2019-09-05 cs.CV
FineNet: Frame Interpolation and Enhancement for Face Video Deblurring
VinAI Research(VinAI研究院)
这项工作的目标是去模糊面部视频。我们提出了一种从两个方向解决这个问题的方法:(1)增强模糊帧,(2)将模糊帧视为缺失值并通过插值来估计它们。这些方法是相辅相成的,它们的组合优于单独的。我们还介绍了一个新的模块,利用结构的脸找到视频帧之间的位置偏移。该模块可以集成到两种方法的处理管道中,从而提高最终结果的质量。在三个真实和合成生成的模糊视频数据集上的实验表明,我们的方法在定量和定性结果方面都大大优于以前的最先进的方法。
2021-03-01 cs.CV
Deep CNN Frame Interpolation with Lessons Learned from Natural Language Processing
University of Southern California(南加州大学)
深度学习的一个主要发展领域是卷积神经网络的研究和实现。深度学习社区对图像识别中卷积神经网络(CNN)的鲁棒性的一般解释基于CNN能够提取局部特征的想法。然而,自然语言处理等领域的最新发展表明,这种范式可能是不正确的。在本文中,我们分析了该领域的现状有关CNN的,并提出了一个假设,提供了一个新的解释的鲁棒性的CNN模型。从那里,我们展示了我们的方法的有效性,提出了新的深度CNN帧插值架构,这是与最先进的插值模型的复杂性的一小部分。
2018-09-17 cs.CV
ATCA: an Arc Trajectory Based Model with Curvature Attention for Video Frame Interpolation
Shanghai Jiao Tong University(上海交通大学)
视频帧内插是一个经典的、具有挑战性的低层计算机视觉任务。最近,基于深度学习的方法已经取得了令人印象深刻的结果,并且已经证明基于光流的方法可以合成具有更高质量的帧。然而,大多数基于流的方法假设两个输入帧之间具有恒定速度的线轨迹。只有很少的工作可以强制执行曲线轨迹的预测,但这需要两个以上的帧作为输入来估计加速度,这需要更多的时间和内存来执行。为了解决这个问题,我们提出了一个弧轨迹为基础的模型(ATCA),学习运动之前,只有两个连续的帧,也是轻量级的。实验表明,该方法具有参数少、推理速度快的特点,优于许多SOTA方法。
2022-08-01 cs.CV
TTVFI: Learning Trajectory-Aware Transformer for Video Frame Interpolation
Xi’an Jiaotong University(西安交通大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Research(微软研究院)
视频帧内插(VFI)的目的是合成两个连续帧之间的中间帧。现有技术的方法通常采用两步解决方案,其包括1)通过基于流的运动估计生成局部变形像素,2)通过深度神经合成网络混合变形像素以形成全帧。然而,由于来自两个连续帧的不一致的扭曲,新帧的扭曲特征通常不对齐,这导致失真和模糊的帧,特别是当发生大的和复杂的运动时。为了解决这个问题,在本文中,我们提出了一种新的轨迹感知Transformer视频帧内插(TTVFI)。特别是,我们制定了不一致的运动作为查询令牌的翘曲功能,并制定相关区域的运动轨迹从两个原始连续帧到键和值。自我注意力是沿着轨迹在相关标记上学习的,以通过端到端训练将原始特征混合到中间帧中。实验结果表明,我们的方法优于其他国家的最先进的方法在四个广泛使用的VFI基准。代码和预训练模型都将很快发布。
2022-07-19 cs.CV
Scene-Adaptive Video Frame Interpolation via Meta-Learning
Seoul National University(首尔大学);Hanyang University(汉阳大学)
视频帧内插是一个具有挑战性的问题,因为根据前景和背景运动、帧速率和遮挡的变化,每个视频都有不同的场景。因此,具有固定参数的单个网络很难在不同的视频中推广。理想情况下,每个场景都可以有不同的网络,但这对于实际应用来说在计算上是不可行的。在这项工作中,我们建议通过使用在测试时随时可用的额外信息来使模型适应每个视频,但在以前的作品中尚未被利用。我们首先通过对网络进行简单的微调来展示"测试时自适应"的好处,然后通过结合元学习来大大提高其效率。我们获得显着的性能增益,只有一个单一的梯度更新,没有任何额外的参数。最后,我们证明了我们的元学习框架可以很容易地应用于任何视频帧插值网络,并且可以在多个基准数据集上持续提高其性能。
2020-04-02 cs.CV