Long-Term Video Interpolation with Bidirectional Predictive Network
Peking University（北京大学）
本文考虑了具有挑战性的任务，长期的视频插值。与大多数现有的方法，只产生几个现有的相邻帧之间的中间帧，我们试图推测或想象的过程中的情节，并进一步产生多个帧之间的两个非连续的帧在视频。在本文中，我们提出了一种称为双向预测网络（BiPN）的新型深度架构，它可以从两个相反的方向预测中间帧。双向架构允许模型随着时间学习场景变换，并生成更长的视频序列。此外，我们的模型可以扩展到预测多种可能的程序，通过采样不同的噪声向量。设计了由图像和特征空间中的线索以及对抗性损失组成的联合损失来训练模型。我们在两个基准上展示了BiPN的优势，移动2D和UCF 101，并报告了最近方法的竞争结果。
2017-06-13 cs.CV
BELM: Bidirectional Explicit Linear Multi-step Sampler for Exact Inversion in Diffusion Models
Zhejiang University（浙江大学）；Tsinghua University（清华大学）；WeChat, Tencent Inc.（腾讯公司微信业务）
本文提出双向显式线性多步（BELM）采样器框架，通过整合双向显式约束实现扩散模型的数学精确反演，并基于局部截断误差最小化提出O-BELM采样器，在保证精确反演的同时实现高质量采样。
2024-10-09 cs.CV cs.LG
Beyond a Video Frame Interpolator: A Space Decoupled Learning Approach to Continuous Image Transition
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；The Hong Kong Polytechnic University（香港理工大学）
视频帧内插（VFI）的目的是提高视频序列的时间分辨率。大多数现有的基于深度学习的VFI方法采用现成的光流算法来估计双向流并相应地内插丢失的帧。虽然已经取得了巨大的成功，这些方法需要大量的人类经验来调整双向流，并且当估计的流不准确时，经常产生令人不快的结果。在这项工作中，我们重新思考的VFI问题，并制定它作为一个连续的图像过渡（CIT）的任务，其关键问题是过渡的图像从一个空间到另一个空间连续。更具体地说，我们学习隐式地将图像解耦为可平移的流空间和不可平移的特征空间。前者描述了给定图像之间的可翻译状态，而后者旨在重建不能直接翻译的中间特征。通过这种方式，我们可以容易地在流空间中进行图像插值，并在特征空间中进行中间图像合成，从而获得CIT模型。所提出的空间解耦学习（SDL）的方法是简单的实现，而它提供了一个有效的框架，以各种CIT的问题超出VFI，如风格转移和图像变形。我们在各种CIT任务上的大量实验证明了SDL相对于现有方法的优越性。源代码和模型可以在\url{https://github.com/yangxy/SDL}上找到。
2022-03-18 cs.CV
BiM-VFI: Bidirectional Motion Field-Guided Frame Interpolation for Video with Non-uniform Motions
KAIST（韩国科学技术院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Chung-Ang University（中央大学）
针对非均匀运动视频导致现有VFI模型插值帧模糊的问题，提出BiM-VFI模型，通过双向运动场、BiMFN网络及KDVCF蒸馏策略提升光流估计精度，在LPIPS和STLPIPS指标上较SOTA分别提升26%和45%。
2025-03-24 cs.CV
Event-Based Video Frame Interpolation With Cross-Modal Asymmetric Bidirectional Motion Fields
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对现有基于事件的视频帧插值方法难以应对复杂运动的问题，本文提出EIF-BiOFNet框架，通过跨模态非对称双向运动场估计及交互式注意力帧合成网络提升性能，并构建大规模数据集ERF-X170FPS，实验表明其优于现有方法。
2025-02-19 cs.CV
Temporally-Aware Diffusion Model for Brain Progression Modelling with Bidirectional Temporal Regularisation
University of Catania（卡塔尼亚大学）；University of Nottingham（诺丁汉大学）；University of Messina（梅萨尼亚大学）
针对现有脑进展预测方法存在的时间关联捕捉不足、缺乏临床实用性、忽略3D解剖上下文等问题，提出带双向时间正则化的3D时间感知扩散模型TADM-3D，结合预训练脑龄估计器提升预测准确性，在OASIS-3和NACC数据集上验证了性能。
2025-09-03 cs.CV cs.LG
Bi-Anchor Interpolation Solver for Accelerating Generative Modeling
The Hong Kong University of Science（香港科学与技术大学）
提出BA-solver，通过轻量SideNet（1-2%主干大小）学习双向时间感知和双锚点速度积分，在不重新训练主干的情况下，以极低训练成本实现10步内达到100+步Euler求解器质量，支持即插即用。
2026-06-19 cs.AI cs.CV
Generalizable Implicit Motion Modeling for Video Frame Interpolation
Nanyang Technological University（南洋理工大学）；S-Lab
针对现有视频帧插值运动建模缺乏有效时空动态建模能力的问题，提出可泛化隐式运动建模方法，通过运动编码流水线和自适应坐标神经网络实现精确运动建模，在标准基准上优于现有技术。
2025-02-10 cs.CV
TVG: A Training-free Transition Video Generation Method with Diffusion Models
Sobey Media Intelligence Laboratory（索贝媒体智能实验室）
提出无训练的TVG方法，利用高斯过程回归、插值条件控制与FBiF架构，基于视频级扩散模型生成高质量平滑过渡视频。
2024-08-24 cs.CV
Frame Interpolation for Dynamic Scenes with Implicit Flow Encoding
Texas A&M University（德州农工大学）
在本文中，我们提出了一种算法，插值之间的一对图像的动态场景。虽然在过去的几年中，帧内插已经取得了重大进展，但当前的方法不能处理具有亮度和照明变化的图像，即使当图像被短暂地分开捕获时，亮度和照明变化也是常见的。我们建议解决这个问题，利用现有的光流的方法，是高度鲁棒的照明的变化。具体来说，使用使用现有的预训练流网络估计的双向流，我们预测从中间帧到两个输入图像的流。为此，我们建议将双向流编码到一个基于坐标的网络中，由超网络提供动力，以获得跨时间的流的连续表示。一旦我们获得了估计的流，我们就在现有的混合网络中使用它们来获得最终的中间帧。通过大量的实验，我们证明，我们的方法是能够产生显着更好的结果比国家的最先进的帧插值算法。
2022-11-16 cs.CV cs.LG
Context-aware Synthesis for Video Frame Interpolation
Portland State University（波特兰州立大学）
视频帧内插算法通常估计光流或其变化，然后使用它来指导两个连续原始帧之间的中间帧的合成。为了应对遮挡等挑战，通常会估计两个输入帧之间的双向流，并将其用于扭曲和混合输入帧。然而，如何有效地融合两个扭曲的帧仍然是一个具有挑战性的问题。本文提出了一种上下文感知的合成方法，不仅扭曲的输入帧，但他们的像素的上下文信息，并用它们来插入一个高质量的中间帧。具体来说，我们首先使用一个预先训练好的神经网络来提取输入帧的每像素上下文信息。然后，我们采用一个国家的最先进的光流算法来估计它们之间的双向流动和预扭曲输入帧和它们的上下文映射。最后，与混合预变形帧的常见方法不同，我们的方法将它们及其上下文映射馈送到视频帧合成神经网络，以上下文感知的方式生成插值帧。我们的神经网络是完全卷积的，并且是端到端训练的。我们的实验表明，我们的方法可以处理具有挑战性的场景，如遮挡和大运动，并优于代表性的最先进的方法。
2018-03-29 cs.CV
I2V3D: Controllable image-to-video generation with 3D guidance
City University of Hong Kong（香港城市大学）；Microsoft GenAI（微软生成式人工智能部门）
提出I2V3D框架，结合3D几何引导与生成模型，通过关键帧生成和免训练双向视频插值，实现单图到可控高质量视频的生成。
2025-03-12 cs.CV
UniRED: Unified RGB-D Video Frame Interpolation with Event Guidance
School of Software, Shandong University（山东大学软件学院）
提出统一多模态框架UniRED，融合RGB外观、深度几何和事件时间线索，通过双向流估计与运动基细化实现高质量RGB-D视频帧插值，并构建RGB-D-Event数据集缓解数据稀缺。
2026-06-24 cs.CV
XVFI: eXtreme Video Frame Interpolation
Korea Advanced Institute of Science and Technology（韩国科学技术院）
在本文中，我们首先向视频帧插值（VFI）研究社区提供了一个具有极端运动的1000 fps 4K视频数据集（X4 K1000 FPS），并提出了一个称为XVFI-Net的极端VFI网络，该网络首先处理具有大运动的4K视频的VFI。XVFI-Net基于递归多尺度共享结构，该结构由两个级联模块组成，用于两个输入帧之间的双向光流学习（BiOF-I）和用于从目标到输入帧的双向光流学习（BiOF-T）。利用BiOF-T模块中提出的互补流反转（CFR）方法稳定地近似了光流。在推理过程中，BiOF-I模块可以在任何输入规模下启动，而BiOF-T模块仅在原始输入规模下运行，因此可以加速推理，同时保持高度准确的VFI性能。大量的实验结果表明，我们的XVFI-Net可以成功地捕获具有极大运动和复杂纹理的对象的基本信息，而最先进的方法表现出较差的性能。此外，我们的XVFI-Net框架还对以前的低分辨率基准数据集进行了测试，这也表明了我们算法的鲁棒性。所有源代码、预训练模型和拟议的X4 K1000 FPS数据集均可在https://github.com/JihyongOh/XVFI上公开获取。
2021-08-05 cs.CV
Many-to-many Splatting for Efficient Video Frame Interpolation
Boston University（波士顿大学）；Adobe Research（奥多比研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
基于运动的视频帧内插通常依赖于光流来将像素从输入扭曲到期望的内插时刻。然而，由于运动估计的固有挑战（例如，遮挡和不连续性），大多数最先进的内插方法需要对扭曲结果进行后续细化以生成令人满意的输出，这大大降低了多帧内插的效率。在这项工作中，我们提出了一个完全可微的多对多（M2M）飞溅框架，有效地内插帧。具体来说，给定一个帧对，我们估计多个双向流，以直接将像素向前扭曲到所需的时间步长，然后融合任何重叠的像素。在这样做时，每个源像素渲染多个目标像素，并且每个目标像素可以从更大的视觉上下文区域合成。这建立了一个多对多的飞溅计划与鲁棒性的文物，如洞。此外，对于每个输入帧对，M2M仅执行一次运动估计，并且在对任意数量的中间帧进行插值时具有极小的计算开销，因此实现了快速多帧插值。我们进行了大量的实验来分析M2M，发现它在保持高效率的同时显著提高了效率。
2022-04-07 cs.AI cs.CV cs.MM
Video Frame Interpolation with Many-to-many Splatting and Spatial Selective Refinement
University of Electronic Science and Technology of China（电子科技大学）；Boston University（波士顿大学）；Adobe（Adobe公司）；Dalian University of Technology（大连理工大学）；Meta
本文提出多对多泼溅框架M2M及其扩展M2M++，通过多双向光流映射和空间选择性细化困难区域，在保证插值质量的同时显著提升多帧插值效率。
2023-10-29 cs.CV cs.MM
InfiniMotion: Mamba Boosts Memory in Transformer for Arbitrary Long Motion Generation
Monash University（莫纳什大学）；The Australian National University（澳大利亚国立大学）；The University of Adelaide（阿德莱德大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Peking University（北京大学）
针对现有文本到运动方法难以高效生成一致长序列的问题，提出InfiniMotion，通过带双向Mamba记忆的运动记忆Transformer在自回归框架下实现任意长运动生成，性能大幅提升。
2024-07-14 cs.CV
Hierarchical Masked 3D Diffusion Model for Video Outpainting
Alibaba Group（阿里巴巴集团）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种掩码3D扩散模型用于视频外扩，通过掩码建模、全局帧提示和混合由粗到细推理流程，提升时间一致性并缓解伪影累积，取得最先进结果。
2024-01-19 cs.CV
FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation
UCSD（加州大学圣地亚哥分校）；CMU（卡内基梅隆大学）；Facebook AI（脸书人工智能研究院）
用于视频帧内插的大多数方法计算视频的相邻帧之间的双向光流，随后是合适的扭曲算法以生成输出帧。然而，依赖于光流的方法通常无法直接从视频对遮挡和复杂的非线性运动进行建模，并且引入了不适合于广泛部署的附加瓶颈。我们通过FLAVR解决了这些限制，FLAVR是一种灵活高效的架构，使用3D空时卷积来实现视频帧插值的端到端学习和推理。我们的方法有效地学习推理非线性运动，复杂的遮挡和时间抽象，从而提高视频插值的性能，同时不需要以光流或深度图的形式进行额外的输入。由于其简单性，FLAVR可以提供比当前最精确的多帧插值方法快3倍的推理速度，而不会损失插值精度。此外，我们在各种具有挑战性的设置上评估了FLAVR，并在各种流行的基准测试（包括Vimeo-90 K，UCF 101，DAVIS，Adobe和GoPro）上与之前的方法相比，始终展示出卓越的定性和定量结果。最后，我们证明了FLAVR视频帧内插可以作为一个有用的自我监督的借口任务，动作识别，光流估计，和运动放大。
2022-02-24 cs.CV
Enhanced Bi-directional Motion Estimation for Video Frame Interpolation
Samsung Electronics (China) R&D Center（三星电子（中国）研发中心）；Samsung Electronics, South Korea（韩国三星电子）
提出了一种简单有效的基于运动的视频帧内插算法。现有的基于运动的内插方法通常依赖于预先训练的光流模型或基于U-Net的金字塔网络来进行运动估计，其在处理复杂且大的运动情况时或者遭受大的模型尺寸或者受限的容量。在这项工作中，通过仔细整合intermediateoriented的前向翘曲，轻量级的特征编码器，相关体积到一个金字塔经常性的框架，我们推导出一个紧凑的模型，同时估计输入帧之间的双向运动。它的尺寸比PWC-Net小15倍，但能够更可靠和灵活地处理具有挑战性的运动情况。基于估计的双向运动，我们前向扭曲输入帧及其上下文特征到中间帧，并采用合成网络从扭曲表示估计中间帧。我们的方法在广泛的视频帧插值基准上实现了优异的性能。代码和训练模型可在\url{https://github.com/srcn-ivl/EBME}上获得。
2022-11-07 cs.CV
AMT: All-Pairs Multi-Field Transforms for Efficient Frame Interpolation
Nankai University（南开大学）
本文提出视频帧插值架构 AMT，通过全像素对双向相关体和多组细粒度反向变形光流场提升大运动与遮挡建模能力，在多个基准上以高效率达到最先进性能。
2023-04-19 cs.CV
EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation
Northwestern Polytechnical University（西北工业大学）
视频帧内插可以上变频帧速率并提高视频质量。近年来，虽然插值性能已经取得了很大的成功，但由于大的运动，图像模糊通常发生在物体边界处。这是一个长期存在的问题，尚未得到解决。在本文中，我们提出了减少图像模糊，并得到清晰的形状的对象，通过保持边缘的插值帧。为此，提出的边缘感知网络（EA-Net）集成的边缘信息到帧内插任务。它遵循端到端的架构，可以分为两个阶段，\emph{i.e.}，边缘引导的流量估计和边缘保护的帧合成。具体而言，在流估计阶段，提出了三种边缘感知机制，在估计流图时强调帧边缘，从而将边缘图作为辅助信息，为提高流估计精度提供更多的指导。在帧合成阶段，设计了流细化模块对流图进行细化，设计了注意力模块，在合成中间帧时自适应地关注双向流图。此外，采用帧和边缘鉴别器进行对抗性训练策略，以增强合成帧的真实感和清晰度。在Vimeo 90 k、UCF 101单帧内插和EA 240-fps多帧内插三个基准测试上的实验表明，EA-Net在视频帧内插方面具有优越性。
2021-05-17 cs.CV
JNMR: Joint Non-linear Motion Regression for Video Frame Interpolation
Beijing Jiaotong University（北京交通大学）；University of Science and Technology Beijing（北京科技大学）
本文提出JNMR策略，通过多阶段二次模型时间拼接回归目标帧与参考帧间的复杂运动轨迹，并利用ConvLSTM构建时间联合分布，结合特征学习网络与由粗到精合成增强模块，显著提升了视频帧插值性能。
2023-09-10 cs.CV
SelfDRSC++: Self-Supervised Dual Reversed Rolling Shutter Correction via Video Interpolation
Singapore Management University（新加坡管理大学）；Tianjin University（天津大学）；Harbin Institute of Technology（哈尔滨工业大学）；Southeast University（东南大学）
本研究针对卷帘快门动态畸变问题，提出自监督框架SelfDRSC++，通过轻量网络与物理约束循环策略实现单阶段训练，在合成及真实数据上取得良好校正效果，生成高时间一致性的全局快门序列。
2026-08-14 cs.CV
A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild
Zhejiang University（浙江大学）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；INSAIT
该研究提出一种带自适应去模糊的基于事件的帧插值统一双向循环网络，结合自监督提升真实场景泛化能力，构建了HighREV高分辨率真实数据集，在多任务上性能优于现有最优方法。
2025-05-20 cs.CV
Phase-Aligned Finite-Fourier Periodic Deformation for 4D Medical Image Interpolation
Southern University of Science and Technology（南方科技大学）；Shenzhen University of Advanced Technology（深圳理工大学）；Shenzhen University Medical School（深圳大学医学院）；Shenzhen University（深圳大学）；Beihang University（北京航空航天大学）
该研究针对4D医学图像插值中周期结构编码不足、运动非均匀的问题，提出相位对齐有限傅里叶周期变形方法，在ACDC和4D-Lung数据集上实现了优于现有基线的性能。
2026-08-26 cs.CV
Conditional Generative Modeling for Images, 3D Animations, and Video
Université de Montréal（蒙特利尔大学）
本文提出多种条件生成模型新架构与方法，包括基于Neural ODEs的视频预测、连续归一化流的图像超分辨率、3D角色姿态对齐编辑及非各向高斯去噪扩散视频框架，在多数据集上取得SOTA结果。
2023-10-19 cs.AI cs.CV cs.LG
VTinker: Guided Flow Upsampling and Texture Mapping for High-Resolution Video Frame Interpolation
VTinker通过引导流上采样和纹理映射技术，提升高分辨率视频帧插值的精度与质量。
2025-11-20 cs.CV
Non-linear Motion Estimation for Video Frame Interpolation using Space-time Convolutions
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
视频帧内插的目的是在视频中的两个连续帧之间合成一个或多个帧。它具有广泛的应用，包括慢动作视频生成，帧速率提升和开发视频编解码器。一些较早的作品通过假设视频帧之间的每像素线性运动来解决这个问题。然而，对象通常在实域中遵循非线性运动模式，并且一些最近的方法试图通过非线性模型（例如，二次的）。二次模型也可能是不准确的，特别是在运动随时间的不连续性（即突然的急拉）和遮挡的情况下，其中一些流动信息可能是无效的或不准确的。在我们的论文中，我们提出了近似的每像素的运动，使用时空卷积网络，能够自适应地选择要使用的运动模型。具体来说，我们能够在线性和二次模型之间进行软切换。为此，我们在双向光流和遮挡图上使用端到端3D CNN编码器-解码器架构来估计每个像素的非线性运动模型。此外，采用运动细化模块来细化非线性运动，并且通过利用所估计的每像素运动对相邻帧进行简单扭曲来估计内插帧。通过一组综合实验，我们验证了我们的模型的有效性，并表明我们的方法优于最先进的算法在四个数据集（Vimeo，DAVIS，HD和GoPro）。
2022-04-13 cs.AI cs.CV
STDAN: Deformable Attention Network for Space-Time Video Super-Resolution
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Meta Reality Labs（Meta现实实验室）
本文提出用于时空视频超分辨率的可变形注意力网络STDAN，通过长短时特征插值模块和时空可变形特征聚合模块，充分利用连续帧信息流与时空上下文，在多个数据集上优于现有方法。
2022-07-15 cs.CV
Self-supervised Light Field View Synthesis Using Cycle Consistency
Trinity College Dublin（都柏林圣三一学院）
高的角分辨率对于光场的实际应用是有利的。为了提高光场的角分辨率，可以利用视图合成方法从稀疏光场输入生成密集中间视图。大多数成功的视图合成方法都是基于学习的方法，需要大量的训练数据和地面真值。然而，与自然图像或视频相比，为光场收集如此大的数据集是具有挑战性的。为了解决这个问题，我们提出了一个具有周期一致性的自监督光场视图合成框架。所提出的方法旨在将从高质量自然视频数据集中学习到的先验知识转移到光场视图合成任务中，从而减少了对标记光场数据的需求。使用循环一致性约束来建立双向映射，强制生成的视图与输入视图一致。从这一关键概念出发，使用两个损失函数（循环损失和重建损失）对最先进的视频插值方法的预训练模型进行微调。在各种数据集上对所提出的方法进行了评估，以验证其鲁棒性，结果表明，与监督微调相比，它不仅具有竞争力的性能，而且优于最先进的光场视图合成方法，特别是在生成多个中间视图时。此外，我们的通用光场视图合成框架可以适用于任何预先训练的模型，用于高级视频插值。
2020-08-12 cs.CV eess.IV
Unsupervised Multimodal Video-to-Video Translation via Self-Supervised Learning
New York University（纽约大学）；ETH Zürich（苏黎世联邦理工学院）
现有的无监督视频到视频翻译方法不能产生帧级真实感、语义信息保持和视频级一致的翻译视频。在这项工作中，我们提出了UVIT，一种新的无监督视频到视频翻译模型。我们的模型分解的风格和内容，使用专门的编码器-解码器结构，并通过双向递归神经网络（RNN）单元传播帧间信息。风格-内容分解机制使我们能够获得风格一致的视频翻译结果，并为模态灵活的翻译提供了一个良好的接口。此外，通过改变我们的翻译中包含的输入帧和样式代码，我们提出了一个视频插值损失，它捕获序列中的时间信息，以自我监督的方式训练我们的构建块。我们的模型可以以多模式的方式产生照片般逼真，时空一致的翻译视频。主观和客观的实验结果验证了我们的模型优于现有的方法。更多详情请访问我们的项目网站：https://uvit.netlify.com
2020-04-14 cs.CV cs.LG eess.IV
PUMPS: Skeleton-Agnostic Point-based Universal Motion Pre-Training for Synthesis in Human Motion Tasks
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；The University of Tokyo（东京大学）；School of Science, Edith Cowan University（埃迪斯·科温大学科学学院）；Meta Reality Labs（Meta现实实验室）；Hong Kong Polytechnic University（香港理工大学）
本文提出PUMPS，一种面向时间点云的自动编码器与通用运动预训练框架，通过可采样潜在特征和线性分配点配对支持多种运动合成、去噪与估计任务。
2025-07-27 cs.CV
