Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation
University of Washington(华盛顿大学);Google DeepMind(谷歌DeepMind);UC Berkeley(加州大学伯克利分校)
该研究提出生成式帧间补全方法,通过轻量级微调将预训练图像转视频扩散模型适配为可预测反向视频的版本,结合原模型进行双向扩散采样,在关键帧间生成连贯视频,实验证明其性能优于现有扩散类及传统帧插值技术。
2025-02-12 cs.CV
SOYO: A Tuning-Free Approach for Video Style Morphing via Style-Adaptive Interpolation in Diffusion Models
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学)
SOYO提出一种免调优的扩散模型视频风格渐变框架,通过注意力注入、AdaIN及自适应采样调度器解决多风格过渡中的结构不连续与风格突变问题,实现平滑稳定的视频风格渐变。
2025-03-10 cs.CV
Arbitrary Generative Video Interpolation
Nanjing University(南京大学);Tencent Hunyuan(腾讯混元);Shanghai AI Laboratory(上海人工智能实验室)
ArbInterp提出了一种可灵活调整时间戳和长度的视频帧插值框架,通过时间戳感知旋转位置嵌入和外观-运动解耦策略,实现更高效的生成与更流畅的时空过渡。
2026-03-03 cs.CV
SNM-VFI: Symmetric Nonlinear Motion-Guided Generative Video Frame Interpolation
Qualcomm(高通公司)
提出无需训练的SNM-VFI框架,结合预训练光流与视频扩散模型,用对称非线性运动模型引导生成过程,经多基准评估实现了优质视频帧插值效果。
2026-08-14 cs.CV
Efficient Feature Extraction for High-resolution Video Frame Interpolation
TU Darmstadt(达姆施塔特工业大学)
大多数用于视频帧插值的深度学习方法包括三个主要部分:特征提取、运动估计和图像合成。现有的方法主要是在如何设计这些模块方面的区别。然而,当内插高分辨率图像时,例如在4K下,在合理的存储器要求内实现高精度的设计选择是有限的。特征提取层有助于压缩输入并为后面的阶段提取相关信息,例如运动估计。然而,这些层在参数、计算时间和存储器方面通常是昂贵的。我们展示了如何结合轻量级优化的降维思想可以用来压缩输入表示,同时保持提取的信息适合帧内插。此外,我们既不需要预先训练的流网络,也不需要合成网络,另外减少了可训练参数的数量和所需的内存。在三个4K基准测试中进行评估时,我们在没有预训练流的情况下实现了最先进的图像质量,同时具有最低的网络复杂度和整体内存需求。
2022-11-25 cs.CV
Bridging Event Streams and DiT: Event-Guided Video Frame Interpolation
The University of Tokyo(东京大学);South China University of Technology(华南理工大学);Wuhan University(武汉大学);Singapore Management University(新加坡管理大学)
本文提出基于适配器的框架,将事件衍生提示融入预训练图像转视频扩散模型,利用IWEs与双向稀疏光流引导生成,提升视频帧插值质量,效果优于现有SOTA方法。
2026-08-13 cs.CV
TLB-VFI: Temporal-Aware Latent Brownian Bridge Diffusion for Video Frame Interpolation
Center for Research in Computer Vision, University of Central Florida(计算机视觉研究中心,中央佛罗里达大学)
本文提出TLB-VFI,一种高效的时间感知潜在布朗桥扩散视频帧插值模型,通过3D小波门控与时间感知自编码器提取时间信息,结合光流引导,在显著降低参数量、训练数据和推理时间的同时提升插值性能。
2025-07-07 cs.CV
Hierarchical Flow Diffusion for Efficient Frame Interpolation
Insta360 Research(影石创新研究院);MagicLeap(魔力跳跃公司)
针对基于扩散的视频帧插值方法在精度和效率上的不足,提出通过分层扩散模型显式建模双向光流以缩小搜索空间,并结合流引导图像合成器端到端训练,实现了最优精度且速度提升10倍以上。
2025-04-01 cs.CV
Render In-between: Motion Guided Video Synthesis for Action Interpolation
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
对人类活动的视频进行上采样是一项有趣但具有挑战性的任务,具有从游戏到娱乐和体育广播的许多潜在应用。在这种情况下合成视频帧的主要困难源于人体运动的高度复杂性和非线性性质以及身体的复杂外观和纹理。我们建议解决这些问题的运动指导帧上采样框架,能够产生逼真的人体运动和外观。利用大规模运动捕捉数据集(AMASS)训练一种新的运动模型来推断帧间的非线性骨骼运动。高帧速率姿态预测然后由神经渲染流水线使用以产生全帧输出,同时考虑姿态和背景一致性。我们的管道只需要低帧率视频和未配对的人体运动数据,但不需要高帧率视频进行训练。此外,我们还为此任务贡献了第一个评估数据集,该数据集由高质量和高帧率的人类活动视频组成。与最先进的视频插值技术相比,我们的方法产生了更好的质量和准确性,这是显而易见的像素级,分布度量和比较用户评价的最先进的结果之间的帧。我们的代码和收集的数据集可以在https://git.io/Render-In-Between上找到。
2021-11-01 cs.CV
Image Interpolation with Score-based Riemannian Metrics of Diffusion Models
Hokkaido University(北海道大学)
本文提出将预训练扩散模型的数据空间视为黎曼流形,利用得分函数导出度量,实验表明该方法生成的图像插值比现有方法更真实、噪声更少且更忠实于提示。
2025-04-28 cs.CV
EDEN: Enhanced Diffusion for High-quality Large-motion Video Frame Interpolation
Shanghai Key Lab of Intell. Info. Processing, School of CS, Fudan University(上海智能信息处理关键实验室,复旦大学计算机学院);Shanghai Collaborative Innovation Center of Intelligent Visual Computing(上海智能视觉计算协同创新中心);Noah’s Ark Lab, Huawei(华为诺亚实验室)
针对大运动视频帧插值中帧模糊和时间不一致问题,本文提出 EDEN,通过 transformer tokenizer、时间注意力和起止帧差异嵌入增强扩散生成,并在多个基准上取得最优性能。
2025-05-10 cs.CV
FastBlend: a Powerful Model-Free Toolkit Making Video Stylization Easier
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团)
FastBlend是一个无模型工具包,通过补丁匹配的混合与插值模式解决视频风格化中的一致性问题,无需修改扩散模型,实验证明其在去闪烁和视频合成上优于现有方法。
2023-11-15 cs.CV
TANGO: Co-Speech Gesture Video Reenactment with Hierarchical Audio Motion Embedding and Diffusion Interpolation
The University of Tokyo(东京大学);CyberAgent(CyberAgent公司);CyberAgent AI Lab(CyberAgent人工智能实验室)
针对手势视频重演中音频-运动不对齐、转换帧有伪影的问题,提出TANGO框架,通过AuMoCLIP分层嵌入提升跨模态对齐,用ACInterp扩散模型生成高质量转换帧,效果优于现有方法。
2024-10-05 cs.CV
LADDER: An Efficient Framework for Video Frame Interpolation
Advanced Micro Devices(超威半导体公司)
针对视频帧插帧中效率与质量的平衡问题,提出LADDER框架,采用大核深度可分离卷积光流估计器、仅解码器细化模块及高清感知增强策略,以更少的计算量和参数量实现了SOTA性能。
2024-04-17 cs.CV
Font Style Interpolation with Diffusion Models
Kyushu University(九州大学)
本文提出三种基于扩散模型的字体风格插值方法,通过混合参考字体生成新风格,并验证其有效性与偶然性生成能力。
2024-02-22 cs.CV
Edit2Interp: Adapting Image Foundation Models from Spatial Editing to Video Frame Interpolation with Few-Shot Learning
Codeway AI Research Dept. of Electrical \& Electronics Engineering, Ko c University, \. I stanbul, T\" u rkiye
本文通过少量样本学习,将图像编辑模型适应于视频帧插值,揭示了静态场景中物体变换的理解可激活潜在的时间推理能力。
2026-03-16 cs.CV
Frame Interpolation with Multi-Scale Deep Loss Functions and Generative Adversarial Networks
Twitter(推特)
帧内插尝试在给定一个或多个连续视频帧的情况下合成帧。近年来,深度学习方法,特别是卷积神经网络,已经成功地解决了包括帧内插在内的低级和高级计算机视觉问题。这些技术通常解决两个问题,即算法效率和重建质量。在本文中,我们提出了一个多尺度生成对抗网络帧插值(\mbox{FIGAN})。为了最大限度地提高我们的网络的效率,我们提出了一种新的多尺度残差估计模块,其中预测流和合成帧以粗到细的方式构建。为了提高合成的中间视频帧的质量,我们的网络在不同的级别上与感知损失函数联合监督,感知损失函数由对抗性损失和两个内容损失组成。我们评估所提出的方法,使用60 fps的视频从YouTube-8 m的集合。我们的研究结果提高了最先进的准确性,并提供了主观视觉质量相媲美的最佳性能插值方法在x47更快的运行时间。
2019-02-26 cs.CV
Motion-aware Latent Diffusion Models for Video Frame Interpolation
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);Peking University(北京大学);China Southern Power Grid(中国南方电网);Xiamen University(厦门大学)
本文提出运动感知潜在扩散模型MADiff,通过引入相邻帧运动先验逐步细化插值结果,在视频帧插值任务中取得最先进性能,尤其擅长处理复杂动态纹理场景。
2024-08-02 cs.CV
ZeroSmooth: Training-free Diffuser Adaptation for High Frame Rate Video Generation
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tencent AI Lab(腾讯AI实验室)
本文提出一种即插即用的免训练视频插值方法ZeroSmooth,通过研究特征空间非线性并引入自级联架构与隐藏状态校正模块,将现有视频扩散模型转化为高帧率生成模型,保持时间一致性且性能媲美需大量资源训练的模型。
2024-06-03 cs.CV
From Synchrony to Sequence: Exo-to-Ego Generation via Interpolation
1 INSAIT, Sofia University “St. Kliment Ohridski”
本文提出Syn2Seq-Forcing方法,通过插值生成连续信号解决外视角到视角视频生成中的时空和几何断点问题,提升扩散模型在跨视角视频合成中的性能。
2026-07-02 cs.CV
AceVFI: A Comprehensive Survey of Advances in Video Frame Interpolation
本文综述了视频帧插值领域的发展,系统分类了基于核心设计原则和架构特征的方法,分析了关键挑战并探讨了未来研究方向。
2026-03-26 cs.CV
LIFI: Towards Linguistically Informed Frame Interpolation
IIIT-Delhi(德里印度信息技术学院);Adobe(奥多比公司);NUS(新加坡国立大学)
在这项工作中,我们探讨了一个新的语音视频帧内插问题。今天,这种内容构成了在线交流的主要形式。我们试图通过使用几种深度学习视频生成算法来生成丢失的帧来解决这个问题。我们还提供了一些例子,其中计算机视觉模型尽管在传统的非语言指标上表现出高性能,但无法准确地产生忠实的语音插值。有了这个动机,我们提供了一套新的语言信息的指标,专门针对语音视频插值的问题。我们还发布了几个数据集来测试他们的语音理解的计算机视觉视频生成模型。
2020-12-02 cs.CV eess.IV
Disentangled Motion Modeling for Video Frame Interpolation
Seoul National University(首尔国立大学);Soongsil University(崇实大学)
本文提出基于扩散模型的解耦运动建模方法MoMo用于视频帧插值,通过两阶段训练专注中间运动建模并引入新型U-Net生成双向光流,以更低计算成本实现卓越感知质量。
2024-12-19 cs.CV
Masked Temporal Interpolation Diffusion for Procedure Planning in Instructional Videos
Harbin Institute of Technology(哈尔滨工业大学);Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS(计算技术研究所智能信息处理重点实验室)
本文提出掩码时序插值扩散模型MTID,通过在扩散模型中引入潜空间时序插值和动作感知掩码投影机制,增强视觉监督并约束动作生成空间,从而提升教学视频过程规划中动作序列的时序连贯性与任务对齐性。
2025-07-04 cs.CV
Addressing degeneracies in latent interpolation for diffusion models
Chalmers University of Technology(查尔姆斯理工大学)
针对扩散模型多输入潜变量插值易退化的问题,本文分析其成因并提出简单归一化方案,利用 FID 与 CLIP 距离验证其可显著缓解退化并提升图像质量。
2025-05-12 cs.CV
Physics-Informed DeepMRI: Bridging the Gap from Heat Diffusion to k-Space Interpolation
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Xiangtan University(湘潭大学);National Innovation Center for Advanced Medical Devices(国家高性能医疗器械创新中心);Nanchang University(南昌大学);Pazhou Lab(琶洲实验室)
本文提出基于热扩散物理的可解释统一框架,将k空间插值与图像域方法结合,并采用基于分数的生成方法求解逆热方程,在公开数据集上验证了其在高频区域重建精度的优越性。
2023-08-30 cs.CV
ConfCtrl: Enabling Precise Camera Control in Video Diffusion via Confidence-Aware Interpolation
University of Freiburg(弗赖堡大学);Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学);Technical University of Munich(慕尼黑技术大学);Huawei Heisenberg Research Center (Munich)(华为海森堡研究中心(慕尼黑))
ConfCtrl通过置信度感知插值实现视频扩散中的精确相机控制,解决大视角变化下新视角生成问题,提升几何一致性与视觉合理性。
2026-03-10 cs.CV
AID: Attention Interpolation of Text-to-Image Diffusion
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
本文提出免训练的AID方法,通过内/外插值注意力层、与自注意力融合及beta分布选择,提升文本到图像扩散模型在条件插值中的一致性、平滑性与保真度,并支持路径控制。
2024-10-04 cs.AI cs.CV
Video Latent Flow Matching: Optimal Polynomial Projections for Video Interpolation and Extrapolation
Wyoming Seminary(怀俄明神学院);Simons Institute for the Theory of Computing, University of California, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所);Sun Yat-sen University(中山大学)
本文提出 Video Latent Flow Matching (VLFM),利用预训练图像生成模型和 HiPPO 最优多项式投影建模潜在块流,实现任意帧率的视频插值与外推生成,并具备理论逼近误差和时间尺度鲁棒性优势。
2025-02-04 cs.AI cs.CV cs.LG
MCVD: Masked Conditional Video Diffusion for Prediction, Generation, and Interpolation
Mila(米拉人工智能研究所);University of Montreal(蒙特利尔大学);Polytechnique Montreal(蒙特利尔理工学院);ServiceNow Research(ServiceNow研究院)
视频预测是一项具有挑战性的任务。当前最新技术水平(SOTA)生成模型的视频帧质量往往较差,并且难以在训练数据之外进行泛化。此外,现有的预测框架通常不能同时处理其他视频相关的任务,例如无条件生成或插值。在这项工作中,我们设计了一个通用的框架,称为掩蔽条件视频扩散(MCVD)的所有这些视频合成任务,使用概率条件分数为基础的去噪扩散模型,条件上的过去和/或未来的帧。我们训练模型的方式是随机和独立地屏蔽所有过去的帧或所有未来的帧。这种新颖但简单的设置允许我们训练一个能够执行广泛视频任务的单一模型,具体来说:未来/过去预测-当只有未来/过去帧被掩蔽时;无条件生成-当过去和未来帧都被掩蔽时;以及插值-当过去和未来帧都不被掩蔽时。我们的实验表明,这种方法可以为不同类型的视频生成高质量的帧。我们的MCVD模型由简单的非递归2D卷积架构构建,对帧块进行调节并生成帧块。我们以块方式自回归生成任意长度的视频。我们的方法在标准视频预测和插值基准测试中产生SOTA结果,使用$\le$ 4 GPU在1-12天内测量训练模型的计算时间。项目页面:https://mask-cond-video-diffusion.github.io;代码:https://github.com/voletiv/mcvd-pytorch
2022-10-12 cs.AI cs.CV cs.LG
ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler
Kim Jaechul Graduate School of AI, KAIST(金在哲人工智能研究生院(韩国科学技术院));Dept. of Bio & Brain Engineering, KAIST(生物与脑工程系(韩国科学技术院))
本文提出ViBiDSampler,一种新颖的双向扩散采样策略,通过顺序采样和CFG++、DDS引导技术解决双帧条件视频插值的偏离流形问题,无需大量重新加噪或微调,在单张3090 GPU上195秒生成25帧1024x576高分辨率视频,实现最先进性能。
2025-03-01 cs.AI cs.CV cs.LG
RichSpace: Enriching Text-to-Video Prompt Space via Text Embedding Interpolation
Zhejiang University(浙江大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of New South Wales(新南威尔士大学);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Tsinghua University(清华大学);Simons Institute for the Theory of Computing, University of California, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所)
针对文本到视频生成模型在复杂特征视频上的局限,提出通过嵌入空间插值选择最优文本嵌入的新方法,并利用垂足嵌入和余弦相似度识别最优插值,有效提升了生成性能。
2025-02-02 cs.AI cs.CL cs.CV
MiVID: Multi-Strategic Self-Supervision for Video Frame Interpolation using Diffusion Model
School of Computer Engineering, KIIT Deemed to be University(计算机工程学院,KIIT被认定大学);Department of Computer Science and Engineering, National Institute of Technology(计算机科学与工程系,国家理工学院)
MiVID提出一种轻量级自监督扩散框架,通过3D U-Net与Transformer时间注意力及渐进掩码策略,在无高帧率监督下实现视频帧插值,仅用CPU训练50个epoch即可达到与有监督基线相当的性能。
2025-11-08 cs.AI cs.CV
ALANET: Adaptive Latent Attention Network forJoint Video Deblurring and Interpolation
University of California, Riverside(加州大学河滨分校)
现有的工作解决的问题,产生高帧率清晰的视频通过单独学习帧去模糊和帧插值模块。这些方法中的大多数都有一个很强的先验假设,即所有输入帧都是模糊的,而在现实世界中,帧的质量是变化的。此外,这些方法被训练成单独执行两个任务中的任何一个-去模糊或插值,而许多实际情况需要两者。不同于这些作品,我们解决了一个更现实的问题,高帧率锐利的视频合成,没有事先假设输入总是模糊的。我们介绍了一种新的架构,自适应潜在注意力网络(ALANET),它合成锐利的高帧率视频,没有输入帧模糊或不模糊的先验知识,从而执行去模糊和插值的任务。我们假设,可以利用来自连续帧的潜在表示的信息来生成用于帧去模糊和帧插值的优化表示。具体来说,我们采用的自注意力和交叉注意力模块在潜在空间中的连续帧之间的组合,以生成优化的表示为每一帧。使用这些注意力模块学习的优化表示有助于模型生成和插入清晰的帧。在标准数据集上进行的大量实验表明,我们的方法与各种最先进的方法相比表现良好,即使我们解决的问题要困难得多。
2020-08-31 cs.CV cs.LG eess.IV
LDMVFI: Video Frame Interpolation with Latent Diffusion Models
University of Bristol(布里斯托大学)
本文提出LDMVFI,首次将潜在扩散模型用于视频帧插值,将其建模为条件生成问题,实验表明其感知质量优于现有最先进方法。
2023-12-11 cs.CV eess.IV
NoiseDiffusion: Correcting Noise for Image Interpolation with Diffusion Models beyond Spherical Linear Interpolation
University of Science and Technology of China(中国科学技术大学);Hong Kong Baptist University(香港浸会大学);University of Technology Sydney(悉尼科技大学);The University of Sydney(悉尼大学);Sydney AI Centre(悉尼人工智能中心)
针对扩散模型插值自然图像时编码噪声失效的问题,提出NoiseDiffusion方法,通过引入高斯噪声和约束校正噪声,并在带噪图像空间插值且注入原图,避免伪影和信息损失,实现最佳插值效果。
2024-03-13 cs.AI cs.CV
Frame-rate Up-conversion Detection Based on Convolutional Neural Network for Learning Spatiotemporal Features
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);School of Electrical Engineering(电气工程学院)
随着用户友好和强大的视频编辑工具的进步,任何人都可以轻松地操纵视频,而不会留下明显的视觉痕迹。帧速率上转换(FRUC)是一种代表性的时域操作,其增加了具有较低帧率的视频的运动连续性,并且被恶意伪造者用于视频篡改,例如生成假帧率视频而不提高质量或混合时间拼接的视频。FRUC基于帧插值方案,并且保留在插值帧中的细微伪影通常难以区分。因此,检测这种伪造痕迹是视频取证中的一个关键问题。本文提出了一种帧速率转换检测网络(FCDNet),它以端到端的方式学习FRUC引起的取证特征。所提出的网络使用连续帧的堆栈作为输入,并使用网络块来学习时空特征,从而有效地学习插值伪影。本研究首次尝试将神经网络应用于FRUC的检测。此外,它可以涵盖以下三种类型的帧内插方案:最近邻内插,双线性内插和运动补偿内插。与利用所有帧来验证完整性的现有方法相比,所提出的方法实现了高检测速度,因为它只观察六帧来测试其真实性。为了验证我们的研究成果,我们使用传统的取证方法和神经网络进行了大量的视频取证实验。该网络在检测FRUC的内插伪影方面达到了最先进的性能。实验结果还表明,我们的训练模型对于看不见的数据集,未学习的帧速率和未学习的质量因子是鲁棒的。
2021-03-25 cs.AI cs.CV cs.MM
Optimizing Video Prediction via Video Frame Interpolation
The Hong Kong University of Science and Technology(香港科技大学)
视频预测是预测给定过去帧的未来帧的外推任务,并且视频帧内插是估计两个帧之间的中间帧的内插任务。视频帧内插技术已经取得了巨大的进步,但在实际应用中,视频预测仍然是一个悬而未决的问题。受视频帧内插的照片般逼真的结果的启发,我们提出了一种新的优化框架,通过视频帧内插的视频预测,其中我们解决了外推问题的基础上的内插模型。我们的视频预测框架基于使用预训练的可微分视频帧插值模块进行优化,而不需要训练数据集,因此在训练数据和测试数据之间没有域间隙问题。此外,我们的方法不需要任何额外的信息,如语义或实例映射,这使得我们的框架适用于任何视频。在Cityscapes、KITTI、DAVIS、Middlebury和Vimeo90K数据集上的大量实验表明,我们的视频预测结果在一般情况下是鲁棒的,并且我们的方法优于其他需要大量训练数据或额外语义信息的视频预测方法。
2022-06-27 cs.CV
Splatting-based Synthesis for Video Frame Interpolation
Adobe Research(奥多比研究院);Boston University(波士顿大学);Adobe Inc(奥多比公司)
帧内插是一种重要的视频处理技术,可以调整图像序列的时间分辨率。虽然深度学习为视频帧内插领域带来了巨大的改进,但利用神经网络的技术通常不容易部署在视频编辑器等实际应用中,因为它们要么在计算上过于苛刻,要么在高分辨率下失败。相比之下,我们提出了一种深度学习方法,该方法仅依赖于飞溅来合成插值帧。这种基于分裂的视频帧内插合成不仅比类似方法快得多,特别是对于多帧内插,而且还可以在高分辨率下产生新的最先进的结果。
2022-10-26 cs.CV
Quadratic video interpolation
Carnegie Mellon University(卡内基梅隆大学);SenseTime Research(商汤科技研究院);Beijing Normal University(北京师范大学);University of California, Merced(加州大学默塞德分校);Google(谷歌)
视频插值是计算机视觉中的一个重要问题,它有助于克服摄像机传感器的时间限制。现有的视频插值方法通常假设相邻帧之间的运动是均匀的,并且采用线性模型进行插值,不能很好地逼近真实世界中的复杂运动。为了解决这些问题,我们提出了一个二次视频插值方法,利用视频中的加速度信息。该方法允许曲线轨迹和变速预测,并生成更精确的插值结果。对于高质量的帧合成,我们开发了一个流反转层来估计从未知目标帧到源帧的流场。此外,我们提出的技术流细化。大量的实验表明,我们的方法表现良好,对现有的线性模型在各种各样的视频数据集。
2019-11-02 cs.CV
Unified Arbitrary-Time Video Frame Interpolation and Prediction
Samsung Electronics(三星电子)
本文提出uniVIP,一个统一的任意时刻视频帧插值与预测框架,通过扩展插值网络并引入任务编码通道,在三元组帧上训练统一模型,在插值任务上表现具竞争力且在预测任务上超越现有最先进方法。
2025-03-04 cs.CV
Video Compression through Image Interpolation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们越来越多的数字通信、媒体消费和内容创作都围绕着视频。我们通过它们分享、观看和存档我们生活的许多方面,所有这些都是由强大的视频压缩驱动的。传统的视频压缩是手工设计和手工优化的。本文提出了一种端到端深度学习编解码器中的替代方案。我们的编解码器建立在一个简单的想法:视频压缩是重复的图像插值。因此,它受益于深度图像插值和生成的最新进展。我们的深度视频编解码器优于当今流行的编解码器,如H.261,MPEG-4第2部分,并与H.264相当。
2018-04-18 cs.CV
NNVISR: Bring Neural Network Video Interpolation and Super Resolution into Video Processing Framework
Wuhan University(武汉大学)
NNVISR 是一个面向 VapourSynth 的开源滤镜插件,通过统一接入任意帧组增强网络并自动处理网络无关细节,将神经网络去噪、超分辨率、插值和时空超分辨率能力引入视频处理流水线。
2023-08-06 cs.CV
Video Frame Interpolation via Adaptive Convolution
Portland State University(波特兰州立大学)
视频帧内插通常涉及两个步骤:运动估计和像素合成。这种两步方法严重依赖于运动估计的质量。本文提出了一种鲁棒的视频帧插值方法,将这两个步骤结合到一个过程中。具体来说,我们的方法认为像素合成的插值帧作为两个输入帧的局部卷积。卷积核捕获输入帧之间的局部运动和用于像素合成的系数。我们的方法采用深度全卷积神经网络来估计每个像素的空间自适应卷积核。这种深度神经网络可以使用广泛可用的视频数据直接进行端到端训练,而无需任何难以获得的地面实况数据,如光流。我们的实验表明,视频插值作为一个单一的卷积过程,使我们的方法能够优雅地处理像遮挡,模糊和突然的亮度变化的挑战,并实现高质量的视频帧插值。
2017-03-22 cs.CV
BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation
Korea University(高丽大学);Dongguk University(东国大学)
视频内插通过合成两个连续帧之间的中间帧来增加视频序列的时间分辨率。本文提出了一种基于深度学习的双向运动估计视频插值算法。首先,我们开发了双边运动网络的双边成本量,以准确地估计双边运动。然后,我们近似双向运动来预测不同类型的双边运动。然后,我们使用估计的双边运动来扭曲两个输入帧。接下来,我们开发了动态滤波器生成网络来生成动态混合滤波器。最后,我们使用动态混合滤波器组合变形帧以生成中间帧。实验结果表明,该算法优于国家的最先进的视频插值算法在几个基准数据集。
2020-07-17 cs.CV
FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation
UCSD(加州大学圣地亚哥分校);CMU(卡内基梅隆大学);Facebook AI(脸书人工智能研究院)
用于视频帧内插的大多数方法计算视频的相邻帧之间的双向光流,随后是合适的扭曲算法以生成输出帧。然而,依赖于光流的方法通常无法直接从视频对遮挡和复杂的非线性运动进行建模,并且引入了不适合于广泛部署的附加瓶颈。我们通过FLAVR解决了这些限制,FLAVR是一种灵活高效的架构,使用3D空时卷积来实现视频帧插值的端到端学习和推理。我们的方法有效地学习推理非线性运动,复杂的遮挡和时间抽象,从而提高视频插值的性能,同时不需要以光流或深度图的形式进行额外的输入。由于其简单性,FLAVR可以提供比当前最精确的多帧插值方法快3倍的推理速度,而不会损失插值精度。此外,我们在各种具有挑战性的设置上评估了FLAVR,并在各种流行的基准测试(包括Vimeo-90 K,UCF 101,DAVIS,Adobe和GoPro)上与之前的方法相比,始终展示出卓越的定性和定量结果。最后,我们证明了FLAVR视频帧内插可以作为一个有用的自我监督的借口任务,动作识别,光流估计,和运动放大。
2022-02-24 cs.CV
FastRIFE: Optimization of Real-Time Intermediate Flow Estimation for Video Frame Interpolation
Warsaw University of Technology(华沙工业大学)
视频帧间插值问题是图像处理领域的一个重要课题。正确增加记录中的帧数,同时保持平滑移动,可以提高播放视频序列的质量,实现更有效的压缩并创建慢动作记录。本文提出了FastRIFE算法,该算法是对RIFE(实时的【形】中间流估计)模型的速度改进。新的方法进行了检查,并与其他最近发表的算法进行比较。所有源代码都可以在https://gitlab.com/malwinq/interpolation-of-images-for-slow-motion-videos上获得
2021-06-01 cs.CV
Video Frame Interpolation without Temporal Priors
The University of Sydney(悉尼大学)
视频帧内插是计算机视觉的一个重要研究课题,其目的是合成视频序列中不存在的中间帧。现有的视频帧内插方法在特定的假设条件下,如瞬时或已知曝光时间,都取得了显著的效果。然而,在复杂的现实世界的情况下,视频的时间先验,即每秒帧数(FPS)和帧曝光时间,可能会因不同的相机传感器而异。当测试视频在与训练视频不同的曝光设置下拍摄时,插值帧将遭受严重的错位问题。在这项工作中,我们解决了一般情况下,输入帧可以在不确定的曝光(和间隔)时间下获取的视频帧插值问题。不同于以往的方法,只能适用于一个特定的时间先验,我们推导出一个通用的曲线运动轨迹公式,从四个连续的清晰帧或两个连续的模糊帧没有时间先验。此外,利用相邻运动轨迹内的约束,我们设计了一种新的光流细化策略,以获得更好的插值结果。最后,实验表明,一个经过良好训练的模型就足以在复杂的现实世界情况下合成高质量的慢动作视频。代码可在https://github.com/yjzhang96/UTI-VFI上获得。
2021-12-02 cs.CV
LAVIB: A Large-scale Video Interpolation Benchmark
University of Twente(特温特大学)
本文提出大规模视频插值基准 LAVIB,包含 283K 个超高清视频片段,并基于运动、光照、清晰度和对比度指标构建分布外挑战,以推动视频帧插值研究。
2024-10-20 cs.CV
Implementing Adaptive Separable Convolution for Video Frame Interpolation
KTH Royal Institute of Technology(瑞典皇家理工学院)
随着深度神经网络越来越受欢迎,人们的注意力越来越多地集中在计算机视觉问题上,而这些问题过去是用更传统的方法解决的。视频帧内插是其中一个挑战,已经看到了涉及深度学习中各种技术的新研究。在本文中,我们复制了Niklaus等人关于自适应可分离卷积的工作,该工作声称视频帧插值任务具有高质量的结果。我们应用在较小数据集上训练的相同网络结构,并使用各种不同的损失函数进行实验,以确定数据稀缺情况下的最佳方法。最好的结果模型仍然能够提供视觉上令人愉悦的视频,尽管获得了较低的评估分数。
2018-09-20 cs.CV
AdaFNIO: Adaptive Fourier Neural Interpolation Operator for video frame interpolation
Purdue University(普渡大学)
我们提出,AdaFNIO -自适应傅立叶神经插值算子,一个基于神经运算符的架构来执行视频帧内插。当前基于深度学习的方法依赖于局部卷积进行特征学习,并且不是尺度不变的,因此需要通过随机翻转和重新缩放来增强训练数据。另一方面,AdaFNIO通过使用快速傅立叶变换(FFT)在傅立叶空间或谱域中进行令牌混合和全局卷积,学习帧中的特征,与输入分辨率无关。我们表明,AdaFNIO可以产生视觉上平滑和准确的结果。为了评估我们的插值帧的视觉质量,我们计算生成的帧和地面真实帧之间的结构相似性指数(SSIM)和峰值信噪比(PSNR)。我们提供了我们的模型在Vimeo-90 K数据集,DAVIS,UCF 101和DISFA+数据集上的定量性能。
2023-03-09 cs.CV
H-VFI: Hierarchical Frame Interpolation for Videos with Large Motions
Kuaishou Technology(快手科技);The Hong Kong University of Science and Technology(香港科技大学)
随着神经网络技术的迅速发展,近年来的视频帧内插(VFI)方法取得了显著的进步。然而,对于包含大运动的真实世界视频,它们仍然不足。大运动引起的复杂变形和/或遮挡使其成为视频帧内插中极其困难的问题。在本文中,我们提出了一个简单而有效的解决方案,H-VFI,以处理大的运动在视频帧内插。H-VFI提供了一个层次化的视频插值Transformer(HVIT),用于在多尺度下以由粗到精的策略学习可变形核。然后利用学习的可变形核对输入帧进行卷积,以预测内插帧。H-VFI算法从最小尺度开始,根据前一次预测核、中间插值结果和Transformer的层次特征,通过残差连续更新变形核。然后由Transformer块基于插值结果预测用于细化最终输出的偏置和掩码。这种渐进近似的优点在于,大运动帧插值问题可以被分解成几个相对简单的子任务,这使得能够非常准确地预测最终结果。我们的论文的另一个值得注意的贡献包括一个大规模的高质量数据集,YouTube 200 K,其中包含以高分辨率和高帧速率捕获的各种场景的视频。多帧插值基准上的大量实验验证了H-VFI优于现有的最先进的方法,特别是对于具有大运动的视频。
2022-11-21 cs.CV
Video Frame Interpolation via Generalized Deformable Convolution
McMaster University(麦克马斯特大学)
视频帧内插的目的是从相邻的源帧中合成中间帧,同时保持空间和时间上的连续性。现有的基于深度学习的视频帧插值方法大致可以分为两类:基于流的方法和基于核的方法。基于流的方法的性能通常受到由于过度简化的运动模型而导致的流图估计的不准确性的危害,而基于核的方法的性能往往受到核形状的刚性的约束。为了解决这些性能限制的问题,提出了一种新的机制,称为广义可变形卷积,它可以有效地学习运动信息的数据驱动的方式和自由选择采样点在时空。在此基础上,提出了一种新的视频帧内插方法.我们广泛的实验表明,新方法的性能优于国家的最先进的,特别是在处理复杂的运动。
2021-03-18 cs.CV
SVI360: Spherical Video Interpolation
Université Bourgogne Europe, ICB UMR 6303 CNRS, France(法国布尔格ogne欧洲大学,ICB UMR 6303 CNRS);Université de Picardie Jules Verne, MIS UR 4290, France(法国皮卡第-朱尔斯·维尔纳大学,MIS UR 4290)
针对全向视频插值问题,提出双分支框架SVI360,结合图像帧及其旋转正交视图处理失真,增强原始视图与正交视图间流位移等变性改进中间帧预测,在插值质量上优于现有方法。
2026-07-14 cs.CV