Video Extrapolation with an Invertible Linear Embedding
Brigham Young University(杨百翰大学)
我们预测未来的视频帧从复杂的动态场景,使用可逆的神经网络作为编码器的非线性动态系统与潜在的线性状态演变。我们的可逆线性嵌入(ILE)展示了成功的学习,预测和潜在状态推断。与其他方法相比,ILE不使用任何显式的重建损失或简单的像素空间假设。相反,它利用可逆性来优化图像序列的可能性,尽管是间接的。一个国家的最先进的方法的比较证明了我们的方法的可行性。
2019-03-01 cs.CV
Macroblock Classification Method for Video Applications Involving Motions
Shanghai Jiao Tong University(上海交通大学);University of Louisville(路易斯维尔大学);Nanyang Technological University(南洋理工大学)
在本文中,宏块分类方法提出了各种视频处理应用涉及运动。在分析压缩视频中运动矢量场的基础上,提出将视频帧中的宏块划分为不同的类,并利用这些类信息来描述视频帧的内容。我们证明了这种低计算复杂度的方法可以有效地捕捉帧的特征。基于所提出的宏块分类,我们进一步提出了不同的视频处理应用程序,包括镜头变化检测,运动不连续性检测,全局运动估计和离群拒绝算法。实验结果表明,基于该方法的方法可以有效地工作在这些应用程序。
2015-02-28 cs.CV cs.MM
Interpretable Motion-Attentive Maps: Spatio-Temporally Localizing Concepts in Video Diffusion Transformers
Yonsei University(延世大学)
本文提出一种可解释的运动注意力图方法,通过时空定位运动概念,提升视频扩散变换器的可解释性与定位能力。
2026-03-09 cs.AI cs.CV cs.LG
Novel View Extrapolation with Video Diffusion Priors
Nanyang Technological University(南洋理工大学);UCAS-Terminus AI Lab(UCAS-Terminus人工智能实验室)
本文提出ViewExtrapolator,利用Stable Video Diffusion的生成先验并重新设计其去噪过程,无需微调即可细化辐射场渲染结果,显著提升新视角外推的清晰度与真实感。
2024-11-21 cs.CV
RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO
Imperial College London(伦敦帝国学院)
RAVEN通过将自回归视频扩散模型的训练与测试过程结合,提升长时视频生成质量。CM-GRPO方法优化一致性采样,提高生成效果。
2026-05-14 cs.CV
Motion-blurred Video Interpolation and Extrapolation
KAIST(韩国科学技术院)
场景中相机或物体的突然运动会导致视频模糊,因此恢复高质量视频需要两种类型的增强:视觉增强和时间上采样。广泛的研究试图从模糊图像序列中恢复干净的帧或通过插值对帧进行时间上采样,但联合处理这两个问题的研究非常有限。在这项工作中,我们提出了一种新的框架,用于从运动模糊的视频中以端到端的方式去模糊,内插和外推清晰的帧。我们首先通过光流估计从给定的输入中学习导致模糊的像素级运动,然后通过用估计的流扭曲解码的特征来预测多个干净的帧,从而设计我们的框架。为了确保预测帧之间的时间一致性并解决潜在的时间模糊性,我们提出了一个简单而有效的基于流的规则。通过对高速视频中运动模糊数据集进行广泛的定性和定量评估,突出了我们方法的有效性和可扩展性。
2021-03-10 cs.CV
UltraViCo: Breaking Extrapolation Limits in Video Diffusion Transformers
Dept. of Comp. Sci. & Tech., BNRist Center, THU-Bosch ML Center, Tsinghua University(清华大学计算机科学与技术系,BNRist中心,THU-Bosch机器学习中心,清华大学);ShengShu(盛书);Gaoling School of Artificial Intelligence, Renmin University of China(北京理工大学人工智能学院,中国人民大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Princeton University(普林斯顿大学)
UltraViCo通过抑制超出训练窗口的token注意力,突破视频扩散变换器的extrapolation限制,提升泛化能力和性能。
2026-03-01 cs.CV
Not All Frames Deserve Full Computation: Accelerating Autoregressive Video Generation via Selective Computation and Predictive Extrapolation
Institute of Artificial Intelligence and Future Networks, Beijing Normal University(北京师范大学人工智能与未来网络研究院);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);Shenzhen University of Advanced Technology(深圳理工大学)
本文提出SCOPE框架,通过三模式调度器和选择性计算,提升自回归视频扩散模型效率,在保持质量的同时实现4.73倍加速。
2026-08-11 cs.CV
ParticleGS: Learning Neural Gaussian Particle Dynamics from Videos for Prior-free Physical Motion Extrapolation
Zhejiang University(浙江大学);North China University of Technology(华北理工大学);University of Science and Technology of China(中国科学技术大学)
ParticleGS通过学习神经高斯粒子动力学,实现无先验的物理运动外推,提升动态3D场景的预测准确性与一致性。
2025-11-27 cs.CV
Self Gradient Forcing: Native Long Video Extrapolation
Joy Future Academy(京东探索研究院)
研究针对自回归视频扩散方法的历史上下文梯度差距问题,提出自梯度强制(SGF)两阶段训练策略,利用未来视频潜变量损失监督模型将上下文编码为有效因果记忆,在长视频外推实验中效果优于自强制。
2026-07-27 cs.CV
Prompt-Adapter Context Routing for Parameter-Efficient Multi-Shot Long Video Extrapolation
Instituto de Investigación en Visión Artificial(人工视觉研究所)
研究多镜头长视频外推问题,提出PACR-Video框架,通过冻结文本到视频扩散变换器,用低秩时间适配器及递归提示库增强,结合特定调优目标和调度,在多基准测试中优于多种基线,证明其能为长视频外推提供可控能力。
2026-07-08 cs.AI cs.CV
Video Extrapolation in Space and Time
Stanford University(斯坦福大学)
在计算机视觉中,新视图合成(NVS)和视频预测(VP)通常被认为是不相交的任务。然而,它们都可以被视为观察时空世界的方式:NVS旨在从新的角度合成场景,而VP旨在从新的时间点看到场景。这两个任务提供互补信号以获得场景表示,因为来自空间观测的视点变化通知深度,并且时间观测通知相机和单个对象的运动。受这些观察的启发,我们提出了在空间和时间的视频外推(VEST)的问题进行研究。我们提出了一个模型,利用自我监督和互补的线索,从这两个任务,而现有的方法只能解决其中之一。实验表明,我们的方法在室内和室外真实世界数据集上的性能优于或媲美几种最先进的NVS和VP方法。
2022-07-26 cs.AI cs.CV
Video Latent Flow Matching: Optimal Polynomial Projections for Video Interpolation and Extrapolation
Wyoming Seminary(怀俄明神学院);Simons Institute for the Theory of Computing, University of California, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所);Sun Yat-sen University(中山大学)
本文提出 Video Latent Flow Matching (VLFM),利用预训练图像生成模型和 HiPPO 最优多项式投影建模潜在块流,实现任意帧率的视频插值与外推生成,并具备理论逼近误差和时间尺度鲁棒性优势。
2025-02-04 cs.AI cs.CV cs.LG
Optimizing Video Prediction via Video Frame Interpolation
The Hong Kong University of Science and Technology(香港科技大学)
视频预测是预测给定过去帧的未来帧的外推任务,并且视频帧内插是估计两个帧之间的中间帧的内插任务。视频帧内插技术已经取得了巨大的进步,但在实际应用中,视频预测仍然是一个悬而未决的问题。受视频帧内插的照片般逼真的结果的启发,我们提出了一种新的优化框架,通过视频帧内插的视频预测,其中我们解决了外推问题的基础上的内插模型。我们的视频预测框架基于使用预训练的可微分视频帧插值模块进行优化,而不需要训练数据集,因此在训练数据和测试数据之间没有域间隙问题。此外,我们的方法不需要任何额外的信息,如语义或实例映射,这使得我们的框架适用于任何视频。在Cityscapes、KITTI、DAVIS、Middlebury和Vimeo90K数据集上的大量实验表明,我们的视频预测结果在一般情况下是鲁棒的,并且我们的方法优于其他需要大量训练数据或额外语义信息的视频预测方法。
2022-06-27 cs.CV
Spatio-Temporal Image Boundary Extrapolation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
图像和视频中的边界预测一直是一个非常活跃的研究课题,将视觉信息组织成边界和片段被认为是视觉感知的基石。虽然以前的工作集中在预测观察到的帧的边界,我们的工作旨在预测未来未观察到的帧的边界。这需要我们的模型了解边界的命运并推断运动模式。我们在已建立的真实世界视频分割数据集上进行了实验,这为这项新任务提供了一个测试平台。我们首次展示了在这种具有挑战性的情况下的时空边界外推。此外,我们展示了在运动受物理定律支配的情况下对边界的长期预测。我们成功地预测边界在台球的情况下,没有任何假设的强参数模型或任何对象的概念。我们认为,我们的模型与最低限度的模型假设推导出的概念“直观的物理”,可以应用到新的场景。
2016-05-24 cs.CV
ReCA: Multi-Shot Long Video Extrapolation via Recursive Context Allocation
Monash University(墨尔本大学);Tongyi Lab, Alibaba Group(通义实验室,阿里集团);Zhejiang University(浙江大学);University of Queensland(昆士兰大学)
针对多镜头视频外推任务中上下文分配瓶颈,提出递归上下文分配框架,通过层次化分解和结构化状态传播提升长视频生成的一致性和质量。
2026-05-26 cs.AI cs.CV
Forecasting Future Videos from Novel Views via Disentangled 3D Scene Representation
State University of New York at Buffalo(纽约州立大学布法罗分校)
针对VEST中纠缠表示导致的运动与渲染误差,本文通过3D点云解耦场景几何与运动,并分两阶段预测自运动及动态对象残差运动,在两个城市数据集上优于强基线。
2024-08-02 cs.CV
VideoMage: Multi-Subject and Motion Customization of Text-to-Video Diffusion Models
National Taiwan University(台湾大学);NVIDIA(英伟达)
VideoMage提出统一框架,通过主体与运动LoRA及外观无关运动学习,实现多主体交互运动的视频定制,实验证明其生成连贯可控视频优于现有方法。
2025-03-27 cs.CV
MotionVideoGAN: A Novel Video Generator Based on the Motion Space Learned from Image Pairs
Tsinghua University(清华大学);University of Science and Technology Beijing(北京科技大学)
得益于强大的图像生成器提供的高质量渲染,视频生成取得了快速进展。我们把视频合成任务看作是生成一系列共享相同内容但运动不同的图像。然而,大多数基于预训练图像生成器的视频合成框架将内容和运动生成分开处理,导致生成的视频不切实际。因此,我们设计了一个新的框架来建立运动空间,旨在实现视频生成的内容一致性和快速收敛。我们提出了MotionVideoGAN,这是一种新的视频生成器,它基于预训练图像对生成器学习的运动空间合成视频。首先,我们提出了一个名为MotionStyleGAN的图像对生成器来生成共享相同内容并产生各种运动的图像对。然后,我们设法获取运动代码来编辑生成的图像对中的一个图像,并保持另一个不变。运动代码帮助我们在运动空间内编辑图像,因为编辑后的图像与图像对中的另一个未改变的图像共享相同的内容。最后,我们介绍了一个潜在的代码生成器,以产生潜在的代码序列,使用运动代码的视频生成。我们的方法在用于无条件视频生成评估的最复杂的视频数据集UCF 101上实现了最先进的性能。
2023-03-06 cs.CV
MoCoGAN: Decomposing Motion and Content for Video Generation
Snap Research(Snap 研究院);NVIDIA(英伟达)
视频中的视觉信号可以分为内容和运动。虽然内容指定了视频中的对象,但运动描述了它们的动态。在此基础上,我们提出了运动和内容分解的生成对抗网络(MoCoGAN)的视频生成框架。所提出的框架通过将随机向量序列映射到视频帧序列来生成视频。每个随机向量由内容部分和运动部分组成。当内容部分保持固定时,运动部分被实现为随机过程。为了以无监督的方式学习运动和内容分解,我们引入了一种利用图像和视频鉴别器的新型对抗学习方案。在几个具有挑战性的数据集上进行的大量实验结果与最先进的方法进行了定性和定量比较,验证了所提出的框架的有效性。此外,我们表明,MoCoGAN允许生成具有相同内容但不同运动的视频以及具有不同内容和相同运动的视频。
2017-12-14 cs.CV
MotionMaster: Training-free Camera Motion Transfer For Video Generation
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯);Harbin Institute of Technology(哈尔滨工业大学)
本文提出免训练视频运动迁移模型 COMD,通过单样本和少样本相机运动解耦及运动组合方法,从源视频中提取并迁移相机运动,实现灵活多样的可控视频生成。
2024-05-01 cs.CV
Video Motion Graphs
The University of Tokyo(东京大学);Adobe Research(Adobe研究)
本文提出视频运动图系统,通过检索匹配条件信号的视频片段,并利用核心模型HMInterp进行双分支插值和条件渐进训练,实现多模态条件下高质量人体运动视频生成。
2025-06-03 cs.CV
VideoJAM: Joint Appearance-Motion Representations for Enhanced Motion Generation in Video Models
GenAI, Meta(Meta GenAI);Tel Aviv University(特拉维夫大学)
VideoJAM通过联合外观-运动表示和Inner-Guidance机制,在训练和推理中增强视频生成的运动连贯性,无需修改数据或扩大模型,达到最先进性能并提升视觉质量。
2025-05-26 cs.CV
Fréchet Video Motion Distance: A Metric for Evaluating Motion Consistency in Videos
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所);Peking University(北京大学);University of Toronto(多伦多大学)
针对视频生成中运动一致性评估不足的问题,提出基于关键点跟踪和 Fréchet 距离的 FVMD 指标,实验证明其更符合人类感知且能提升 VQA 模型性能。
2024-07-23 cs.CV
PersonaAnimator: Personalized Motion Transfer from Unconstrained Videos
本文提出 PersonaAnimator 框架,开创视频到视频的运动个性化任务,直接从无约束视频中学习个性化运动模式,并引入 PersonaVid 数据集和物理感知正则化机制,在运动迁移中取得优于现有方法的性能。
2025-11-09 cs.CV
Diving Deep into the Motion Representation of Video-Text Models
University of Maryland, College Park(马里兰大学帕克分校)
本文利用GPT-4生成的细粒度运动描述,提出一种改善视频-文本模型运动理解的方法,并在两个动作数据集上验证其有效性,揭示了现有模型与人类专家在运动理解上的差距。
2024-06-07 cs.CV
Enhancing Video Memorability Prediction with Text-Motion Cross-modal Contrastive Loss and Its Application in Video Summarization
Department of Information and Communication Engineering(信息与通信工程系)
针对运动特征利用不足问题,提出 TMCCL 文本-运动跨模态对比损失提升视频可记忆性预测,并以 MWCVS 将其用于降低视频摘要标签主观性。
2025-06-10 cs.CV
Dual-MTGAN: Stochastic and Deterministic Motion Transfer for Image-to-Video Synthesis
Graduate Institute of Communication Engineering, National Taiwan University(台湾大学通讯工程研究所);ASUS Intelligent Cloud Services(华硕智能云服务)
在计算机视觉中,生成具有内容和运动变化的视频是一项具有挑战性的任务。虽然GAN的最新发展允许从潜在表示生成视频,但是生成具有感兴趣的运动模式的特定内容的视频并不容易。在本文中,我们提出了双运动传输GAN(Dual-MT GAN),它以图像和视频数据作为输入,同时学习解纠缠的内容和运动表示。我们的Dual-MTGAN能够执行确定性运动传输和随机运动生成。基于给定的图像,前者保留输入内容并转移从另一个视频序列中观察到的运动模式,而后者直接基于输入图像产生具有合理但多样的运动模式的视频。所提出的模型以端到端的方式进行训练,而不需要利用预定义的运动特征,如姿势或面部标志。我们的定量和定性结果将证实我们的模型在解决这种条件图像到视频任务的有效性和鲁棒性。
2021-02-26 cs.CV
CoMoVi: Co-Generation of 3D Human Motions and Realistic Videos
HKUST(香港科技大学);SCUT(华南理工大学);HKU(香港大学);MIT(麻省理工学院);ZJU(浙江大学)
本文提出CoMoVi框架,通过单个扩散去噪循环同步生成3D人类动作和视频,采用双分支扩散模型实现动作与视频生成的互惠特征交互和3D-2D交叉注意力。
2026-04-10 cs.CV
MotionZero:Exploiting Motion Priors for Zero-shot Text-to-Video Generation
University of Electronic Science and Technology of China (UESTC)(电子科技大学)
MotionZero通过大语言模型从提示词中提取不同对象的运动先验,实现提示自适应且解纠缠的运动控制,并引入运动感知注意力机制,解决了零样本文本到视频生成中运动模式固定和对象运动控制纠缠的问题。
2023-11-28 cs.CV
LaMD: Latent Motion Diffusion for Image-Conditional Video Generation
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院);Microsoft Research Asia(微软亚洲研究院)
针对图像条件视频生成中运动连贯性与采样效率的问题,提出LaMD框架,通过运动分解视频自动编码器压缩运动表示,结合扩散运动生成器高效生成真实运动,在多数据集上实现高质量视频生成并缩短采样时间。
2025-04-18 cs.CV
MoAlign: Motion-Centric Representation Alignment for Video Diffusion Models
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research(高通AI研究)
针对文本到视频扩散模型运动生成不合理的问题,提出MoAlign框架,从预训练视频编码器学习解耦运动子空间并对齐扩散模型潜特征,提升生成视频的物理合理性且保留文本遵循度。
2025-10-21 cs.CV
DynaVid: Learning to Generate Highly Dynamic Videos using Synthetic Motion Data
POSTECH(浦项科技大学);Microsoft Research Asia(微软亚洲研究院)
DynaVid通过合成运动数据训练视频合成框架,解决动态视频生成中真实数据不足的问题,采用两阶段生成方法提升动态运动和摄像机运动的现实感与可控性。
2026-04-02 cs.CV
MoTrans: Customized Motion Transfer with Text-driven Video Diffusion Models
Dalian University of Technology(大连理工大学);Tsinghua University(清华大学)
针对T2V模型难以建模复杂人体运动且运动与外观耦合的问题,本文提出MoTrans,通过MLLM重描述、外观注入和运动特定嵌入实现定制化运动迁移。
2024-12-02 cs.CV
TRACE: Object Motion Editing in Videos with First-Frame Trajectory Guidance
University of Maryland, College Park(马里兰大学帕克分校);Adobe Research(Adobe研究院)
本文提出TRACE框架,通过单帧锚点设计轨迹并合成一致的编辑视频,解决对象运动路径编辑问题,实现更协调、真实且可控的视频编辑。
2026-03-26 cs.CV
Generative Video Motion Editing with 3D Point Tracks
Adobe Research(Adobe研究院);Adobe(Adobe公司);University of Maryland College Park(马里兰大学学院公园分校)
本文提出基于3D点轨迹的视频生成框架,实现摄像机与物体运动的联合编辑,通过稀疏对应关系保持时空一致性,提升视频编辑的精确度和创作潜力。
2025-12-01 cs.CV
ReVision: Refining Video Diffusion with Explicit 3D Motion Modeling
Johns Hopkins University(约翰霍普金斯大学)
ReVision通过整合参数化的3D运动模型,提升视频生成中复杂动作和交互的真实性和可控性。
2026-01-08 cs.CV
MotionAdapter: Video Motion Transfer via Content-Aware Attention Customization
Hangzhou Dianzi University(杭州电子科技大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));The Hong Kong University of Science and Technology(香港科技大学);Ocean University of China(中国海洋大学);Singapore Management University(新加坡管理大学)
本文提出MotionAdapter框架,通过解耦动作与外观并自适应定制动作,实现DiT视频扩散模型中的稳健动作迁移,实验表明其在质量和定量评估中优于现有方法,支持复杂动作迁移与编辑。
2026-04-07 cs.CV
BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation
Korea University(高丽大学);Dongguk University(东国大学)
视频内插通过合成两个连续帧之间的中间帧来增加视频序列的时间分辨率。本文提出了一种基于深度学习的双向运动估计视频插值算法。首先,我们开发了双边运动网络的双边成本量,以准确地估计双边运动。然后,我们近似双向运动来预测不同类型的双边运动。然后,我们使用估计的双边运动来扭曲两个输入帧。接下来,我们开发了动态滤波器生成网络来生成动态混合滤波器。最后,我们使用动态混合滤波器组合变形帧以生成中间帧。实验结果表明,该算法优于国家的最先进的视频插值算法在几个基准数据集。
2020-07-17 cs.CV
MOSO: Decomposing MOtion, Scene and Object for Video Prediction
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院)
运动、场景和对象是视频的三个主要视觉组成部分。具体而言,对象表示前景,场景表示背景,并且运动跟踪它们的动态。基于这一认识,我们提出了一个两阶段的运动,场景和对象分解框架(MOSO)的视频预测,包括MOSO-VQVAE和MOSO-Transformer。在第一阶段中,MOSO-VQVAE将先前的视频片段分解为运动、场景和对象分量,并将它们表示为不同的离散令牌组。然后,在第二阶段,MOSO-Transformer基于先前的令牌预测后续视频剪辑的对象和场景令牌,并在令牌级别将动态运动添加到生成的对象和场景令牌。我们的框架可以很容易地扩展到无条件的视频生成和视频帧插值任务。实验结果表明,我们的方法在视频预测和无条件视频生成的五个具有挑战性的基准测试中实现了新的最先进性能:BAIR、RoboNet、KTH、KITTI和UCF 101。此外,MOSO可以通过组合来自不同视频的对象和场景来制作逼真的视频。
2023-03-16 cs.CV
MotionDirector: Motion Customization of Text-to-Video Diffusion Models
Show Lab(Show实验室);National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学)
针对文本到视频扩散模型的运动定制任务,提出MotionDirector,采用双路径LoRAs架构解耦外观与运动学习,并设计外观去偏时间损失,实现运动定制到多样外观的泛化。
2023-10-12 cs.CV
LaMo: Self-Supervised Latent Motion Priors for Physical Realism in Video Generation
Applied Intuition;University of California, Berkeley(加州大学伯克利分校)
提出LaMo,通过自监督方式从无标签视频中提取运动先验,包括宏运动漂移损失和微运动场引导,无需外部监督即可提升视频扩散模型的物理一致性。
2026-05-22 cs.CV
Learning Variational Motion Prior for Video-based Motion Capture
Tencent PCG(腾讯平台与内容事业群);School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院)
从单目视频中捕获运动对于我们人类在虚拟现实(VR)和增强现实(AR)中自然地体验和彼此交互是基础和关键的。然而,由于缺乏有效的运动先验建模,现有的方法仍然难以处理涉及自遮挡和复杂姿势的具有挑战性的情况。本文提出了一种新颖的基于视频的运动捕捉变分运动先验(VMP)学习方法来解决上述问题。而不是直接建立视频和运动域之间的对应关系,我们建议学习一个通用的潜在空间,用于捕获所有自然运动的先验分布,作为后续基于视频的运动捕获任务的基础。为了提高先验空间的泛化能力,我们提出了一种基于变换的变分自编码器,在基于标记的3D mocap数据上进行预训练,并使用一种新的样式映射块来提高生成质量。之后,一个单独的视频编码器被附加到预训练的运动生成器上,用于对特定于任务的视频数据集进行端到端的微调。与现有的运动先验模型相比,我们的VMP模型作为一个运动整流器,可以有效地减少时间抖动和故障模式,在逐帧姿态估计,导致时间稳定和视觉逼真的运动捕捉结果。此外,我们的基于VMP的框架模型在序列级别的运动,并可以直接生成运动剪辑在向前通过,实现实时运动捕捉推理过程中。在公共数据集和野外视频上的广泛实验证明了我们框架的有效性和泛化能力。
2022-10-28 cs.CV
Higher Order of Motion Magnification for Vessel Localisation in Surgical Video
Wellcome / EPSRC Centre for Interventional and Surgical Sciences, University College London(伦敦大学学院Wellcome / EPSRC介入与外科科学中心);University College London(伦敦大学学院)
在手术过程中定位血管对于避免意外损伤至关重要,但脉管系统可能难以识别。视频运动放大可以通过放大视频中嵌入的细微运动来突出显示血管,从而使外科医生能够感知。在本文中,我们探讨了动脉扩张的生理模型,以扩展运动放大,以纳入更高的运动阶数,利用脉动运动中的加速度随时间的差异(加加速度)来突出血管脉搏波。我们的方法相比,第一和第二阶运动的欧拉视频放大算法。使用从手术视频检索在机器人切除术的数据,我们表明,我们的方法可以强调心脏生理功能,并产生一个更简洁,更清晰的视频运动放大,在没有运动的区域更相似的源视频在大放大倍数。我们验证的方法与结构相似性(SSIM)和峰值信噪比(PSNR)评估的三个视频在增加工作距离,使用三个不同级别的光学放大。时空横截面显示我们的建议和视频样本提供定性证明我们的结果的有效性。
2018-06-13 cs.CV
MotionLLM: Understanding Human Behaviors from Human Motions and Videos
Tsinghua University(清华大学);International Digital Economy Academy (IDEA Research)(国际数字经济学院(IDEA研究院));The Hong Kong University of Science and Technology(香港科技大学);School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-SZ)(香港中文大学(深圳)数据科学学院)
本研究提出MotionLLM框架,通过联合建模视频和动作序列并采用统一训练策略,结合新构建的MoVid数据集与MoVid-Bench基准,在人类行为理解、描述和推理任务上展现出优越性能。
2024-05-30 cs.CV
MotionClone: Training-Free Motion Cloning for Controllable Video Generation
University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出免训练框架 MotionClone,利用稀疏时间注意力权重作为运动表示,通过单次去噪步骤实现从参考视频到文本/图像生成视频的高效运动克隆,在运动保真度、文本对齐和时间一致性上表现优越。
2024-10-22 cs.CV
Motion-Augmented Self-Training for Video Recognition at Smaller Scale
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research(高通人工智能研究院)
本文的目标是在未标记的视频集合上自训练3D卷积神经网络,以部署在小规模视频集合上。由于较小的视频数据集更多地受益于运动而不是外观,因此我们努力使用光流来训练我们的网络,但避免在推理过程中进行计算。我们提出了第一个运动增强的自我训练制度,我们称之为MotionFit。我们首先在一个小的、有标签的视频集合上对运动模型进行监督训练。通过运动模型,我们为大量未标记的视频集合生成伪标签,这使我们能够通过学习使用外观模型预测这些伪标签来传递知识。此外,我们引入了多剪辑损失作为一种简单而有效的方法来提高伪标记的质量,即使没有额外的辅助任务。我们还考虑了在外观模型的自训练过程中视频的时间粒度,这在以前的作品中是遗漏的。因此,我们得到了一个强大的运动增强表示模型,适合视频下游的任务,如动作识别和剪辑检索。在小规模视频数据集上,MotionFit在使用相同数量的类标签的情况下,知识转移的性能优于替代方案5%-8%,仅视频自我监督的性能优于替代方案1%-7%,半监督学习的性能优于替代方案9%-18%。
2021-05-04 cs.CV
Optical Flow-based 3D Human Motion Estimation from Monocular Video
TU Braunschweig(不伦瑞克工业大学)
我们提出了一种生成的方法来估计三维人体运动和身体形状从单目视频。假设从一个初始姿态开始的光流约束随后的人体运动,我们利用流找到时间上相干的人体姿势的运动序列。我们估计人体运动计算流场和人工流渲染器的输出之间的差异最小化。需要单个初始化步骤来估计多个帧上的运动。几个正则化函数随着时间的推移增强了鲁棒性。我们的测试场景表明,光流有效地规范了单目视频中人体形状和运动估计的欠约束问题。
2017-03-21 cs.CV
MotionStone: Decoupled Motion Intensity Modulation with Diffusion Transformer for Image-to-Video Generation
The University of Tokyo(东京大学);Ant Group(蚂蚁集团);Tongyi Lab(通义实验室);Zhejiang University(浙江大学);The Chinese University of Hong Kong(香港中文大学)
针对图像到视频生成中缺乏可靠运动估计器的问题,提出可测量物体与相机解耦运动强度的对比学习估计器,并基于此构建MotionStone模型,实现I2V生成的SOTA性能。
2024-12-08 cs.CV
MultiMotion: Multi Subject Video Motion Transfer via Video Diffusion Transformer
MultiMotion通过视频扩散变换器实现多主体视频动作迁移,引入AMF和RectPC提升动作解纠缠与生成效率,构建首个专用基准数据集。
2025-12-12 cs.CV
Automatic Portrait Video Matting via Context Motion Network
Intel(英特尔)
自动人像视频抠图是一个欠约束问题。大多数最先进的方法只利用语义信息,并单独处理每个帧。由于帧之间缺乏时间信息,它们的性能受到损害。为了解决这个问题,我们提出了上下文运动网络,利用语义信息和运动信息。为了捕捉运动信息,我们估计光流和设计一个上下文运动更新算子,以整合帧间的特征循环。我们的实验表明,我们的网络在Video240K SD数据集上的表现明显优于最先进的抠图方法。
2021-09-13 cs.CV
Motion Consistency Model: Accelerating Video Diffusion with Disentangled Motion-Appearance Distillation
State University of New York at Buffalo(纽约州立大学布法罗分校);Microsoft(微软公司)
本文提出单阶段 MCM,通过解耦运动蒸馏与混合轨迹蒸馏,从视频教师学习运动并借助图像判别器增强外观,实现少步、高质量视频扩散生成。
2024-10-26 cs.CV
VideoControlNet: A Motion-Guided Video-to-Video Translation Framework by Using Diffusion Model with ControlNet
Beihang University(北京航空航天大学);University of Hong Kong(香港大学)
提出运动引导的视频到视频转换框架 VideoControlNet,利用带 ControlNet 的扩散模型生成首帧,并通过 MgPG 和 MgBI 模块结合运动信息生成关键帧与插值帧,实现了连续一致的视频生成。
2023-08-03 cs.CV
Efficient Motion-Aware Video MLLM
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Baichuan Inc.(百川智能);Renmin University of China(中国人民大学)
针对视频MLLM采样低效与运动感知不足的问题,本文提出利用压缩视频结构的EMA及运动感知GOP编码器,并构建MotionBench,在视频问答与长视频理解上实现高性能和更低推理成本。
2025-03-17 cs.CV