Self-Supervised Motion Magnification by Backpropagating Through Optical Flow
University of Michigan(密歇根大学)
本文提出一种自监督视频运动放大方法,通过光流反向传播训练模型,无需合成放大数据集,并支持测试时自适应和用户选定对象的运动放大。
2023-11-28 cs.CV
Surgical Video Motion Magnification with Suppression of Instrument Artefacts
Wellcome/EPSRC Centre for Interventional and Surgical Sciences, University College London(伦敦大学学院威康/EPSRC介入与外科科学中心);Department of Neurosurgery, The National Hospital for Neurology and Neurosurgery(国立神经病学与神经外科医院神经外科)
视频运动放大可以在内窥镜视频中直接突出亚表面血管,以防止意外损伤和出血。然而,将运动滤波器应用于完整的手术图像对来自手术器械的残余运动敏感,并且由于像差运动伪影而可能阻碍实际应用。通过在工具引入到场景之前存储来自单个心血管周期的局部空间频率信息的时间滤波器响应,滤波器可以用于确定运动放大对于手术图像的空间区域是否应该是活动的。在本文中,我们提出了一种策略,以减少像差由于非生理运动的手术视频运动放大。我们提出了有前途的结果内窥镜经鼻经蝶垂体手术与最近的方法使用结构相似性(SSIM)的定量比较,以及定性分析,通过比较时空横截面的视频和单个帧。
2020-09-16 cs.CV eess.IV
3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields
University of Maryland(马里兰大学);Google Research(谷歌研究院);MIT(麻省理工学院)
本文提出一种基于时变辐射场的3D运动放大方法,利用欧拉原理放大移动相机场景中的细微运动并支持新视角渲染,在隐式与三平面辐射场上验证了有效性。
2023-08-07 cs.CV
Detecting Deepfake Videos Using Euler Video Magnification
Dublin City University(都柏林城市大学)
人工智能的最新进展使得区分真正和伪造的媒体越来越困难,特别是图像和视频。最近的一个发展是deepfake视频的兴起,基于使用先进的机器学习技术操纵视频。这涉及在目标视频中用第二个人的面部替换源视频中的个人的面部。随着deepfakes越来越无缝,计算也越来越简单,这个想法正在逐渐完善。结合社交媒体的传播和速度,当描绘某人说从未发生过的事情时,Deepfakes可以很容易地欺骗个人,从而说服人们相信虚构的场景,制造痛苦和传播假新闻。在本文中,我们研究了一种可能识别deepfake视频的技术。我们使用欧拉视频放大技术,对视频数据进行空间分解和时间滤波,以突出和放大隐藏的特征,如皮肤脉动和细微运动。我们的方法使用从欧拉技术提取的特征训练三个模型来分类伪造和未经更改的视频,并将结果与现有技术进行比较。
2021-01-27 cs.AI cs.CV cs.MM
Deep Pulse-Signal Magnification for remote Heart Rate Estimation in Compressed Videos
Pompeu Fabra University(庞培法布拉大学);Seedtag
提出脉冲信号放大变换方法,将压缩视频适配到未压缩数据域以放大rPPG信号,在多个数据集上验证了该方法在压缩视频心率估计中的有效性和鲁棒性。
2024-06-25 cs.AI cs.CV
Revisiting Learning-based Video Motion Magnification for Real-time Processing
Pohang University of Science and Technology(浦项科技大学);Kyung Hee University(庆熙大学);Yonsei University(延世大学)
本文针对全高清视频运动放大难以实时运行的问题,逐模块分析非均匀网络结构,提出轻量化实时模型,在质量相当的前提下将 FLOPs 降至 1/4.2、速度提升 2.7 倍。
2024-03-04 cs.CV eess.IV
GeoMag: Geometric-Aware Video Motion Magnification via State Space Model
School of Software Engineering, Xi'an Jiaotong University(西安交通大学软件工程学院);Xi'an Jiaotong University(西安交通大学)
提出GeoMag框架,利用状态空间模型实现全局一致的运动放大,并构建Geo-200K数据集提升训练多样性,在视觉保真度和计算效率上优于现有方法。
2026-05-28 cs.CV
How Do Deepfakes Move? Motion Magnification for Deepfake Source Detection
Binghamton University(宾汉姆顿大学);Intel Labs(英特尔实验室)
随着深度生成模型的激增,deepfakes每天都在质量和数量上提高。然而,原始视频中存在微妙的真实性信号,SOTA GANs无法复制。我们通过运动放大来对比deepfake和真实视频中的运动,以构建一个通用的deepfake源检测器。不同的生成模型对面部肌肉下运动有不同的解释,这反映在它们的生成残差中。我们的方法利用真实运动和放大的GAN指纹之间的差异,通过结合深度和传统的运动放大,来检测视频是否是假的,如果是,则检测其源生成器。在两个多源数据集上的视频源检测结果表明,该方法的检测率分别为97.17%和94.03%。我们与现有的deepfake源检测器和其他复杂的架构进行了比较。分析了放大倍数、相位提取窗口、主干网络结构、样本数和样本长度等参数对相位提取的重要性。最后,我们报告了不同肤色的结果,以评估偏见。
2022-12-28 cs.AI cs.CV
Learning-based Axial Video Motion Magnification
POSTECH(浦项科技大学);Yonsei University(延世大学)
本文提出轴向运动放大的新概念及Motion Separation Module,沿用户指定方向解耦并放大微小运动,构建了合成数据集,提升了运动可读性与用户可控性,且可适配通用运动放大任务。
2026-11-03 cs.CV eess.IV
GeoDiffMM: Geometry-Guided Conditional Diffusion for Motion Magnification
School of Computer Science(计算机科学学院);Information Engineering(信息工程);Hefei University of Technology(合肥工业大学)
GeoDiffMM提出一种基于扩散的拉格朗日运动放大框架,利用光流作为几何线索,通过噪声自由光流增强策略和扩散运动放大器,实现结构一致的运动放大,提升微运动放大效果。
2026-03-24 cs.CV
Event-Based Motion Magnification
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
提出由事件相机和RGB相机组成的双相机系统及新型深度网络,通过二阶循环传播模块和时间滤波器实现经济有效的小幅度高频运动放大,并构建首个相关数据集验证其有效性与准确性。
2024-07-23 cs.CV
SpikeMM: Flexi-Magnification of High-Speed Micro-Motions
School of Computer Science, Peking University(北京大学计算机学院);WuHan University(武汉大学);Dalian University of Technology(大连理工大学)
本文提出SpikeMM,一种基于spike的自监督高速微运动放大算法,通过集成多级信息提取、空间上采样和运动放大模块,解决了传统算法在高速场景下因低采样率或运动模糊导致的挑战,并能与超分辨率算法无缝集成。
2024-06-01 cs.CV
Fractional-Order Adaptive Motion Magnification: Phase-Reliability Weighting for Noise-Constrained Video Amplification
University of Oviedo(奥维耶多大学)
本文提出FrAM算法,用分数阶Grünwald–Letnikov导数和单演信号局部幅度加权替代传统欧拉放大的恒定增益,可在保持放大效果的同时降低平坦区噪声,且因果版本计算成本大幅降低。
2026-09-07 cs.CV eess.IV
AMMSM: Adaptive Motion Magnification and Sparse Mamba for Micro-Expression Recognition
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
针对微表情持续时间短、信号微弱导致识别困难的问题,提出多任务学习框架 AMMSM,结合自监督细微运动放大与稀疏空间选择 Mamba 架构,并利用进化搜索优化超参数,在标准数据集上实现了SOTA的准确率与鲁棒性。
2025-03-31 cs.CV
Deformation Monitoring of Tunnel using Phase-based Motion Magnification and Optical Flow
University College Cork(科克大学学院);Shimizu Corporation(清水建设株式会社)
本研究结合相位运动放大与光流法,量化隧道变形模态位移,并用维纳滤波抑制伪影,通过棱镜实验验证了方法的准确性。
2023-06-15 cs.CV
Infused Suppression Of Magnification Artefacts For Micro-AU Detection
University of Oulu(奥卢大学);Southeast University(东南大学)
针对微表情中动作单元检测因面部动作细微及运动放大伪影导致的困难,提出InfuseNet分层酉特征注入框架,通过约束学习区域和利用放大潜在特征,在CD6ME协议上超越现有技术并验证了伪影缓解效果。
2025-04-12 cs.CV
EulerMormer: Robust Eulerian Motion Magnification via Dynamic Filtering within Transformer
Hefei University of Technology (HFUT)(合肥工业大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);Anhui Zhonghuitong Technology Co., Ltd.(安徽中汇通科技有限公司)
针对视频运动放大中静态区闪烁、动态区模糊失真的问题,提出配备Transformer的EulerMormer框架,通过动态滤波策略实现自适应去噪,性能显著优于现有最先进方法。
2023-12-07 cs.CV
Image Processing for Motion Magnification
University of Camerino(卡梅里诺大学);School of Science and Technology(科学与技术学院);T SYSTEM srl(2T系统有限责任公司)
本文提出一种基于相位的运动放大数值技术,通过在傅里叶域分析视频序列并利用傅里叶平移性质放大微小运动,给出了数学基础、算法实现及合成图像上的初步实验验证。
2024-11-14 cs.CV cs.NA math.NA
Frequency Decoupling for Motion Magnification via Multi-Level Isomorphic Architecture
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);School of Computer Science, University of Nottingham(诺丁汉大学计算机学院)
本文提出FD4MM,一种基于多级同构架构的运动放大频率解耦新范式,通过稀疏高/低通滤波器和稀疏频率混合器捕获多级高频细节与稳定低频运动场,并创新引入对比正则化减少不期望放大,在降低计算量和提升推理速度的同时超越了SOTA方法。
2024-03-24 cs.CV
Lagrangian Motion Magnification with Double Sparse Optical Flow Decomposition
TU Berlin(柏林工业大学);htw saar(萨尔应用技术大学)
本文提出一种面部微运动局部拉格朗日放大方法,通过RAFT光流微调、时空双重稀疏分解及三角剖分前向变形策略,实现高效准确的微表情运动放大。
2024-01-15 cs.CV
MEGMAG: Micro-Expression Generation via MAGnification
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
提出MagPlus管道,通过可学习放大将微表情运动映射到常规表情范围,再利用标准表情模型处理,最后用DeMagPlus恢复强度,无需重新训练即可生成逼真微表情。
2026-10-30 cs.CV cs.GR
Little Motion, Big Results: Using Motion Magnification to Reveal Subtle Tremors in Infants
Khoury College of Computer Sciences, Northeastern University(东北大学库里计算机科学学院);Labrynthe Pvt. Ltd.(Labrynthe私人有限公司);Center for Perinatal Research, Abigail Wexner Research Institute, Nationwide Children’s Hospital(全国儿童医院阿比盖尔·韦克斯纳研究所围产期研究中心);Department of Pediatrics, The Ohio State University College of Medicine(俄亥俄州立大学医学院儿科系)
检测震动对人类和机器都是一个挑战。怀孕期间暴露于阿片类药物的婴儿在出生后往往会出现戒断的体征和症状,这很容易被人眼错过。临床特征的星座,称为新生儿禁欲综合征(NAS),包括震颤,癫痫发作,烦躁不安等,目前的护理标准使用Finnegan新生儿禁欲综合征评分系统(FNASS),基于主观评价。使用FNASS进行监测需要高度熟练的护理人员,这使得连续监测变得困难。在本文中,我们提出了一个自动震颤检测系统,使用放大的运动信号。我们证明了其适用性床边视频的婴儿表现出的迹象NAS。此外,我们测试了基于深度卷积网络的运动放大的不同模式,并确定动态模式在临床环境中效果最好,对常见的方向变化不变。我们提出了一个战略,为NAS患者的出院和随访,使用运动放大,以补充现有的协议。总的来说,我们的研究提出了弥合目前做法、培训和资源利用差距的方法。
2020-08-01 cs.CV cs.LG eess.IV
Vibration-Based Damage Detection in Wind Turbine Blades using Phase-Based Motion Estimation and Motion Magnification
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
基于振动的结构健康监测(SHM)技术是结构损伤识别的最常用方法之一。结构损伤的存在可以通过监测受外部载荷的动态行为的变化来识别,并且通常通过使用实验模态分析(EMA)或操作模态分析(OMA)来执行。这些用于SHM的工具通常需要有限数量的物理连接的换能器(例如加速度计),以便记录结构的响应以用于进一步分析。信号调节器、电线、无线接收器和数据采集系统(DAQ)也是基于振动的SHM中使用的传统传感系统的典型组件。然而,使用接触式传感器(如加速度计)对轻质结构进行检测可能会引起质量加载效应,对于大型结构,检测是劳动密集型和耗时的。实现高空间测量分辨率的大型结构并不总是可行的,而与传统的接触式传感器的工作,也有可能缺乏可靠性与固定的接触式传感器寿命超过主机结构的寿命。在最先进的非接触式测量中,数字摄像机能够从远程结构快速收集高密度的空间信息。本文采用基于相位的运动估计(PME)方法从视频(即一系列图像)中提取出细微的运动信息,并利用提取的信息对2.3m长的Skystream风力发电机叶片(WTB)进行损伤识别。PME和基于相位的运动放大方法从风力涡轮机叶片上的基线和受损测试用例的捕获图像序列估计结构运动。
2018-03-30 cs.CV eess.IV
Intrapapillary Capillary Loop Classification in Magnification Endoscopy: Open Dataset and Baseline Methodology
University College Hospital NHS Foundation Trust(伦敦大学医院 NHS 基金会信托);National Taiwan University(国立台湾大学);E-Da Hospital/I-Shou University(义守大学义大医院)
目的.食管早期鳞状细胞瘤(ESCN)是一种高度可治疗的疾病。局限于粘膜层的病变可通过内窥镜治疗。我们建立了一个计算机辅助检测(CADe)系统,可以将静止图像或视频帧分类为正常或异常,诊断准确率高。方法.我们提出了一个新的基准数据集,其中包含从114个患者视频中提取的68K二进制标记帧,其成像区域已被切除并与组织病理学相关。我们的新型卷积网络(CNN)架构解决了二进制分类任务,并解释了输入域的哪些特征驱动了网络的决策过程。结果所提出的方法实现了91.7%的平均准确率相比,由12名高级临床医生组成的一组达到了94.7%。我们的新型网络架构产生了深度监督的激活热图,表明网络在预测异常时正在观察乳头内毛细血管环(IPCL)模式。结论我们相信,这个数据集和基线方法可以作为未来ESCN检测背景下视频帧分类和可解释性基准的参考。一个具有高度临床相关性的未来工作路径是将分类扩展到ESCN类型。
2021-02-19 cs.CV eess.IV
Motion Magnification in Robotic Sonography: Enabling Pulsation-Aware Artery Segmentation
Technical University of Munich(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出脉搏辅助分割神经网络PAS-NN,利用运动放大技术提取超声图像中的心脏诱导脉搏信号作为注意力引导,并结合机械臂稳定扫描,有效提升了颈动脉和桡动脉的分割精度与稳定性。
2023-07-07 cs.CV cs.RO eess.IV
EndoControlMag: Robust Endoscopic Vascular Motion Magnification with Periodic Reference Resetting and Hierarchical Tissue-aware Dual-Mask Control
organization= Department of Electronic Engineering, The Chinese University of Hong Kong , state= Hong Kong SAR , country= China;organization= The Chinese University of Hong Kong Shenzhen Research Institute , city= Shen Zhen , state= Guangdong , country= China;organization= The First Affiliated Hospital of Wenzhou Medical University , city= Wenzhou , state= Zhejiang , country= China;organization= Department of General Surgery \& Guangdong Provincial Key Laboratory of Precision Medicine for Gastrointestinal Tumor, Nanfang Hospital, Southern Medical University , city= Guang Zhou , state= Guangdong , country= China;organization= Department of Otolaryngology-Head;Neck Surgery, Singapore General Hospital, Duke-NUS Medical School , country= Singapore;organization= Shenzhen Key Laboratory of Robotics Perception;the Department of Electronic;Electrical Engineering, Southern University of Science
本文提出无需训练的 EndoControlMag 框架,通过周期性参考重置和分层组织感知双掩膜控制增强内镜血管运动放大,并在 EndoVMM24 上验证其精度、视觉质量与鲁棒性。
2025-07-24 cs.AI cs.CV eess.IV
MotionAgent: Fine-grained Controllable Video Generation via Motion Field Agent
Nanyang Technological University(南洋理工大学);StepFun;Westlake University(西湖大学)
提出MotionAgent,通过运动场智能体将文本运动信息转为显式运动场,结合光流合成与适配器控制扩散模型,实现细粒度视频运动生成,在VBench上取得领先性能。
2025-10-15 cs.CV cs.GR
FOVEA: Foveated Image Magnification for Autonomous Navigation
Carnegie Mellon University(卡内基梅隆大学);Argo AI(阿戈人工智能公司)
高分辨率视频流的高效处理对于自动驾驶等许多机器人应用来说是安全关键的。为了保持实时性能,许多实际系统对视频流进行下采样。但这可能会损害下游任务,如(小)目标检测。相反,我们从生物视觉系统中获得灵感,将更多的中央凹“像素”分配给场景的突出部分。我们介绍FOVEA,一种智能下采样方法,可确保显著图像区域在下采样输出中保持“放大”。给定高分辨率图像,FOVEA应用输出小的固定大小的图像画布的可微分重建层,然后用可微分视觉模块(例如,目标检测网络),其输出然后被可微分地反向映射到原始图像尺寸上。关键思想是重新采样,使得背景像素可以为感兴趣的显著像素腾出空间。为了确保整个管道保持高效,FOVEA利用廉价且易于获得的显着性线索,包括最近从对象预测计算的特定于在自动驾驶数据集Argoverse-HD和BDD 100 K上,我们提出的方法在有和没有微调的情况下,都能提高标准Faster R-CNN的检测AP。在计算没有任何明显增加的情况下,我们将小对象的准确性提高了2倍以上,而不会降低大对象的性能。最后,FOVEA创下了流媒体AP的新纪录(在GTX 1080 Ti GPU上从17.8增加到23.0),这是一个旨在捕获准确性和延迟的指标。
2021-10-11 cs.CV
Predicting Future Pedestrian Motion in Video Sequences using Crowd Simulation
Pontifical Catholic University of Rio Grande do Sul(南里奥格兰德天主教大学)
在过去的几十年里,人类和群体分析已经成为一个重要的领域,一些当前和相关的应用涉及到估计未来的运动的行人在真实的视频序列。本文提出了一种方法,提供运动估计的真实行人在下一秒,使用人群模拟。我们的方法是基于物理学和几何学,并使用BioCrowds作为人群模拟方法来估计未来的位置的人在视频序列。结果表明,我们的估计方法即使对于可能发生事件的复杂视频也能很好地工作。当提前2秒以上估计32个行人的未来运动时,达到的最大平均误差为$2.72$ cm。本文讨论了这一点和其他结果。
2019-04-10 cs.CV cs.GR
Simulated Cortical Magnification Supports Self-Supervised Object Learning
Frankfurt Institute for Advanced Studies(法兰克福高级研究所);Xidian-FIAS International Joint Research Center(西电-法兰克福国际联合研究中心);Department of Psychology, University of Texas at Austin(德克萨斯大学奥斯汀分校心理学系)
本文通过模拟人类中央凹视觉和皮层放大修改以自我为中心的视频输入,训练受生物启发的自监督学习模型,发现建模中央凹视觉能改善物体表征质量,使模型更真实高效。
2025-09-19 cs.CV
The Computerized Classification of Micro-Motions in the Hand using Waveforms from Mobile Phone
National Public School(国立公立学校)
我们的手揭示了重要的信息,例如帮助我们确定血压的静脉搏动,指示运动控制的震颤,或神经退行性疾病,如原发性震颤或帕金森病。基于手机视频波形的手部微运动计算机分类是一种新的方法,该方法利用欧拉视频放大、小波分解、热图和kNN机器学习模型来检测人手的微运动,合成其波形,并对这些微运动进行分类。预处理是通过使用Eulerian视频放大,数字化,和热映射放大的微运动,地标的基本特征的手,并确定运动的程度,分别实现。在预处理之后,通过适当地对像素进行分组以正确地表示特定标签来手动标记可见运动。像素的这些标记的运动被转换成波形。最后,使用kNN模型将这些波形分为四类-手或手指运动、静脉运动、背景运动和由于呼吸引起的身体其他部位的运动。最终的准确率达到了92%左右。
2021-10-13 cs.CV cs.LG
Reenact Anything: Semantic Video Motion Transfer Using Motion-Textual Inversion
ETH Zürich(苏黎世联邦理工学院);DisneyResearch—Studios(迪士尼研究工作室)
提出运动文本反演方法,利用图像到视频模型分离外观与运动,通过运动参考视频优化嵌入实现语义运动迁移,无需空间对齐,适用于全身、面部及物体运动控制。
2025-05-23 cs.CV cs.GR cs.LG
VideoMage: Multi-Subject and Motion Customization of Text-to-Video Diffusion Models
National Taiwan University(台湾大学);NVIDIA(英伟达)
VideoMage提出统一框架,通过主体与运动LoRA及外观无关运动学习,实现多主体交互运动的视频定制,实验证明其生成连贯可控视频优于现有方法。
2025-03-27 cs.CV
MotionVideoGAN: A Novel Video Generator Based on the Motion Space Learned from Image Pairs
Tsinghua University(清华大学);University of Science and Technology Beijing(北京科技大学)
得益于强大的图像生成器提供的高质量渲染,视频生成取得了快速进展。我们把视频合成任务看作是生成一系列共享相同内容但运动不同的图像。然而,大多数基于预训练图像生成器的视频合成框架将内容和运动生成分开处理,导致生成的视频不切实际。因此,我们设计了一个新的框架来建立运动空间,旨在实现视频生成的内容一致性和快速收敛。我们提出了MotionVideoGAN,这是一种新的视频生成器,它基于预训练图像对生成器学习的运动空间合成视频。首先,我们提出了一个名为MotionStyleGAN的图像对生成器来生成共享相同内容并产生各种运动的图像对。然后,我们设法获取运动代码来编辑生成的图像对中的一个图像,并保持另一个不变。运动代码帮助我们在运动空间内编辑图像,因为编辑后的图像与图像对中的另一个未改变的图像共享相同的内容。最后,我们介绍了一个潜在的代码生成器,以产生潜在的代码序列,使用运动代码的视频生成。我们的方法在用于无条件视频生成评估的最复杂的视频数据集UCF 101上实现了最先进的性能。
2023-03-06 cs.CV
TransFlow: Motion Knowledge Transfer from Video Diffusion Models to Video Salient Object Detection
GenGenAI;Yonsei University(延世大学)
针对视频 SOD 训练数据稀缺及合成光流不真实的问题,本文提出 TransFlow,利用预训练视频扩散模型的语义运动先验从静态图像生成自然且时空一致的光流训练数据,并在多个基准上提升检测性能。
2025-07-26 cs.CV
MoCoGAN: Decomposing Motion and Content for Video Generation
Snap Research(Snap 研究院);NVIDIA(英伟达)
视频中的视觉信号可以分为内容和运动。虽然内容指定了视频中的对象,但运动描述了它们的动态。在此基础上,我们提出了运动和内容分解的生成对抗网络(MoCoGAN)的视频生成框架。所提出的框架通过将随机向量序列映射到视频帧序列来生成视频。每个随机向量由内容部分和运动部分组成。当内容部分保持固定时,运动部分被实现为随机过程。为了以无监督的方式学习运动和内容分解,我们引入了一种利用图像和视频鉴别器的新型对抗学习方案。在几个具有挑战性的数据集上进行的大量实验结果与最先进的方法进行了定性和定量比较,验证了所提出的框架的有效性。此外,我们表明,MoCoGAN允许生成具有相同内容但不同运动的视频以及具有不同内容和相同运动的视频。
2017-12-14 cs.CV
MotionMaster: Training-free Camera Motion Transfer For Video Generation
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯);Harbin Institute of Technology(哈尔滨工业大学)
本文提出免训练视频运动迁移模型 COMD,通过单样本和少样本相机运动解耦及运动组合方法,从源视频中提取并迁移相机运动,实现灵活多样的可控视频生成。
2024-05-01 cs.CV
Video Motion Graphs
The University of Tokyo(东京大学);Adobe Research(Adobe研究)
本文提出视频运动图系统,通过检索匹配条件信号的视频片段,并利用核心模型HMInterp进行双分支插值和条件渐进训练,实现多模态条件下高质量人体运动视频生成。
2025-06-03 cs.CV
VideoJAM: Joint Appearance-Motion Representations for Enhanced Motion Generation in Video Models
GenAI, Meta(Meta GenAI);Tel Aviv University(特拉维夫大学)
VideoJAM通过联合外观-运动表示和Inner-Guidance机制,在训练和推理中增强视频生成的运动连贯性,无需修改数据或扩大模型,达到最先进性能并提升视觉质量。
2025-05-26 cs.CV
MotionV2V: Editing Motion in a Video
Google(谷歌);Stony Brook University(石溪大学)
MotionV2V通过直接编辑稀疏轨迹实现视频运动编辑,利用生成性主干提升视频编辑能力,在用户研究中表现优异。
2025-11-25 cs.AI cs.CV cs.GR
Fréchet Video Motion Distance: A Metric for Evaluating Motion Consistency in Videos
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所);Peking University(北京大学);University of Toronto(多伦多大学)
针对视频生成中运动一致性评估不足的问题,提出基于关键点跟踪和 Fréchet 距离的 FVMD 指标,实验证明其更符合人类感知且能提升 VQA 模型性能。
2024-07-23 cs.CV
PersonaAnimator: Personalized Motion Transfer from Unconstrained Videos
本文提出 PersonaAnimator 框架,开创视频到视频的运动个性化任务,直接从无约束视频中学习个性化运动模式,并引入 PersonaVid 数据集和物理感知正则化机制,在运动迁移中取得优于现有方法的性能。
2025-11-09 cs.CV
Diving Deep into the Motion Representation of Video-Text Models
University of Maryland, College Park(马里兰大学帕克分校)
本文利用GPT-4生成的细粒度运动描述,提出一种改善视频-文本模型运动理解的方法,并在两个动作数据集上验证其有效性,揭示了现有模型与人类专家在运动理解上的差距。
2024-06-07 cs.CV
Enhancing Video Memorability Prediction with Text-Motion Cross-modal Contrastive Loss and Its Application in Video Summarization
Department of Information and Communication Engineering(信息与通信工程系)
针对运动特征利用不足问题,提出 TMCCL 文本-运动跨模态对比损失提升视频可记忆性预测,并以 MWCVS 将其用于降低视频摘要标签主观性。
2025-06-10 cs.CV
Dual-MTGAN: Stochastic and Deterministic Motion Transfer for Image-to-Video Synthesis
Graduate Institute of Communication Engineering, National Taiwan University(台湾大学通讯工程研究所);ASUS Intelligent Cloud Services(华硕智能云服务)
在计算机视觉中,生成具有内容和运动变化的视频是一项具有挑战性的任务。虽然GAN的最新发展允许从潜在表示生成视频,但是生成具有感兴趣的运动模式的特定内容的视频并不容易。在本文中,我们提出了双运动传输GAN(Dual-MT GAN),它以图像和视频数据作为输入,同时学习解纠缠的内容和运动表示。我们的Dual-MTGAN能够执行确定性运动传输和随机运动生成。基于给定的图像,前者保留输入内容并转移从另一个视频序列中观察到的运动模式,而后者直接基于输入图像产生具有合理但多样的运动模式的视频。所提出的模型以端到端的方式进行训练,而不需要利用预定义的运动特征,如姿势或面部标志。我们的定量和定性结果将证实我们的模型在解决这种条件图像到视频任务的有效性和鲁棒性。
2021-02-26 cs.CV
Motion Capture from Internet Videos
State Key Lab of CAD&CG, Zhejiang University(浙江大学计算机辅助设计与图形学国家重点实验室);Zhejiang Lab(之江实验室)
基于图像的人体姿态估计的最新进展使得从单个RGB视频捕获3D人体运动成为可能。然而,在一个单一的视图中固有的深度模糊性和自遮挡禁止恢复高质量的运动作为多视图重建。虽然多视图视频并不常见,但名人执行特定动作的视频通常在互联网上丰富。即使这些视频是在不同的时间记录的,它们也会对人的相同运动特征进行编码。因此,我们建议通过联合分析这些互联网视频来捕获人体运动,而不是单独使用单个视频。然而,这项新任务提出了许多现有方法无法解决的新挑战,因为视频是不同步的,摄像机视点是未知的,背景场景是不同的,并且视频之间的人体运动并不完全相同。为了解决这些挑战,我们提出了一种新的基于优化的框架,并通过实验证明了它能够从多个视频中恢复更精确和详细的运动,与单目运动捕捉方法相比。
2020-08-19 cs.CV
CoMoVi: Co-Generation of 3D Human Motions and Realistic Videos
HKUST(香港科技大学);SCUT(华南理工大学);HKU(香港大学);MIT(麻省理工学院);ZJU(浙江大学)
本文提出CoMoVi框架,通过单个扩散去噪循环同步生成3D人类动作和视频,采用双分支扩散模型实现动作与视频生成的互惠特征交互和3D-2D交叉注意力。
2026-04-10 cs.CV
MotionZero:Exploiting Motion Priors for Zero-shot Text-to-Video Generation
University of Electronic Science and Technology of China (UESTC)(电子科技大学)
MotionZero通过大语言模型从提示词中提取不同对象的运动先验,实现提示自适应且解纠缠的运动控制,并引入运动感知注意力机制,解决了零样本文本到视频生成中运动模式固定和对象运动控制纠缠的问题。
2023-11-28 cs.CV
LaMD: Latent Motion Diffusion for Image-Conditional Video Generation
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院);Microsoft Research Asia(微软亚洲研究院)
针对图像条件视频生成中运动连贯性与采样效率的问题,提出LaMD框架,通过运动分解视频自动编码器压缩运动表示,结合扩散运动生成器高效生成真实运动,在多数据集上实现高质量视频生成并缩短采样时间。
2025-04-18 cs.CV
MoAlign: Motion-Centric Representation Alignment for Video Diffusion Models
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research(高通AI研究)
针对文本到视频扩散模型运动生成不合理的问题,提出MoAlign框架,从预训练视频编码器学习解耦运动子空间并对齐扩散模型潜特征,提升生成视频的物理合理性且保留文本遵循度。
2025-10-21 cs.CV
DynaVid: Learning to Generate Highly Dynamic Videos using Synthetic Motion Data
POSTECH(浦项科技大学);Microsoft Research Asia(微软亚洲研究院)
DynaVid通过合成运动数据训练视频合成框架,解决动态视频生成中真实数据不足的问题,采用两阶段生成方法提升动态运动和摄像机运动的现实感与可控性。
2026-04-02 cs.CV
MoTrans: Customized Motion Transfer with Text-driven Video Diffusion Models
Dalian University of Technology(大连理工大学);Tsinghua University(清华大学)
针对T2V模型难以建模复杂人体运动且运动与外观耦合的问题,本文提出MoTrans,通过MLLM重描述、外观注入和运动特定嵌入实现定制化运动迁移。
2024-12-02 cs.CV
TRACE: Object Motion Editing in Videos with First-Frame Trajectory Guidance
University of Maryland, College Park(马里兰大学帕克分校);Adobe Research(Adobe研究院)
本文提出TRACE框架,通过单帧锚点设计轨迹并合成一致的编辑视频,解决对象运动路径编辑问题,实现更协调、真实且可控的视频编辑。
2026-03-26 cs.CV
Generative Video Motion Editing with 3D Point Tracks
Adobe Research(Adobe研究院);Adobe(Adobe公司);University of Maryland College Park(马里兰大学学院公园分校)
本文提出基于3D点轨迹的视频生成框架,实现摄像机与物体运动的联合编辑,通过稀疏对应关系保持时空一致性,提升视频编辑的精确度和创作潜力。
2025-12-01 cs.CV