AnyV2V: A Tuning-Free Framework For Any Video-to-Video Editing Tasks
University of Waterloo(滑铁卢大学);Vector Institute(矢量研究所)
针对现有视频编辑模型质量不足、控制受限、依赖文本引导且需微调的问题,提出免调优框架AnyV2V,通过首帧编辑加时序特征注入的图像到视频生成实现多类编辑任务,在人工评估中视觉一致性表现更优。
2024-11-03 cs.AI cs.CV cs.MM
VIA: Unified Spatiotemporal Video Adaptation Framework for Global and Local Video Editing
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校);Snap Research(Snap 研究院);KAUST(阿卜杜拉国王科技大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出统一时空视频适配框架VIA,通过测试时编辑适配和时空适配实现全局与局部一致的分钟级长视频编辑,实验证明其编辑更忠实、连贯且局部控制更精确。
2025-03-27 cs.AI cs.CV cs.MM
EffiVED:Efficient Video Editing via Text-instruction Diffusion Models
Alibaba Group(阿里巴巴集团)
本文提出基于扩散模型的高效视频编辑模型EffiVED,通过两种工作流收集数据构建高质量训练集,实现无需逐视频微调的指令引导视频编辑,在保证高质量的同时实现快速执行。
2024-06-05 cs.CV
Neutral Editing Framework for Diffusion-based Video Editing
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术研究院(KAIST))
本文提出 NeuEdit 框架,通过“中性化”机制以模型无关方式增强扩散视频编辑流程,仅依赖视频和文本即可实现此前未被探索的人物/对象运动级复杂非刚性编辑。
2023-12-10 cs.CV
VideoHandles: Editing 3D Object Compositions in Videos Using Video Generative Priors
KAIST(韩国科学技术院);Adobe Research(奥多比研究院)
提出VideoHandles,一种无需训练的视频3D物体组合编辑方法,通过将生成模型特征提升至共享3D重建并编辑后投影回各帧,实现时间一致的3D位置编辑,优于图像编辑基线。
2025-03-27 cs.CV
InsEdit: Towards Instruction-based Visual Editing via Data-Efficient Video Diffusion Models Adaptation
The Hong Kong University of Science and Technology(香港科技大学);Celia Research HK;City University of Hong Kong(香港城市大学)
本文提出InsEdit,基于HunyuanVideo-1.5构建指令式编辑模型,结合Mutual Context Attention机制,仅需少量视频编辑数据即可实现高质量视频编辑,并支持图像编辑。
2026-04-09 cs.CV
Thinking on Shots: Consistent Multi-Shot Video Editing with Agentic Reasoning
Nankai University(南开大学);Tencent(腾讯)
本文针对多指令编辑长视频的挑战,提出MMLVE任务与智能体编辑框架,构建MMLVE-Bench数据集及评估指标,所提MMLVE-Agent优于Seedance 2.0等闭源SOTA方法,可实现一致且无幻觉的长视频编辑。
2026-08-28 cs.CV cs.MM
OpenKinoAI: An Open Source Framework for Intelligent Cinematography and Editing of Live Performances
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
OpenKinoAI是一个用于超高清视频后期制作的开源框架,它可以在单摄像机录制的情况下模拟专业的多剪辑编辑技术。OpenKinoAI包括用于将现场表演的原始视频片段上传到远程Web服务器上的工具,检测,跟踪和识别原始材料中的表演者,将原始视频重新构建为大量的电影胶片,将胶片编辑为电影,并为胶片和电影添加注释以供文档使用。OpenKinoAI可用于促进超高清视频的多剪辑视频编辑研究,并允许表演艺术家和公司使用此研究以创新的方式在线存档,记录和分享他们的工作。
2020-10-30 cs.CV cs.MM
VINCIE-NExT: Unlocking Video Editing from Images via In-Context Modeling
National University of Singapore(新加坡国立大学);ByteDance Seed(字节跳动种子项目);University of Science and Technology of China(中国科学技术大学)
本研究提出VINCIE-NExT框架,通过上下文视觉演示将图像编辑能力迁移至视频,分解视频编辑为子任务链,引入新型位置编码实现外观对齐,在OpenVE-Bench上达到当前最优编辑性能。
2026-10-09 cs.AI cs.CV cs.MM
In-Context Learning with Unpaired Clips for Instruction-based Video Editing
Nanyang Technological University(南洋理工大学);StepFun
提出一种低成本预训练策略,利用非配对视频片段进行上下文学习,使基础视频生成模型具备通用编辑能力,并在少量配对数据上微调,显著提升指令遵循与编辑质量。
2025-10-16 cs.AI cs.CV
LIVE: Leveraging Image Manipulation Priors for Instruction-based Video Editing
Nankai University(南开大学);Pengcheng Laboratory(鹏城实验室);Kuaishou Technology(快手科技);Nankai International Advanced Research Institute (SHENZHEN·FUTIAN)(南开国际先进研究院(深圳·福田))
本文提出LIVE框架,结合大规模高质量图像编辑数据和视频数据提升编辑能力,通过帧级噪声策略和两阶段训练策略,构建包含60多项挑战性任务的评估基准,实验表明方法达到SOTA。
2026-04-18 cs.CV
UniEdit: A Unified Tuning-Free Framework for Video Motion and Appearance Editing
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
本文提出免调优框架 UniEdit,利用预训练文本到视频生成器及运动参考、重建分支与时空注意力注入,统一支持视频运动和外观编辑,并在实验中超过现有方法。
2024-04-07 cs.CV
GAZED- Gaze-guided Cinematic Editing of Wide-Angle Monocular Video Recordings
IIIT Hyderabad(印度理工学院海得拉巴分校);CVIT(计算机视觉与智能技术中心)
我们提出了凝视-眼睛凝视引导编辑的视频捕获的一个孤独的,静态的,广角和高分辨率的相机。眼睛凝视已被有效地采用在计算应用程序中作为一个线索,以捕捉有趣的场景内容,我们采用凝视作为代理选择镜头包括在编辑的视频。给定原始视频,场景内容和用户眼睛注视轨迹被组合以生成包括电影学上有效的演员镜头和镜头过渡的编辑视频,以生成原始叙事的美学和生动的表示。我们模型的电影视频编辑作为一个能量最小化问题的镜头选择,其约束条件捕获电影编辑公约。注视的场景位置主要确定构成编辑视频的镜头。凝视对多种竞争方法的有效性证明通过心理物理研究,涉及12个用户和12个性能视频。
2020-10-22 cs.CV cs.HC cs.MM
Señorita-2M: A High-Quality Instruction-based Dataset for General Video Editing by Video Specialists
The Chinese University of Hong Kong(香港中文大学);The Hong Kong Polytechnic University(香港理工大学);Tsinghua University(清华大学);The University of Hong Kong(香港大学);IntelliFusion Inc.(智融公司);University of Electronic Science and Technology of China(电子科技大学)
本文提出包含约200万个高质量视频编辑对的Señorita-2M数据集,通过四个专用编辑模型构建并设计过滤流程,以弥补端到端视频编辑方法训练数据不足的问题,实验证明其能显著提升视频编辑质量。
2025-03-12 cs.CV
Shaping a Stabilized Video by Mitigating Unintended Changes for Concept-Augmented Video Editing
Zhejiang University(浙江大学);Hangzhou Dianzi University(杭州电子科技大学);Hefei University of Technology(合肥工业大学)
针对文本驱动视频编辑中开放概念编辑受限及非预期干扰问题,提出概念增强编辑方法,利用概念对和双先验监督,生成更稳定逼真的视频,超越现有方法。
2025-05-27 cs.CV
Action Reimagined: Text-to-Pose Video Editing for Dynamic Human Actions
Michigan State University(密歇根州立大学);University of Central Florida(中佛罗里达大学)
针对现有视频编辑难以修改人类动作的问题,提出ReimaginedAct方法,结合LLM、Grounded-SAM和姿态检索实现文本驱动的动态动作编辑,还构建了WhatifVideo-1.0数据集,验证了方法的有效性。
2024-03-11 cs.CV
AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities
Nanjing University(南京大学);Kuaishou Technology(快手科技);National University of Singapore(新加坡国立大学);Beijing University of Posts and Telecommunications(北京邮电大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究针对现有视频编辑基准未充分考虑视听耦合问题,提出AVE-Compass基准及AVE-Agent框架,通过多种评估方式评估编辑能力,能分解复杂指令迭代改进结果,提升了跨模态编辑等方面表现及感知质量。
2026-07-29 cs.CV cs.MM cs.SD
Video-P2P: Video Editing with Cross-attention Control
The Chinese University of Hong Kong(香港中文大学);Adobe(奥多比);SmartMore(思谋)
本文介绍了Video-P2P,一种新的框架,用于现实世界的视频编辑与交叉注意力控制。虽然注意力控制已被证明对于使用预训练的图像生成模型进行图像编辑是有效的,但目前还没有公开的大规模视频生成模型。Video-P2P通过调整图像生成扩散模型来完成各种视频编辑任务来解决这一限制。具体来说,我们建议首先调整文本到集合(T2 S)模型来完成近似反转,然后优化共享无条件嵌入,以实现精确的视频反转,并具有较小的内存成本。对于注意力控制,我们引入了一种新的双引导策略,它使用不同的指导策略的源和目标提示。对源提示的优化无条件嵌入提高了重构能力,而对目标提示的初始化无条件嵌入提高了可编辑性。将这两个分支的注意力图分开可以进行详细的编辑。这些技术设计支持各种文本驱动的编辑应用程序,包括单词交换,提示细化和注意力重新加权。Video-P2P在真实世界的视频中可以很好地生成新角色,同时最佳地保留其原始姿势和场景。它明显优于以前的方法。
2023-03-08 cs.CV
MagicEdit: High-Fidelity and Temporally Coherent Video Editing
ByteDance Inc.(字节跳动公司)
本研究提出文本引导视频编辑方法MagicEdit,通过训练时显式解耦内容、结构与运动信号的学习,实现高保真且时间连贯的视频编辑,支持风格化、局部编辑等多种下游任务。
2023-08-28 cs.CV
StableVideo: Text-driven Consistency-aware Diffusion Video Editing
Microsoft Research Asia(微软亚洲研究院);Zhejiang University(浙江大学)
针对扩散模型编辑视频时对象外观时序不一致的问题,本文提出帧间传播机制并构建文本驱动框架 StableVideo,显著提升了视频编辑的一致性与效果。
2023-08-18 cs.CV
VE-Bench: Subjective-Aligned Benchmark Suite for Text-Driven Video Editing Quality Assessment
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
本文提出VE-Bench基准套件,包含视频编辑质量评估数据库VE-Bench DB和定量评估方法VE-Bench QA,通过关注文本-视频对齐和源视频与编辑视频相关性,实现了与人类偏好对齐的视频编辑质量评估。
2024-12-18 cs.CV
FREE-Edit: Using Editing-aware Injection in Rectified Flow Models for Zero-shot Image-Driven Video Editing
The University of Hong Kong(香港大学);International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA))
本文提出FREE-Edit框架,通过编辑感知注入提升图像驱动视频编辑效果,无需微调即可在多种场景中生成高质量输出。
2026-03-22 cs.CV
Streaming Video Diffusion: Online Video Editing with Diffusion Models
Australian Institute for Machine Learning, The University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);Zhejiang University(浙江大学);Monash University(莫纳什大学)
提出在线视频编辑任务以实现流式帧的时间一致性编辑,并构建SVDiff模型,通过整合空间感知时间递归到Stable Diffusion并采用分段级训练,在512x512分辨率下实现15.2 FPS的实时高质量长视频编辑。
2024-05-30 cs.CV
VEBench:Benchmarking Large Multimodal Models for Real-World Video Editing
ByteDance Intelligent Creation(字节跳动智能创作);CRCV, University of Central Florida(中央佛罗里达大学CRCV)
VEBench通过高质量视频和人工验证问题对多模态大模型在视频编辑中的知识理解和操作推理能力进行评估,揭示当前模型与人类水平间的显著差距。
2026-05-08 cs.CV
Motion-Conditioned Image Animation for Video Editing
Meta;UC Berkeley(加州大学伯克利分校)
本文提出MoCA方法,将视频编辑分解为图像编辑与运动条件图像动画,并构建新基准,在多项编辑任务上超越现有方法,尤其在运动编辑上表现显著提升。
2023-11-30 cs.AI cs.CV cs.GR
Edit3K: Universal Representation Learning for Video Editing Components
ByteDance Inc.(字节跳动公司);University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所)
本文提出Edit3K数据集和一种关注编辑组件外观的表示学习方法,用于视频编辑组件的通用表示,在检索、识别和转场推荐任务上取得最优结果。
2025-02-25 cs.CV
RNA: Video Editing with ROI-based Neural Atlas
POSTECH(浦项科技大学)
提出基于ROI的神经图谱(RNA)视频编辑框架,通过用户指定编辑区域省去前景分离与建模,并设计掩码细化方法和软神经图谱模型解决遮挡与重建问题,实现更高效高质量的视频编辑。
2024-10-10 cs.CV
Temporally Consistent Semantic Video Editing
University of Maryland, College Park(马里兰大学帕克分校);Virginia Tech(弗吉尼亚理工大学)
生成对抗网络(GANs)已经展示了令人印象深刻的图像生成质量和真实图像的语义编辑能力,例如,更改对象类、修改属性或传递样式。然而,将这些基于GAN的编辑独立地应用于每个帧的视频不可避免地会导致时间闪烁伪影。我们提出了一个简单而有效的方法,以促进时间相干视频编辑。我们的核心思想是通过优化潜在代码和预训练生成器来最大限度地减少时间光度不一致性。我们评估了我们在不同领域和GAN反演技术上的编辑质量,并显示了对基线的有利结果。
2022-06-21 cs.CV
Omni-Video 2: Scaling MLLM-Conditioned Diffusion for Unified Video Generation and Editing
本文提出Omni-Video 2,通过连接预训练多模态大语言模型与视频扩散模型,实现视频生成与编辑的统一。核心方法是利用MLLM生成明确的目标描述以指导生成过程,并通过轻量适配器高效注入多模态条件token,提升复杂编辑任务性能。
2026-03-13 cs.CV
A Video is Worth 256 Bases: Spatial-Temporal Expectation-Maximization Inversion for Zero-Shot Video Editing
The University of Hong Kong(香港大学);International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA));Peking University(北京大学);Tsinghua University(清华大学)
针对现有视频编辑反演方法时间一致性不足的问题,提出时空期望最大化(STEM)反演方法,通过低秩全局基表示视频,在两种SOTA视频编辑方法上实现了一致的性能提升。
2024-06-18 cs.CV
Training-Free Video Editing via Optical Flow-Enhanced Score Distillation
本研究提出基于预训练文本到视频模型的分数蒸馏方法,通过迭代优化和光流增强技术,解决无需训练视频编辑中的内容保留与时间连续性问题。
2026-01-04 cs.CV
MoViE: Mobile Diffusion for Video Editing
Qualcomm AI Research(高通人工智能研究)
针对扩散视频编辑模型难以在移动端部署的问题,本研究通过架构优化、多模态无分类器引导蒸馏、对抗蒸馏减采样步等方案,实现移动端12帧/秒的高质量视频编辑。
2024-12-09 cs.CV
FlowAnchor: Stabilizing the Editing Signal for Inversion-Free Video Editing
MIPG, Communication University of China(信息与通信大学)
本文提出FlowAnchor框架,通过稳定编辑信号实现高效的无反向视频编辑,解决多目标场景和高速运动中的稳定性问题。
2026-04-24 cs.CV
FastVideoEdit: Leveraging Consistency Models for Efficient Text-to-Video Editing
McGill University(麦吉尔大学);The Chinese University of Hong Kong(香港中文大学)
FastVideoEdit利用一致性模型的自一致性特性,实现零样本高效文本到视频编辑,无需反演或额外条件提取,在保持生成质量的同时显著提升编辑速度。
2024-11-18 cs.CV
Video Editing via Factorized Diffusion Distillation
Meta AI
本文提出Emu Video Edit (EVE)模型,通过分别训练图像与视频适配器并附加至文生图模型,引入无监督的Factorized Diffusion Distillation过程联合蒸馏知识,在无需监督数据下实现精确单帧编辑与时序一致的视频编辑新SOTA。
2024-03-24 cs.CV
DNI: Dilutional Noise Initialization for Diffusion Video Editing
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出稀释噪声初始化(DNI)框架,通过向待编辑区域的潜在噪声添加额外噪声以软化结构刚性,实现扩散视频编辑中的非刚性编辑,如运动变化,实验证明其有效性。
2024-09-19 cs.CV
MagicProp: Diffusion-based Video Editing via Motion-aware Appearance Propagation
ByteDance Inc.(字节跳动公司)
MagicProp提出两阶段扩散视频编辑框架,先编辑单帧外观,再通过PropDPM自回归传播,兼顾编辑灵活性与时间一致性。
2023-09-02 cs.CV
Transforming Image Editors into Video Editors
ByteDance Seed(字节跳动Seed);Johns Hopkins University(约翰斯·霍普金斯大学)
该研究提出基于锚点的视频编辑框架AVE,通过将强大图像编辑器转换为视频编辑器,在IVEBench和VIE-Bench上实现了指令遵循、时间一致性等方面的良好性能,为视频编辑提供了低成本替代方案。
2026-10-09 cs.CV
Text-Driven Reasoning Video Editing via Reinforcement Learning on Digital Twin Representations
Department of Computer Science, Johns Hopkins University(计算机科学系,约翰霍普金斯大学)
针对现有文本驱动视频编辑方法无法处理隐式语义查询的问题,提出RIVER模型,通过数字孪生表征解耦推理与生成,结合强化学习训练,在自建及公开基准上取得最优性能。
2025-11-18 cs.CV
InsViE-1M: Effective Instruction-based Video Editing with Elaborate Dataset Construction
The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院)
针对高质量指令式视频编辑数据集匮乏的问题,本文构建了包含100万三元组的InsViE-1M数据集,并提出多阶段学习策略训练InsViE模型,显著提升了视频编辑性能。
2025-07-11 cs.CV
MAKIMA: Tuning-free Multi-Attribute Open-domain Video Editing via Mask-Guided Attention Modulation
本文提出免调优多属性视频编辑框架MAKIMA,通过掩码引导注意力调制和一致特征传播,在保持视频结构与时间一致性的同时实现精确的多属性开放域编辑。
2024-12-28 cs.CV
UNIC: Unified In-Context Video Editing
The Hong Kong University of Science and Technology(香港科学与技术大学);Kuaishou Technology(快手科技)
UNIC提出以统一上下文方式在单一模型中处理多种视频编辑任务,通过将源视频token、带噪潜变量和条件token整合为连续序列并用DiT联合建模,结合任务感知RoPE和条件偏置解决任务混淆,在统一基准上取得优越性能并支持任务组合。
2025-06-04 cs.CV
Consistent and Editable: A Balanced Framework for Text-Guided Video Editing
USTC(中国科学技术大学)
针对视频编辑中时间一致性和可编辑性难以平衡的问题,提出EquiEdit框架。通过时间Mamba模块增强时间一致性,设计基于频谱变换的噪声注入策略提升可编辑性,实验证明该方法有效。
2026-07-07 cs.CV
Task-agnostic Temporally Consistent Facial Video Editing
Peking University(北京大学);Tencent AI Lab(腾讯AI实验室);University of Rochester(罗切斯特大学)
最近的研究已经见证了面部图像编辑任务的进展。然而,对于视频编辑,先前的方法要么简单地逐帧应用变换,要么以级联或迭代的方式利用多个帧,这导致明显的视觉闪烁。此外,这些方法局限于一次处理一个特定的任务,没有任何可扩展性。在本文中,我们提出了一个任务无关的时间一致的人脸视频编辑框架。基于3D重建模型,我们的框架被设计成以一种更统一和更分散的方式处理多个编辑任务。核心设计包括一个动态的训练样本选择机制和一个新的3D时间损失约束,充分利用图像和视频数据集,并强制执行时间一致性。与最先进的面部图像编辑方法相比,我们的框架生成的视频人像更逼真,时间平滑。
2020-07-03 cs.CV
Automatic Non-Linear Video Editing Transfer
Google Research(谷歌研究院)
我们提出了一种自动的方法,提取源视频中的编辑风格,并将编辑应用到匹配的视频素材中。我们基于计算机视觉的技术考虑了每个输入视频片段的帧、内容类型、回放速度和照明。通过应用这些功能的组合,我们展示了一种有效的方法,自动传输的视觉和时间风格从专业编辑的视频看不见的原始素材。我们使用真实世界的视频评估了我们的方法,这些视频总共包含3872个各种编辑风格的视频镜头,包括不同的主题、相机运动和灯光。我们报告了来自调查参与者的反馈,他们审查了我们的一组结果。
2021-05-14 cs.CV
RealCraft: Attention Control as A Tool for Zero-Shot Consistent Video Editing
KTH(瑞典皇家理工学院)
本文提出RealCraft,一种基于注意力控制的零样本真实世界视频编辑方法,通过替换交叉注意力注入新特征并放松编辑对象的空间-时间注意力,在直接使用Stable Diffusion且无需额外信息的情况下,实现了长达64帧的局部形状级、时间一致且无需参数的视频编辑。
2025-01-31 cs.CV
M3L: Language-based Video Editing via Multi-Modal Multi-Level Transformers
UC Santa Barbara(加州大学圣巴巴拉分校);UC Santa Cruz(加州大学圣克鲁兹分校)
视频编辑工具如今被广泛用于数字设计。虽然对这些工具的需求很高,但所需的先验知识使新手很难入门。能够遵循自然语言指令进行自动编辑的系统将大大改善无障碍环境。本文介绍了基于语言的视频编辑(LBVE)任务,它允许模型编辑,由文本指令的指导下,源视频到目标视频。LBVE包含两个功能:1)源视频的场景被保留,而不是生成完全不同的视频; 2)语义在目标视频中被不同地呈现,并且所有的变化都由给定的指令控制。我们提出了一种多模态多电平Transformer(M $^3$ L)来实现LBVE。M $^3$ L在不同层次上动态地学习视频感知和语言语义之间的对应关系,有利于视频理解和视频帧合成。我们构建了三个新的数据集进行评估,包括两个诊断数据集和一个来自带有人类标记文本的自然视频的数据集。大量的实验结果表明,M $^3$ L是有效的视频编辑和LBVE可以导致一个新的领域,对视觉和语言的研究。
2022-03-18 cs.CV
FlowMimic: Mask-free Visual Editing and Generation with Pixel-pair Warped Flow Field for Online Video Editing Data Generation and Modality Mimicry
研究探索在单一模型中整合视频和图像模态的生成与编辑能力,开发像素对时间扭曲流场实时生成视频编辑样本,设计模态模仿损失对齐模态能力,引入相关任务及损失让模型内化基于语言的视觉编辑能力。
2026-09-23 cs.CV
StreamEdit: Training-Free Video Editing via Few-Step Streaming Video Generation
The University of British Columbia(不列颠哥伦比亚大学);ETH Zürich(苏黎世联邦理工学院);McMaster University(麦马斯特大学);Vector Institute(向量研究所);Canada CIFAR AI Chair(加拿大 CIFAR 人工智能主席)
本文提出StreamGVE,一种基于噪声到数据视角的视频编辑方法,通过引入双分支快速采样和自注意力桥接以及交叉注意力接地/增强,实现了高效的视频编辑,能够在少步设置中优于现有方法。
2026-07-01 cs.CV
INVE: Interactive Neural Video Editing
Adobe Research(Adobe研究院);University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所)
本文提出实时交互式神经视频编辑方法 INVE,利用 hash-grids、双向图像-图集映射和向量化编辑,将学习与推理速度较 LNA 提升 5 倍,并支持更丰富的直接编辑操作。
2023-07-15 cs.CV
Edit as You See: Image-guided Video Editing via Masked Motion Modeling
AMD(超威半导体公司);Peking University(北京大学);Tsinghua University(清华大学)
针对图像引导视频编辑,本文提出 IVEDiff,通过可学习运动模块、掩码运动建模微调和光流引导运动参考网络保持时序一致性,并构建基准验证其高质量鲁棒编辑效果。
2025-01-08 cs.CV
CoinVE-200K: A Large-Scale High-Quality Dataset for Compositional Instruction-Guided Video Editing
Tencent(腾讯)
本文提出用于组合式指令引导视频编辑的大规模高质量数据集CoinVE-200K,构建基准CoinVE-Bench及22B参数模型CoinVE-Edit,在基准测试中表现优异。
2026-08-26 cs.CV
Diffusion Model-Based Video Editing: A Survey
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
该综述系统梳理了基于扩散模型的视频编辑技术的理论基础、方法分类、新兴应用,通过新基准V2VBench完成对比,并指出未来研究的挑战与方向。
2026-10-07 cs.AI cs.CV cs.LG
I2VEdit: First-Frame-Guided Video Editing via Image-to-Video Diffusion Models
S-Lab, Nanyang Technological University(新加坡南洋理工大学S-Lab);Nanyang Technological University(新加坡南洋理工大学);SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室)
I2VEdit利用预训练图像到视频模型,将单帧图像编辑传播至整个视频,通过粗运动提取与外观细化处理全局、局部编辑及形状变化,实现高质量时间一致的视频编辑。
2024-05-26 cs.CV