VINCIE-NExT: Unlocking Video Editing from Images via In-Context Modeling
National University of Singapore(新加坡国立大学);ByteDance Seed(字节跳动种子项目);University of Science and Technology of China(中国科学技术大学)
本研究提出VINCIE-NExT框架,通过上下文视觉演示将图像编辑能力迁移至视频,分解视频编辑为子任务链,引入新型位置编码实现外观对齐,在OpenVE-Bench上达到当前最优编辑性能。
2026-10-09 cs.AI cs.CV cs.MM
In-Context Learning with Unpaired Clips for Instruction-based Video Editing
Nanyang Technological University(南洋理工大学);StepFun
提出一种低成本预训练策略,利用非配对视频片段进行上下文学习,使基础视频生成模型具备通用编辑能力,并在少量配对数据上微调,显著提升指令遵循与编辑质量。
2025-10-16 cs.AI cs.CV
Region-Constraint In-Context Generation for Instructional Video Editing
University of Science and Technology of China(中国科学技术大学);HiDream.ai Inc.(HiDream.ai公司)
ReCo通过引入区域约束建模,提升基于指令的视频编辑中编辑区域的准确性和去噪效果,提出新的正则化方法和大规模数据集。
2025-12-19 cs.CV cs.MM
VINCIE: Unlocking In-context Image Editing from Video
National University of Singapore(国立新加坡大学);ByteDance Seed(字节跳动种子)
VINCIE通过视频直接训练模型,实现了强大的上下文图像编辑能力,并在多轮图像编辑基准中取得最佳成绩。
2026-02-28 cs.AI cs.CL cs.CV
The Anatomy of Video Editing: A Dataset and Benchmark Suite for AI-Assisted Video Editing
Adobe Research(奥多比研究院);KAIST(韩国科学技术院)
机器学习正在改变视频编辑行业。计算机视觉的最新进展已经提高了视频编辑任务的水平,例如智能重构、旋转描记、颜色分级或应用数字化妆。然而,大多数解决方案都集中在视频处理和VFX上。这项工作介绍了视频编辑的解剖,一个数据集和基准,以促进人工智能辅助视频编辑的研究。我们的基准测试套件专注于视频编辑任务,而不仅仅是视觉效果,例如自动素材组织和辅助视频组装。为了使这些方面的研究,我们注释了超过1.5米的标签,与电影摄影相关的概念,从196176拍摄电影场景采样。我们为每个任务建立了有竞争力的基线方法和详细的分析。我们希望我们的工作能够激发创新研究,以探索人工智能辅助视频编辑的未开发领域。
2022-07-21 cs.CV
Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image Diffusion Models
Kim Jaechul Graduate School of AI, KAIST(韩国科学技术院金在哲人工智能研究生院)
本文提出Ground-A-Video框架,通过跨帧门控注意力、调制交叉注意力和光流引导平滑,以零样本方式实现时间一致的多属性视频编辑,在编辑准确性和帧一致性上优于基线方法。
2024-02-24 cs.AI cs.CV cs.LG
Pathways on the Image Manifold: Image Editing via Video Generation
Technion - Israel Institute of Technology(以色列理工学院)
针对现有图像编辑模型指令遵循差、易破坏原图保真度的问题,提出将图像编辑重构为时序过程,借助预训练图像到视频模型生成平滑过渡来遍历图像流形,在文本图像编辑任务上取得SOTA结果。
2025-03-20 cs.AI cs.CV cs.LG
VIVID-10M: A Dataset and Baseline for Versatile and Interactive Video Local Editing
Northwest Polytechnical University(西北工业大学);Beijing Institute of Technology(北京理工大学);Kuaishou Technology(快手科技)
本文提出首个大规模混合图像-视频局部编辑数据集VIVID-10M与基线模型VIVID,通过关键帧引导的交互式编辑机制支持实体增删改,在自动化指标和用户研究中均达到SOTA。
2025-07-14 cs.AI cs.CV
VideoMap: Supporting Video Editing Exploration, Brainstorming, and Prototyping in the Latent Space
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究中心)
VideoMap是一个基于潜在空间的视频编辑界面,通过地图式导航和可更换镜头支持探索性编辑,用户研究显示其能减少繁琐工作并提升创意体验。
2024-06-25 cs.CV cs.HC cs.MM
EVE: Efficient zero-shot text-based Video Editing with Depth Map Guidance and Temporal Consistency Constraints
Shandong University(山东大学);Ant Group(蚂蚁集团)
针对现有文本驱动视频编辑方法微调成本高、生成能力有限且缺乏公开基准的问题,提出带深度图引导与时序一致性约束的零样本编辑方法EVE,构建ZVE-50数据集,实现性能与效率的良好权衡并将开源相关资源。
2023-08-21 cs.AI cs.CV
DIVE: Taming DINO for Subject-Driven Video Editing
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院);vivo AI Lab(vivo AI实验室);NVIDIA;Adobe Research(Adobe研究院);Shenzhen University(深圳大学);Southeast University(东南大学);Shenzhen University of Advanced Technology(深圳大学先进技术学院)
针对视频编辑中时间一致性与运动对齐难题,提出DIVE框架,利用预训练DINOv2语义特征引导编辑,通过特征对齐轨迹、结合参考图特征训练LoRA实现主体驱动的高质量视频编辑。
2025-07-29 cs.AI cs.CV
MotionV2V: Editing Motion in a Video
Google(谷歌);Stony Brook University(石溪大学)
MotionV2V通过直接编辑稀疏轨迹实现视频运动编辑,利用生成性主干提升视频编辑能力,在用户研究中表现优异。
2025-11-25 cs.AI cs.CV cs.GR
FreeMask: Rethinking the Importance of Attention Masks for Zero-Shot Video Editing
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出FreeMask方法,通过掩码匹配代价(MMC)度量选择最优交叉注意力掩码,并改进掩码融合机制,无需控制辅助或参数微调即可提升零样本视频编辑的语义保真度、时间一致性和编辑质量。
2024-09-30 cs.CV cs.MM
CoVEBench: Can Video Editing Models Handle Complex Instructions?
Nanjing University(南京大学);Kuaishou Technology(快手科技)
提出CoVEBench基准,包含416个源视频和626条多点编辑指令,通过MLLM评估指令遵循度和保真度,揭示当前模型在组合编辑中常遗漏编辑或破坏保留约束。
2026-06-11 cs.AI cs.CV
Taming Flow-based I2V Models for Creative Video Editing
HKUST(香港科技大学);Stanford University(斯坦福大学);CUHK(香港中文大学)
本文提出免反演的IF-V2V方法,通过向量场校正、结构与运动保持初始化和偏差缓存机制,将现成基于流匹配的I2V模型高效适配用于视频编辑,实现轻量级即插即用的创意视频编辑。
2025-09-26 cs.CV cs.MM
Unified Editing of Panorama, 3D Scenes, and Videos Through Disentangled Self-Attention Injection
KAIST(韩国科学技术院)
提出一种仅用2D扩散模型的统一编辑框架,通过解耦自注意力注入实现全景图、3D场景和视频的语义一致编辑。
2024-05-27 cs.AI cs.CV
EffiVED:Efficient Video Editing via Text-instruction Diffusion Models
Alibaba Group(阿里巴巴集团)
本文提出基于扩散模型的高效视频编辑模型EffiVED,通过两种工作流收集数据构建高质量训练集,实现无需逐视频微调的指令引导视频编辑,在保证高质量的同时实现快速执行。
2024-06-05 cs.CV
RASA: Replace Anyone, Say Anything -- A Training-Free Framework for Audio-Driven and Universal Portrait Video Editing
Nanjing University(南京大学);Huawei Inc(华为公司)
提出免训练框架 RASA,通过统一动画控制和源反演潜变量,支持音频驱动唇动、参考帧外观编辑及其组合,实现更同步的唇动与更灵活的运动迁移。
2025-03-14 cs.AI cs.CV
PipeFlow: Pipelined Processing and Motion-Aware Frame Selection for Long-Form Video Editing
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Qualcomm AI Research(高通人工智能研究)
PipeFlow通过运动感知帧选择和流水线任务调度,实现长格式视频编辑的高效处理,相比现有方法速度提升达9.6至31.7倍。
2025-12-30 cs.AI cs.CV
EasyV2V: A High-quality Instruction-based Video Editing Framework
KAUST(阿卜杜拉国王科技大学);Snap Inc.(Snap公司)
EasyV2V通过简化设计和灵活输入实现高质量视频编辑,超越现有系统。
2025-12-18 cs.AI cs.CV
EditStream: A Unified Autoregressive Framework for Interactive Video Generation and Editing
Adobe Research(Adobe研究院);University of Rochester(罗切斯特大学)
本研究提出EditStream框架,整合多类视频生成编辑任务,通过两阶段蒸馏方法优化自回归模型,实现高质量交互式视频创作,填补了扩散模型与创意工作流的衔接空白。
2026-08-25 cs.CV cs.GR cs.HC
Neutral Editing Framework for Diffusion-based Video Editing
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术研究院(KAIST))
本文提出 NeuEdit 框架,通过“中性化”机制以模型无关方式增强扩散视频编辑流程,仅依赖视频和文本即可实现此前未被探索的人物/对象运动级复杂非刚性编辑。
2023-12-10 cs.CV
Re-Attentional Controllable Video Diffusion Editing
Nanjing University of Science and Technology(南京理工大学);Kuaishou Technology(快手科技);City University of Hong Kong(香港城市大学);SeetaCloud(视拓云)
本文提出ReAtCo方法,通过重注意扩散和不变区域引导联合采样,实现无需训练的可控视频扩散编辑,解决物体错位和数量错误问题,提升编辑可控性与性能。
2024-12-16 cs.AI cs.CV
VideoHandles: Editing 3D Object Compositions in Videos Using Video Generative Priors
KAIST(韩国科学技术院);Adobe Research(奥多比研究院)
提出VideoHandles,一种无需训练的视频3D物体组合编辑方法,通过将生成模型特征提升至共享3D重建并编辑后投影回各帧,实现时间一致的3D位置编辑,优于图像编辑基线。
2025-03-27 cs.CV
Consistent Video Editing as Flow-Driven Image-to-Video Generation
Fudan University(复旦大学);Xiamen University(厦门大学);Carnegie Mellon University(卡内基梅隆大学);The University of Hong Kong(香港大学)
针对现有视频编辑方法难以建模复杂运动、时间一致性不足的问题,提出将视频编辑重构为光流驱动I2V生成的FlowV2V方法,通过首帧编辑、伪光流对齐实现一致性编辑,在DAVIS-EDIT上性能显著优于现有SOTA。
2025-06-13 cs.AI cs.CV
InsEdit: Towards Instruction-based Visual Editing via Data-Efficient Video Diffusion Models Adaptation
The Hong Kong University of Science and Technology(香港科技大学);Celia Research HK;City University of Hong Kong(香港城市大学)
本文提出InsEdit,基于HunyuanVideo-1.5构建指令式编辑模型,结合Mutual Context Attention机制,仅需少量视频编辑数据即可实现高质量视频编辑,并支持图像编辑。
2026-04-09 cs.CV
VEGGIE: Instructional Editing and Reasoning Video Concepts with Grounded Generation
Adobe Research(Adobe研究机构);University of Michigan(密歇根大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
VEGGIE提出端到端框架,统一教学视频编辑、接地与推理,通过MLLM和扩散模型结合课程学习及数据合成,在多项任务上超越基线。
2025-10-25 cs.AI cs.CL cs.CV
OSVE: One Step Video Editing with One Step Diffusion Models
Korea University(韩国大学)
研究针对扩散模型文本引导视频编辑慢的问题,提出OSVE框架。通过训练可学习编码器预测初始噪声,引入UFE技术及滑动窗口策略保持一致性,实现高质量视频编辑,速度比现有方法快约155 - 171倍。
2026-07-23 cs.AI cs.CV
FacialFilmroll: High-resolution multi-shot video editing
InterDigital R&I(InterDigital研究与创新)
我们提出FacialFilmroll,一个解决方案,用于在一个或多个镜头中对面部进行空间和时间一致的编辑。我们在展开马赛克的基础上[Rav-Acha et al. 2008],将其专门用于面。我们利用最近的技术来适应单眼视频的3D人脸模型,以(i)提高编辑马赛克的质量,(ii)允许编辑从一个镜头自动转移到同一演员的其他镜头。我们解释了FacialFilmroll如何集成到后期制作设施中。最后,我们使用FacialFilmroll在高分辨率视频上呈现视频编辑结果。
2021-11-17 cs.CV cs.LG
DFVEdit: Conditional Delta Flow Vector for Zero-shot Video Editing
Zhejiang University(浙江大学);Tongyi Lab(通义实验室);DAMO Academy(达摩院);Huazhong University of Science and Technology(华中科技大学)
本文提出DFVEdit,一种针对Video DiTs的高效零样本视频编辑方法,通过流变换直接操作干净潜变量免除了注意力修改与微调,实现20倍推理加速与85%内存减少,达到SOTA编辑质量。
2025-06-27 cs.AI cs.CV
LIVE: Leveraging Image Manipulation Priors for Instruction-based Video Editing
Nankai University(南开大学);Pengcheng Laboratory(鹏城实验室);Kuaishou Technology(快手科技);Nankai International Advanced Research Institute (SHENZHEN·FUTIAN)(南开国际先进研究院(深圳·福田))
本文提出LIVE框架,结合大规模高质量图像编辑数据和视频数据提升编辑能力,通过帧级噪声策略和两阶段训练策略,构建包含60多项挑战性任务的评估基准,实验表明方法达到SOTA。
2026-04-18 cs.CV
UniEdit: A Unified Tuning-Free Framework for Video Motion and Appearance Editing
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
本文提出免调优框架 UniEdit,利用预训练文本到视频生成器及运动参考、重建分支与时空注意力注入,统一支持视频运动和外观编辑,并在实验中超过现有方法。
2024-04-07 cs.CV
DreamMotion: Space-Time Self-Similar Score Distillation for Zero-Shot Video Editing
Kim Jaechul Graduate School of AI, KAIST(KAIST金在哲人工智能研究生院);Dept. of Bio and Brain Engineering, KAIST(KAIST生物与脑工程系)
针对文本驱动扩散视频编辑的真实运动构建及结构运动偏差问题,提出时空自相似分数蒸馏方法,模型无关且适配两类扩散框架,保结构运动的同时改外观,性能优于主流方法。
2024-07-15 cs.AI cs.CV
Señorita-2M: A High-Quality Instruction-based Dataset for General Video Editing by Video Specialists
The Chinese University of Hong Kong(香港中文大学);The Hong Kong Polytechnic University(香港理工大学);Tsinghua University(清华大学);The University of Hong Kong(香港大学);IntelliFusion Inc.(智融公司);University of Electronic Science and Technology of China(电子科技大学)
本文提出包含约200万个高质量视频编辑对的Señorita-2M数据集,通过四个专用编辑模型构建并设计过滤流程,以弥补端到端视频编辑方法训练数据不足的问题,实验证明其能显著提升视频编辑质量。
2025-03-12 cs.CV
IC-Effect: Precise and Efficient Video Effects Editing via In-Context Learning
School of Information and Communication Engineering, Communication University of China(中国通信大学信息与通信工程学院);Show Lab, National University of Singapore(新加坡国立大学Show实验室);Baidu Inc., Beijing, China(百度公司)
IC-Effect通过上下文学习实现高效视频特效编辑,能精准保留背景并合成复杂特效,提升视频创作的可能性。
2025-12-17 cs.AI cs.CV
GAZED- Gaze-guided Cinematic Editing of Wide-Angle Monocular Video Recordings
IIIT Hyderabad(印度理工学院海得拉巴分校);CVIT(计算机视觉与智能技术中心)
我们提出了凝视-眼睛凝视引导编辑的视频捕获的一个孤独的,静态的,广角和高分辨率的相机。眼睛凝视已被有效地采用在计算应用程序中作为一个线索,以捕捉有趣的场景内容,我们采用凝视作为代理选择镜头包括在编辑的视频。给定原始视频,场景内容和用户眼睛注视轨迹被组合以生成包括电影学上有效的演员镜头和镜头过渡的编辑视频,以生成原始叙事的美学和生动的表示。我们模型的电影视频编辑作为一个能量最小化问题的镜头选择,其约束条件捕获电影编辑公约。注视的场景位置主要确定构成编辑视频的镜头。凝视对多种竞争方法的有效性证明通过心理物理研究,涉及12个用户和12个性能视频。
2020-10-22 cs.CV cs.HC cs.MM
STR-Match: Matching SpatioTemporal Relevance Score for Training-Free Video Editing
Seoul National University(首尔国立大学)
针对视频编辑中时空像素相关性建模不足导致的时序不一致等问题,提出无训练算法STR-Match,利用T2V扩散模型的2D空间注意力和1D时间模块计算STR得分引导潜优化,在重大领域变换下仍生成时序一致且视觉忠实的视频。
2025-06-28 cs.AI cs.CV
VEFX-Bench: A Holistic Benchmark for Generic Video Editing and Visual Effects
Texas A\&M University(德克萨斯大学)
本文提出VEFX-Bench,基于VEFX-Dataset构建,用于标准化比较视频编辑系统,通过VEFX-Reward模型提升评估准确性,揭示当前模型在视觉合理性、指令遵循和编辑局部性方面的差距。
2026-04-20 cs.AI cs.CL cs.CV
Thinking on Shots: Consistent Multi-Shot Video Editing with Agentic Reasoning
Nankai University(南开大学);Tencent(腾讯)
本文针对多指令编辑长视频的挑战,提出MMLVE任务与智能体编辑框架,构建MMLVE-Bench数据集及评估指标,所提MMLVE-Agent优于Seedance 2.0等闭源SOTA方法,可实现一致且无幻觉的长视频编辑。
2026-08-28 cs.CV cs.MM
Shaping a Stabilized Video by Mitigating Unintended Changes for Concept-Augmented Video Editing
Zhejiang University(浙江大学);Hangzhou Dianzi University(杭州电子科技大学);Hefei University of Technology(合肥工业大学)
针对文本驱动视频编辑中开放概念编辑受限及非预期干扰问题,提出概念增强编辑方法,利用概念对和双先验监督,生成更稳定逼真的视频,超越现有方法。
2025-05-27 cs.CV
Fuse Your Latents: Video Editing with Multi-source Latent Diffusion Models
Fudan University(复旦大学);National Institute of Informatics(信息学研究所);Tencent(腾讯)
针对文本到视频编辑存在的时间一致性差、结构不佳等问题,提出无需训练的FLDM框架,通过带调度超参数融合图像与视频潜变量,实现两类LDM互补,可作为通用插件提升现成模型的视频编辑质量,效果优于现有最优方法。
2024-10-08 cs.AI cs.CV
Action Reimagined: Text-to-Pose Video Editing for Dynamic Human Actions
Michigan State University(密歇根州立大学);University of Central Florida(中佛罗里达大学)
针对现有视频编辑难以修改人类动作的问题,提出ReimaginedAct方法,结合LLM、Grounded-SAM和姿态检索实现文本驱动的动态动作编辑,还构建了WhatifVideo-1.0数据集,验证了方法的有效性。
2024-03-11 cs.CV
ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing
Texas A&M University(德克萨斯A&M大学)
ViTeX-Bench提出视频场景文本编辑基准,含387个真实视频数据集和13指标三维评估协议,并发布ViTeX-Edit-14B编辑器,在文本正确性、时间稳定性和场景保留间取得最佳平衡。
2026-10-14 cs.AI cs.CV
RACCooN: A Versatile Instructional Video Editing Framework with Auto-Generated Narratives
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Nanyang Technological University(南洋理工大学)
针对现有视频生成模型依赖人工文本提示、灵活性不足的问题,本文提出RACCooN通用视频编辑框架,通过视频转段落、段落转视频两阶段及多粒度时空池化等技术,支持多种视频编辑操作,效果优异且可集成到其他最优模型中。
2025-10-03 cs.AI cs.CL cs.CV
VideoGuard: Protecting Video Content from Unauthorized Editing
针对视频内容易被生成模型恶意编辑的问题,提出VideoGuard方法,通过联合帧优化和运动信息融合生成微扰,有效保护视频,性能优于基线。
2025-08-05 cs.AI cs.CV
Towards Data-Driven Automatic Video Editing
Cinema and Photo Research Institute(电影与摄影研究所)
自动视频编辑至少涉及以下步骤:从视觉质量和拍摄动作的重要性的角度选择最有价值的镜头;并将镜头切割成简短而连贯的视觉故事,这将是有趣的观看,以纯粹的数据驱动的方式实现。通过ImageNet训练的卷积神经网络提取视觉语义和美学特征,并通过模仿学习算法训练编辑控制器。结果,在测试时,控制器显示出观察从电影杰作的语料库中学习的基本电影摄影编辑规则的迹象。
2019-07-17 cs.CV cs.MM eess.IV
FADE: Frequency-Aware Diffusion Model Factorization for Video Editing
Department of Automation, Tsinghua University(自动化系,清华大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学)
FADE提出一种无需训练的视频编辑方法,通过频率感知分解预训练视频扩散模型并引入频谱引导调制,在保持时空结构的同时实现高效、时序连贯的视频编辑。
2025-06-06 cs.AI cs.CV
Video-P2P: Video Editing with Cross-attention Control
The Chinese University of Hong Kong(香港中文大学);Adobe(奥多比);SmartMore(思谋)
本文介绍了Video-P2P,一种新的框架,用于现实世界的视频编辑与交叉注意力控制。虽然注意力控制已被证明对于使用预训练的图像生成模型进行图像编辑是有效的,但目前还没有公开的大规模视频生成模型。Video-P2P通过调整图像生成扩散模型来完成各种视频编辑任务来解决这一限制。具体来说,我们建议首先调整文本到集合(T2 S)模型来完成近似反转,然后优化共享无条件嵌入,以实现精确的视频反转,并具有较小的内存成本。对于注意力控制,我们引入了一种新的双引导策略,它使用不同的指导策略的源和目标提示。对源提示的优化无条件嵌入提高了重构能力,而对目标提示的初始化无条件嵌入提高了可编辑性。将这两个分支的注意力图分开可以进行详细的编辑。这些技术设计支持各种文本驱动的编辑应用程序,包括单词交换,提示细化和注意力重新加权。Video-P2P在真实世界的视频中可以很好地生成新角色,同时最佳地保留其原始姿势和场景。它明显优于以前的方法。
2023-03-08 cs.CV
OpenKinoAI: An Open Source Framework for Intelligent Cinematography and Editing of Live Performances
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
OpenKinoAI是一个用于超高清视频后期制作的开源框架,它可以在单摄像机录制的情况下模拟专业的多剪辑编辑技术。OpenKinoAI包括用于将现场表演的原始视频片段上传到远程Web服务器上的工具,检测,跟踪和识别原始材料中的表演者,将原始视频重新构建为大量的电影胶片,将胶片编辑为电影,并为胶片和电影添加注释以供文档使用。OpenKinoAI可用于促进超高清视频的多剪辑视频编辑研究,并允许表演艺术家和公司使用此研究以创新的方式在线存档,记录和分享他们的工作。
2020-10-30 cs.CV cs.MM
MagicEdit: High-Fidelity and Temporally Coherent Video Editing
ByteDance Inc.(字节跳动公司)
本研究提出文本引导视频编辑方法MagicEdit,通过训练时显式解耦内容、结构与运动信号的学习,实现高保真且时间连贯的视频编辑,支持风格化、局部编辑等多种下游任务。
2023-08-28 cs.CV
AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities
Nanjing University(南京大学);Kuaishou Technology(快手科技);National University of Singapore(新加坡国立大学);Beijing University of Posts and Telecommunications(北京邮电大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究针对现有视频编辑基准未充分考虑视听耦合问题,提出AVE-Compass基准及AVE-Agent框架,通过多种评估方式评估编辑能力,能分解复杂指令迭代改进结果,提升了跨模态编辑等方面表现及感知质量。
2026-07-29 cs.CV cs.MM cs.SD
StableVideo: Text-driven Consistency-aware Diffusion Video Editing
Microsoft Research Asia(微软亚洲研究院);Zhejiang University(浙江大学)
针对扩散模型编辑视频时对象外观时序不一致的问题,本文提出帧间传播机制并构建文本驱动框架 StableVideo,显著提升了视频编辑的一致性与效果。
2023-08-18 cs.CV
VE-Bench: Subjective-Aligned Benchmark Suite for Text-Driven Video Editing Quality Assessment
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
本文提出VE-Bench基准套件,包含视频编辑质量评估数据库VE-Bench DB和定量评估方法VE-Bench QA,通过关注文本-视频对齐和源视频与编辑视频相关性,实现了与人类偏好对齐的视频编辑质量评估。
2024-12-18 cs.CV
Tuning-free Instruction-based Video Editing Via Structural Noise Initialization and Guidance
JIUTIAN Research, China Mobile(中国移动极天研究院);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);State Key Laboratory of Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室)
本文提出无需调优的指令式视频编辑框架,通过结构噪声初始化策略和噪声引导机制,提升视频编辑的视觉质量和性能。
2026-05-15 cs.AI cs.CV