arXiv 2512.105712026-05-02cs.CV

AVI-Edit: 基于粒度感知掩码细化的音频同步视频实例编辑

AVI-Edit: Audio-sync Video Instance Editing with Granularity-Aware Mask Refiner

School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；State Key Lab of Multimedia Info. Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室）；Nat’l Eng. Research Ctr. of Visual Tech., School of Computer Science, Peking University（北京大学计算机学院视觉技术工程研究中心）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）

Haojie Zheng, Shuchen Weng, Jingqi Liu, Siqi Yang, Boxin Shi, Xinlong Wang

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出AVI-Edit框架，通过粒度感知掩码细化和自反馈音频代理，实现音频同步的高质量视频实例编辑，提升了空间和时间控制精度。

摘要：

近期视频生成的进步表明，真实音频视觉同步对吸引人的内容创作至关重要。然而，现有视频编辑方法大多忽视音频视觉同步，并缺乏实现精确实例级编辑所需的细粒度空间和时间可控性。在本文中，我们提出了AVI-Edit，一种用于音频同步视频实例编辑的框架。我们提出了一种粒度感知的掩码细化器，通过迭代细化粗略的用户提供的掩码，将其转化为精确的实例级区域。我们进一步设计了一个自反馈音频代理，以精选高质量音频指导，提供细粒度的时间控制。为了促进这一任务，我们还构建了一个大规模数据集，具有实例中心的对应关系和全面的标注。广泛的实验表明，AVI-Edit在视觉质量、条件遵循和音频视觉同步方面均优于最先进的方法。项目页面：https://hjzheng.net/projects/AVI-Edit/.

英文摘要：

Recent advancements in video generation highlight that realistic audio-visual synchronization is crucial for engaging content creation. However, existing video editing methods largely overlook audio-visual synchronization and lack the fine-grained spatial and temporal controllability required for precise instance-level edits. In this paper, we propose AVI-Edit, a framework for audio-sync video instance editing. We propose a granularity-aware mask refiner that iteratively refines coarse user-provided masks into precise instance-level regions. We further design a self-feedback audio agent to curate high-quality audio guidance, providing fine-grained temporal control. To facilitate this task, we additionally construct a large-scale dataset with instance-centric correspondence and comprehensive annotations. Extensive experiments demonstrate that AVI-Edit outperforms state-of-the-art methods in visual quality, condition following, and audio-visual synchronization. Project page: https://hjzheng.net/projects/AVI-Edit/.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。