vivo

Detecting and Mitigating Insertion Hallucination in Video-to-Audio Generation

检测并缓解视频到音频生成中的插入幻觉

Liyang Chen, Hongkai Chen, Yujun Cai, Sifan Li, Qingwen Ye, Yiwei Wang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； The University of Queensland（昆士兰大学） ； vivo Mobile Communication Co., Ltd.（vivo移动通信有限公司） ； University of California, Merced（加州大学默塞德分校） 纠错

AI总结 本文提出HALCON方法，通过三阶段流程缓解视频到音频生成中的插入幻觉问题，显著降低幻觉的普遍性和持续时间，同时保持音频质量和时间同步性能。