arXiv 2602.122212026-06-02cs.CV

两全其美：通过统一离散流匹配实现多模态推理与生成

Best of Both Worlds: Multimodal Reasoning and Generation via Unified Discrete Flow Matching

University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究）；Sony Research, India（索尼印度研究）；Indian Institute of Technology, Roorkee（印度理工学院罗尔基分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）

Onkar Susladkar, Tushar Prakash, Gayatri Deshmukh, Kiet A. Nguyen, Jiaxun Zhang, Adheesh Juvekar, Tianshu Bao, Lin Chai, Sparsh Mittal, Inderjit S Dhillon, Ismini Lourentzou

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

提出UniDFlow框架，通过任务特定低秩适配器解耦理解与生成，并利用基于参考的多模态偏好对齐优化忠实性与可控性，在多个基准上达到最先进性能。

摘要：

我们提出了UniDFlow，一个统一的多模态理解、生成和编辑的离散流匹配框架。它通过任务特定的低秩适配器解耦理解和生成，避免了目标干扰和表示纠缠，同时一种新颖的基于参考的多模态偏好对齐在相同条件下优化相对结果，提高了忠实性和可控性，无需大规模重新训练。UniDFlow在八个基准上达到了最先进的性能，并在包括修复、上下文图像生成、基于参考的编辑和组合生成等任务上展现出强大的零样本泛化能力，尽管没有进行明确的特定任务训练。

英文摘要：

We propose UniDFlow, a unified discrete flow-matching framework for multimodal understanding, generation, and editing. It decouples understanding and generation via task-specific low-rank adapters, avoiding objective interference and representation entanglement, while a novel reference-based multimodal preference alignment optimizes relative outcomes under identical conditioning, improving faithfulness and controllability without large-scale retraining. UniDFlpw achieves SOTA performance across eight benchmarks and exhibits strong zero-shot generalization to tasks including inpainting, in-context image generation, reference-based editing, and compositional generation, despite no explicit task-specific training.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。