arXiv 2505.169332025-06-04cs.LGcs.CLcs.CV

LLaDA-V：具有视觉指令微调的大语言扩散模型

LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning

Gaoling School of AI, Renmin University of China（中国人民大学人工智能学院）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室）；Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程技术研究中心，教育部）；Ant Group（蚂蚁集团）

Zebin You, Shen Nie, Xiaolu Zhang, Jun Hu, Jun Zhou, Zhiwu Lu, Ji-Rong Wen, Chongxuan Li

备注：: Project page and codes: \url{https://ml-gsai.github.io/LLaDA-V-demo/}

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出纯扩散多模态大语言模型 LLaDA-V，通过视觉编码器与MLP连接器实现视觉指令微调，在多模态理解上达到最先进性能，证明大语言扩散模型在多模态场景中的潜力。

摘要：

在这项工作中，我们介绍了 LLaDA-V，这是一个纯粹基于扩散的多模态大语言模型（MLLM），它将视觉指令微调与掩码扩散模型相结合，代表了与当前多模态方法中占主导地位的自回归范式的不同路径。LLaDA-V 建立在具有代表性的大语言扩散模型 LLaDA 之上，引入了一个视觉编码器和 MLP 连接器，将视觉特征投影到语言嵌入空间中，从而实现有效的多模态对齐。我们的实证研究揭示了几个有趣的结果：首先，尽管 LLaDA-V 的语言模型在纯文本任务上弱于 LLaMA3-8B 和 Qwen2-7B 等对应模型，但它仍展现出有前景的多模态性能。当在相同的指令数据上训练时，LLaDA-V 在多模态任务上与 LLaMA3-V 具有很强的竞争力，并且具有更好的数据可扩展性。它还缩小了与 Qwen2-VL 的性能差距，表明其架构在多模态任务上的有效性。其次，与现有的混合自回归-扩散模型和纯扩散多模态大语言模型相比，LLaDA-V 在多模态理解方面达到了最先进的性能。我们的研究结果表明，大语言扩散模型在多模态场景中展现出潜力，值得在未来的研究中进一步探索。项目页面和代码：https://ml-gsai.github.io/LLaDA-V-demo/。

英文摘要：

In this work, we introduce LLaDA-V, a purely diffusion-based Multimodal Large Language Model (MLLM) that integrates visual instruction tuning with masked diffusion models, representing a departure from the autoregressive paradigms dominant in current multimodal approaches. Built upon LLaDA, a representative large language diffusion model, LLaDA-V incorporates a vision encoder and MLP connector that projects visual features into the language embedding space, enabling effective multimodal alignment. Our empirical investigation reveals several intriguing results: First, LLaDA-V demonstrates promising multimodal performance despite its language model being weaker on purely textual tasks than counterparts like LLaMA3-8B and Qwen2-7B. When trained on the same instruction data, LLaDA-V is highly competitive to LLaMA3-V across multimodal tasks with better data scalability. It also narrows the performance gap to Qwen2-VL, suggesting the effectiveness of its architecture for multimodal tasks. Second, LLaDA-V achieves state-of-the-art performance in multimodal understanding compared to existing hybrid autoregressive-diffusion and purely diffusion-based MLLMs. Our findings suggest that large language diffusion models show promise in multimodal contexts and warrant further investigation in future research. Project page and codes: https://ml-gsai.github.io/LLaDA-V-demo/.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。