Gen-VCoT: 基于扩散的RGB中间表示的生成式视觉思维链推理
Gen-VCoT: Generative Visual Chain-of-Thought Reasoning via Diffusion-Based RGB Intermediate Representations
AI总结：
提出Gen-VCoT框架，利用专家视觉模型生成RGB图像作为推理中间步骤，通过自适应路由器选择推理深度，在空间和深度问题上分别提升25%和50%，但简单事实查询性能下降，表明最优表示依赖于任务。
摘要：
多模态大语言模型（MLLMs）在视觉推理方面表现出色，但依赖基于文本的思维链（CoT），缺乏可解释的视觉中间表示。现有方法使用不透明的标记或外部工具，缺失关键属性。我们提出Gen-VCoT，一个使用专家视觉模型生成RGB图像作为推理中间表示的框架。它包含三个阶段：视觉定位（SAM分割）、几何推理（Marigold深度图）和语义推理（Qwen2-VL集成）。一个自适应路由器选择推理深度。评估显示，Gen-VCoT在空间问题（提升25%）和深度问题（提升50%）上表现更好，但可能损害简单事实查询。文本CoT在CLEVR上优于视觉中间表示（91.2% vs 62.5%），表明最优表示依赖于任务。Gen-VCoT为可解释的多模态推理建立了新范式。
英文摘要：
Multimodal large language models (MLLMs) excel at visual reasoning but rely on text-based chain-of-thought (CoT), lacking interpretable visual intermediates. Existing methods use opaque tokens or external tools, missing key properties. We propose Gen-VCoT, a framework using expert vision models to generate RGB images as reasoning intermediates. It has three stages: visual grounding (SAM segmentation), geometric reasoning (Marigold depth maps), and semantic reasoning (Qwen2-VL integration). An adaptive router selects reasoning depth. Evaluations show Gen-VCoT improves spatial (25% better) and depth (50% better) questions, but may hurt simple factual queries. Text CoT outperforms visual intermediates on CLEVR (91.2% vs 62.5%), showing task-dependent optimal representations. Gen-VCoT establishes a new paradigm for interpretable multimodal reasoning.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
