多样性优于频率：重新思考视觉思维链智能体中的工具使用
Diversity Over Frequency: Rethinking Tool Use in Visual Chain-of-Thought Agents
AI总结：
本文研究视觉思维链智能体在复杂推理任务中的工具使用，发现工具使用崩溃现象，并提出熵正则化方法通过鼓励多样化探索提升推理性能。
摘要：
视觉智能体在视觉思维链中使用外部视觉工具来整合细粒度证据。虽然先前的工作主要研究这些工具在视觉搜索任务中的应用，但它们在更复杂的视觉推理中的作用仍未充分探索。在本文中，我们超越简单的视觉搜索任务，研究更具挑战性的任务，包括3D空间推理和医学视觉问答，其中智能体必须将工具获取的局部证据与全局上下文整合。我们识别出一种工具使用崩溃现象：模型逐渐停止使用工具，同时仍能获得更高的任务准确率。此外，我们观察到明显的不对称性：(i) 完全消除工具使用会降低性能，而(ii) 激励工具使用仅带来边际收益，尽管使用量大幅增加。我们发现，普通训练和工具使用鼓励都降低了展开多样性，这解释了为什么更高的工具使用不会带来更强的推理性能。受这些发现的启发，我们添加了一个熵正则化项来鼓励多样化的展开探索，尽管工具使用逐渐下降，但实现了最佳性能。总体而言，我们的发现表明了一种训练时工具作为支架的观点，其中对语言生成和视觉工具调用的更广泛探索改善了推理，尽管存在工具使用崩溃。项目页面：https://scaffolded-exploration.github.io
英文摘要：
Visual agents employ external visual tools within visual chains of thought to incorporate fine-grained evidence. While prior work has mainly studied these tools in visual search tasks, their role in more complex visual reasoning remains underexplored. In this paper, we move beyond simple visual search tasks to investigate more challenging tasks, including 3D spatial reasoning and medical visual question answering, where agents must integrate tool-acquired local evidence with the global context. We identify a {tool-use collapse phenomenon: models progressively stop using tools while still achieving higher task accuracy. Moreover, we observe a clear asymmetry: (i) completely eliminating tool use degrades performance, whereas (ii) incentivizing tool use yields only marginal gains despite substantially increasing usage. We find that vanilla training and tool-use encouragement both reduce rollout diversity, explaining why higher tool use does not yield stronger reasoning performance. Motivated by these findings, we add an entropy regularization term to encourage diverse rollout exploration, achieving the best performance despite gradually declining tool usage. Overall, our findings suggest a training-time view of tools as scaffolding, where broader exploration over language generation and visual tool invocation improves reasoning despite tool-use collapse. Project page: https://scaffolded-exploration.github.io
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
