IR3D-Bench：将视觉语言模型场景理解评估为智能体逆向渲染
IR3D-Bench: Evaluating Vision-Language Model Scene Understanding as Agentic Inverse Rendering
AI总结：
本文提出 IR3D-Bench 基准，通过要求视觉语言智能体（VLAs）主动使用编程和渲染工具重建输入图像的 3D 结构来评估其场景理解能力，揭示了当前 VLMs 在视觉精度上的局限性。
摘要：
视觉语言模型（VLMs）擅长描述性任务，但它们是否真正从视觉观察中理解场景仍不确定。我们引入了 IR3D-Bench，这是一个基准测试，挑战 VLMs 通过主动创建而非被动识别来展示理解能力。基于“综合分析”范式，IR3D-Bench 要求视觉语言智能体（VLAs）主动使用编程和渲染工具来重建输入图像的底层 3D 结构，通过工具使用实现智能体逆向渲染。这种“通过创建来理解”的方法探究了 VLAs 的工具使用生成能力，超越了传统场景理解基准所衡量的描述或对话能力。我们提供了一套全面的指标来评估几何准确性、空间关系、外观属性和整体合理性。由各种最先进的 VLMs 驱动的智能体逆向渲染的初步实验突出了当前的局限性，特别是在视觉精度而非基本工具使用方面。IR3D-Bench（包括数据和评估协议）已发布，以促进通过创建实现真正场景理解的工具使用 VLAs 的系统研究和开发。
英文摘要：
Vision-language models (VLMs) excel at descriptive tasks, but whether they truly understand scenes from visual observations remains uncertain. We introduce IR3D-Bench, a benchmark challenging VLMs to demonstrate understanding through active creation rather than passive recognition. Grounded in the analysis-by-synthesis paradigm, IR3D-Bench tasks Vision-Language Agents (VLAs) with actively using programming and rendering tools to recreate the underlying 3D structure of an input image, achieving agentic inverse rendering through tool use. This "understanding-by-creating" approach probes the tool-using generative capacity of VLAs, moving beyond the descriptive or conversational capacity measured by traditional scene understanding benchmarks. We provide a comprehensive suite of metrics to evaluate geometric accuracy, spatial relations, appearance attributes, and overall plausibility. Initial experiments on agentic inverse rendering powered by various state-of-the-art VLMs highlight current limitations, particularly in visual precision rather than basic tool usage. IR3D-Bench, including data and evaluation protocols, is released to facilitate systematic study and development of tool-using VLAs towards genuine scene understanding by creating.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
