PyVision：具有动态工具化的智能体视觉
PyVision: Agentic Vision with Dynamic Tooling
AI总结：
PyVision 提出一个多轮交互框架，让多模态大模型自主生成、执行和优化 Python 工具，突破静态工具集限制，并在多个视觉推理基准上显著提升 GPT-4.1 和 Claude-4.0-Sonnet 的性能。
摘要：
大语言模型（LLMs）越来越多地被部署为智能体，即能够进行规划、推理并动态调用外部工具的系统。然而，在视觉推理中，先前的方法在很大程度上仍受限于预定义的工作流程和静态工具集。在本报告中，我们提出了 PyVision，一个交互式、多轮框架，使多模态大语言模型（MLLMs）能够自主生成、执行并优化针对当前任务的基于 Python 的工具，从而解锁灵活且可解释的问题求解能力。我们为 PyVision 创建的工具建立了一套分类体系，并在一组多样化的基准上分析了它们的使用情况。在定量结果上，PyVision 取得了一致的性能提升，使 GPT-4.1 在 V* 上提升 +7.8%，使 Claude-4.0-Sonnet 在 VLMsAreBlind-mini 上提升 +31.1%。这些结果表明了一种更广泛的转变：动态工具化不仅让模型能够使用工具，还能发明工具，从而向更具智能体特性的视觉推理迈进。
英文摘要：
LLMs are increasingly deployed as agents, systems capable of planning, reasoning, and dynamically calling external tools. However, in visual reasoning, prior approaches largely remain limited by predefined workflows and static toolsets. In this report, we present PyVision, an interactive, multi-turn framework that enables MLLMs to autonomously generate, execute, and refine Python-based tools tailored to the task at hand, unlocking flexible and interpretable problem-solving. We develop a taxonomy of the tools created by PyVision and analyze their usage across a diverse set of benchmarks. Quantitatively, PyVision achieves consistent performance gains, boosting GPT-4.1 by +7.8% on V* and Claude-4.0-Sonnet by +31.1% on VLMsAreBlind-mini. These results point to a broader shift: dynamic tooling allows models not just to use tools, but to invent them, advancing toward more agentic visual reasoning.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
