迈向便携视觉：基于视觉的主动视角选择
Toward Ambulatory Vision: Learning Visually-Grounded Active View Selection
AI总结：
本文提出基于视觉的主动视角选择方法，通过仅利用当前图像中的视觉信息来选择最有信息量的视角，从而提升视觉问答的性能和泛化能力。
摘要：
视觉语言模型（VLMs）在视觉问答（VQA）方面表现出色，但仍然局限于快照视觉，只能从静态图像中进行推理。相比之下，具身代理需要便携视觉，主动移动以获取更多信息。我们引入了基于视觉的主动视角选择（VG-AVS）任务，该任务仅使用当前图像中的视觉信息来选择最有信息量的下一个视角，而不需要依赖场景记忆或外部知识。为了支持这一任务，我们构建了一个合成数据集，其中包含自动生成功的查询-目标视角配对和问题-答案提示。我们还提出了一种框架，通过监督微调（SFT）后进行基于强化学习的策略优化来微调预训练的VLMs。我们的方法在基于视角选择的问答任务上实现了强大的问答性能，并且能够稳健地泛化到未见过的合成和真实场景。此外，将我们的学习VG-AVS框架整合到现有的基于场景探索的EQA系统中，可以提高下游问答的准确性。
英文摘要：
Vision Language Models (VLMs) excel at visual question answering (VQA) but remain limited to snapshot vision, reasoning from static images. In contrast, embodied agents require ambulatory vision, actively moving to obtain more informative views. We introduce Visually Grounded Active View Selection (VG-AVS), a task that selects the most informative next viewpoint using only the visual information in the current image, without relying on scene memory or external knowledge. To support this task, we construct a synthetic dataset with automatically generated paired query-target views and question-answer prompts. We also propose a framework that fine-tunes pretrained VLMs through supervised fine-tuning (SFT) followed by RL-based policy optimization. Our approach achieves strong question answering performance based on viewpoint selection and generalizes robustly to unseen synthetic and real scenes. Furthermore, incorporating our learned VG-AVS framework into existing scene-exploration-based EQA systems improves downstream question-answering accuracy.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
