ViP-LLaVA：使大型多模态模型理解任意视觉提示
ViP-LLaVA: Making Large Multimodal Models Understand Arbitrary Visual Prompts
AI总结：
针对大型多模态模型缺乏区域特定理解能力的问题，提出 ViP-LLaVA，通过直接叠加视觉标记到 RGB 图像上解码任意视觉提示，在多个区域理解任务上达到 SOTA，并发布 ViP-Bench 基准。
摘要：
尽管现有的大型视觉-语言多模态模型专注于整图理解，但在实现特定区域理解方面仍存在显著差距。当前使用文本坐标或空间编码的方法往往无法为视觉提示提供用户友好的界面。为应对此挑战，我们提出了一种能够解码任意视觉提示的新型多模态模型。这允许用户直观地标记图像，并使用“红色边界框”或“指向箭头”等自然线索与模型交互。我们的简单设计将视觉标记直接叠加到 RGB 图像上，无需复杂的区域编码，但在 Visual7W、PointQA 和 Visual Commonsense Reasoning 基准等区域理解任务上取得了最先进的性能。此外，我们提出了 ViP-Bench，这是一个全面的基准，用于评估模型在多维度上理解视觉提示的能力，为该领域的未来研究提供支持。代码、数据和模型已公开。
英文摘要：
While existing large vision-language multimodal models focus on whole image understanding, there is a prominent gap in achieving region-specific comprehension. Current approaches that use textual coordinates or spatial encodings often fail to provide a user-friendly interface for visual prompting. To address this challenge, we introduce a novel multimodal model capable of decoding arbitrary visual prompts. This allows users to intuitively mark images and interact with the model using natural cues like a "red bounding box" or "pointed arrow". Our simple design directly overlays visual markers onto the RGB image, eliminating the need for complex region encodings, yet achieves state-of-the-art performance on region-understanding tasks like Visual7W, PointQA, and Visual Commonsense Reasoning benchmark. Furthermore, we present ViP-Bench, a comprehensive benchmark to assess the capability of models in understanding visual prompts across multiple dimensions, enabling future research in this domain. Code, data, and model are publicly available.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
