arXiv 2605.170702026-05-16cs.CV

EPIC-Bench: 一种以感知为中心的细粒度具身视觉 grounding 的基准

EPIC-Bench: A Perception-Centric Benchmark for Fine-Grained Embodied Visual Grounding in Vision-Language Models

X-Humanoid；Fudan University（复旦大学）；University of Science and Technology of China（中国科学技术大学）；University of Manchester（曼彻斯特大学）；Monash University（墨尔本大学）；Celonis AI；University of New South Wales（新南威尔士大学）

Haozhe Shan, Xiancong Ren, Han Dong, Haoyuan Shi, Yingji Zhang, Jiayu Hu, Yi Zhang, Yong Dai, Bin Shen, Lizhen Qu, Zenglin Xu, Xiaozhu Ju

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出 EPIC-Bench，一种以感知为中心的细粒度具身视觉 grounding 基准，旨在系统评估 VLMs 在现实世界具身环境中的视觉感知能力。该基准包含 6.6k 个精心标注的元组（图像，文本，掩码），涵盖 23 个细粒度任务，涉及具身交互管道的三个核心阶段：目标定位、导航和操作。评估结果显示，尽管先进推理模型表现出潜力，但当前 VLMs 在复杂视觉-文本对齐方面普遍存在困难，特别是在多目标计数、部分-整体关系理解和 affordance 区域检测方面存在瓶颈。

摘要：

尽管大型视觉-语言模型（VLMs）越来越多地被用作具身代理的感知骨干，但现有基准往往依赖于问答或多选格式。这些协议允许模型利用语言先验，而不是展示真正的视觉 grounding。为了解决这个问题，我们提出了 EPIC-Bench，即具身感知基准，这是一种细粒度 grounding 基准，旨在系统地评估 VLMs 在现实世界具身环境中的视觉感知能力。EPIC-Bench 包含 6.6k 个精心标注的元组（图像，文本，掩码），涵盖 23 个细粒度任务，横跨具身交互管道的三个核心阶段：目标定位、导航和操作。对超过 89 个领先 VLMs 的广泛评估显示，尽管先进推理模型显示出潜力，但当前 VLMs 在复杂视觉-文本对齐方面普遍存在困难。具体而言，模型在多目标计数、部分-整体关系理解以及 affordance 区域检测方面存在关键瓶颈。EPIC-Bench 为推进下一代视觉驱动的具身模型提供了稳健的基础和可操作的见解。

英文摘要：

While large vision-language models (VLMs) are increasingly adopted as the perceptual backbone for embodied agents, existing benchmarks often rely on question-answering or multiple-choice formats. These protocols allow models to exploit linguistic priors rather than demonstrating genuine visual grounding. To address this, we present EPIC-Bench, Embodied PerceptIon BenChmark, a fine-grained grounding benchmark designed to systematically evaluate the visual perceptual capabilities of VLMs in real-world embodied environments. Comprising 6.6k meticulously annotated tuples (Image, Text, Mask), EPIC-Bench spans 23 fine-grained tasks across three core stages of the embodied interaction pipeline: Target Localization, Navigation, and Manipulation. Extensive evaluations of over 89 leading VLMs reveal that while advanced reasoning models show promise, current VLMs universally struggle with complex visual-text alignment for physical interactions. Specifically, models exhibit critical bottlenecks in multi-target counting, part-whole relationship understanding, and affordance region detection. EPIC-Bench provides a robust foundation and actionable insights for advancing the next generation of vision-driven embodied models.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。