OpenAI

Imaginative Perception Tokens Enhance Spatial Reasoning in Multimodal Language Models

想象感知标记增强多模态语言模型的空间推理能力

Mahtab Bigverdi, Linjie Li, Weikai Huang, Yiming Liu, Jaemin Cho, Tuhin Kundu, Chris Dongjoo Kim, Zelun Luo, Jieyu Zhang, Linda Shapiro, Ranjay Krishna

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI（Allen人工智能研究所） ； Microsoft（微软） ； OpenAI（开放人工智能研究院） 纠错

AI总结 提出想象感知标记（IPT）作为中间感知表征，通过监督学习提升多模态语言模型在不可见视角推理、遮挡路径追踪等空间推理任务上的性能，在三个新构建的数据集上优于文本思维链训练。