标题驱动的探索：通过受人类启发的中央凹视觉对齐图像与文本嵌入
Caption-Driven Explorations: Aligning Image and Text Embeddings through Human-Inspired Foveated Vision
AI总结：
本研究针对任务驱动图像探索研究不足的问题，推出含字幕与探索行为的CapMIT1003数据集，提出结合CLIP与NeVA的零样本NevaClip方法预测扫描路径，其在两类任务中表现优于现有模型，深化了对人类注意力的理解。
摘要：
理解人类注意力对视觉科学和AI至关重要。尽管已有许多针对自由观看的模型，但人们对任务驱动的图像探索了解较少。为解决这一问题，我们推出CapMIT1003——一个包含字幕与点击条件下图像探索行为的数据集，用于研究字幕生成任务中的人类注意力。我们还提出了NevaClip，这是一种将CLIP模型与NeVA算法相结合的零样本视觉扫描路径预测方法。NevaClip通过生成注视点来对齐中央凹视觉刺激与字幕的表征。模拟出的扫描路径在字幕生成和自由观看任务的合理性上优于现有的人类注意力模型。本研究深化了对人类注意力的理解，推动了扫描路径预测模型的发展。
英文摘要：
Understanding human attention is crucial for vision science and AI. While many models exist for free-viewing, less is known about task-driven image exploration. To address this, we introduce CapMIT1003, a dataset with captions and click-contingent image explorations, to study human attention during the captioning task. We also present NevaClip, a zero-shot method for predicting visual scanpaths by combining CLIP models with NeVA algorithms. NevaClip generates fixations to align the representations of foveated visual stimuli and captions. The simulated scanpaths outperform existing human attention models in plausibility for captioning and free-viewing tasks. This research enhances the understanding of human attention and advances scanpath prediction models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
