通过文本生成解决视觉落地对话中的指称问题
Resolving References in Visually-Grounded Dialogue via Text Generation
AI总结：
针对视觉落地对话中的指称消解难题，本文微调因果 LLM 生成融合上下文共指信息的有定描述，再由预训练 VLM 零样本识别所指对象，并在人工标注数据集上超过基线。
摘要：
视觉语言模型（VLM）已被证明在基于简单文本查询的图像检索方面十分有效，但基于对话输入的文本-图像检索仍是一项挑战。因此，如果我们希望使用 VLM 来解决视觉落地对话中的指称消解问题，就需要增强这些模型的语篇处理能力。为解决这一问题，我们提出微调一个因果大语言模型（LLM），使其生成有定描述，用于总结指称表达的语言上下文中存在的共指信息。随后，我们使用预训练 VLM 根据生成的描述以零样本方式识别所指对象。我们在一个人工标注的视觉落地对话数据集上评估了该方法，所得结果平均超过了所比较基线的性能。此外，我们发现，使用基于更大上下文窗口的所指对象描述，有可能带来更高收益。
英文摘要：
Vision-language models (VLMs) have shown to be effective at image retrieval based on simple text queries, but text-image retrieval based on conversational input remains a challenge. Consequently, if we want to use VLMs for reference resolution in visually-grounded dialogue, the discourse processing capabilities of these models need to be augmented. To address this issue, we propose fine-tuning a causal large language model (LLM) to generate definite descriptions that summarize coreferential information found in the linguistic context of references. We then use a pretrained VLM to identify referents based on the generated descriptions, zero-shot. We evaluate our approach on a manually annotated dataset of visually-grounded dialogues and achieve results that, on average, exceed the performance of the baselines we compare against. Furthermore, we find that using referent descriptions based on larger context windows has the potential to yield higher returns.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
