arXiv 2407.197952024-07cs.CLcs.AIcs.CV

VolDoGer：用于视觉-语言任务中领域泛化的 LLM 辅助数据集

VolDoGer: LLM-assisted Datasets for Domain Generalization in Vision-Language Tasks

AITRICS Seoul（AITRICS首尔）；Chung-Ang University（Chung-ang 大学）

Juhwan Choi, Junehyoung Kwon, JungMin Yun, Seunguk Yu, YoungBin Kim

备注：: ICCV 2025 Workshop on Curated Data for Efficient Learning (CDEL)

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

针对视觉-语言任务缺乏领域泛化数据集的问题，本文提出 VolDoGer，利用基于 LLM 的标注扩展方法构建覆盖图像描述、VQA 和视觉蕴含的基准，并评估从微调模型到多模态 LLM 的泛化能力。

摘要：

领域泛化能力是深度学习模型的一个关键方面，因为它决定了模型在来自未见领域的数据上良好表现的能力。然而，针对视觉-语言任务的深度学习模型领域泛化研究仍然有限，主要原因是缺乏所需的数据集。为应对这些挑战，我们提出了 VolDoGer：Vision-Language Dataset for Domain Generalization，这是一个专为领域泛化设计的数据集，涵盖三种视觉-语言任务：图像描述、视觉问答和视觉蕴含。我们通过将基于 LLM 的数据标注技术扩展到视觉-语言任务来构建 VolDoGer，从而减轻招募人工标注者的负担。我们通过 VolDoGer 评估了多种模型的领域泛化能力，范围从经过微调的模型到近期的多模态大型语言模型。

英文摘要：

Domain generalizability is a crucial aspect of a deep learning model since it determines the capability of the model to perform well on data from unseen domains. However, research on the domain generalizability of deep learning models for vision-language tasks remains limited, primarily because of the lack of required datasets. To address these challenges, we propose VolDoGer: Vision-Language Dataset for Domain Generalization, a dedicated dataset designed for domain generalization that addresses three vision-language tasks: image captioning, visual question answering, and visual entailment. We constructed VolDoGer by extending LLM-based data annotation techniques to vision-language tasks, thereby alleviating the burden of recruiting human annotators. We evaluated the domain generalizability of various models, ranging from fine-tuned models to a recent multimodal large language model, through VolDoGer.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

AI总结：

摘要：

英文摘要：

相关论文