arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2409.19656cs.CL
收藏

利用多模态大语言模型从合成数据中学习进行多模态错误信息检测

Multimodal Misinformation Detection by Learning from Synthetic Data with Multimodal LLMs

School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）；Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运筹学与分析研究所）

Fengzhu Zeng, Wenqian Li, Wei Gao, Yan Pang

备注：
EMNLP 2024 Findings
阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文针对合成数据训练的多模态错误信息检测器在真实场景泛化不足的问题，提出两种模型无关的数据选择方法以对齐合成与真实数据分布，使13B多模态大语言模型在真实事实核查数据集上超越GPT-4V。

摘要：

检测多模态错误信息，尤其是图像-文本对形式的错误信息，至关重要。获取大规模、高质量的真实世界事实核查数据集来训练检测器成本高昂，这促使研究者使用由人工智能技术生成的合成数据集。然而，由于分布差距的存在，基于合成数据训练的检测器在真实世界场景中的泛化能力仍不明确。为解决这一问题，我们提出通过两种与模型无关的数据选择方法来匹配合成数据与真实世界数据分布，从而从合成数据中学习以检测真实世界的多模态错误信息。实验表明，我们的方法提升了一个小型多模态大语言模型（13B）在真实世界事实核查数据集上的性能，使其甚至能够超越GPT-4V。

英文摘要：

Detecting multimodal misinformation, especially in the form of image-text pairs, is crucial. Obtaining large-scale, high-quality real-world fact-checking datasets for training detectors is costly, leading researchers to use synthetic datasets generated by AI technologies. However, the generalizability of detectors trained on synthetic data to real-world scenarios remains unclear due to the distribution gap. To address this, we propose learning from synthetic data for detecting real-world multimodal misinformation through two model-agnostic data selection methods that match synthetic and real-world data distributions. Experiments show that our method enhances the performance of a small MLLM (13B) on real-world fact-checking datasets, enabling it to even surpass GPT-4V~\cite{GPT-4V}.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑