视觉语言模型中的病理性真相偏差
Pathological Truth Bias in Vision-Language Models
AI总结：
本文提出 MATS 行为审计及 SCS、IAR 指标，揭示指令微调生成式 VLM 倾向于认同与视觉矛盾的陈述，并通过激活修补定位其因果失效部位。
摘要：
视觉语言模型（VLM）正在快速进步，但标准基准测试可能掩盖会降低现实世界信任度的系统性失败。我们提出 MATS（Multimodal Audit for Truthful Spatialization，面向真实空间化的多模态审计），这是一种紧凑的行为审计，用于衡量模型是否拒绝与视觉相矛盾的陈述，并提出两个指标：空间一致性分数（SCS）和错误同意率（IAR）。指令微调的生成式 VLM（LLaVA 1.5、QwenVLchat）表现出很低的 SCS 和很高的 IAR，而对比编码器（CLIP、SigLIP）则稳健得多。激活修补从因果上定位了失败位置（生成式模型位于中后期交叉注意力，对比模型位于池化投影组件），并提出了具体的修复路径。
英文摘要：
Vision Language Models (VLMs) are improving quickly, but standard benchmarks can hide systematic failures that reduce real world trust. We introduce MATS (Multimodal Audit for Truthful Spatialization), a compact behavioral audit that measures whether models reject visually contradicted statements, and two metrics Spatial Consistency Score (SCS) and Incorrect Agreement Rate (IAR). Instruction tuned generative VLMs (LLaVA 1.5, QwenVLchat) exhibit very low SCS and high IAR, while contrastive encoders (CLIP, SigLIP) are far more robust. Activation patching causally localizes failure loci (mid to late cross attention for generative models, pooled projection components for contrastive models) and suggests concrete repair paths.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
