更新 CLIP 以偏好描述而非说明文字
Updating CLIP to Prefer Descriptions Over Captions
AI总结：
本文针对 CLIPScore 无法区分说明文字与无障碍描述的问题，利用 Concadia 数据集和参数高效微调更新 CLIP，使模型更偏好描述，同时保持迁移能力并提升可解释性。
摘要：
尽管 CLIPScore 是一种强大的通用指标，能够捕捉文本与图像之间的相似性，但它无法区分旨在补充图像信息的说明文字（caption）与旨在完全替代图像的描述（description），例如用于无障碍场景的描述。我们通过使用 Concadia 数据集更新 CLIP 模型来解决这一不足，利用参数高效微调和源自因果可解释性研究的损失目标，使模型对描述给出高于说明文字的分数。该模型与盲人和低视力人群的判断相关，同时保留了迁移能力，并具有可解释的结构，揭示了说明文字与描述之间的区别。
英文摘要：
Although CLIPScore is a powerful generic metric that captures the similarity between a text and an image, it fails to distinguish between a caption that is meant to complement the information in an image and a description that is meant to replace an image entirely, e.g., for accessibility. We address this shortcoming by updating the CLIP model with the Concadia dataset to assign higher scores to descriptions than captions using parameter efficient fine-tuning and a loss objective derived from work on causal interpretability. This model correlates with the judgements of blind and low-vision people while preserving transfer capabilities and has interpretable structure that sheds light on the caption--description distinction.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
