Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling
Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
对比视觉语言预训练（CLIP）为使用大规模对比图像-文本对学习视觉表征提供了一种新的范式。它在向下游任务的zero-shot知识转移方面表现出令人印象深刻的性能。为了进一步增强CLIP的Few-Shot分类能力，CLIP-Adapter提出了一种轻量级的残差特征适配器，并显著提高了Few-Shot分类的性能。然而，这样的过程仍然需要额外的训练和计算资源。本文提出了\textbf{T}无训练\textbf{IP}（\textbf{Tip-Adapter}），它不仅继承了CLIP的无训练优点，而且性能优于CLIP-Adapter。Tip-Adapter不需要任何反向传播来训练适配器，而是通过从Few-Shot训练集构造的键值缓存模型来创建权重。在这种非参数方式下，Tip-Adapter无需任何训练即可获得性能良好的适配器权重，这是高效和有效的。此外，Tip-Adapter的性能可以进一步提高微调这样正确初始化的适配器只有几个时代与超快的收敛速度。我们在ImageNet和其他10个数据集上进行了大量的Few-Shot分类实验，以证明所提出的Tip-Adapter的优越性。代码将在\url{https://github.com/gaopengcuhk/Tip-Adapter}发布。
2021-11-15 cs.CL cs.CV
Taming CLIP for Fine-grained and Structured Visual Understanding of Museum Exhibits
INSAIT；Sofia University（索非亚大学）；Google DeepMind（谷歌DeepMind）；ETH Zurich（苏黎世联邦理工学院）
本文提出MUZE方法，通过parseNet将CLIP图像嵌入映射到表格结构，并构建20万以上图像-表格对数据集，实现博物馆展品的细粒度与结构化视觉理解。
2024-09-03 cs.CL cs.CV
Vision-Language Models Do Not Understand Negation
Institution1（机构1）；Institution2（机构2）
本文提出NegBench评估VLM的否定理解能力，发现现有模型常接近随机水平，并通过合成否定字幕微调CLIP显著提升检索与选择题表现。
2025-05-13 cs.CL cs.CV
Does it Chug? Towards a Data-Driven Understanding of Guitar Tone Description
The University of Tokyo（东京大学）；Square-Enix（史克威尔·艾尼克斯）
本文通过数据驱动方法构建吉他音色形容词数据集，分析形容词评分相关性并揭示与现有理论的矛盾，提出更细致的音色理解需求。
2024-12-16 cs.AI cs.SD eess.AS
Composing Conversational Negation
University of Oxford（牛津大学）；Cambridge Quantum（剑桥量子公司）
自然语言中的否定不遵循布尔逻辑，因此本质上难以建模。特别是，它考虑到对被否定的内容的更广泛的理解。在以前的工作中，我们提出了一个框架的话，占“世俗语境”的否定。本文扩展了这一建议，现在占固有的组成结构的语言内的DisCoCirc框架。我们组合单个词的否定来捕捉句子的否定。我们还描述了如何建模的话，其含义在文本中演变的否定。
2022-11-03 cs.CL math.CT
Leveraging Affirmative Interpretations from Negation Improves Natural Language Understanding
University of North Texas（北得克萨斯大学）；University of Arizona（亚利桑那大学）；Amazon（亚马逊）
否定在许多自然语言理解任务中构成了挑战。受这一事实的启发，理解否定的语句往往需要人类推断肯定的解释，在本文中，我们表明，这样做的好处模型三个自然语言理解任务。我们提出了一个自动化的过程来收集对句子的否定和肯定的解释，导致超过150,000对。实验结果表明，利用这些对有助于（a）T5生成肯定的解释从否定在以前的基准，和（b）基于RoberTa的分类器解决自然语言推理的任务。我们还利用我们的配对来构建一个即插即用的神经生成器，该神经生成器给出否定的陈述，生成肯定的解释。然后，我们将预训练的生成器纳入基于RoberTa的分类器进行情感分析，并表明这样做可以改善结果。最重要的是，我们的建议不需要任何手动操作。
2022-10-26 cs.CL
Does CLIP Benefit Visual Question Answering in the Medical Domain as Much as it Does in the General Domain?
D4L data4life gGmbH（数据4生命公益有限公司）；Hasso Plattner Institute（哈索·普拉特纳研究所）
对比语言-图像预训练（CLIP）在从在线收集的大量图像-文本对中进行跨模态监督的学习方面取得了显着的成功。到目前为止，CLIP的有效性主要是在一般领域的多峰问题。这项工作的有效性评价的CLIP的任务，医学视觉问答（MedVQA）。为此，我们提出了PubMedCLIP，一个微调版本的CLIP的医学领域的基础上PubMed文章。我们的实验在两个MedVQA基准数据集上进行，并研究了两种MedVQA方法，MEVF（增强视觉特征的混合）和QCR（通过条件推理的问答）。对于其中的每一个，我们使用PubMedCLIP，原始CLIP和最先进的MAML（模型不可知元学习）网络来评估视觉表示学习的优点。我们开源了MedVQA管道和预训练PubMedCLIP的代码。CLIP和PubMedCLIP与MAML的视觉编码器相比实现了改进。PubMedCLIP实现了最佳结果，整体准确度提高了3%。个别例子说明了PubMedCLIP的优势相比，以前广泛使用的MAML网络。在PubMedCLIP中，带有语言监督的视觉表示学习导致MedVQA的显著改善。我们的实验揭示了两个MedVQA基准数据集的分布差异，这些数据集在以前的工作中没有被赋予，并导致PubMedCLIP中不同的后端视觉编码器在这些数据集上表现出不同的行为。此外，我们见证了VQA在一般与医疗领域的基本性能差异。
2021-12-27 cs.AI cs.CL cs.CV
Unsupervised Post-processing of Word Vectors via Conceptor Negation
Jacobs University Bremen（不来梅雅各布大学）；University of Pennsylvania（宾夕法尼亚大学）
词向量是许多自然语言处理任务的核心。最近，人们对后处理词向量以丰富其语义信息产生了兴趣。在本文中，我们介绍了一种新的词向量后处理技术的基础上矩阵概念（Jaeger 2014），一个家庭的正则化的单位映射。更具体地说，我们建议使用概念来抑制那些潜在的字向量具有高方差的功能。所提出的方法是完全无监督的：它不依赖于任何语料库或外部语言数据库。我们评估后处理的词向量电池的内在词汇评价任务，表明所提出的方法始终优于现有的国家的最先进的替代品。我们还表明，后处理的词向量可用于对话状态跟踪的下游自然语言处理任务，在不同的对话域中产生改进的结果。
2018-12-02 cs.CL cs.LG stat.ML
Does CLIP Bind Concepts? Probing Compositionality in Large Image Models
School of Engineering Mathematics and Technology, University of Bristol（布里斯托大学工程数学与技术学院）；Department of Computer Science, Brown University（布朗大学计算机科学系）
本文通过三个合成数据集评测 CLIP 与组合分布语义模型的概念绑定能力，发现 CLIP 仅在单物体场景可组合概念，在需要绑定时性能骤降，而 CDSMs 也仅达随机水平。
2024-08-30 cs.AI cs.CL cs.CV
How does fake news use a thumbnail? CLIP-based Multimodal Detection on the Unrepresentative News Image
Soongsil University（崇实大学）；Adobe Research（奥多比研究院）
本研究调查假新闻如何使用新闻文章的缩略图，重点是新闻文章的缩略图是否正确地代表了新闻内容。与不相关的缩略图共享的新闻文章可能会误导读者对问题产生错误的印象，特别是在社交媒体环境中，用户不太可能点击链接并消费整个内容。我们建议通过使用预训练的CLIP表示来捕获多模态关系中的语义不一致程度。从来源层面分析，我们发现假新闻比一般新闻使用了与主要内容更不协调的图像。更进一步，我们试图检测新闻文章与图像-文本不一致。评估实验表明，基于CLIP的方法可以成功地检测新闻文章中的缩略图是语义无关的新闻文本。本研究为解决网络假新闻和虚假信息问题提供了一个新的视角。代码和数据集可在https://github.com/ssu-humane/fake-news-thumbnail上获得。
2022-04-27 cs.CL cs.SI
Exploring How Generative MLLMs Perceive More Than CLIP with the Same Vision Encoder
University of Washington（华盛顿大学）
本文揭示生成式多模态大语言模型在使用与 CLIP 相同的视觉编码器时能更有效地提取视觉信息，并通过受控实验证明其优势源于 patch tokens、位置嵌入和提示加权等架构设计，为改进对比式视觉语言模型提供了方向。
2025-07-21 cs.CL cs.CV cs.LG
CLIP-TD: CLIP Targeted Distillation for Vision-Language Tasks
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
对比语言图像预训练（CLIP）将视觉和语言模态连接到一个统一的嵌入空间中，为视觉语言（VL）任务带来了巨大的潜力。虽然早期的并行工作已经开始研究这种潜力的一个子集的任务，重要的问题仍然存在：1）什么是CLIP的好处，对未研究的VL任务？2)CLIP是否在低拍摄或域转移场景中提供益处？3)CLIP能否在不影响推理或预训练复杂性的情况下改进现有方法？在这项工作中，我们试图通过两个关键的贡献来回答这些问题。首先，我们介绍了一个评估协议，包括视觉常识推理（VCR），视觉蕴涵（SNLI-VE），和视觉问答（VQA），在各种数据的可用性约束和条件的域转移。其次，我们提出了一种方法，名为CLIP目标蒸馏（CLIP-TD），智能地提取知识从CLIP到现有的架构，使用动态加权的目标，适用于自适应选择的令牌每个实例。实验表明，我们提出的CLIP-TD在VCR的低拍摄（高达51.9%）和域偏移（高达71.3%）条件下获得了出色的增益，同时提高了标准全监督条件下的性能（高达2%），与仅使用图像-文本数据预训练的其他单一模型相比，VCR的性能达到了最先进的水平。在SNLI-VE上，CLIP-TD在低拍摄条件下（高达6.6%）以及完全监督条件下（高达3%）产生显著增益。在VQA方面，CLIP-TD在低拍摄（高达9%）和完全监督（高达1.3%）方面提供了改进。最后，CLIP-TD优于利用CLIP进行微调的并发工…
2022-12-28 cs.AI cs.CL cs.CV
Does Language Model Understand Language?
Institute of Engineering and Management（工程与管理研究所）；Jadavpur University（贾达沃大学）
本研究针对语言模型在时态、否定等细粒度语言现象上的理解缺陷，引入LUCID数据集和RECISE指南，在英语和孟加拉语语境下评估多种SOTA模型，发现Compound-Beta在跨语言场景中与人类判断对齐最佳。
2025-09-15 cs.CL
Mitigate the Gap: Investigating Approaches for Improving Cross-Modal Alignment in CLIP
Hasso Plattner Institute（哈索·普拉特纳研究所）
针对CLIP嵌入空间存在的模态差距问题，设计AlignCLIP探究参数共享、模态内分离对差距的影响及下游性能变化，证实其可提升跨模态对齐并优化下游表现。
2024-09-16 cs.AI cs.CL cs.CV
Analyzing Semantic Faithfulness of Language Models via Input Intervention on Question Answering
IRIT（图卢兹计算机科学研究所）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；Indian Statistical Institute（印度统计研究所）
本文通过删除和否定两种输入干预，发现BERT、RoBERTa、XLNet及InstructGPT在问答中缺乏语义忠实性，并提出基于干预的训练将删除干预失败率从约50%降至约6%，但该训练无法解决否定干预和谓词-论元结构问题。
2023-11-30 cs.CL cs.LG
Does External Knowledge Help Explainable Natural Language Inference? Automatic Evaluation vs. Human Ratings
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Stuttgart（斯图加特大学）
自然语言推理（NLI）需要模型来学习和应用常识知识。这些推理能力对于可解释的NLI系统特别重要，该系统除了其标签预测之外还生成自然语言解释。外部知识的整合已被证明可以改善NLI系统，在这里，我们调查它是否也可以提高他们的解释能力。为此，我们调查了不同的外部知识来源，并评估了我们的模型在域内数据以及旨在评估细粒度推理能力的特殊传输数据集上的性能。我们发现不同的知识来源对推理能力有不同的影响，例如，存储在语言模型中的隐性知识会阻碍对数字和否定的推理。最后，我们进行了迄今为止规模最大，粒度最细的可解释的NLI众包研究。它表明，即使是在自动性能分数的巨大差异并不反映在标签，解释，常识或语法正确性的人的评级。
2021-10-13 cs.CL cs.HC
HiCLIP: Contrastive Language-Image Pretraining with Hierarchy-aware Attention
Rutgers University（罗格斯大学）；ByteDance Inc.（字节跳动公司）
大规模对比视觉语言预训练（CLIP）的成功使视觉识别和多模态内容理解受益匪浅。简洁的设计使CLIP在推理效率方面优于其他交叉注意融合层较重的视觉语言模型，使其成为广泛的下游任务的热门选择。然而，CLIP并没有明确地捕捉图像和文本中传达的高级和细粒度语义的层次性质，这对视觉语言理解和推理来说是至关重要的。为此，我们在CLIP的视觉和语言分支配备了层次感知注意力，即层次感知CLIP（HiCLIP），以无监督的方式从图像和文本中逐层逐步发现语义层次。因此，这种分层聚合显著改善了跨模态对齐。为了证明HiCLIP的优势，我们进行了定性分析，其无监督的层次归纳推理过程中，以及广泛的定量实验上的视觉识别和视觉语言的下游任务。
2023-03-06 cs.CL cs.CV cs.LG
What Do Audio-Language Judges of Generated Music Listen For? Four Probes with Controls from Expert Ratings
Institute of Computer Science, Warsaw University of Technology（华沙理工大学计算机科学研究所）
本文针对开源音乐评判模型设计四项探测实验，结合专家评分控制，揭示其评分依据，发现多数模型受片段位置、指令表述影响，建议音乐评判模型需报告该四项探测实验。
2026-10-12 cs.CL cs.SD eess.AS
