Picking BERT's Brain: Probing for Linguistic Dependencies in Contextualized Embeddings Using Representational Similarity Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）
顾名思义，语言的语境化表征通常是由它们编码语境的能力所激发的。这些表征捕捉了上下文的哪些方面？我们介绍了一种方法来解决这个问题，使用代表性相似性分析（RSA）。作为案例研究，我们调查在何种程度上动词嵌入编码动词的主语，代词嵌入编码代词的先行词，和一个完整的句子表示编码句子的头词（由依赖分析确定）。在所有情况下，我们表明，BERT的语境化嵌入反映了正在研究的语言依赖性，并且BERT编码这些依赖性在更大程度上比它编码更少的语言突出的控制。这些结果表明，我们的方法之间的假设，哪些方面的情况下编码的语言表示进行裁决的能力。
2020-11-24 cs.CL
Probing Context Localization of Polysemous Words in Pre-trained Language Model Sub-Layers
Saarland Informatics Campus（萨尔兰信息学园区）
本研究使用线性探针分析预训练语言模型子层对多义词的上下文化强度，发现BERT在特定短上下文位置的顶部子层表现高度上下文化，但无法系统推广至所有位置和上下文大小。
2024-09-21 cs.CL
Semantics or spelling? Probing contextual word embeddings with orthographic noise
Cornell University（康奈尔大学）
通过向输入单词引入单字符交换的正字法噪声，发现预训练语言模型生成的上下文词嵌入对噪声高度敏感，且敏感性与子词分词相关，表明这些表示可能不是可靠的语义代理。
2024-08-08 cs.CL
Pareto Probing: Trading Off Accuracy for Complexity
University of Cambridge（剑桥大学）；University of Edinburgh（爱丁堡大学）；Facebook AI Research（Facebook人工智能研究院）；ETH Zürich（苏黎世联邦理工学院）
本文提出以Pareto超体积作为探测指标来权衡探测复杂度与性能，发现简单探测任务不足以评估上下文表示，并证明完整依存句法分析能更有效揭示上下文与非上下文表示在句法知识上的差距。
2023-12-04 cs.CL cs.LG
Adaptive Distraction: Probing LLM Contextual Robustness with Automated Tree Search
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（莫扎伊德大学人工智能学院）；University of Notre Dame（诺特丹大学）；IBM Research（IBM研究院）
本文提出基于树搜索的自适应干扰生成框架，通过模型行为引导动态生成干扰，系统性测试大语言模型的上下文鲁棒性，并发现后训练方法比提示优化更能有效缓解性能下降。
2025-09-21 cs.CL
Layer-wise Minimal Pair Probing Reveals Contextual Grammatical-Conceptual Hierarchy in Speech Representations
Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
本文首次系统评估多种语音语言模型中的上下文句法与语义特征，通过71个任务的最小对探测发现语音编码器普遍更稳健地编码语法特征而非概念特征。
2025-09-19 cs.CL eess.AS
Mining Contextualized Visual Associations from Images for Creativity Understanding
Columbia University（哥伦比亚大学）
本文提出可扩展至未标注图像的情境化视觉关联挖掘方法，据此为 MSCOCO 构建170万条分层抽象的创意描述，并提升创意领域零样本图文检索性能。
2025-07-25 cs.CL cs.CV
Recurrent and Contextual Models for Visual Question Answering
Stanford University（斯坦福大学）
我们在Visual 7 W数据集上提出了一系列用于多项选择视觉问答的循环和上下文神经网络模型。在文献中的模型复杂性的不同趋势的动机，我们探索模型的表达能力和简单性之间的平衡，通过研究越来越复杂的架构。我们从输入问题和答案的LSTM编码开始;在此基础上，通过神经图像和问题表示的LSTM编码以及图像上的注意力来生成上下文;并评估我们的模型及其集成的多样性和预测能力。所有模型都是根据当前最先进技术的简单基线进行评估的，包括分别针对文本和图像的词袋和CNN表示的简单串联。一般来说，我们观察到我们的模型之间的图像推理性能的显着变化，从它们的整体性能来看并不明显，以及数据集偏差的证据。我们的独立模型可实现高达$64.6\%$的精度，而所有模型的集成可实现$66.67\%$的最佳精度，在Visual 7 W当前最先进水平的$0.5\%$范围内。
2017-03-23 cs.CL cs.CV
Probing Multimodal Embeddings for Linguistic Properties: the Visual-Semantic Case
Umeå University（于默奥大学）
语义嵌入已经推进了无数自然语言处理任务的技术水平，并且已经提出了对多模态域的各种扩展，例如视觉语义嵌入。虽然视觉语义嵌入的力量来自于通过机器学习对信息的提炼和丰富，但人们对它们的内部工作原理知之甚少，而且缺乏分析工具。为了解决这个问题，我们将探测任务的概念推广到视觉语义的情况下。为此，我们（一）讨论了探测任务的形式化嵌入的图像字幕对，（二）在我们的一般框架内定义三个具体的探测任务，（三）训练分类器探测这些属性，（四）比较各种国家的最先进的嵌入镜头下提出的探测任务。我们的实验显示，与相应的单峰嵌入相比，视觉语义嵌入的准确性提高了12%，这表明前者所表示的文本和图像维度确实相互补充。
2021-02-22 cs.CL cs.CV cs.LG
Conditional probing: measuring usable information beyond a baseline
Stanford University（斯坦福大学）
探测实验研究神经表征使属性（如词性）可预测的程度。一种建议是，如果探测表示比探测基线表示（如非上下文词嵌入）产生更高的准确性，则表示对属性进行编码。我们感兴趣的不是使用基线作为比较点，而是测量包含在表示中而不是基线中的信息。例如，当前的方法可以检测表示何时比单词身份（基线）更有用以预测词性;然而，它们不能检测表示何时仅预测无法通过单词身份解释的词性的方面。在这项工作中，我们扩展了一个理论的可用信息称为$\mathcal{V}$ -信息，并提出有条件的探测，明确的条件上的信息在基线。在一个案例研究中，我们发现，在非上下文词嵌入的条件下，像词性这样的属性在网络的更深层比以前想象的更容易访问。
2021-09-19 cs.CL
Adaptive Markup Language Generation for Contextually-Grounded Visual Document Understanding
CUHK MMLab（香港中文大学MML实验室）；vivo AI Lab（vivo人工智能实验室）；CPII under InnoHK（创新工场下的CPII）；Shanghai AI Lab & Shenzhen Institute of Advanced Technology, CAS（上海人工智能实验室及深圳先进技术研究所，中国科学院）
本文提出利用 Markdown、JSON、HTML 和 TiKZ 等标记语言自适应生成结构化文档表示，并构建 DocMark-Pile 与 DocMark-Instruct 两个细粒度数据集，显著提升视觉文档理解性能。
2025-05-08 cs.CL cs.CV
Probing for Understanding of English Verb Classes and Alternations in Large Pre-trained Language Models
University of Washington（华盛顿大学）
我们研究了Levin（1993）所描述的动词交替类在多大程度上被编码在大型预训练语言模型（PLM）（如BERT，RoBERTa，ELECTRA和DeBERTa）的嵌入中，使用选择性构建的诊断分类器进行单词和短语级预测任务。我们遵循并扩展了Kann等人的实验。（2019），旨在探索静态嵌入是否编码动词的框架选择特性。在单词和句子的水平上，我们发现，上下文嵌入从PLM不仅优于非上下文嵌入，但在大多数交替类的任务上实现了惊人的高精度。此外，我们发现的证据表明，中层到上层的PLM实现更好的性能平均比低层在所有探测任务。
2022-09-11 cs.CL
Beyond Instructional Videos: Probing for More Diverse Visual-Textual Grounding on YouTube
Allen Institute for AI（艾伦人工智能研究所）；Google Research（谷歌研究院）
从未标记的网络视频进行预训练已迅速成为在许多视频理解任务上实现高性能的事实手段。通过预测视觉内容和自动语音识别（ASR）标记之间的基础关系来学习特征。然而，之前的预训练工作仅限于教学视频;先验地，我们期望这个领域相对“容易“：教学视频中的说话者通常会引用所描述的文字对象/动作。我们问：类似的模型可以在更多样化的视频语料库上训练吗？如果是，什么类型的视频是“接地”的，什么类型的不是？我们将一个具有代表性的预训练模型与不同的YouTube 8 M数据集相匹配，并研究了其成功和失败的案例。我们发现，视觉文本接地确实是可能的，在以前未探索的视频类别，并在一个更多样化的集合上的预训练结果的表示，概括到非教学和教学领域。
2020-10-16 cs.CL cs.CV
VCSE: Time-Domain Visual-Contextual Speaker Extraction Network
Tianjin University（天津大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；National University of Singapore（新加坡国立大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
说话人提取试图在多说话人场景中提取目标语音，并给出辅助参考。这种参考可以是听觉的，即，预先录制的语音、视频，即，嘴唇的运动，或上下文，即，语音序列不同模态的参考语提供了不同的互补信息，这些信息可以融合在一起，形成对目标说话者的自上而下的注意。以前的研究已经在一个单一的模型中引入了视觉和上下文模态。在本文中，我们提出了一个两阶段的时域视觉上下文说话人提取网络命名为VCSE，它结合了视觉和自我登记的上下文线索，逐步充分利用每一个模态。在第一阶段，我们预提取目标语音与视觉线索和估计潜在的语音序列。在第二阶段，我们细化预提取的目标语音与自注册的上下文线索。在真实世界唇读句子3（LRS3）数据库上的实验结果表明，我们提出的VCSE网络始终优于其他最先进的基线。
2022-10-09 cs.CL cs.CV cs.SD
Exploring Visual Culture Awareness in GPT-4V: A Comprehensive Probing
Huazhong University of Science and Technology（华中科技大学）；University of Copenhagen（哥本哈根大学）
该研究使用MaRVL基准数据集，通过三项视觉任务全面探测了GPT-4V的视觉文化意识，发现其虽在低资源语言上表现较弱，但在图像描述中比原人工标注更具文化相关性。
2024-02-15 cs.CL cs.CV
Probing Biomedical Embeddings from Language Models
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）；Google, Inc.（谷歌公司）
从预训练的语言模型（LM）中获得的上下文化词嵌入在下游NLP任务上显示出显着的改进。针对特定领域语料库（如生物医学文章）的预训练进一步提高了它们的性能。在本文中，我们进行了探索实验，以确定哪些额外的信息是由域内训练的上下文嵌入固有的。为此，我们使用预先训练的LM作为固定的特征提取器，并限制下游任务模型不具有额外的序列建模层。我们比较了BERT、ELMo、BioBERT和BioELMo，BioELMo是在10M PubMed摘要上训练的ELMo的生物医学版本。令人惊讶的是，虽然微调BioBERT在生物医学NER和NLI任务中优于BioELMo，但作为固定特征提取器，BioELMo在我们的探测任务中优于BioBERT。我们使用可视化和最近邻分析表明，更好的编码实体类型和关系信息导致这种优势。
2019-04-03 cs.CL
In-Context Probing: Toward Building Robust Classifiers via Probing Large Language Models
ETH Zurich（苏黎世联邦理工学院）；Google DeepMind（谷歌DeepMind）
本文提出上下文探测（ICP）方法，通过探测指令上下文化的表示来预测标签，相比上下文学习对指令变化更稳健，性能可与微调媲美，尤其适合小模型和少量训练数据场景。
2023-12-22 cs.CL
Probing as Quantifying Inductive Bias
ETH Zürich（苏黎世联邦理工学院）；MIT（麻省理工学院）
预先训练的上下文表示已经在一系列下游任务上带来了显着的性能提升。这种性能的提高促使研究人员量化和理解这些表征中编码的语言信息。一般来说，研究人员通过探测来量化语言信息的数量，这种努力包括训练一个监督模型来直接从上下文表示中预测语言属性。不幸的是，这种探测的定义在文献中受到了广泛的批评，并被观察到导致了自相矛盾和违反直觉的结果。在本文的理论部分，我们采取的立场是，探测的目标应该是测量的量的归纳偏见，表征编码的特定任务。我们进一步描述了一个贝叶斯框架，可操作化这一目标，并允许我们量化表示的归纳偏差。在本文的实证部分，我们将我们的框架应用于各种NLP任务。我们的研究结果表明，我们提出的框架解决了许多以前的问题中发现的探测。此外，我们能够提供具体的证据，对于某些任务，fastText可以提供比BERT更好的归纳偏差。
2022-03-24 cs.CL
Contextual Image Attack: How Visual Context Exposes Multimodal Safety Vulnerabilities
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Xi’an Jiaotong University（西安交通大学）；Renmin University of China（中国人民大学）
本文提出上下文图像攻击方法，通过多智能体系统和四种可视化策略，有效利用图像的上下文信息对多模态大语言模型进行劫持攻击，实验结果显示攻击效果优于现有方法。
2025-12-02 cs.CL cs.CR cs.CV
Enriching Video Captions With Contextual Text
ETH Zürich（苏黎世联邦理工学院）
理解视频内容并生成具有上下文的字幕是一项重要且具有挑战性的任务。与以前的方法，通常试图生成通用的视频字幕没有上下文不同，我们的架构通过注入相关的文本数据提取的信息上下文字幕。我们提出了一个端到端的序列到序列模型，该模型根据视觉输入生成视频字幕，并从上下文文本中挖掘相关知识，如名称和位置。与以前的方法相比，我们不对文本进行进一步的预处理，而是让模型直接学习关注它。在视觉输入的指导下，模型能够通过指针生成器网络从上下文文本中复制单词，从而生成更具体的视频字幕。我们在新闻视频数据集上展示了具有竞争力的性能，并通过消融研究验证了上下文视频描述的有效性以及我们模型架构中的个性化设计选择。
2020-07-29 cs.CL cs.CV
Visual Late Chunking: An Empirical Study of Contextual Chunking for Efficient Visual Document Retrieval
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Alibaba Cloud Computing（阿里云）；Hong Kong University of Science and Technology（香港科技大学）
本文提出ColChunk框架，通过多模态后期分块构建高效上下文化多向量，减少存储需求并提升检索性能。
2026-04-11 cs.CL cs.CV cs.IR
Stories in the Eye: Contextual Visual Interactions for Efficient Video to Language Translation
Center for Visual Information Technology（视觉信息技术中心）；International Institute of Information and Technolgy, Hyderabad（海得拉巴国际信息技术学院）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）
整合更高层次的视觉和语言解释是人类智能的核心。随着图像中的自动视觉类别识别越来越接近人类的能力，对视频的动态时空域的高层次理解及其到自然语言的翻译仍然远未解决。虽然大多数关于视觉到文本翻译的作品都使用预先学习或预先建立的计算语言模型，但在本文中，我们提出了一种仅使用视觉来有效学习如何将视频内容翻译成语言的方法。我们发现，在简单的形式，主要演员扮演的故事，而只使用视觉线索来代表对象和它们的相互作用。我们的方法以分层的方式学习更高级别的表示，用于识别所涉及的主体，动作和对象，它们的相关上下文背景以及它们随着时间的推移相互作用。我们有一个三阶段的方法：首先，我们考虑在外观的本地级别的各个实体的功能，然后我们考虑这些对象和动作和他们的视频背景之间的关系，第三，我们认为他们的时空关系作为输入到分类器在最高级别的解释。因此，我们的方法以主语、动词和宾语的形式找到了对视频的连贯的语言描述，这是基于它们在直接从训练数据中学习到的整体视觉故事中所扮演的角色，而不使用已知的语言模型。我们在包含野外拍摄的YouTube片段的大规模数据集上测试了我们方法的效率，并展示了最先进的性能，通常优于使用更复杂，预先学习的语言知识的当前方法。
2015-11-20 cs.CL cs.CV
Using Distributional Principles for the Semantic Study of Contextual Language Models
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）
近年来，人们对语境语言模型的性质进行了大量的研究，但令人惊讶的是，只有少数研究从语义相似性的角度来考虑这些模型的性质。在这篇文章中，我们首先专注于这些属性的英语利用分布原则的替代作为一种探测机制，在控制的SemCor和WordNet的聚合关系的背景下。然后，我们建议适应相同的方法，以更开放的设置，静态和上下文语言模型之间的差异的特点。
2021-11-23 cs.CL
Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
人类通过听、说、写、读以及与多模态现实世界的互动来学习语言。现有的语言预训练框架显示了纯文本自我监督的有效性，而我们在本文中探索了视觉监督语言模型的想法。我们发现阻碍这一探索的主要原因是视觉语言数据集和纯语言语料库之间在数量和分布上的巨大差异。因此，我们开发了一种名为“vokenization”的技术，通过将语言标记映射到其相关图像（我们称之为“vokens”），将多模态对齐外推到仅语言数据。“vokenizer”是在相对较小的图像描述数据集上训练的，然后我们将其应用于为大型语言语料库生成vokens。使用这些上下文生成的voken进行训练，我们的视觉监督语言模型在多个纯语言任务（如GLUE，SQuAD和SWAG）上显示出比自监督替代方案一致的改进。代码和预训练模型可在https://github.com/airsplay/vokenization上公开获取
2020-10-14 cs.AI cs.CL cs.CV
Probing Physical Reasoning with Counter-Commonsense Context
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
本文构建包含符合与违反物理常识语境的 CConS 数据集，测试多种语言模型的语境化尺寸比较能力，发现大模型能利用介词却不能利用动词，易受先验常识误导。
2023-06-04 cs.CL
CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models
School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机学院）；Cognitive AI Lab, Shanghai Huawei Technologies, China（上海华为技术有限公司认知人工智能实验室）
针对大视觉语言模型视觉令牌过多导致的计算与内存开销问题，提出即插即用的层级上下文化剪枝方法CoViPAL，在浅层即可有效剪枝冗余令牌，在多基准上性能优于同类免训练及同监督水平的训练型剪枝方法，兼顾推理效率与精度。
2025-08-30 cs.AI cs.CL cs.CV
Visual Contextual Attack: Jailbreaking MLLMs with Image-Driven Context Injection
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Purdue University（普渡大学）
本文提出VisCo攻击，通过图像驱动的上下文注入构建以视觉为中心的越狱场景，结合自动毒性混淆和语义精炼，在GPT-4o上实现85%的攻击成功率，显著超越基线方法。
2025-09-16 cs.CL cs.CR cs.CV
Probing the Need for Visual Context in Multimodal Machine Translation
LIUM, Le Mans University（勒芒大学计算机信息实验室）；Imperial College London（帝国理工学院）
当前多模态机器翻译（MMT）的研究表明，视觉模态要么是不必要的，要么只是稍微有益的。我们认为，这是由于任务（Multi30K）唯一可用的数据集中使用了非常简单，简短和重复的句子，使源文本足以作为上下文。然而，在一般情况下，我们认为可以将视觉和文本信息结合起来，以便为翻译奠定基础。在本文中，我们探索的贡献，最先进的MMT模型的视觉模态进行系统的分析，我们部分剥夺了源端的文本上下文的模型。我们的研究结果表明，在有限的文本背景下，模型能够利用视觉输入来生成更好的翻译。这与当前的观点相矛盾，即MMT模型由于图像特征的质量或它们集成到模型中的方式而忽略视觉模态。
2019-06-02 cs.CL
Can Vision-Language Models Infer Speaker's Ignorance? The Role of Visual and Linguistic Cues
Sungkyunkwan University（顺天妇女大学）；Ewha Womans University & LLM Experimental Lab, MODULABS（成均馆大学及LLM实验实验室，MODULABS）
本研究探究视觉语言模型的无知隐含语用推理能力，通过操控视觉与语言线索测试发现，不同模型处理语境线索的方式有差异，Claude整合多线索的能力或体现多模态模型的语用能力涌现。
2025-05-17 cs.CL
Probing for targeted syntactic knowledge through grammatical error detection
ALTA Institute（ALTA研究所）；University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
测试主谓一致性（SVA）知识的有针对性的研究表明，预先训练的语言模型编码句法信息。我们断言，如果模型鲁棒地编码主谓一致，它们应该能够识别何时一致是正确的，何时不正确。为此，我们提出了语法错误检测作为诊断探针，以评估他们的知识SVA标记级的上下文表示。我们从五个预先训练的英语语言模型：BERT，XLNet，GPT-2，RoBERTa和ELECTRA中评估每一层的上下文表示。我们利用来自英语第二语言学习者和维基百科编辑的公共注释训练数据，并报告手动制作的主谓一致刺激的结果。我们发现，掩蔽的语言模型线性编码的信息相关的SVA错误的检测，而自回归模型与我们的基线。然而，我们也观察到当探测器在不同的训练集上训练时，以及当它们在不同的句法结构上进行评估时，性能上的差异，这表明与SVA错误检测有关的信息没有被鲁棒地编码。
2022-10-28 cs.CL
Learning Contextual Causality from Time-consecutive Images
HKUST（香港科技大学）；CUHK（香港中文大学）；UPenn（宾夕法尼亚大学）
因果关系知识对于许多人工智能系统是至关重要的。传统的基于文本的因果关系知识获取方法通常需要费力且昂贵的人工注释。因此，其规模往往有限。此外，由于在注释期间没有提供上下文，因此所得到的因果关系知识记录（例如，ConceptNet）通常不考虑上下文。为了探索一种更具可扩展性的因果关系知识获取方法，本文跳出文本领域，研究了从视觉信号中学习上下文因果关系的可能性。与纯文本方法相比，从视觉信号中学习因果关系具有以下优点：（1）因果关系知识属于常识性知识，很少在文本中表达，而在视频中却非常丰富;（2）视频中的事件大多具有自然的时序性，这为我们挖掘因果关系知识提供了丰富的资源;（3）视频中的所有对象都可以作为语境来研究因果关系的语境性。详细地说，我们首先提出了一个高质量的数据集Vis-Causal，然后进行实验来证明，通过良好的语言和视觉表示模型以及足够的训练信号，可以从视频中自动发现有意义的因果知识。进一步的分析还表明，因果关系的上下文属性确实存在，如果我们想在实际应用中使用因果关系知识，考虑到这一点可能是至关重要的，视觉信号可以作为一个很好的资源，学习这种上下文因果关系。
2020-12-13 cs.AI cs.CL cs.CV
Bird's Eye: Probing for Linguistic Graph Structures with a Simple Information-Theoretic Approach
ETH Zürich（苏黎世联邦理工学院）
NLP有着丰富的历史，以图表的形式表示我们对语言的先前理解。最近的工作分析语境化的文本表示集中在手工设计的探针模型，以了解如何以及在何种程度上做这些表示编码一个特定的语言现象。然而，由于各种现象的相互依赖性和训练探针模型的随机性，检测这些表示如何在这些语言图中编码丰富的信息仍然是一个具有挑战性的问题。在本文中，我们提出了一个新的信息理论探测，鸟的眼睛，这是一个相当简单的探测方法，用于检测这些表示是否以及如何编码这些语言图中的信息。而不是使用分类器的性能，我们的探测需要一个信息理论的观点探测和估计之间的互信息的语言图嵌入在一个连续的空间和上下文的单词表示。此外，我们还提出了一种方法，使用我们的探针调查本地化的语言信息的语言图，使用扰动分析。我们称之为“虫眼”探测装置使用这些探针，我们分析BERT模型的能力，编码的语法和语义图结构，并发现这些模型在一定程度上编码的语法以及语义信息，虽然语法信息在更大程度上。
2021-05-25 cs.CL
Towards Self-explanatory Ontology Visualization with Contextual Verbalization
Institute of Mathematics and Computer Science, University of Latvia（拉脱维亚大学数学与计算机科学研究所）
本体是语义网的核心基础之一。要参与语义Web项目，领域专家需要能够理解所涉及的本体。可视化符号可以提供本体的概述，并帮助用户理解实体之间的联系。然而，用户首先需要学习视觉符号，然后才能正确地解释它。受控的自然语言表示将是立即可读的，并且在复杂公理的情况下可能是优选的，然而，本体的结构将保持不太明显。我们建议结合本体可视化与上下文本体verbalizations选定的本体（图）元素，显示控制自然语言（CNL）解释OWL公理对应于选定的视觉符号元素。因此，领域专家将受益于图形符号提供的高级概述和图中特定元素的详细文本解释。
2016-07-06 cs.AI cs.CL
Probing Language Models' Gesture Understanding for Enhanced Human-AI Interaction
LMU Munich（慕尼黑大学）；Center for Information and Language Processing（信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
本研究聚焦大语言模型的非言语手势理解能力，提出采用成熟心理语言学设计构建含地域差异、语义标签的文本-手势配对数据集，通过模拟人类行为的实验评估模型手势理解的文化适配性与语境解读能力，助力提升人机交互效果。
2024-01-31 cs.CL
Probing Neural Language Models for Human Tacit Assumptions
Johns Hopkins University（约翰斯·霍普金斯大学）
人类带有刻板的隐性假设（STA）（Prince，1978），或关于一般概念的命题信念。这种关联对于理解自然语言至关重要。我们构建了一个诊断集的单词预测提示，以评估最近的神经上下文语言模型训练的大型文本语料库捕获STA。我们的提示是基于对概念联想的心理学研究中的人类反应。我们发现模型在检索相关属性的概念时非常有效。我们的研究结果表明，经验证据表明，刻板的概念表征被捕获的神经模型来自半监督的语言曝光。
2020-06-16 cs.CL
Designing and Contextualising Probes for African Languages
African Institute for Mathematical Sciences South Africa（非洲数学科学研究所南非分所）；Department of Computer Science（计算机科学系）；University of Cape Town（开普敦大学）
该研究首次系统探究非洲语言预训练语言模型的语言知识探针，通过分层探针与控制任务验证适配型PLMs的知识编码优势，明确语言特征分布规律，为相关模型优化提供可解释性依据。
2025-05-20 cs.CL
Is BERT Blind? Exploring the Effect of Vision-and-Language Pretraining on Visual Language Understanding
Tel Aviv University（特拉维夫大学）
该研究提出VLU任务集与Stroop零样本探测法，验证了视觉-语言预训练能让文本编码器获得视觉推理能力，在隐含视觉推理的纯文本任务中表现更优，为多模态学习中文本编码器的选择提供参考。
2023-11-02 cs.CL cs.CV cs.LG
WinoViz: Probing Visual Properties of Objects Under Different States
University of Southern California（南加州大学）
本文提出WinoViz数据集，通过1,380个示例探究语言模型对物体在不同状态下变化视觉属性的推理能力，发现视觉知识推理是主要瓶颈，且多跳推理对现有模型仍具挑战。
2024-02-21 cs.CL
Beyond Black-Box Interventions: Latent Probing for Faithful Retrieval-Augmented Generation
School of Informatics, Xiamen University（厦门大学信息学院）；The Hong Kong Polytechnic University（香港理工大学）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）；Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan (Xiamen University), Ministry of Culture and Tourism, China（福建省和台湾非物质文化遗产数字化保护与智能处理重点实验室（厦门大学），中华人民共和国文化和旅游部，中国）
本文提出ProbeRAG框架，通过潜在冲突探测和注意力调节提升检索增强生成的忠实度，解决传统方法在评估知识冲突时的不足。
2026-04-15 cs.CL
Incorporating Probing Signals into Multimodal Machine Translation via Visual Question-Answering Pairs
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；NiuTrans Research（NiuTrans研究院）；School of Software, Northeastern University（东北大学软件学院）
本文针对多模态机器翻译中视觉信息利用不足的问题，提出通过大语言模型生成VQA风格探测信号并构建Multi30K-VQA数据集，结合MMT-VQA多任务学习框架增强跨模态交互，在两个基准上验证了有效性。
2023-10-26 cs.AI cs.CL
Contextual Knowledge Pursuit for Faithful Visual Synthesis
Center for Innovation in Data Engineering and Science, University of Pennsylvania（宾夕法尼亚大学数据工程与科学创新中心）
本文提出上下文知识追求（CKPT）框架，结合外部检索与LLM参数化知识，通过上下文知识追求和过滤微调，减少文本到视觉生成中的幻觉，提升图像、3D和视频合成的忠实性与语义丰富度。
2024-11-05 cs.CL cs.CV cs.LG
Accurate Word Representations with Universal Visual Guidance
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information（国立信息研究所）
词汇表征是神经语言理解模型的一个基本组成部分。最近，预训练的语言模型（PrLM）提供了一种新的高性能的上下文化的单词表示方法，利用序列级的上下文建模。虽然PrLM一般给出更准确的语境化的词表示比非语境化的模型做，他们仍然受到一系列的文本上下文没有不同的提示，从多模态的词表示。因此，本文提出了一种视觉表示方法，显式地增强传统的词嵌入与多方面的意义，从视觉指导。详细地说，我们从多模态种子数据集构建了一个小规模的单词图像字典，其中每个单词对应于不同的相关图像。文本和成对的图像被并行编码，然后是一个注意层来整合多模态表示。我们表明，该方法大大提高了消歧的准确性。在12个自然语言理解和机器翻译任务上的实验进一步验证了该方法的有效性和泛化能力。
2020-12-30 cs.AI cs.CL cs.CV
AV-data2vec: Self-supervised Learning of Audio-Visual Speech Representations with Contextualized Target Representations
Meta AI
本文提出 AV-data2vec，通过预测上下文化目标表示实现音频和视频的联合自监督学习，在 LRS3 上一致超越现有视听语音识别方法。
2024-01-21 cs.AI cs.CL eess.AS
EmCom-Diffusion: Probing Visual Reflection in Emergent Languages via Image Generation
Graduate School of Informatics, Kyoto University, Kyoto, Japan（京都大学信息学研究科）；Research Organization of Science and Technology, Ritsumeikan University, Shiga, Japan（立命馆大学科学技术研究机构）
研究新兴语言编码输入视觉内容程度的问题，提出EmCom-Diffusion框架，直接测量视觉反射，通过微调文本到图像扩散模型，以重建图像与原图的感知相似性评分，验证其优于现有指标。
2026-07-07 cs.AI cs.CL cs.CV
Spectral Probing
IT University of Copenhagen（哥本哈根信息技术大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
语言信息以不同的时间尺度（子词、短语等）进行编码。和交际层面，如句法和语义。类似地，人们发现语境化嵌入可以在不同的层次和频率上捕捉这些现象。利用这些发现，我们开发了一个完全可学习的频率滤波器，以识别任何给定任务的频谱分布。它比以前手工制作的过滤器能够进行更精细的分析，并提高了效率。在单语设置中展示了手动过滤器的光谱探测的信息量之后，我们研究了六种语言中七种不同NLP任务的多语言特性。我们的分析确定了独特的光谱配置文件，量化跨任务的相似性，在语言上直观的方式，同时保持一致的语言，突出了其作为强大的，轻量级的任务描述符的潜力。
2022-10-21 cs.CL
Intrinsic Probing through Dimension Selection
Québec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（米拉））；University of Cambridge（剑桥大学）；Facebook AI Research（脸书人工智能研究院）；ETH Zürich（苏黎世联邦理工学院）
大多数现代NLP系统使用预先训练的上下文表示，在各种任务上获得极高的性能。这种高性能应该是不可能的，除非某种形式的语言结构内在的这些表示，和丰富的研究已经涌现出来的探测。在本文中，我们得出了内在探测，探讨如何在一个表征语言信息的结构，和外在探测流行在以前的工作，其仅通过表明可以成功提取来论证这种信息的存在。为了实现内在探测，我们提出了一个新的框架，基于可分解的多元高斯探针，使我们能够确定是否在词嵌入的语言信息是分散或焦点。然后，我们探测fastText和BERT的各种形态句法属性在36种语言。我们发现，大多数属性是可靠的编码，只有少数神经元，与fastText集中其语言结构比BERT。
2020-10-06 cs.CL
VIPHY: Probing "Visible" Physical Commonsense Knowledge
University of Southern California（南加州大学）
近年来，视觉语言模型（VLM）在视觉推理任务（如属性、位置）上表现出了显著的性能。虽然这样的任务测量所需的知识，地面和原因在一个给定的视觉实例，但是，他们不，测量的能力VLMs保留和概括这些知识。在这项工作中，我们评估他们获得“可见”物理知识的能力-这些信息很容易从静态场景的图像中获得，特别是在物体颜色，大小和空间的维度上。我们建立了一个自动管道，以获得用于校准和探测这些模型的全面知识资源。我们的研究结果表明，在所有三项任务中，模型和人类表现之间存在严重差距。此外，我们的字幕预训练基线（CapBERT）在尺寸和空间任务方面的表现显着优于VLM--这凸显了尽管可以通过视觉方式充分获取地面语言，但它们很难保留这些知识。数据集和代码可在https://github.com/Axe--/ViPhy上获得。
2022-09-15 cs.CL
Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
尽管最近的进展，很少有人知道的最先进的神经关系抽取（RE）模型所捕获的功能。常见的方法是在对关系进行分类之前，根据实体提及情况对源句进行编码。然而，任务的复杂性使得很难理解编码器架构和支持语言知识如何影响编码器学习的特征。我们引入了14个针对RE相关语言属性的探测任务，并使用它们来研究在两个数据集TACRED和SemEval 2010 Task 8上训练的40多种不同编码器架构和语言特征组合所学习的表示。我们发现，由结构和语言特征的包含引起的偏见在探测任务的表现中得到了明确的表达。例如，添加上下文化的单词表示大大提高了探测任务的性能，重点是命名实体和词性信息，并在RE中产生更好的结果。相比之下，实体掩码提高了RE，但大大降低了实体类型相关探测任务的性能。
2020-04-17 cs.CL
Probing for Labeled Dependency Trees
IT University of Copenhagen（哥本哈根信息技术大学）
探测已成为自然语言处理中分析表示的重要工具。对于诸如依存句法分析之类的图形化NLP任务，线性探测目前仅限于提取不捕获完整任务的无向或无标记解析树。这项工作介绍DepProbe，一个线性探针，可以提取标记和定向依赖分析树的嵌入，同时使用更少的参数和计算比以前的方法。利用它的全任务覆盖和轻量级参数化，我们研究了它的预测能力，选择最好的传输语言训练一个完整的双仿射注意力分析器。在13种语言中，我们提出的方法在94%的时间内识别出最佳源树库，优于竞争对手的基线和先前的工作。最后，我们分析了上下文嵌入中任务特定子空间的信息量以及完整解析器的非线性参数化提供的好处。
2022-03-24 cs.CL
Pixology: Probing the Linguistic and Visual Capabilities of Pixel-based Language Models
KU Leuven（鲁汶大学）；Sailplane AI
本研究通过多种语言和视觉任务探测基于像素的语言模型PIXEL，发现其视觉与语言理解存在显著差距，低层捕获视觉特征而高层学习句法语义，并揭示输入正字法约束可促进早期表面特征学习。
2024-10-15 cs.CL
Sort by Structure: Language Model Ranking as Dependency Probing
IT University of Copenhagen（哥本哈根信息技术大学）；LMU Munich（慕尼黑大学）
对预训练的语言模型（LM）做出明智的选择对于性能至关重要，但环境代价高昂，因此广泛探索不足。计算机视觉领域已经开始解决编码器排名问题，并有望进军自然语言处理，但它们缺乏对结构化预测等语言任务的覆盖。我们建议探测排名LM，特别是在一个给定的语言解析依赖关系，通过测量标记树的程度是可恢复的LM的上下文嵌入。在46个类型和架构上不同的LM语言对中，我们的探测方法预测了79%的最佳LM选择，使用的数量级比训练一个完整的解析器少。在这项研究中，我们确定和分析一个最近提出的解耦LM - RemBERT -，并发现它惊人地包含较少的固有依赖信息，但往往会产生最好的解析器后，充分微调。如果没有这个离群值，我们的方法在89%的情况下确定了最佳LM。
2022-06-10 cs.CL
Probing Statistical Representations For End-To-End ASR
Voicebase Inc.（Voicebase公司）
端到端自动语音识别（ASR）模型旨在学习通用语音表示以执行识别。在这一领域，很少有研究来分析内部表示依赖关系及其与建模方法的关系。本文研究跨域的语言模型依赖关系的Transformer架构使用SVCCA，并利用这些见解，利用建模方法。结果发现，特定的神经表征内的Transformer层表现出相关的行为，影响识别性能。总之，这项工作提供了对影响上下文依赖性和ASR性能的建模方法的分析，并可用于创建或调整性能更好的端到端ASR模型以及下游任务。
2022-11-03 cs.CL cs.SD eess.AS
Context-driven Visual Object Recognition based on Knowledge Graphs
Bosch Center for Artificial Intelligence（博世人工智能中心）；Trier University（特里尔大学）
目前用于对象识别的深度学习方法是纯数据驱动的，需要大量的训练样本才能达到良好的效果。由于它们仅依赖于图像数据，这些方法在面对即使发生小偏差的新环境时往往会失败。然而，人类感知已被证明对这种分布偏移显著更鲁棒。据推测，他们的能力，以处理未知的情况下，是基于广泛纳入的上下文知识。上下文可以基于场景中的对象共现，也可以基于经验记忆。根据人类视觉皮层使用上下文来为所看到的图像形成不同的对象表示，我们提出了一种方法，通过使用编码在知识图谱中的外部上下文知识来增强深度学习方法。因此，我们从一个通用的知识图谱中提取不同的上下文视图，将视图转换到向量空间中，并将其注入DNN。我们进行了一系列的实验，以研究不同的上下文视图对同一图像数据集的学习对象表示的影响。实验结果提供了证据表明，上下文视图影响DNN中的图像表示不同，因此导致对相同图像的不同预测。我们还表明，上下文有助于加强对象识别模型的鲁棒性的分布图像，通常发生在迁移学习任务或现实世界的情况。
2022-10-20 cs.AI cs.CL cs.CV
Lexicon3D: Probing Visual Foundation Models for Complex 3D Scene Understanding
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
本文系统评估了七种视觉基础编码器在三维场景理解中的表现，发现DINOv2整体最优、视频模型擅长物体级任务、扩散模型利于几何任务，并指出语言预训练模型在语言任务中存在意外局限，为编码器选择提供了新见解。
2025-05-08 cs.AI cs.CL cs.CV
