LINSPECTOR WEB: A Multilingual Probing Suite for Word Representations
Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出LINSPECTOR WEB，一个开源的多语言检查器来分析单词表示。我们的系统为在低资源环境中工作的研究人员提供了一个易于访问的基于Web的探测工具，以快速了解他们的词嵌入，特别是在英语之外。为了做到这一点，我们采用了16个简单的语言探测任务，如性别，情况下标记，时态为一组不同的28种语言。我们支持探测静态词嵌入以及预训练的AllenNLP模型，这些模型通常用于NLP下游任务，例如命名实体识别，自然语言推理和依存句法分析。结果在极坐标图中可视化，并以表格形式提供。LINSPECTOR WEB可作为离线工具或在https://linspector.ukp.informatik.tu-darmstadt.de上获得。
2019-10-15 cs.CL
Probing the Probing Paradigm: Does Probing Accuracy Entail Task Relevance?
Carnegie Mellon University（卡内基梅隆大学）；Technion -- Israel Institute of Technology（以色列理工学院）
尽管神经模型在几个NLP基准测试中取得了令人印象深刻的结果，但人们对它们用于执行语言任务的机制知之甚少。因此，最近的注意力一直致力于分析神经编码器学习的句子表征，通过“探测”任务的镜头。然而，通过探测发现的句子表征中编码的信息在多大程度上被模型用来执行任务？在这项工作中，我们通过自然语言推理的案例研究来研究这种探索范式，表明模型可以学习编码语言属性，即使它们对于模型训练的任务来说是不需要的。我们进一步确定，预训练的词嵌入在编码这些属性中发挥了相当大的作用，而不是训练任务本身，突出了设计探测实验时仔细控制的重要性。最后，通过一组受控的合成任务，我们证明了模型可以将这些属性编码为远高于机会水平，即使在数据中作为随机噪声分布时也是如此，从而对探测任务的绝对声明的解释提出了质疑。
2021-03-07 cs.CL
Interventional Probing in High Dimensions: An NLI Case Study
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）
本文以自然逻辑 NLI 为案例，结合遗忘探测与新提出的记忆探测进行表征级干预，检验语义特征对分类的因果作用并反思方法陷阱。
2023-04-20 cs.CL
Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
本文提出语义结构探测方法研究Transformer句子嵌入，发现不同模型家族在性能和层级动态上差异显著但结果基本不随模型规模变化。
2023-10-18 cs.CL
Is "My Favorite New Movie" My Favorite Movie? Probing the Understanding of Recursive Noun Phrases
University of Pennsylvania（宾夕法尼亚大学）；Peking University（北京大学）
递归名词短语具有有趣的语义特征。例如，“我最喜欢的新电影”不一定是我最喜欢的电影，而“我最喜欢的新电影”是。这是人类的常识，但语言模型是否具有这样的知识是未知的。我们介绍了递归名词短语挑战（RNPC），三个文本推理任务的数据集，涉及文本蕴涵和事件可扩展性比较，精确地针对递归NP的理解。在RNPC上进行评估时，最先进的Transformer模型只能随机执行。尽管如此，我们表明，这些知识是可以通过适当的数据学习的。我们进一步探讨了从任务中可以学习到的相关语言特征的模型，包括修饰语语义类别和修饰语范围。最后，在RNPC上训练的模型在外部伤害检测评估任务上实现了强大的zero-shot性能，显示了对递归NP的理解在下游应用中的有用性。
2022-05-08 cs.CL
Reverse Probing: Evaluating Knowledge Transfer via Finetuned Task Embeddings for Coreference Resolution
German Research Centre for Artificial Intelligence（德国人工智能研究中心）；Saarland Informatics Campus（萨尔兰信息学园区）；Technische Universität Berlin（柏林工业大学）
该研究提出反向探测框架，以共指消解为目标任务，评估多个简单源任务的微调嵌入的知识迁移效果，发现语义相似任务嵌入效用最高，中间层表征更优，多任务嵌入结合可显著提升性能。
2025-03-21 cs.CL
Pareto Probing: Trading Off Accuracy for Complexity
University of Cambridge（剑桥大学）；University of Edinburgh（爱丁堡大学）；Facebook AI Research（Facebook人工智能研究院）；ETH Zürich（苏黎世联邦理工学院）
本文提出以Pareto超体积作为探测指标来权衡探测复杂度与性能，发现简单探测任务不足以评估上下文表示，并证明完整依存句法分析能更有效揭示上下文与非上下文表示在句法知识上的差距。
2023-12-04 cs.CL cs.LG
A Matter of Framing: The Impact of Linguistic Formalism on Probing Results
Technische Universität Darmstadt（达姆施塔特工业大学）
深度预训练的情境化编码器，如BERT（Delvin等人，2019年）在一系列下游任务上表现出色。最近的一项研究探索了这些模型在预训练过程中隐性学习的语言知识。虽然大多数探测工作都是在任务层面上进行的，但语言任务很少是统一的，可以用各种形式来表示。因此，任何基于语言学的探索性研究都不可避免地采用了用于注释底层数据的形式主义。形式主义的选择是否会影响探测结果？为了进行研究，我们对角色语义进行了深入的跨形式主义层的探索性研究。我们发现语义角色和原型角色信息的编码由BERT依赖于形式主义的语言有意义的差异，并表明层探测可以检测到相同的语言形式主义的实现之间的细微差异。我们的研究结果表明，语言形式主义是一个重要的维度，在探索性研究，以及常用的跨任务和跨语言的实验设置。
2020-04-30 cs.CL
Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
尽管最近的进展，很少有人知道的最先进的神经关系抽取（RE）模型所捕获的功能。常见的方法是在对关系进行分类之前，根据实体提及情况对源句进行编码。然而，任务的复杂性使得很难理解编码器架构和支持语言知识如何影响编码器学习的特征。我们引入了14个针对RE相关语言属性的探测任务，并使用它们来研究在两个数据集TACRED和SemEval 2010 Task 8上训练的40多种不同编码器架构和语言特征组合所学习的表示。我们发现，由结构和语言特征的包含引起的偏见在探测任务的表现中得到了明确的表达。例如，添加上下文化的单词表示大大提高了探测任务的性能，重点是命名实体和词性信息，并在RE中产生更好的结果。相比之下，实体掩码提高了RE，但大大降低了实体类型相关探测任务的性能。
2020-04-17 cs.CL
What Happens To BERT Embeddings During Fine-tuning?
Google Research（谷歌研究院）；Brown University（布朗大学）
虽然最近有很多工作研究语言信息如何编码在预训练的句子表示中，但对于这些模型在适应解决下游任务时如何变化的了解相对较少。使用一套分析技术（探测分类器，代表性相似性分析和模型消融），我们调查如何微调影响的BERT模型的表示。我们发现，虽然微调必然会产生重大变化，但它不会导致语言现象的灾难性遗忘。相反，我们发现微调主要影响BERT的顶层，但不同任务之间存在值得注意的差异。特别是，依存句法分析重新配置了模型的大部分，而SQuAD和MNLI似乎涉及更浅的处理。最后，我们还发现微调对域外句子的表示有较弱的影响，这表明模型泛化有改进的空间。
2020-04-29 cs.CL
Why Current XAI Is Not Enough for Arabic NLP: A Critical Survey of the Explainability Gap
University of Luxembourg（卢森堡大学）；University of Alicante（阿利坎特大学）
该研究通过批判性综述指出当前阿拉伯语NLP的XAI存在方法、任务、语言学三方面差距，提出涵盖多维度的分类体系并给出基于语言学的阿拉伯语XAI研究议程。
2026-08-28 cs.CL
What you can cram into a single vector: Probing sentence embeddings for linguistic properties
Facebook AI Research（脸书人工智能研究院）；Université Le Mans（勒芒大学）；Sorbonne Universités（索邦大学）
尽管最近已经投入了大量的精力来训练高质量的句子嵌入，但我们仍然对它们所捕获的内容缺乏了解。“下游”任务通常基于句子分类，通常用于评估句子表征的质量。然而，任务的复杂性使得很难推断出表征中存在什么样的信息。我们在这里介绍了10个探测任务，旨在捕捉句子的简单语言特征，我们用它们来研究由三种不同的编码器生成的嵌入，这些编码器以八种不同的方式训练，揭示了编码器和训练方法的有趣特性。
2018-07-08 cs.CL
Inferring symmetry in natural language
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究院）
我们提出了一个推理自然语言中动词谓词对称性的方法框架。关于谓词对称性的实证研究主要有两种方法。基于特征的方法侧重于与对称性有关的语言特征。基于语境的方法否认绝对对称的存在，而是认为这种推理是依赖于语境的。我们开发的方法，形式化这些方法，并评估他们对一个新的对称推理句子（SIS）数据集组成的400个自然主义的使用文学知情的动词跨越频谱的对称性不对称。我们的研究结果表明，一个混合的迁移学习模型，整合语言特征与上下文语言模型最忠实地预测的经验数据。我们的工作整合了现有的方法，对称性在自然语言，并建议如何对称推理可以提高系统性的国家的最先进的语言模型。
2020-10-16 cs.CL
Cross-neutralising: Probing for joint encoding of linguistic information in multilingual models
University of Amsterdam（阿姆斯特丹大学）；ILLC（语言逻辑与计算研究所）
多语言句子编码器广泛用于跨语言传输NLP模型。然而，这种转移的成功取决于模型对跨语言相似性和变化模式进行编码的能力。然而，人们对这些模型如何做到这一点知之甚少。我们提出了一个简单的方法来研究语言之间的关系是如何编码在两个国家的最先进的多语言模型（即M-BERT和XLM-R）。研究结果提供了深入了解他们的信息共享机制，并建议在这些模型中，语言属性是在类型相似的语言中联合编码的。
2021-03-13 cs.CL
Probing via Prompting
探测是一种流行的方法来辨别什么语言信息包含在预训练的语言模型的表示。然而，探测模式的选择机制一直受到激烈的争论，因为它是不清楚，如果探测只是提取信息或建模的语言属性本身。为了应对这一挑战，本文介绍了一种新的无模型的方法来探测，制定探测作为一个提示任务。我们进行了五个探测任务的实验，并表明我们的方法是可比的或更好地提取信息比诊断探针，而学习少得多的自己。我们进一步结合通过提示的方法与注意头修剪的探测，分析在其架构中的语言信息存储模型。然后，我们通过删除对该属性至关重要的头部并评估生成的模型在语言建模上的性能，来检查特定语言属性在预训练中的有用性。
2022-07-04 cs.CL
Bird's Eye: Probing for Linguistic Graph Structures with a Simple Information-Theoretic Approach
ETH Zürich（苏黎世联邦理工学院）
NLP有着丰富的历史，以图表的形式表示我们对语言的先前理解。最近的工作分析语境化的文本表示集中在手工设计的探针模型，以了解如何以及在何种程度上做这些表示编码一个特定的语言现象。然而，由于各种现象的相互依赖性和训练探针模型的随机性，检测这些表示如何在这些语言图中编码丰富的信息仍然是一个具有挑战性的问题。在本文中，我们提出了一个新的信息理论探测，鸟的眼睛，这是一个相当简单的探测方法，用于检测这些表示是否以及如何编码这些语言图中的信息。而不是使用分类器的性能，我们的探测需要一个信息理论的观点探测和估计之间的互信息的语言图嵌入在一个连续的空间和上下文的单词表示。此外，我们还提出了一种方法，使用我们的探针调查本地化的语言信息的语言图，使用扰动分析。我们称之为“虫眼”探测装置使用这些探针，我们分析BERT模型的能力，编码的语法和语义图结构，并发现这些模型在一定程度上编码的语法以及语义信息，虽然语法信息在更大程度上。
2021-05-25 cs.CL
Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation
The University of Melbourne（墨尔本大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；RMIT University（皇家墨尔本理工大学）
当前的语言模型很难捕捉否定，尽管这个问题的程度还没有被广泛理解。我们介绍了一个自然语言推理（NLI）测试套件，使探测能力的NLP方法，以了解子子句否定的目的。测试套件包含前提-假设对，其中前提包含子子句否定，并且通过对前提进行最小修改来构建假设，以反映不同的可能解释。除了采用标准的NLI标签，我们的测试套件系统地构建在一个严格的语言框架。它包括基于语言学理论的否定类型和结构的注释，以及用于构建假设的操作。这有助于对模型性能进行细粒度分析。我们使用预先训练的语言模型进行实验，以证明我们的测试套件比现有的基准测试更具挑战性，重点是否定，并显示我们的注释如何支持更深入地了解当前NLI的否定和量化能力。
2022-10-13 cs.CL
Evaluation of sentence embeddings in downstream and linguistic probing tasks
尽管新的句子嵌入方法发展迅速，但要找到这些不同技术的综合评价仍然具有挑战性。在过去的几年里，我们看到了句子嵌入领域的显著进步，特别是在开发通用句子编码器方面，它可以为各种下游任务提供归纳传输。在这项工作中，我们使用各种各样的下游和语言特征探测任务对最近的方法进行了全面评估。我们证明了一种简单的方法，使用词袋与最近引入的深度上下文相关的词嵌入的语言模型，与在蕴涵数据集上训练的句子编码器相比，在许多任务中都能产生更好的结果。然而，我们也表明，我们仍然远离一个通用的编码器，可以在几个下游任务中一致地执行。
2018-06-16 cs.CL
Picking BERT's Brain: Probing for Linguistic Dependencies in Contextualized Embeddings Using Representational Similarity Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）
顾名思义，语言的语境化表征通常是由它们编码语境的能力所激发的。这些表征捕捉了上下文的哪些方面？我们介绍了一种方法来解决这个问题，使用代表性相似性分析（RSA）。作为案例研究，我们调查在何种程度上动词嵌入编码动词的主语，代词嵌入编码代词的先行词，和一个完整的句子表示编码句子的头词（由依赖分析确定）。在所有情况下，我们表明，BERT的语境化嵌入反映了正在研究的语言依赖性，并且BERT编码这些依赖性在更大程度上比它编码更少的语言突出的控制。这些结果表明，我们的方法之间的假设，哪些方面的情况下编码的语言表示进行裁决的能力。
2020-11-24 cs.CL
Behind the Scene: Revealing the Secrets of Pre-trained Vision-and-Language Models
University of Washington（华盛顿大学）；Microsoft Dynamics 365 AI Research（微软Dynamics 365 AI研究院）；Facebook AI
最近基于transformer的大规模预训练模型彻底改变了视觉和语言（V+L）研究。ViLBERT、LXMERT和UNITER等模型通过联合图像-文本预训练，在广泛的V+L基准测试中显着提升了最先进的水平。然而，很少有人知道的内部机制，注定他们令人印象深刻的成功。为了揭示这些强大模型背后的秘密，我们提出了价值（视觉和语言理解评估），一组精心设计的探测任务（例如，视觉共指消解、视觉关系检测、语言探测任务）可推广到标准预训练的V+L模型，旨在破译多模态预训练的内部工作（例如，在个体注意力头部中获得的隐式知识，通过情境化多模态嵌入学习的固有跨模态对齐）。通过这些探测任务对每个原型模型架构进行广泛分析，我们的主要观察结果是：（i）预训练模型在推理过程中表现出关注文本而不是图像的倾向。(ii)有一个子集的注意头，是专为捕捉跨模态的相互作用。(iii)预训练模型中的学习注意矩阵展示了与图像区域和文本单词之间的潜在对齐一致的模式。(iv)绘制的注意模式揭示了图像区域之间的视觉可解释的关系。(v)纯语言知识也有效地编码在注意头中。这些都是有价值的见解，有助于指导未来的工作，为多模式预训练设计更好的模型架构和目标。
2020-07-18 cs.CL cs.CV
Small Language Models Also Work With Small Vocabularies: Probing the Linguistic Abilities of Grapheme- and Phoneme-Based Baby Llamas
Bielefeld University（比勒费尔德大学）
本文训练基于 Llama 架构、使用字素或音素字符级词汇表的小型无分词语言模型，发现其在句法及新颖词汇、语音基准上表现强劲，为语言习得研究提供更合理的建模方向。
2025-01-03 cs.CL
Intrinsic Probing through Dimension Selection
Québec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（米拉））；University of Cambridge（剑桥大学）；Facebook AI Research（脸书人工智能研究院）；ETH Zürich（苏黎世联邦理工学院）
大多数现代NLP系统使用预先训练的上下文表示，在各种任务上获得极高的性能。这种高性能应该是不可能的，除非某种形式的语言结构内在的这些表示，和丰富的研究已经涌现出来的探测。在本文中，我们得出了内在探测，探讨如何在一个表征语言信息的结构，和外在探测流行在以前的工作，其仅通过表明可以成功提取来论证这种信息的存在。为了实现内在探测，我们提出了一个新的框架，基于可分解的多元高斯探针，使我们能够确定是否在词嵌入的语言信息是分散或焦点。然后，我们探测fastText和BERT的各种形态句法属性在36种语言。我们发现，大多数属性是可靠的编码，只有少数神经元，与fastText集中其语言结构比BERT。
2020-10-06 cs.CL
Adversarially Probing Cross-Family Sound Symbolism in 27 Languages
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文通过对抗性方法探讨27种语言中声音象征在规模语义上的跨语系普遍性，发现语音形式能预测规模语义，且元音和辅音均起作用。
2025-12-13 cs.AI cs.CL
Decomposed Prompting: Probing Multilingual Linguistic Structure Knowledge in Large Language Models
Center for Information and Language Processing (CIS)（信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；ScaDS.AI and TU Dresden（ScaDS.AI 和 梅克伦堡-前波美拉尼亚技术大学）；Department of Statistics, LMU Munich（统计学系，慕尼黑大学）；University of Maryland, College Park（马里兰大学 College Park 分校）
本文提出分解提示方法，将序列标注任务拆分为逐词元提示，在38种语言的词性标注上验证其优于迭代提示基线，并揭示多语言提示下的语言知识迁移规律。
2025-11-06 cs.CL
Probing Classifiers are Unreliable for Concept Removal and Detection
Microsoft Research（微软研究院）；University of Chicago（芝加哥大学）
本文通过理论与实验证明，依赖探针分类器的事后或对抗性概念移除方法无法彻底移除概念，甚至可能破坏任务特征，并提出虚假相关性指标以评估最终分类器质量。
2023-06-19 cs.CL cs.LG
Tabula nearly rasa: Probing the Linguistic Knowledge of Character-Level Neural Language Models Trained on Unsegmented Text
Stanford University（斯坦福大学）；Facebook AI Research（脸书人工智能研究院）；UPF Linguistics Department（庞培法布拉大学语言学系）
递归神经网络（RNN）在许多自然语言处理任务中取得了惊人的性能。这重新引起了人们对这些通用序列处理设备是否诱导真正的语言知识的兴趣。然而，几乎所有当前的分析研究都用已知单词的词汇表初始化RNN，并在训练过程中为它们提供标记化的输入。我们提出了一个多语言的语言知识编码的RNN训练字符级语言模型，在输入数据与词边界删除的研究。这些网络面临着一个更艰难、更现实的认知任务，必须根据输入统计数据从头开始发现任何有用的语言单元。结果表明，我们的“near tabula rasa”RNN大多能够解决直观地假设单词级别知识的形态，句法和语义任务，并且确实在某种程度上学会了跟踪单词边界。我们的研究为语言学习和使用中明确的、严格的词汇库的必要性的思考打开了大门。
2019-06-17 cs.CL
Probing Large Language Models in Reasoning and Translating Complex Linguistic Puzzles
National Taiwan University（台湾大学）
本文探究了GPT-4在解决复杂语言学谜题中的推理与翻译能力，通过评估IO、CoT和SPP三种提示技术，发现LLMs具备潜力但仍有局限，为优化NLP应用提供了见解。
2025-02-02 cs.CL
Evaluating Morphological Compositional Generalization in Large Language Models
EPFL（瑞士联邦理工学院）；Idiap Research Institute（Idiap研究机构）；Duke University（杜克大学）；Brandeis University（布兰迪斯大学）；LMU Munich（慕尼黑大学）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰霍普金斯大学）；Università della Svizzera Italiana（瑞士意大利大学）；New York University（纽约大学）
本文通过组合性视角系统研究大语言模型在黏着语中的形态泛化能力，设计生成式与判别式任务评估多个先进多语言模型，发现其在面对新词根和复杂形态时性能显著下降且缺乏系统性。
2025-06-05 cs.AI cs.CL
A Closer Look at Linguistic Knowledge in Masked Language Models: The Case of Relative Clauses in American English
Saarland University（萨尔兰大学）
基于transformer的语言模型在各种任务上都取得了很高的性能，但我们仍然缺乏对它们学习和依赖的语言知识的理解。我们评估了三个模型（BERT，RoBERTa和AL BERT），通过语言水平探测，诊断案例和掩蔽预测任务来测试它们的语法和语义知识。我们专注于关系从句（在美国英语）作为一个复杂的现象，需要上下文信息和先行词识别来解决。基于自然主义数据集，探测表明，所有三个模型确实捕捉语法的语言知识，实现高性能。然而，考虑细粒度语言知识的诊断案例和掩蔽预测任务的评估显示出明显的模型特定的弱点，特别是在语义知识上，强烈影响模型的性能。我们的研究结果强调了（a）模型比较在评估任务和（b）建立索赔的模型性能和语言知识，他们捕获超越纯粹的基于探测的评价的重要性。
2020-11-02 cs.CL
Measuring Memorization Effect in Word-Level Neural Networks Probing
Charles University（查理大学）
多项研究探讨了在为端到端NLP任务训练的神经网络中出现的表征，并研究了哪些单词级别的语言信息可能被编码在表征中。在经典的探测中，分类器在表示上进行训练以提取目标语言信息。然而，存在分类器简单地记忆单个单词的语言标签而不是从表示中提取语言抽象的威胁，从而报告假阳性结果。虽然已经做出了相当大的努力，以尽量减少记忆的问题，实际测量的分类器中发生的记忆量的任务一直研究不足。在我们的工作中，我们提出了一种测量记忆效果的简单通用方法，该方法基于对称选择训练中可见和未可见的可比较测试单词集。我们的方法可以用来明确量化的记忆量发生在探测设置，以便可以选择一个适当的设置和探测的结果可以解释与可靠性估计。我们通过展示我们的方法在一个经过训练的神经机器翻译编码器中探测语音部分的案例研究来证明这一点。
2020-06-29 cs.CL
Can Edge Probing Tasks Reveal Linguistic Knowledge in QA Models?
University of Copenhagen（哥本哈根大学）；Megagon Labs（Megagon实验室）；University of Michigan（密歇根大学）
已经有许多努力试图理解什么语法知识（例如，理解标记的词性的能力）被编码在大的预训练的语言模型（LM）中。这是通过“边缘探测”（EP）测试完成的：监督分类任务，仅使用来自LM编码器的标记表示来预测跨度的语法属性（是否具有特定的词性）。然而，大多数NLP应用程序会针对特定任务对这些LM编码器进行微调。在这里，我们问：如果LM是微调，它的语言信息的编码改变，作为EP测试测量？具体而言，我们专注于问答（QA）的任务，并在多个数据集上进行实验。我们发现，当微调模型表现良好或在对抗性的情况下，模型被迫学习错误的相关性时，EP测试结果不会发生显着变化。根据类似的发现，最近的一些论文得出结论，微调不会改变编码器中的语言知识，但他们没有提供解释。我们发现，EP模型本身容易利用EP数据集中的虚假相关性。当这个数据集偏差得到纠正时，我们确实看到EP测试结果的改善。
2022-09-08 cs.CL
Some Languages are More Equal than Others: Probing Deeper into the Linguistic Disparity in the NLP World
University of Moratuwa（莫拉图瓦大学）
NLP世界中的语言差异是一个最近被广泛承认的问题。然而，这个问题的不同方面，或这种差异背后的原因很少在NLP社区中讨论。本文全面分析了世界语言内部存在的差异。我们表明，简单地分类语言考虑数据的可用性可能并不总是正确的。使用基于说话者人口和活力的现有语言分类，我们分析了语言数据资源的分布，NLP/CL研究的数量，多语言网络平台的包含以及预训练的多语言模型的包含。我们发现，许多语言没有被这些资源或平台所覆盖，即使在属于同一语言组的语言中，也存在很大的差异。我们分析了家庭，地理位置，国内生产总值和语言的扬声器人口的影响，并提供这种差异的可能原因，以及一些建议，以克服同样的。
2022-10-20 cs.CL
Blackbird Language Matrices: A Framework to Investigate the Linguistic Competence of Language Models
Idiap Research Institute（Idiap研究机构）；University of Geneva（日内瓦大学）
黑鸟语言矩阵通过结构化数据集研究语言模型的语言能力与系统性模式识别
2026-02-24 cs.CL
A Latent-Variable Model for Intrinsic Probing
本文提出一种潜变量模型用于内在探针，通过变分近似估计互信息，能更精确地定位语言属性编码位置，并发现预训练表示具有跨语言纠缠的形态句法特征。
2025-08-07 cs.CL
Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT
The University of Hong Kong（香港大学）；Shanghai University of Finance and Economics（上海财经大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
通过引入一小组附加参数，探针学习解决特定的语言任务（例如，依存句法分析）以使用特征表示的监督方式（例如，语境化嵌入）。这种探测任务的有效性被认为是预训练模型编码语言知识的证据。然而，这种评估语言模型的方法被探测器本身所学习的知识量的不确定性所破坏。作为这些工作的补充，我们提出了一种无参数探测技术，用于分析预训练的语言模型（例如，BERT）。我们的方法不需要探测任务的直接监督，也不引入额外的参数探测过程。我们在BERT上的实验表明，使用我们的方法从BERT恢复的句法树明显优于语言不知情的基线。我们进一步将经验诱导的依赖结构馈送到下游情感分类任务中，并发现其改进与人类设计的依赖模式兼容甚至优于人类设计的依赖模式。
2021-05-28 cs.CL
Pixology: Probing the Linguistic and Visual Capabilities of Pixel-based Language Models
KU Leuven（鲁汶大学）；Sailplane AI
本研究通过多种语言和视觉任务探测基于像素的语言模型PIXEL，发现其视觉与语言理解存在显著差距，低层捕获视觉特征而高层学习句法语义，并揭示输入正字法约束可促进早期表面特征学习。
2024-10-15 cs.CL
Probing as Quantifying Inductive Bias
ETH Zürich（苏黎世联邦理工学院）；MIT（麻省理工学院）
预先训练的上下文表示已经在一系列下游任务上带来了显着的性能提升。这种性能的提高促使研究人员量化和理解这些表征中编码的语言信息。一般来说，研究人员通过探测来量化语言信息的数量，这种努力包括训练一个监督模型来直接从上下文表示中预测语言属性。不幸的是，这种探测的定义在文献中受到了广泛的批评，并被观察到导致了自相矛盾和违反直觉的结果。在本文的理论部分，我们采取的立场是，探测的目标应该是测量的量的归纳偏见，表征编码的特定任务。我们进一步描述了一个贝叶斯框架，可操作化这一目标，并允许我们量化表示的归纳偏差。在本文的实证部分，我们将我们的框架应用于各种NLP任务。我们的研究结果表明，我们提出的框架解决了许多以前的问题中发现的探测。此外，我们能够提供具体的证据，对于某些任务，fastText可以提供比BERT更好的归纳偏差。
2022-03-24 cs.CL
On the Interplay Between Fine-tuning and Sentence-level Probing for Linguistic Knowledge in Pre-trained Transformers
Saarland University（萨尔兰大学）
微调预训练的上下文嵌入模型已经成为NLP管道的一个组成部分。与此同时，探测已经成为一种调查预训练模型捕获的语言知识的方法。然而，人们对微调如何影响预训练模型的表示以及它们编码的语言知识知之甚少。本文件有助于缩小这一差距。我们研究了三种不同的预训练模型：BERT、RoBERTa和AL BERT，并通过事件级探测来研究微调如何影响它们的表示。我们发现，对于一些探测任务，微调会导致准确性发生重大变化，这可能表明微调会从预先训练的模型中引入甚至删除语言知识。然而，这些变化在不同的模型、微调和探测任务中差异很大。我们的分析表明，虽然微调确实改变了预训练模型的表示，并且这些变化通常对于更高层来说更大，但只有在极少数情况下，微调对探测准确性的积极影响大于仅使用预训练模型和强大的池化方法。根据我们的研究结果，我们认为，积极和消极的影响微调探测需要仔细的解释。
2020-10-06 cs.CL cs.LG
Is neural language acquisition similar to natural? A chronological probing study
AIRI；HSE University（高等经济大学）；DeepPavlov；SberDevices
探测方法允许人们使用外部分类器和统计分析来获得存储在神经网络的内层中的语言现象的部分表示。预训练的基于transformer的语言模型被广泛用于自然语言理解（NLU）和自然语言生成（NLG）任务，使得它们最常用于下游应用。然而，几乎没有进行分析，无论是模型预先训练足够或包含与语言理论相关的知识。我们正在介绍Transformer英文模型的时间顺序探索研究，如MultiBERT和T5。在语料库的训练过程中，我们依次比较了模型学习到的语言信息。结果表明：1）语言信息是在训练的早期阶段获得的; 2）两种语言模型都表现出从语言的各个层面捕捉各种特征的能力，包括词法、句法甚至话语，但它们也可能在被认为很容易的任务上失败。我们还介绍了开放源代码框架的时间顺序探测研究，与其他基于transformer的模型兼容。https://github.com/EkaterinaVoloshina/chronological_probing
2022-07-01 cs.CL
Probing Linguistic Information For Logical Inference In Pre-trained Language Models
Rose-Hulman Institute of Technology（罗斯-霍曼理工学院）
预先训练的语言模型的进展导致了下游任务自然语言理解的令人印象深刻的结果激增。最近关于探测预先训练的语言模型的工作揭示了编码在其上下文表示中的广泛的语言属性。然而，目前还不清楚它们是否编码了对符号推理方法至关重要的语义知识。我们提出了一种方法来探测语言信息的逻辑推理预训练语言模型表示。我们的探测数据集涵盖了主要符号推理系统所需的语言现象列表。我们发现：（i）预训练的语言模型确实编码了几种类型的语言信息用于推理，但也有一些类型的信息是弱编码的，（ii）语言模型可以通过微调有效地学习缺失的语言信息。总的来说，我们的研究结果提供了关于语言模型及其预训练过程捕获逻辑推理的语言信息的哪些方面的见解。此外，我们已经证明了语言模型的潜在语义和背景知识基础，支持符号推理方法。
2022-03-21 cs.AI cs.CL cs.LG
What does it mean to be language-agnostic? Probing multilingual sentence encoders for typological properties
University of Amsterdam（阿姆斯特丹大学）
多语言句子编码器在下游NLP任务的跨语言模型传输方面取得了很大成功。然而，我们对个别语言的属性或它们编码的语言变异的一般模式知之甚少。我们提出了从最先进的多语言编码器（LASER，M-BERT，XLM和XLM-R）探测句子表示的方法，这些方法涉及词汇，形态和句法结构的一系列类型学属性。此外，我们研究这些信息是如何分布在模型的所有层。我们的研究结果表明，有趣的差异编码语言的变化与不同的预训练策略。
2020-09-27 cs.CL
Linguistic Structure from a Bottleneck on Sequential Information Processing
University of California, Irvine（加州大学欧文分校）；Saarland University（萨尔兰大学）
本文通过模拟实验与跨语言语料分析，证明受预测信息约束的编码会涌现类自然语言的系统性结构，且人类语言各层面结构均符合该约束特征，建立了语言统计与代数结构的关联。
2025-11-17 cs.CL cs.IT math.IT
Not All Models Localize Linguistic Knowledge in the Same Place: A Layer-wise Probing on BERToids' Representations
Iran University of Science and Technology（伊朗科技大学）；Tehran Institute for Advanced Studies, Khatam University（哈塔姆大学德黑兰高等研究院）；University of Tehran（德黑兰大学）
大多数关于探测表征的最近的工作都集中在BERT上，假设结果可能与其他模型相似。在这项工作中，我们将探索研究扩展到家庭中的其他两个模型，即ELECTRA和XLNet，表明预训练目标或架构选择的变化可能导致在表征中编码语言信息的不同行为。最值得注意的是，我们观察到ELECTRA倾向于在更深的层中编码语言知识，而XLNet则将其集中在早期层中。此外，前者的模型在微调过程中会发生轻微的变化，而后者则会经历重大的调整。此外，我们表明，基于权重混合评估策略得出结论-这是广泛使用的上下文中逐层探测-可以误导给定跨不同层的表示的规范差距。相反，我们采用了一种替代的信息理论探测与最小的描述长度，最近已被证明提供更可靠和翔实的结果。
2021-09-15 cs.AI cs.CL
Information-Theoretic Probing for Linguistic Structure
University of Cambridge（剑桥大学）；Facebook AI Research（Facebook人工智能研究院）；ETH Zürich（苏黎世联邦理工学院）
神经网络在各种NLP任务上的成功让研究人员开始质疑这些网络对自然语言到底“知道”了多少。探测器是评估这一点的自然方法。在探测时，研究人员选择一个语言任务，并训练一个监督模型，从网络学习的表示中预测该语言任务中的注释。如果探测器做得很好，研究人员可能会得出结论，表示编码与任务相关的知识。一个普遍持有的观点是，使用更简单的模型作为探针更好;逻辑是，更简单的模型将识别语言结构，但不会学习任务本身。我们提出了一个信息理论的操作化探测估计互信息，这与这种公认的智慧相矛盾：一个人应该总是选择最高性能的探测，即使它是更复杂的，因为它会导致一个更严格的估计，从而揭示更多的语言信息固有的表示。我们的论文的实验部分侧重于经验估计语言属性和BERT之间的互信息，比较这些估计的几个基线。我们评估了一组10种类型多样的语言，这些语言在NLP研究中往往代表性不足-加上英语-总共11种语言。
2020-05-22 cs.CL cs.LG
RuSentEval: Linguistic Source, Encoder Force!
SberDevices（斯伯设备公司）；Sberbank（俄罗斯联邦储蓄银行）；HSE University（高等经济大学）
预训练的Transformer语言模型的成功，引起了人们对这些模型如何工作以及它们对语言的了解的极大兴趣。然而，该领域的先前研究主要致力于英语，对其他语言知之甚少。为此，我们引入RuSentEval，这是一套针对俄语的增强型14个探测任务，包括尚未探索的任务。我们采用互补的探测方法相结合，探索分布在五个多语种的Transformers的两种类型学上的对比语言-俄语和英语的各种语言属性。我们的研究结果提供了有趣的发现，与语言知识如何表示的共同理解相矛盾，并表明尽管存在语言差异，但某些属性是以类似的方式学习的。
2021-03-02 cs.CL
Probing Speech Emotion Recognition Transformers for Linguistic Knowledge
University of Augsburg（奥格斯堡大学）；audEERING GmbH（audEERING有限公司）；Imperial College（帝国理工学院）
由自我注意层（Transformers）组成的大型预训练神经网络最近在几个语音情感识别（SER）数据集上取得了最先进的结果。这些模型通常以自我监督的方式进行预训练，目的是提高自动语音识别性能，从而理解语言信息。在这项工作中，我们调查在SER微调过程中，利用这些信息的程度。使用基于开源工具的可重复方法，我们合成韵律中立的语音话语，同时改变文本的情感。Transformer模型的配价预测对积极和消极的情感内容以及否定都非常敏感，但对强化词或还原词却不敏感，而这些语言特征都不影响唤醒或支配。这些研究结果表明，Transformers可以成功地利用语言信息，以提高他们的效价预测，语言分析应包括在他们的测试。
2022-07-26 cs.CL cs.LG
Spectral Probing
IT University of Copenhagen（哥本哈根信息技术大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
语言信息以不同的时间尺度（子词、短语等）进行编码。和交际层面，如句法和语义。类似地，人们发现语境化嵌入可以在不同的层次和频率上捕捉这些现象。利用这些发现，我们开发了一个完全可学习的频率滤波器，以识别任何给定任务的频谱分布。它比以前手工制作的过滤器能够进行更精细的分析，并提高了效率。在单语设置中展示了手动过滤器的光谱探测的信息量之后，我们研究了六种语言中七种不同NLP任务的多语言特性。我们的分析确定了独特的光谱配置文件，量化跨任务的相似性，在语言上直观的方式，同时保持一致的语言，突出了其作为强大的，轻量级的任务描述符的潜力。
2022-10-21 cs.CL
Decoding Probing: Revealing Internal Linguistic Structures in Neural Language Models using Minimal Pairs
University of Michigan（密歇根大学）；ShanghaiTech University（上海科技大学）；LMU Munich（慕尼黑大学）
提出解码探针方法利用BLiMP逐层探查神经语言模型内部语言学结构，发现自监督模型中间层能捕获抽象语法，且不同语言学特征和模型组件的表征模式存在显著差异。
2024-03-26 cs.CL q-bio.NC
Semantics or spelling? Probing contextual word embeddings with orthographic noise
Cornell University（康奈尔大学）
通过向输入单词引入单字符交换的正字法噪声，发现预训练语言模型生成的上下文词嵌入对噪声高度敏感，且敏感性与子词分词相关，表明这些表示可能不是可靠的语义代理。
2024-08-08 cs.CL
Probing Across Time: What Does RoBERTa Know and When?
Paul G. Allen School of Computer Science & EngineeringUniversity of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
在非常大的语料库上训练的语言模型已经被证明对NLP有用。作为固定的人工制品，它们已经成为深入研究的对象，许多研究人员“探索”它们获得和容易展示的语言抽象，事实和常识知识以及推理能力的程度。在这一工作的基础上，我们考虑了一个新的问题：对于语言模型学习的知识类型，它们是在（预）训练期间获得的？我们绘制探测性能的迭代，使用RoBERTa作为案例研究。在我们的研究结果中：语言知识是快速，稳定和强大的跨领域获得的。事实和常识是缓慢的，更领域敏感。一般来说，推理能力不是稳定获得的。随着新的数据集、预训练协议和探测器的出现，我们相信跨时间探测分析可以帮助研究人员理解这些模型所经历的复杂、混合的学习，并指导我们采用更有效的方法，更快地完成必要的学习。
2021-09-20 cs.CL
Low-Complexity Probing via Finding Subnetworks
University of California, Berkeley（加州大学伯克利分校）；Hugging Face
探测神经网络语言特性的主要方法是在模型的内部表示之上训练一个新的浅层多层感知器（MLP）。这种方法可以检测模型中编码的属性，但代价是添加了可能直接学习任务的新参数。相反，我们提出了一个减法修剪为基础的探针，在那里我们找到一个现有的子网络，执行感兴趣的语言任务。与MLP相比，子网络探测器在预训练模型上实现了更高的准确性，而在随机模型上实现了更低的准确性，因此它在寻找感兴趣的属性方面更好，但在自行学习方面较差。接下来，通过改变每个探针的复杂性，我们表明，子网探测帕累托主导的MLP探测，它实现了更高的准确性，任何预算的探测复杂性。最后，我们分析了不同任务之间的子网络，以定位每个任务的编码位置，我们发现较低级别的任务被捕获在较低的层中，重现了过去工作中的类似发现。
2021-04-08 cs.CL
Probing BERT in Hyperbolic Spaces
Alibaba Group（阿里巴巴集团）；Beijing Jiaotong University（北京交通大学）；University of Edinburgh（爱丁堡大学）
近年来，人们提出了多种探测任务来发现在语境化词嵌入中习得的语言特性。这些作品中的许多隐含地假设这些嵌入位于某些度量空间中，通常是欧几里得空间。这项工作考虑了一个家庭的几何特殊的空间，双曲空间，表现出更好的归纳偏见的层次结构，并可能更好地揭示语言层次编码的上下文表示。我们引入了一个庞加莱探针，这些嵌入到庞加莱子空间明确定义的层次结构投影的结构探针。我们专注于两个探测目标：（a）依赖树的层次结构被定义为头部依赖结构;（b）词汇情感的层次结构被定义为极性的话（积极和消极）。我们认为，一个探针的关键desideratum是它的存在的语言结构的敏感性。我们将我们的探测应用于BERT，一个典型的上下文嵌入模型。在一个句法子空间，我们的探针更好地恢复树结构比欧几里德探针，揭示了BERT语法的几何可能不一定是欧几里德的可能性。在情感子空间中，我们揭示了积极和消极情感的两种可能的元嵌入，并展示了词汇控制的语境化如何改变嵌入的几何定位。我们通过大量的实验和可视化展示了我们的庞加莱探针的发现。我们的结果可以在https://github.com/FranxYao/PoincareProbe上复制。
2021-04-08 cs.CL
Probing Internal Representations of Multi-Word Verbs in Large Language Models
University Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；University Hospital Erlangen（埃尔朗根大学医院）
本研究利用BERT探测分类器和GDV分析，发现大语言模型中间层能高准确率区分短语动词与介词动词，且其表征呈非线性可分，从计算角度支持了基于使用的语言表征理论。
2025-02-07 cs.CL
Holmes: A Benchmark to Assess the Linguistic Competence of Language Models
Ubiquitous Knowledge Processing Lab (UKP Lab)（通用知识处理实验室）；Technical University of Darmstadt（达姆施塔特技术大学）；Information Systems Research Lab（信息系统研究实验室）；Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）；IBM Research AI（IBM AI研究部）；MIT CSAIL（MIT CSAIL实验室）；MIT-IBM Watson AI Lab（MIT-IBM沃森AI实验室）；IBM Research Europe - Ireland（IBM欧洲爱尔兰研究部）
Holmes基准通过分类器探测方法评估语言模型对语法、形态学等语言现象的理解，发现模型大小、架构和指令微调显著影响性能，提出FlashHolmes提升效率。
2026-05-11 cs.CL
