Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models
University of Copenhagen（哥本哈根大学）；Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；Massachusetts Institute of Technology（麻省理工学院）；ETH Zürich（苏黎世联邦理工学院）
多语言预训练模型的成功在于它们能够学习多种语言共享的表示，即使在没有任何明确监督的情况下。然而，目前尚不清楚这些模型如何学习跨语言的泛化。在这项工作中，我们推测多语言预训练模型可以导出关于语法的语言通用抽象。特别是，我们调查是否在不同的语言中的神经元的同一个子集中编码的形态句法信息。我们进行了第一次大规模的实证研究超过43种语言和14个morphosyntagnetic类别与国家的最先进的神经元水平的探针。我们的研究结果表明，神经元之间的跨语言重叠是显着的，但其程度可能会因类别而异，并取决于语言的接近度和预训练数据的大小。
2022-05-08 cs.CL
A multilabel approach to morphosyntactic probing
University of Washington（华盛顿大学）
我们引入了一个多标签探测任务来评估多语言语言模型中词嵌入的形态句法表征。我们用多语言BERT演示了这一任务（Devlin等人，2018年），训练探针为七种不同形态复杂性的类型多样的语言：南非荷兰语，克罗地亚语，芬兰语，希伯来语，韩语，西班牙语和土耳其语。通过这个简单但强大的范例，我们表明，多语言BERT呈现许多形态句法特征容易和同时提取（例如，性别、语法格、代名词类型）。我们进一步评估探针上的六个“坚持”的语言在一个zero-shot传输设置：阿拉伯语，中文，马拉地语，斯洛文尼亚语，塔吉文，约鲁巴语。这种类型的探测还有一个额外的好处，那就是揭示了语言模型认为跨语言共享的语言属性。例如，探测器在识别被保留语言中的名词时表现良好，这表明多语言的BERT具有超越单个语言的名词概念;然而，形容词并非如此。
2021-04-17 cs.CL
Counterfactually Probing Language Identity in Multilingual Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文利用反事实探测方法 AlterRep 分析 mBERT 和 XLM-R 的内部语言结构，发现推动嵌入向目标语言方向可系统提高该语言词汇概率，但不会专门导向翻译等价词，证明多语言模型兼具语言特定与通用成分。
2023-10-29 cs.CL
Probing the Emergence of Cross-lingual Alignment during LLM Training
University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）
本研究利用内在探测技术分析多语言LLM BLOOM的训练检查点，发现跨语言神经元重叠度与零样本跨语言迁移性能高度相关，且预训练中存在多语言能力下降阶段，揭示了跨语言对齐的涌现规律。
2024-06-19 cs.AI cs.CL cs.LG
Universal Conceptual Structure in Neural Translation: Probing NLLB-200's Multilingual Geometry
University of Alberta（阿尔伯塔大学）
本研究通过探测NLLB-200的表示几何结构，发现其学习了语言通用的概念表示，并展示了跨语言一致性的证据。
2026-11-04 cs.AI cs.CL cs.LG
Causal Analysis of Syntactic Agreement Neurons in Multilingual Language Models
Johns Hopkins University（约翰斯·霍普金斯大学）；New York University（纽约大学）
结构探测工作已经在预训练的语言模型中发现了潜在句法信息的证据。然而，这种分析主要集中在单语模型上，而多语言模型的分析则采用了相关方法，这些方法受到探测任务选择的干扰。在这项研究中，我们因果地探测多语言语言模型（XGLM和多语言BERT）以及跨各种语言的基于单语BERT的模型;我们通过对神经元激活进行反事实扰动并观察对模型的主谓一致概率的影响来做到这一点。我们观察在模型中的位置以及在何种程度上句法一致性在每种语言中被编码。我们在自回归多语言语言模型中发现了显著的神经元重叠，但在掩蔽的语言模型中没有。我们还发现了两种不同的逐层效应模式和两组不同的神经元用于句法一致性，这取决于主语和动词是否被其他标记分开。最后，我们发现语言模型的行为分析可能低估了掩蔽语言模型对句法信息的敏感程度。
2022-10-25 cs.CL
How multilingual is Multilingual BERT?
Google Research（谷歌研究院）
在本文中，我们证明了由Devlin等人（2018）发布的多语言BERT（M-BERT）作为从104种语言的单语语料库中预训练的单语言模型，在zero-shot跨语言模型迁移方面表现得非常出色，其中一种语言中的特定于任务的注释用于微调模型以用于另一种语言的评估。为了理解为什么，我们提出了大量的探索实验，表明转移是可能的，甚至在不同的脚本语言，转移类型相似的语言之间的效果最好，单语语料库可以训练模型的代码转换，该模型可以找到翻译对。从这些结果中，我们可以得出结论，M-BERT确实创建了多语言表示，但这些表示表现出影响某些语言对的系统缺陷。
2019-06-04 cs.AI cs.CL cs.LG
Discriminating Form and Meaning in Multilingual Models with Minimal-Pair ABX Tasks
Apple（苹果公司）
通过最小对ABX任务研究多语言模型中形式与意义的区分能力，揭示了语言识别和语义识别在训练过程中的变化规律。
2025-11-19 cs.CL
Understanding Cross-Lingual Syntactic Transfer in Multilingual Recurrent Neural Networks
Center for Language and Cognition（语言与认知中心）；University of Groningen（格罗宁根大学）
现在已经确定，现代神经语言模型可以在不改变底层架构的情况下同时在多种语言上成功训练。但是，在这些模型中，语言之间真正共享的是什么样的知识呢？多语言培训是否主要导致词汇表征空间的对齐，或者它是否也能够共享纯语法知识？在本文中，我们剖析了不同形式的跨语言迁移，并寻找其最决定性的因素，使用各种模型和探测任务。我们发现，暴露我们的LM相关的语言并不总是增加语法知识的目标语言，词汇语义转移的最佳条件可能不是最佳的句法转移。
2021-04-14 cs.CL cs.LG
Multilingual Language Models Encode Script Over Linguistic Structure
Indian Institute of Technology Delhi（印度理工学院德里）
研究揭示多语言模型通过表面形式而非语言结构组织表示，发现正字法影响显著，深层结构逐渐显现。
2026-04-20 cs.CL cs.LG
MELA: Multilingual Evaluation of Linguistic Acceptability
Shanghai Jiao Tong University（上海交通大学）；Beijing Foreign Studies University（北京外国语大学）
本文提出包含46K样本、覆盖10种语言的语言可接受度多语言基准MELA，通过LLM基线、跨语言迁移和探测实验揭示GPT-4o的强多语言能力及句法习得机制。
2024-06-06 cs.AI cs.CL
Exploring Cross-lingual Latent Transplantation: Mutual Opportunities and Open Challenges
本文提出跨语言潜在移植框架，探讨其对多语言能力和文化适应性的双向影响，揭示注意力模块与前馈模块在多语言理解中的作用，发现当前LLM多语言潜力的严重未利用问题。
2026-04-10 cs.CL
XLM-K: Improving Cross-Lingual Language Model Pre-training with Multilingual Knowledge
Microsoft Research Asia（微软亚洲研究院）
跨语言预训练在单语和双语纯文本语料库中取得了很大的成功。然而，大多数预训练模型忽略了多语言知识，这是语言不可知的，但包括丰富的跨语言结构对齐。在本文中，我们提出了XLM-K，一个跨语言的语言模型，将多语言知识的预训练。XLM-K通过两个知识任务增强了现有的多语言预训练，即掩蔽实体预测任务和对象蕴涵任务。我们在MLQA，NER和XNLI上评估XLM-K。实验结果清楚地表明，显着改善现有的多语言语言模型。MLQA和NER的测试结果显示了XLM-K在知识相关任务中的优越性。XNLI的成功表明XLM-K具有更好的跨语言可移植性。更重要的是，我们提供了一个详细的探测分析，以确认在我们的预培训方案中捕获的所需知识。该代码可在https://github.com/microsoft/Unicoder/tree/master/pretraining/xlmk上获得。
2022-04-24 cs.CL
Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models
University of Washington（华盛顿大学）；Meta AI Research（Meta人工智能研究院）
多语言预训练模型中出现的跨语言迁移引发了人们对研究其行为的极大兴趣。然而，由于这些分析都集中在完全训练的多语言模型上，因此对多语言预训练过程的动态知之甚少。我们调查了这些模型何时通过使用一套语言任务探测从整个XLM-R预训练中获取的检查点来获得语言和跨语言能力。我们的分析表明，该模型在早期实现了较高的语言性能，在更复杂的语言技能之前获得了较低水平的语言技能。相比之下，当模型学习跨语言迁移时，预训练的点在不同的语言对之间是不同的。有趣的是，我们还观察到，在许多语言和任务中，最终模型层随着时间的推移表现出显着的性能下降，而语言知识传播到网络的较低层。总的来说，这些见解突出了多语言预训练的复杂性，以及随着时间的推移，不同语言的不同行为。
2022-10-22 cs.CL
Vyākarana: A Colorless Green Benchmark for Syntactic Evaluation in Indic Languages
BITS Pilani, Goa Campus（贝拉理工学院果阿校区）；Columbia University（哥伦比亚大学）；PICT（浦那工程与技术学院）
虽然在为印度语言开发自然语言理解资源方面取得了重大进展，但句法评估相对较少。与英语不同，印度语有丰富的形态句法，语法性别，自由的线性词序和高度曲折的形态。在本文中，我们介绍Vyākarana：一个基准的无色绿色句子在印度语言的多语种语言模型的句法评估。该基准测试包括四个与语法相关的任务：PoS标记、语义树深度预测、语法格标记和主谓一致。我们使用的数据集的评估任务，以探讨五种多语言的语言模型的不同架构的语法在印度语言。由于其普遍性，我们也包括在我们的实验中的代码转换设置。我们的研究结果表明，从印度语言模型（IndicBERT和MuRIL）的标记级和标记级表示不捕捉印度语言的语法，有效地作为其他高度多语言的语言模型。此外，我们的逐层探测实验表明，虽然mBERT，DistilmBERT和XLM-R本地化的语法在中间层，印度语言模型不显示这样的语法本地化。
2021-10-02 cs.CL
Language Representation Projection: Can We Transfer Factual Knowledge across Languages in Multilingual Language Models?
School of New Media and Communication, Tianjin University（天津大学新媒体与传播学院）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对多语言预训练模型中高低资源语言事实知识探测差距大、隐式跨语言迁移有限的问题，提出两个无参数语言表示投影模块LRP2，在mLAMA数据集上显著提升非英语语言事实知识检索准确率与知识可迁移性，并探究了其工作机制。
2023-11-07 cs.CL
Tokenization and Morphology in Multilingual Language Models: A Comparative Analysis of mT5 and ByT5
MPI for Psycholinguistics（马克斯·普朗克心理语言学研究所）；Radboud University（拉德堡德大学）；Utrecht University（乌得勒支大学）；University of Glasgow（格拉斯哥大学）；University of Southern Denmark（南丹麦大学）
本文通过对比 mT5 与 ByT5 在 17 种语言上的形态学探测任务，分析分词策略对多语言模型形态知识编码的影响，发现形态信息集中于中后期层，且不规则语言更受益于更多预训练数据。
2024-10-21 cs.CL
A Joint Matrix Factorization Analysis of Multilingual Representations
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
提出基于联合矩阵分解的分析工具，比较多语言与单语言模型表示，发现超过33种语言中形态句法特征编码的层级差异及其与系统发生树和跨语言任务性能的关联。
2023-10-24 cs.CL
Multilingual Pretraining for Pixel Language Models
Department of Computer Science, University of Copenhagen（计算机科学系，哥本哈根大学）；ROCKWOOL Foundation Research Unit（ROCKWOOL基金会研究单位）
PIXEL-M4通过多语言预训练提升了像素语言模型对多种语言的支持能力，尤其在非拉丁字母语言中表现更优。
2025-12-02 cs.AI cs.CL
OmniAlign: A Unified Multilingual Aligner for Word and Sentence Alignment
WPS Qingqiu（WPS清qiu（WPS清秋））
OmniAlign是一款轻量级多语言对齐工具，采用四阶段训练流程，可同时支持词级和句子级对齐，在基准测试中表现具竞争力且泛化性良好，短文本微调可提升其对齐质量与长文本稳健性。
2026-08-20 cs.CL
Tracing the Roots of Facts in Multilingual Language Models: Independent, Shared, and Transferred Knowledge
The University of Tokyo（东京大学）；Institute of Industrial Science（工业科学研究所）
该研究针对低资源语言下语言模型事实知识获取的难题，通过mLAMA数据集和多语言BERT的神经元分析，追溯事实知识的Wikipedia来源，识别出多语言语言模型获取事实的三种模式并提出区分方法，为改进多语言事实表征学习提供依据。
2024-03-08 cs.AI cs.CL
Common Sense Beyond English: Evaluating and Improving Multilingual Language Models for Commonsense Reasoning
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
常识推理的研究迄今仅限于英语。我们的目标是评估和改进流行的多语言语言模型（ML-LM），以帮助推进常识推理（CSR）超越英语。我们收集了米奇语料库，包括11种不同语言的561 k句子，可用于分析和改进ML-LM。我们提出了米奇探测器，一种语言无关的探测任务，用于公平地评估不同语言中流行的ML-LM的常识。此外，我们还创建了两个新的数据集，X-CSQA和X-CODAH，通过将其英文版本翻译为其他15种语言，以便我们可以评估流行的ML-LM跨语言常识推理。为了提高英语以外的性能，我们提出了一种简单而有效的方法--多语言对比预训练（MCP）。它显著增强了句子表示，在两个基准测试中都获得了很大的性能增益。
2021-06-13 cs.AI cs.CL
m3P: Towards Multimodal Multilingual Translation with Multimodal Prompt
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Department of Computer Science, University of British Columbia（不列颠哥伦比亚大学计算机科学系）
本文提出m3P框架，利用多模态提示引导多模态多语言神经机器翻译，通过引入视觉上下文作为语言无关表示，以图像为中心语言最小化不同语言表示距离，构建支持102种语言的InstrMulti102数据集，大幅超越基线方法。
2024-03-26 cs.AI cs.CL
How does a Multilingual LM Handle Multiple Languages?
George Mason University（乔治·马歇尔大学）
本研究通过分析多语言模型在多语言理解、语义表示和跨语言知识转移中的表现，揭示其在处理高资源与低资源语言时的优劣，旨在提升多语言NLP模型的包容性。
2026-01-30 cs.AI cs.CL
Language Agnostic Code Embeddings
Cohere For AI；MIT（麻省理工学院）；IBM Research（IBM研究院）
本文系统研究多语言代码嵌入，发现其包含语言特定与语言无关两个成分，并证明去除语言特定成分可显著提升代码检索性能，MRR绝对提升最高达17。
2023-10-25 cs.CL cs.LG
Probing Multilingual Sentence Representations With X-Probe
University of Oslo（奥斯陆大学）
本文扩展了探测句子表征的任务，在多语言领域的语言洞察力。在这样做的时候，我们做了两个贡献：首先，我们提供数据集的多语言探测，来自维基百科，在五种语言，即英语，法语，德语，西班牙语和俄语。其次，我们评估每种语言的六个句子编码器，每个编码器都是通过将句子表示映射到英语句子表示来训练的，使用平行语料库中的句子。我们发现，跨语言映射的表示往往更好地保留某些语言信息比表示来自英语编码器训练自然语言推理（NLI）作为下游任务。
2019-06-12 cs.CL
Cross-Lingual Consistency of Factual Knowledge in Multilingual Language Models
Center for Language and Cognition, University of Groningen（格罗宁根大学语言与认知中心）；Institute for Logic, Language and Computation, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
该研究针对多语言预训练语言模型事实知识的跨语言一致性问题，提出RankC评估指标，分析其影响因素，并通过模型编辑案例发现新知识仅向与英语RankC得分高的语言迁移。
2025-05-19 cs.AI cs.CL cs.HC
Exploring Multilingual Probing in Large Language Models: A Cross-Language Analysis
University of Southern California（南加州大学）；New Jersey Institute of Technology（新泽西理工学院）；Northwestern University（西北大学）
本文将LLMs的探测技术扩展至多语言语境，通过跨语言实验揭示了高低资源语言在探测准确率、层级趋势和表征相似度上的显著差异，强调了改进低资源语言建模的必要性。
2025-01-31 cs.AI cs.CL cs.LG
LINSPECTOR WEB: A Multilingual Probing Suite for Word Representations
Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出LINSPECTOR WEB，一个开源的多语言检查器来分析单词表示。我们的系统为在低资源环境中工作的研究人员提供了一个易于访问的基于Web的探测工具，以快速了解他们的词嵌入，特别是在英语之外。为了做到这一点，我们采用了16个简单的语言探测任务，如性别，情况下标记，时态为一组不同的28种语言。我们支持探测静态词嵌入以及预训练的AllenNLP模型，这些模型通常用于NLP下游任务，例如命名实体识别，自然语言推理和依存句法分析。结果在极坐标图中可视化，并以表格形式提供。LINSPECTOR WEB可作为离线工具或在https://linspector.ukp.informatik.tu-darmstadt.de上获得。
2019-10-15 cs.CL
Probing for Multilingual Numerical Understanding in Transformer-Based Language Models
University of Washington（华盛顿大学）
自然语言数字是组合结构的一个例子，其中较大的数字由对较小数字的操作组成。鉴于组合推理是自然语言理解的关键，我们提出了新的多语言探测任务测试的蒸馏BERT，XLM，和BERT调查的证据组成推理的数字数据在各种自然语言数字系统。通过使用英语、日语、丹麦语和法语的语法性判断和值比较分类任务，我们发现证据表明，这些预训练模型的嵌入中编码的信息足以进行语法性判断，但通常不足以进行值比较。我们分析了可能的原因，并讨论了如何在进一步的研究中扩展我们的任务。
2020-10-13 cs.CL
GeoMLAMA: Geo-Diverse Commonsense Probing on Multilingual Pre-Trained Language Models
University of California, Los Angeles（加州大学洛杉矶分校）
最近的工作表明，预训练的语言模型（PLM）存储从数据中学习到的关系知识，并利用它来执行下游任务。然而，不同地区的常识可能有所不同。例如，在美国婚礼上新娘礼服的颜色是白色，而在中国婚礼上是红色。在本文中，我们介绍了一个基准数据集，地理多样性常识多语言语言模型分析（GeoMLAMA），探索在多语言PLM的关系知识的多样性。GeoMLAMA包含英语、汉语、印地语、波斯语和斯瓦希里语的3，125个提示，广泛覆盖了来自美国、中国、印度、伊朗和肯尼亚文化的人们共享的概念。我们在GeoMLAMA上对11个标准的多语言PLM进行了基准测试。有趣的是，我们发现1）较大的多语言PLM变体不一定比其较小的变体更好地存储地理多样性概念; 2）多语言PLM本质上并不偏向西方国家的知识（美国）; 3）一个国家的母语可能不是探索其知识的最佳语言，4）一种语言可能更好地探索关于非语言的知识。而不是自己的祖国。代码和数据在https://github.com/WadeYin9712/GeoMLAMA上发布。
2022-11-29 cs.CL
Decomposed Prompting: Probing Multilingual Linguistic Structure Knowledge in Large Language Models
Center for Information and Language Processing (CIS)（信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；ScaDS.AI and TU Dresden（ScaDS.AI 和 梅克伦堡-前波美拉尼亚技术大学）；Department of Statistics, LMU Munich（统计学系，慕尼黑大学）；University of Maryland, College Park（马里兰大学 College Park 分校）
本文提出分解提示方法，将序列标注任务拆分为逐词元提示，在38种语言的词性标注上验证其优于迭代提示基线，并揭示多语言提示下的语言知识迁移规律。
2025-11-06 cs.CL
Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency
The Chinese University of Hong Kong（香港中文大学）；Alibaba Group（阿里巴巴集团）；Peking University（北京大学）
结构化修剪已经在单语预训练语言模型上得到了广泛的研究，并且还没有在多语言模型上得到充分的评估。本文研究了多语言预训练语言模型的结构化剪枝的三个方面：设置、算法和效率。对九个下游任务的实验显示了几个反直觉的现象：对于设置，对每种语言单独修剪并不会产生更好的结果;对于算法，最简单的方法表现最好;对于效率，快速模型并不意味着它也很小。为了便于在所有稀疏性级别上进行比较，我们提出了动态稀疏化，这是一种简单的方法，允许对模型进行一次训练，并在推理时适应不同的模型大小。我们希望这项工作填补了多语言预训练模型的结构化修剪研究的空白，并为未来的研究提供指导。
2022-04-06 cs.CL
Universal and Independent: Multilingual Probing Framework for Exhaustive Model Interpretation and Evaluation
Artificial Intelligence Research Institute（人工智能研究所）；SberDevices；HSE University（高等经济大学）
对语言模型进行语言分析是解释和描述其推理、弱点和局限性的方法之一。在模式可解释性研究的探索部分，研究涉及到个体语言以及个体语言结构。问题来了：被检测到的语言是在语言学上连贯的，还是相反，它们在类型尺度上不协调？此外，大多数研究涉及语言和语言结构的固有集合，而将实际的类型学多样性知识排除在范围之外。在本文中，我们提出并应用GUI辅助框架，使我们能够轻松地探测大量的语言中存在的所有形态句法特征的通用数据。我们发现，反映了英语为中心的趋势在NLP在过去几年中，大多数的mBERT模型中揭示了典型的西欧语言。我们的框架可以与现有的探测工具箱，模型卡和排行榜集成，允许从业者使用和共享他们的标准探测方法来解释多语言模型。因此，我们提出了一个工具包，系统化的多语言模型中的多语言缺陷，提供了一个可重复的实验设置104种语言和80 morphosyntax功能。https://github.com/AIRI-Institute/Probing_framework
2022-10-24 cs.AI cs.CL
Probing LLMs for Multilingual Discourse Generalization Through a Unified Label Set
MaiNLP, Center for Information and Language Processing, LMU Munich（MaiNLP、信息与语言处理中心、慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文通过构建统一篇章关系标签集并探究23个大语言模型，发现多语言训练的大模型能在中间层实现跨语言和跨框架的篇章泛化，并分析了困难关系类别。
2025-06-04 cs.CL
A Multilingual Perspective on Probing Gender Bias
University of Copenhagen（哥本哈根大学）
本论文从多语言视角研究性别偏见在语言及语言技术中的表达，采用跨学科方法结合自然语言处理与政治学、历史学，以探测并理解社会偏见。
2024-03-15 cs.CL
Morph Call: Probing Morphosyntactic Content of Multilingual Transformers
SberDevices, Sberbank（SberDevices，俄罗斯联邦储蓄银行）；HSE University（高等经济大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
基于transformer的语言模型在各种NLP和NLU任务上的出色表现激发了人们对探索其内部工作原理的兴趣。最近的研究主要集中在更高层次和复杂的语言现象，如句法，语义，世界知识和常识。大多数的研究都是以英语为中心的，对其他语言的了解很少，确切地说是他们的形态句法特性。为此，我们的工作提出了Morph Call，这是一套针对四种不同形态的印欧语言（英语，法语，德语和俄语）的46个探测任务。我们提出了一种新型的探测任务的基础上检测指导句子扰动。我们使用的神经元，层和代表级的内省技术相结合，分析四种多语言的Transformers，包括其较少探索蒸馏版本的形态句法内容。此外，我们还研究了POS标记的微调如何影响模型知识。结果表明，微调可以提高和降低探测性能，并改变如何在模型中分布的形态句法知识。代码和数据是公开的，我们希望填补Transformers研究较少方面的空白。
2021-05-04 cs.CL
LINSPECTOR: Multilingual Probing Tasks for Word Representations
Technische Universität Darmstadt（达姆施塔特工业大学）；University of Edinburgh（爱丁堡大学）；New York University（纽约大学）
尽管为大量语言引入了越来越多的单词表示模型，但缺乏标准化的技术来提供对这些模型所捕获内容的见解。这样的见解将有助于社区获得下游任务性能的估计，以及设计更明智的神经架构，同时避免需要大量计算资源的大量实验，而不是所有研究人员都可以访问。NLP最近的发展是使用简单的分类任务，也称为探测任务，测试单个语言特征，如词性。现有的研究主要集中在探讨英语语篇的连续表征所编码的语言信息。然而，从类型学的角度来看，形态学上的穷人英语是一个离群值：英语中的词序和功能词编码的信息往往存储在其他语言的形态水平。为了解决这个问题，我们引入了15个类型级别的探测任务，例如24种语言的格标记、属事、字长、形态标签计数和伪词识别。我们提出了一个可重复使用的方法，在多语言环境中创建和评估这样的测试。然后，我们提出了几个不同的多语言词嵌入模型的实验，在其中，我们涉及到探测任务的性能为一组不同的语言的范围内的五个经典的NLP任务：POS标记，依存句法分析，语义角色标注，命名实体识别和自然语言推理。我们发现，一些探测测试有显着的高度正相关的下游任务，特别是形态丰富的语言。我们表明，我们的测试可用于探索词嵌入或黑盒神经模型的语言线索，在多语言设置。
2019-12-11 cs.CL
Morphosyntactic probing of multilingual BERT models
ELKH Institute for Computer Science and Control (SZTAKI)（ELKH计算机科学与控制研究所（SZTAKI））；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Comenius University in Bratislava（布拉迪斯拉发考门斯基大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
本文构建了覆盖42种语言247个任务的多语言形态探测数据集，发现mBERT和XLM-RoBERTa表现强劲，并通过扰动方法与Shapley值揭示前文上下文比后文包含更多消歧信息。
2023-06-09 cs.CL
OWL: Probing Cross-Lingual Recall of Memorized Texts via World Literature
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Maryland, College Park（马里兰大学帕克分校）；Microsoft（微软）
本文通过世界文学数据集OWL探究LLMs的跨语言记忆，发现模型能跨语言召回内容，GPT-4o在新翻译中识别作者和标题达69%。
2025-10-07 cs.AI cs.CL
Measuring the Effect of Disfluency in Multilingual Knowledge Probing Benchmarks
University of Zurich（苏黎世大学）
针对多语言知识探测基准中模板翻译导致的语法问题，本研究通过句子级翻译显著提升知识检索分数，并建议控制数据集语法正确性以提高结果可解释性。
2025-10-16 cs.CL
Probing Gender Bias in Multilingual LLMs: A Case Study of Stereotypes in Persian
University of Tehran（德黑兰大学）；Tehran Institute for Advanced Studies（德黑兰高等研究院）
本研究提出基于模板的探测方法和DS-GSI指标，评估四个多语言大模型在波斯语中的性别刻板印象，发现所有模型均存在偏见且波斯语差异大于英语，体育领域最严重。
2025-09-24 cs.CL
Probing the Feasibility of Multilingual Speaker Anonymization
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
针对当前说话人匿名化研究多局限于英语的问题，研究将前沿系统的单语言组件替换为多语言版本，扩展至9种语言，实验验证了系统的有效性，发现英语训练的说话人嵌入可跨语言应用，且性能主要受语音合成组件质量影响。
2024-07-03 cs.CL cs.SD eess.AS
Shaking Syntactic Trees on the Sesame Street: Multilingual Probing with Controllable Perturbations
HSE University（高等经济大学）；SberDevices, Sberbank（俄罗斯联邦储蓄银行SberDevices部门）；Huawei Noah’s Ark lab（华为诺亚方舟实验室）
本文构建英语、瑞典语和俄语的可控扰动探测数据集，分析 M-BERT 与 M-BART，揭示句法敏感性受语言、预训练目标、层深和扰动粒度影响，且模型很少利用位置信息归纳句法树。
2021-09-28 cs.CL
MultiHaluDet: Multilingual Hallucination Detection via LLM Hidden State Probing
United International University（国际联合大学）；BRAC University（布拉克大学）
提出MultiHaluDet框架，通过探测冻结LLM的全隐藏状态轨迹，结合多尺度注意力和自注意力池化的混合架构，以及校准的经典分类器集成，实现跨语言的高精度幻觉检测，在英语基准上达到98.55% AUROC，并展现出对高、中、低资源语言的强泛化能力。
2026-05-24 cs.CL
Is Multilingual BERT Fluent in Language Generation?
University of Turku（图尔库大学）
多语言BERT模型在104种语言上进行训练，旨在作为一种通用的语言模型和句子编码工具。我们探讨如何以及该模型在几种语言上执行几个任务：一个诊断分类探测嵌入一个特定的句法属性，完形填空任务测试的语言建模能力，以填补句子中的空白，和一个自然语言生成任务测试的能力，以产生连贯的文本拟合给定的上下文。我们发现，目前可用的多语言BERT模型显然不如单语同行，在许多情况下，不能作为一个训练有素的单语模型的替代品。我们发现，英语和德语模型表现良好的一代，而多语言模型是缺乏，特别是北欧语言。
2019-10-09 cs.CL cs.LG
Do LLMs Know What Luxembourgish Borrows? Probing Lexical Neology in Low-Resource Multilingual Models
University of Luxembourg（卢森堡大学）；Radio Télévision Luxembourg (RTL)（卢森堡广播电视台（RTL））
本文通过LexNeo-Bench基准测试，探讨了低资源多语言模型在词汇借词识别中的表现，发现通过构建语言知识图谱可以显著提升模型的借词分类准确率，表明词汇资源对LLM评估具有结构化上下文的作用。
2026-05-20 cs.CL
MALAMUTE: A Multilingual, Highly-granular, Template-free, Education-based Probing Dataset
University of Colorado Boulder（科罗拉多大学波得尔分校）；University of Chicago, Department of Pediatrics（芝加哥大学医学院）；Johannes Gutenberg University Mainz（美因茨约翰尼斯·古滕贝格大学）
针对现有完形填空基准缺乏教育领域覆盖、粒度粗和模板偏差的问题，本文提出MALAMUTE，一个多语言、无模板、高细粒度的教育探测数据集，用于评估语言模型在特定课程知识上的表现，揭示其知识缺口。
2025-05-25 cs.CL
Not All Color Categories Are Equally Stable: A Multilingual Free Color Naming Experiment
本研究通过多语言自由颜色命名实验，探究红、黄、绿颜色类别的命名一致性，发现绿色最稳定，黄色命名多样，红色居中，结果有助于开发更有感知意义的颜色模型和命名系统。
2026-07-14 cs.CL cs.CV
Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models
MBZUAI；University of Notre Dame（诺丁汉大学）；University of Southern California（南加州大学）
本文提出一种利用束搜索和LLM模拟生成双语问题对的方法，构建16种语言超6000对数据集，精准识别多语言模型跨语言弱点，并发现语言相似性与性能模式相关。
2025-05-24 cs.CL
DLAMA: A Framework for Curating Culturally Diverse Facts for Probing the Knowledge of Pretrained Language Models
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
针对现有多语言事实探测基准mLAMA存在西方文化偏差的问题，提出DLAMA框架构建含78259个三元组的跨文化均衡基准DLAMA-v1，验证了预训练模型的事实知识存在文化偏向性。
2023-06-08 cs.CL
Same Values, Different Languages? From Multilingual Probing to Steering LLMs Toward Chinese Social Values
School of Information Science and Technology, Beijing Foreign Studies University（北京外国语大学信息科学与技术学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Beihang University（北京航空航天大学）
本研究构建多语言对比数据集C-Voices，提出无需微调的价值观向量引导方法，发现大语言模型价值观偏好存在语言敏感性，并实现有效的跨语言价值观对齐。
2026-09-09 cs.AI cs.CL
IndicSentEval: How Effectively do Multilingual Transformer Models encode Linguistic Properties for Indic Languages?
IIIT Hyderabad（海德拉巴印度理工学院）；University of Bonn（波恩大学）；Microsoft（微软）；Inria（法国国家信息与自动化技术研究院）
本文提出多语言基准数据集IndicSentEval，通过探测分析9个多语言Transformer模型在6种印度语系语言中8项语言特性的编码能力和13种扰动下的鲁棒性，发现通用模型鲁棒性更好而特定模型编码能力更强。
2025-11-01 cs.AI cs.CL cs.LG
Some Languages are More Equal than Others: Probing Deeper into the Linguistic Disparity in the NLP World
University of Moratuwa（莫拉图瓦大学）
NLP世界中的语言差异是一个最近被广泛承认的问题。然而，这个问题的不同方面，或这种差异背后的原因很少在NLP社区中讨论。本文全面分析了世界语言内部存在的差异。我们表明，简单地分类语言考虑数据的可用性可能并不总是正确的。使用基于说话者人口和活力的现有语言分类，我们分析了语言数据资源的分布，NLP/CL研究的数量，多语言网络平台的包含以及预训练的多语言模型的包含。我们发现，许多语言没有被这些资源或平台所覆盖，即使在属于同一语言组的语言中，也存在很大的差异。我们分析了家庭，地理位置，国内生产总值和语言的扬声器人口的影响，并提供这种差异的可能原因，以及一些建议，以克服同样的。
2022-10-20 cs.CL
