Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers
UW-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）；ETH Zürich（苏黎世联邦理工学院）；KRAFTON（魁匠团）；Ludo Robotics
提出LOTUS方法，利用循环Transformer在潜在空间进行多步推理，通过并行监督潜在块上的CoT令牌，首次在3B规模弥合与显式CoT的差距，并将推理延迟降低2.5-6.9倍。
2026-07-14 cs.CL cs.LG
Mechanisms vs. Outcomes: Probing for Syntax Fails to Explain Performance on Targeted Syntactic Evaluations
Stanford University（斯坦福大学）
本文通过评估32个开放权重transformer模型，发现句法探测准确率无法预测定向句法评估表现，揭示了潜在句法表征与下游句法行为之间的显著脱节。
2025-11-08 cs.CL
On the Feasibility of In-Context Probing for Data Attribution
Carnegie Mellon University（卡内基梅隆大学）
针对基于梯度的数据归因方法计算成本高的问题，本文提出上下文内探测（ICP）可作为快速代理，实证表明其与梯度方法在识别有影响力训练数据上相关性良好，且在NLP和线性回归任务中均验证了这一关联。
2025-02-10 cs.CL
Knowledge Trees: Gradient Boosting Decision Trees on Knowledge Neurons as Probing Classifier
本研究提出在Transformer的知识神经元层使用梯度提升决策树作为探测分类器，相比常用的层输出表征逻辑回归等方法，句子成分识别任务的错误率可降低9%-54%，提升了探测分类的准确性。
2023-12-17 cs.AI cs.CL cs.LG
Bridging the English-Arabic Medical Knowledge Gap: Targeted Low-Rank Adaptation via Causal Layer Selection
New York University Abu Dhabi（纽约大学阿布扎比分校）；Cleveland Clinic Abu Dhabi（克利夫兰诊所阿布扎比分校）
该研究针对阿拉伯语医学LLMs性能弱于英文的问题，提出TLoRA方法并构建阿拉伯医学对话基准，通过机制诊断实现针对性适配，提升了阿拉伯语医学任务性能。
2026-09-02 cs.CL
Insights into LLM Long-Context Failures: When Transformers Know but Don't Tell
Johns Hopkins University（约翰斯·霍普金斯大学）
本研究针对大语言模型长上下文位置偏差问题，通过探测隐藏表征发现其存在“知而不言”的信息检索与利用脱节现象，并分析提取时间与准确率的关系，为理解Transformer底层机制提供了新视角。
2024-10-04 cs.CL
Bridging Human and Model Perspectives: A Comparative Analysis of Political Bias Detection in News Media Using Large Language Models
Department of Computer Science and Engineering, BRAC University（计算机科学与工程系，BRAC大学）
本研究针对新闻媒体政治偏见检测任务，构建人工标注数据集，提出比较框架评估人类标注与GPT、BERT等多LLM的表现差异，发现RoBERTa在传统模型中对齐度最高、GPT在零样本中一致性最强，为混合评估框架提供依据。
2025-11-18 cs.CL cs.LG
The Pragmatic Persona: Discovering LLM Persona through Bridging Inference
Department of Artificial Intelligence, Chung-Ang University, Seoul, 06974, Republic of Korea（Chung-Ang大学人工智能系）；Department of Computer Science, University of British Columbia, Vancouver, BC V6T 1Z4, Canada（不列颠哥伦比亚大学计算机科学系）；Van Lang University, Ho Chi Minh City, Vietnam（文-lang大学）
提出基于桥接推理的框架，通过构建话语级知识图谱捕捉LLM对话中的隐含语义关联，实现从话语连贯性层面发现稳定人格特征，优于基于频率或风格的基线方法。
2026-06-12 cs.AI cs.CL
How Much Does Attention Actually Attend? Questioning the Importance of Attention in Pretrained Transformers
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；University of Washington（华盛顿大学）；Apple, Inc.（苹果公司）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
注意力机制被认为是广泛使用的Transformer架构的支柱。它通过计算特定于输入的注意力矩阵来将输入情境化。我们发现，这种机制虽然强大而优雅，但并不像预训练的语言模型那样重要。我们引入PAPA，一种新的探测方法，它用恒定的注意力矩阵（多个输入的平均注意力权重）代替了依赖于输入的注意力矩阵。我们使用PAPA来分析六个下游任务上的几个已建立的预先训练的Transformers。我们发现，在没有任何依赖于输入的注意力的情况下，所有模型都实现了具有竞争力的性能--与探测基线相比，平均相对下降仅为8%。此外，很少或没有观察到性能下降时，更换一半的输入相关的注意力矩阵与常数（输入无关）。有趣的是，我们发现，性能较好的模型在应用我们的方法时比较弱的模型损失更多，这表明依赖输入的注意力机制的利用可能是它们成功的一个因素。我们的研究结果激发了对输入依赖注意的更简单的替代方案的研究，以及在Transformer架构中更好地利用这种机制的方法。
2022-11-07 cs.CL cs.LG
Bridging Text and Video: A Universal Multimodal Transformer for Video-Audio Scene-Aware Dialog
Tencent Inc（腾讯公司）；Chinese Academy of Sciences（中国科学院）；Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）
视听场景感知对话（AVSD）是一项在聊天时生成给定视频的响应的任务，该任务被组织为第八届对话系统技术挑战赛（DSTC 8）的一个轨道。为了解决这个问题，我们提出了一个通用的多模态Transformer，并引入了多任务学习方法来学习不同模态之间的联合表示，以及生成信息丰富和流畅的响应。该方法将自然语言生成预训练模型扩展到多模态对话生成任务。我们的系统在客观和主观评价中都取得了最好的成绩。
2020-02-01 cs.CL
Slot Induction via Pre-trained Language Model Probing and Multi-level Contrastive Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）；Salesforce Research（赛富时研究院）
本文提出利用预训练语言模型探测与多级对比学习，在仅有句子级意图标签的条件下实现槽位归纳，并在两个NLU基准上缩小与词元级监督模型的差距，同时提升槽位填充性能。
2023-08-09 cs.CL cs.LG
Do Transformers Encode a Foundational Ontology? Probing Abstract Classes in Natural Language
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap 研究院）
在探测（或诊断分类）的方法论支持下，最近的研究表明，Transformers在一定程度上编码句法和语义信息。根据这条研究路线，本文旨在将语义探索推向抽象的极端，其目标是回答以下研究问题：当代基于transformer的模型能否反映底层的基础本体？为此，我们提出了一个系统的基础本体论（FO）探测方法，以调查是否转换器为基础的模型编码抽象的语义信息。在不同的预训练和微调制度，我们提出了一个广泛的评估的一组不同的大规模语言模型在三个不同的和互补的FO标记实验。具体来说，我们提出并讨论了以下结论：（1）探测结果表明，基于transformer的模型在预训练过程中偶然编码了与基础本体相关的信息;（2）利用这些知识可以有效地构建强大的FO标记器（准确率为90%）。
2022-01-25 cs.CL
Bridging the Gap: Exploring the Capabilities of Bridge-Architectures for Complex Visual Reasoning Tasks
本研究探索桥接架构在NLVR2复杂视觉推理任务上的性能，发现添加对象级特征无益，多模态预训练是关键，并分析了LLaVA的零样本表现。
2023-07-31 cs.AI cs.CL cs.CV
How Private is Your Attention? Bridging Privacy with In-Context Learning
本文提出线性注意力头的差分隐私预训练算法，首次理论分析线性回归中上下文学习的隐私-准确性权衡，并证明其对对抗性扰动的鲁棒性。
2025-04-22 cs.AI cs.CL cs.CR
Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers
Alibaba Group（阿里巴巴集团）
本文提出 Skip-Layer Attention（SLA），允许层查询同时与当前层和前一层的键值交互，以无额外计算开销的方式增强多头注意力多样性，并在语言建模任务中验证其性能优势。
2024-06-17 cs.CL
Knowledge-Aware Language Model Pretraining
Microsoft Corporation（微软公司）
预训练的语言模型包含多少知识？最近的研究发现，经过预训练的transformer擅长建模语义，但尚不清楚它们在多大程度上掌握了人类知识，或者如何确保它们这样做。在本文中，我们将知识意识的语言模型预训练不改变的Transformer架构，插入显式的知识层，或添加外部存储的语义信息。相反，我们只是在预训练中向Transformer的输入发送实体存在的信号，使用实体扩展的标记器;在输出处，使用额外的实体预测任务。我们的实验表明，仅仅通过在预训练中添加这些实体信号，就可以将更多的知识打包到Transformer参数中：我们观察到改进的语言建模准确性，LAMA知识探测任务中的事实正确性，以及通过边缘探测隐藏表示的语义。我们还表明，我们的知识感知语言模型（KALM）可以作为GPT-2模型的替代品，显著改善下游任务，如没有任务相关培训的zero-shot问题回答。
2021-02-04 cs.CL cs.LG stat.ML
Morph Call: Probing Morphosyntactic Content of Multilingual Transformers
SberDevices, Sberbank（SberDevices，俄罗斯联邦储蓄银行）；HSE University（高等经济大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
基于transformer的语言模型在各种NLP和NLU任务上的出色表现激发了人们对探索其内部工作原理的兴趣。最近的研究主要集中在更高层次和复杂的语言现象，如句法，语义，世界知识和常识。大多数的研究都是以英语为中心的，对其他语言的了解很少，确切地说是他们的形态句法特性。为此，我们的工作提出了Morph Call，这是一套针对四种不同形态的印欧语言（英语，法语，德语和俄语）的46个探测任务。我们提出了一种新型的探测任务的基础上检测指导句子扰动。我们使用的神经元，层和代表级的内省技术相结合，分析四种多语言的Transformers，包括其较少探索蒸馏版本的形态句法内容。此外，我们还研究了POS标记的微调如何影响模型知识。结果表明，微调可以提高和降低探测性能，并改变如何在模型中分布的形态句法知识。代码和数据是公开的，我们希望填补Transformers研究较少方面的空白。
2021-05-04 cs.CL
Probing Word Translations in the Transformer and Trading Decoder for Encoder Layers
Saarland University（萨尔兰大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；China Mobile Online Services（中移在线服务有限公司）；Tianjin University（天津大学）
由于其有效性和性能，Transformer翻译模型引起了广泛的关注，最近在基于探测的方法方面。以前的工作集中在使用或探测源语言特征的编码器。到目前为止，单词翻译在Transformer层中的演变方式尚未被研究。人们可能会天真地假设编码器层捕获源信息，而解码器层进行转换。在这项工作中，我们表明情况并非如此：翻译已经在编码器层甚至输入嵌入中逐步发生。更令人惊讶的是，我们发现一些较低的解码器层实际上并没有做那么多解码。我们展示了所有这一切的探测方法，我们项目表示层分析的最终训练和冻结分类器级别的Transformer解码器来衡量单词翻译的准确性。我们的发现激发并解释了Transformer配置的变化：如果翻译已经发生在编码器层中，也许我们可以增加编码器层的数量，同时减少解码器层的数量，提高解码速度，而不会损失翻译质量？我们的实验表明确实如此：我们可以将速度提高到2.3倍，而翻译质量略有提高，而18-4深度编码器配置在1.4的速度提升下将翻译质量提高了+1.42 BLEU（En-De）。
2021-04-20 cs.CL
Probing for Multilingual Numerical Understanding in Transformer-Based Language Models
University of Washington（华盛顿大学）
自然语言数字是组合结构的一个例子，其中较大的数字由对较小数字的操作组成。鉴于组合推理是自然语言理解的关键，我们提出了新的多语言探测任务测试的蒸馏BERT，XLM，和BERT调查的证据组成推理的数字数据在各种自然语言数字系统。通过使用英语、日语、丹麦语和法语的语法性判断和值比较分类任务，我们发现证据表明，这些预训练模型的嵌入中编码的信息足以进行语法性判断，但通常不足以进行值比较。我们分析了可能的原因，并讨论了如何在进一步的研究中扩展我们的任务。
2020-10-13 cs.CL
Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
本文提出语义结构探测方法研究Transformer句子嵌入，发现不同模型家族在性能和层级动态上差异显著但结果基本不随模型规模变化。
2023-10-18 cs.CL
Probing Character-level Transformers for the Spanish L-shaped Morphome
本研究探究字符级Transformer对西班牙语L形词素的表征，发现模型编码了该词素本身，以特定于项的词汇抽象存储，可复现模式但无法如人类般泛化。
2026-08-05 cs.CL
Is neural language acquisition similar to natural? A chronological probing study
AIRI；HSE University（高等经济大学）；DeepPavlov；SberDevices
探测方法允许人们使用外部分类器和统计分析来获得存储在神经网络的内层中的语言现象的部分表示。预训练的基于transformer的语言模型被广泛用于自然语言理解（NLU）和自然语言生成（NLG）任务，使得它们最常用于下游应用。然而，几乎没有进行分析，无论是模型预先训练足够或包含与语言理论相关的知识。我们正在介绍Transformer英文模型的时间顺序探索研究，如MultiBERT和T5。在语料库的训练过程中，我们依次比较了模型学习到的语言信息。结果表明：1）语言信息是在训练的早期阶段获得的; 2）两种语言模型都表现出从语言的各个层面捕捉各种特征的能力，包括词法、句法甚至话语，但它们也可能在被认为很容易的任务上失败。我们还介绍了开放源代码框架的时间顺序探测研究，与其他基于transformer的模型兼容。https://github.com/EkaterinaVoloshina/chronological_probing
2022-07-01 cs.CL
Uncovering Intermediate Variables in Transformers using Circuit Probing
Brown University（布朗大学）；Carney Institute for Brain Science, Brown University（布朗大学卡尼脑科学研究院）
针对神经网络算法难以解释、现有工具无法有效测试中间变量假设的问题，提出电路探测技术，能自动揭示计算假设中间变量的底层电路并支持参数层面靶向消融因果分析，在算术任务模型及GPT2的句法任务中验证了其有效性与统一分析能力。
2025-02-12 cs.CL
Probing Omissions and Distortions in Transformer-based RDF-to-Text Models
CNRS（法国国家科学研究中心）；LORIA（洛里亚实验室）；Université de Lorraine（洛林大学）；Utrecht University（乌得勒支大学）
针对NLG中信息遗漏问题，本文提出两种探测方法分析BART和T5编码器输出，发现编码器对遗漏和失真实体信号较弱导致信息丢失，证明探测法可检测模型输出错误。
2024-09-25 cs.CL
Probing Subphonemes in Morphology Models
Department of Computer Science and Data Science Research Center（计算机科学系和数据科学研究中心）
提出语言无关的探测方法研究直接在音素上训练的Transformers的音系特征编码，发现局部特征在音素嵌入中捕获较好，长距离依赖在编码器中表现更好，为形态学模型训练策略提供指导。
2025-05-31 cs.CL
Probing Representations Learned by Multimodal Recurrent and Transformer Models
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）；Department of Computing（计算机系）；Imperial College of London（伦敦帝国理工学院）
最近的文献表明，大规模的语言建模提供了良好的可重用的句子表示与循环和自我关注的架构。然而，在由两种架构引起的表征属性的共性和差异上，还不太清楚。研究还表明，视觉信息是句子表征的基础手段之一。在本文中，我们提出了一个元研究，评估模型的代表性质量，其中训练信号是从不同的方式，特别是语言建模，图像特征预测，以及文本和多模态机器翻译。我们评估文本和视觉特征的句子表示使用图像检索和语义文本相似性的主要方法。我们的实验表明，在中等规模的数据集上，一个句子对应的目标语言或视觉模态提供更强的训练信号比语言建模的句子表示。重要的是，我们观察到，虽然Transformer模型实现了卓越的机器翻译质量，但基于递归神经网络的模型的表示比专注于语义相关性的任务表现得更好。
2019-08-29 cs.CL
Probing Image-Language Transformers for Verb Understanding
DeepMind（深度思维）
多模态图像语言Transformers在依赖于微调的各种任务上取得了令人印象深刻的结果（例如，视觉问答和图像检索）。我们感兴趣的是揭示其预训练表示的质量-特别是，如果这些模型可以区分不同类型的动词，或者如果它们只依赖于给定句子中的名词。为此，我们收集了一个图像-句子对（英语）数据集，其中包括421个动词，这些动词要么是视觉动词，要么是预训练数据中常见的动词（即，Conceptual Captions数据集）。我们使用这个数据集来评估预训练的图像语言Transformers，发现与其他词性相比，它们在需要动词理解的情况下失败得更多。我们还调查了哪些类别的动词特别具有挑战性。
2021-06-16 cs.CL cs.CV
Extracting and filtering paraphrases by bridging natural language inference and paraphrasing
University of Ljubljana（卢布尔雅那大学）
释义是一种有用的自然语言处理任务，可以有助于生成或翻译更多样化的文本。自然语言推理（NLI）和释义有一些相似之处，可以从联合方法中受益。我们提出了一种新的方法，从NLI数据集的释义数据集的提取和清洗现有的释义数据集。我们的方法是基于双向蕴涵，也就是说，如果两个句子可以相互蕴涵，他们是释义。我们在单语和跨语言环境中使用几个大型预训练的Transformer语言模型来评估我们的方法。结果表明，高质量的提取的释义数据集和令人惊讶的高噪声水平在两个现有的释义数据集。
2021-11-13 cs.CL
On the Interplay Between Fine-tuning and Sentence-level Probing for Linguistic Knowledge in Pre-trained Transformers
Saarland University（萨尔兰大学）
微调预训练的上下文嵌入模型已经成为NLP管道的一个组成部分。与此同时，探测已经成为一种调查预训练模型捕获的语言知识的方法。然而，人们对微调如何影响预训练模型的表示以及它们编码的语言知识知之甚少。本文件有助于缩小这一差距。我们研究了三种不同的预训练模型：BERT、RoBERTa和AL BERT，并通过事件级探测来研究微调如何影响它们的表示。我们发现，对于一些探测任务，微调会导致准确性发生重大变化，这可能表明微调会从预先训练的模型中引入甚至删除语言知识。然而，这些变化在不同的模型、微调和探测任务中差异很大。我们的分析表明，虽然微调确实改变了预训练模型的表示，并且这些变化通常对于更高层来说更大，但只有在极少数情况下，微调对探测准确性的积极影响大于仅使用预训练模型和强大的池化方法。根据我们的研究结果，我们认为，积极和消极的影响微调探测需要仔细的解释。
2020-10-06 cs.CL cs.LG
Topic Aware Probing: From Sentence Length Prediction to Idiom Identification how reliant are Neural Language Models on Topic?
ADAPT Research Centre（ADAPT研究中心）；Technological University Dublin（都柏林理工大学）；School of Computer Science and Statistics（计算机科学与统计学院）；Trinity College Dublin（都柏林圣三一学院）
提出主题感知探测方法，通过 BERT 与 RoBERTa 在句长预测到习语识别等任务上的表现，揭示模型对主题信息的依赖。
2024-03-04 cs.CL
Probing Speech Emotion Recognition Transformers for Linguistic Knowledge
University of Augsburg（奥格斯堡大学）；audEERING GmbH（audEERING有限公司）；Imperial College（帝国理工学院）
由自我注意层（Transformers）组成的大型预训练神经网络最近在几个语音情感识别（SER）数据集上取得了最先进的结果。这些模型通常以自我监督的方式进行预训练，目的是提高自动语音识别性能，从而理解语言信息。在这项工作中，我们调查在SER微调过程中，利用这些信息的程度。使用基于开源工具的可重复方法，我们合成韵律中立的语音话语，同时改变文本的情感。Transformer模型的配价预测对积极和消极的情感内容以及否定都非常敏感，但对强化词或还原词却不敏感，而这些语言特征都不影响唤醒或支配。这些研究结果表明，Transformers可以成功地利用语言信息，以提高他们的效价预测，语言分析应包括在他们的测试。
2022-07-26 cs.CL cs.LG
Bridging Kolmogorov Complexity and Deep Learning: Asymptotically Optimal Description Length Objectives for Transformers
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文提出基于柯尔莫哥洛夫复杂性的渐近最优描述长度目标，用于改进Transformer模型的压缩与泛化能力，揭示了优化挑战。
2026-03-02 cs.AI cs.CL cs.LG
Probing Spectrum-Like Organization of States of Mind in Transformer Representation Spaces
Georgia Institute of Technology（佐治亚理工学院）
研究通过线性与浅层非线性探针评估句子嵌入是否能解码人类可解释的认知属性，发现嵌入空间存在显著的几何结构。
2026-07-03 cs.CL cs.LG
What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure
IIIT-Delhi（德里印度理工学院信息技术学院）；Adobe（奥多比公司）；State University of New York at Buffalo（纽约州立大学布法罗分校）
最近，基于BERT的Transformer模型已经成为文本处理模型的“技术栈”中不可分割的一部分。在语音领域也观察到类似的进展，许多模型通过使用音频Transformer模型对语音进行编码来观察最先进的结果。这就引出了一个问题，这些音频Transformer模型在学习什么。此外，尽管标准方法是为任何下游任务选择最后一层嵌入，但它是最佳选择吗？我们试图回答这些问题的两个最近的音频Transformer模型，Mockingjay和wave2vec2.0。我们比较了一套全面的语言交付和结构特征，包括音频，流畅性和发音功能。此外，我们探讨了音频模型的理解的文本表面，语法和语义特征，并将它们与BERT。我们在本地，非本地，合成，阅读和自发语音数据集的详尽设置上这样做
2021-07-12 cs.CL cs.LG cs.SD
A Multilingual Perspective on Probing Gender Bias
University of Copenhagen（哥本哈根大学）
本论文从多语言视角研究性别偏见在语言及语言技术中的表达，采用跨学科方法结合自然语言处理与政治学、历史学，以探测并理解社会偏见。
2024-03-15 cs.CL
Bridging KV-Cache Quantization and Linear Attention: From Theory to Pretrained Weight Migration
The Chinese University of Hong Kong（香港中文大学）
该研究提出RAM-Net作为连接KV缓存量化与线性注意力的桥梁，实现Transformer到RAM-Net的权重迁移，在9个预训练Transformer模型上以5亿token预算恢复了教师模型87.1%的平均准确率提升。
2026-10-09 cs.CL cs.LG
Bridging Logic and Learning: Decoding Temporal Logic Embeddings via Transformers
AILab, MIGe, University of Trieste（特里埃斯特大学）；Center for Language and Cognition (CLCG), University of Groningen（格罗宁根大学语言与认知中心）
针对逻辑公式连续表示的不可逆问题，提出基于Transformer的纯解码器模型，将STL公式的语义嵌入逆映射为具体规约，并在需求挖掘任务中验证了其有效捕获语义信息及分布外泛化的能力。
2025-07-10 cs.AI cs.CL
Head Pursuit: Probing Attention Specialization in Multimodal Transformers
Area Science Park（面积科学公园）；Sapienza University of Rome（罗马萨皮恩扎大学）；Institute of Science and Technology（科学与技术研究所）
本研究通过分析多模态转换器中注意力头的专业化，揭示了模型内部可控的结构，并展示了通过编辑少量头部以增强或抑制特定概念的可行性。
2026-01-14 cs.CL cs.CV cs.LG
Beyond Image-Text Matching: Verb Understanding in Multimodal Transformers Using Guided Masking
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）；Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所）；George Mason University（乔治梅森大学）
针对现有图文匹配探测方法难以有效评估多模态模型动词理解能力的问题，提出引导掩码探测策略，通过掩码消融模态验证模型预测掩码词的能力，在多个经典多模态模型上验证了其动词理解的有效性。
2024-01-29 cs.CL cs.CV
Bridging the Gap for Tokenizer-Free Language Models
Google AI（谷歌人工智能）
在大规模数据集上，基于字符的语言模型（LM）在质量上一直滞后，并且当前最先进的LM依赖于单词标记化。它已被假定，注入到模型中的标记器的先验知识是必不可少的，以实现竞争的结果。在本文中，我们表明，与传统观点相反，具有足够容量的无标记LM可以在大规模数据集上实现有竞争力的性能。我们训练了一个基于十亿字（lm1b）基准测试的具有40个自我注意力层的香草Transformer网络，并实现了无标记器LM的最新技术水平，使这些模型与基于单词的模型不相上下。
2019-08-27 cs.AI cs.CL cs.IR
Bridging the Gap between 2D and 3D Visual Question Answering: A Fusion Approach for 3D VQA
Peking University（北京大学）
本文提出BridgeQA，通过问题条件化2D视图选择与双分支Twin-Transformer结构融合2D和3D信息，以解决3D VQA数据稀缺和视觉多样性不足问题，并在多个数据集上取得最先进性能。
2024-02-24 cs.AI cs.CL cs.CV
Bridging the Gap between Synthetic and Authentic Images for Multimodal Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Language and Culture University（北京语言大学）
本文针对多模态机器翻译中训练用真实图像与推理用合成图像间的分布偏移问题，通过拉近Transformer编码器图像表示与解码器输出分布来弥合两者差距，在Multi30K数据集上达到SOTA且推理无需真实图像。
2023-10-20 cs.AI cs.CL cs.CV
Chess as a Testbed for Language Model State Tracking
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Duke University（杜克大学）
Transformer语言模型在自然语言理解任务中取得了巨大的进步。然而，自然语言的复杂性使得确定这些模型跟踪文本背后的世界状态的准确性具有挑战性。出于这个问题，我们认为国际象棋游戏的语言建模的任务。与自然语言不同，国际象棋符号描述了一个简单的、受约束的、确定性的域。此外，我们观察到，国际象棋符号的适当选择允许直接探测世界状态，而不需要任何额外的探测相关的机器。我们发现：（a）有了足够的训练数据，Transformer语言模型就可以学习跟踪棋子，并在只对移动序列进行训练时高精度地预测合法移动。(b)对于小的训练集，在训练期间提供对板状态信息的访问可以产生显著的改进。(c)Transformer语言模型的成功取决于对整个游戏历史的访问，即“完全关注”。接近这种完全注意力会导致显著的性能下降。我们提出这个测试平台作为基准，为今后的工作的发展和分析的Transformer语言模型。
2022-05-13 cs.AI cs.CL
Words in Motion: Extracting Interpretable Control Vectors for Motion Transformers
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
该研究针对运动Transformer隐藏状态难解释的问题，通过线性探测发现潜在空间规律，拟合并经稀疏自编码器优化控制向量，实现推理时可控预测与零样本泛化，兼具可解释性与低开销优势。
2025-05-16 cs.CL cs.CV cs.LG
Probing self-attention in self-supervised speech models for cross-linguistic differences
University of Maryland, College Park（马里兰大学帕克分校）
本文以小型自监督语音Transformer模型TERA为对象，探究自注意力机制在不同语言中的差异，发现注意力头模式多样且与语言无关，并证明模型能学到音系信息，且主要依赖对角注意力头进行音素分类。
2024-09-04 cs.CL cs.LG
YNU-HPCC at SemEval-2025 Task 11: Bridging the Gap in Text-Based Emotion Using Multiple Prediction Headers
Yunnan University（云南大学）
YNU-HPCC 团队在 SemEval-2025 任务 11 中采用 RoBERTa 模型，通过改进输出头并翻译数据集，实现了 0.44 的官方分数，并发现单预测头与统一英文训练更优。
2026-09-18 cs.AI cs.CL
Dissecting Lottery Ticket Transformers: Structural and Behavioral Study of Sparse Neural Machine Translation
MIT（麻省理工学院）
最近对彩票假说的研究已经为NMT产生了高度稀疏的Transformers，同时保持了BLEU。然而，目前还不清楚这种修剪技术如何影响模型的学习表示。通过探测具有越来越多的低量级权重被修剪掉的Transformers，我们发现复杂的语义信息首先被降级。内部激活的分析表明，高层分歧最修剪的过程中，逐渐变得不那么复杂，比密集的同行。同时，稀疏模型的早期层开始执行更多的编码。随着稀疏度的增加，注意力机制保持显著一致。
2020-10-12 cs.CL cs.LG stat.ML
The Attentional White Bear Effect in Transformer Language Models
Yale University（耶鲁大学）
通过表征探测、注意力分析和行为语义泄露实验，发现指令抑制下Transformer语言模型仍能恢复被禁止概念的表征并影响后续生成，揭示了行为对齐与表征对齐之间的根本差距。
2026-05-27 cs.AI cs.CL
