What do language models model? Transformers, automata, and the format of thought
School of Philosophy（哲学学院）；The Australian National University（澳大利亚国立大学）
本文为大型语言模型是对语料库的建模提供非贬低性辩护，基于Transformer的线性计算格式与人类超线性能力对比，并借捷径自动机提出正面解释，强调语言作为话语机器的意义。
2025-08-26 cs.AI cs.CL
EdgeInfinite: A Memory-Efficient Infinite-Context Transformer for Edge Devices
vivo AI Lab（vivo人工智能实验室）；Zhejiang University（浙江大学）
EdgeInfinite通过可训练门控模块将压缩内存集成到Transformer中，实现边缘设备上的无限上下文处理，兼容标准架构且仅微调少量参数，在长上下文基准上性能相当并优化内存与首令牌时间。
2025-03-28 cs.CL
Regularized Context Gates on Transformer for Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）；National Institute of Information and Communications Technology（信息通信研究机构）
在基于递归神经网络（RNN）的神经机器翻译（NMT）中，上下文门可以有效地控制源上下文和目标上下文的贡献。然而，将它们扩展到高级Transformer架构中具有挑战性，该架构比RNN更复杂。本文首先提出了一种识别源上下文和目标上下文的方法，然后在Transformer中引入门机制来控制源上下文和目标上下文的贡献。此外，为了进一步减少门机制中的偏差问题，本文提出了一种正则化方法来指导门的学习，并使用逐点互信息自动生成监督。在4个翻译数据集上的大量实验表明，该模型在强Transformer基线上获得了1.0 BLEU得分的平均增益。
2020-04-20 cs.CL
What do Transformers Know about Government?
University of Helsinki（赫尔辛基大学）
本文研究BERT如何编码句子成分间的支配关系，发现该信息主要集中在模型早期层，少量注意力头足以训练分类器发现未知支配类型，并发布了Government Bank数据集。
2024-04-22 cs.CL cs.LG
Transformers with convolutional context for ASR
Facebook AI Research（脸书人工智能研究院）
最近，Transformer网络在神经机器翻译和其他NLP任务中的成功，导致了试图将其应用于语音识别的研究工作激增。最近的努力研究了关键的研究问题，围绕位置嵌入与语音特征相结合的方式，以及Transformer网络大规模学习的优化稳定性。在本文中，我们建议用卷积学习的输入表示来取代Transformers的正弦位置嵌入。这些上下文表示为后续的Transformer块提供了发现局部概念之间的远程关系所需的相对位置信息。所提出的系统具有良好的优化特性，我们的报告结果产生固定的学习率为1.0，没有热身步骤。当没有额外的LM文本提供时，该模型在Librispeech“测试清洁”和“测试其他”子集上实现了4.7%和12.9%的竞争力WER。
2020-03-02 cs.CL
Evaluating Transformer's Ability to Learn Mildly Context-Sensitive Languages
University of Washington（华盛顿大学）
本文测试了Transformer学习不同复杂度轻度上下文相关语言的能力，发现其同分布泛化良好但长序列外推逊于LSTM，并揭示其self-attention建模依存关系和计数行为的作用。
2023-10-19 cs.CL
Adding Recurrence to Pretrained Transformers for Improved Efficiency and Context Size
University of Chicago（芝加哥大学）
在过去的几年里，为下游任务微调预训练的Transformer已经成为NLP的标准方法。虽然这些模型的结果令人印象深刻，但应用它们可能非常昂贵，就像使用最新架构预训练新模型一样。我们提出了一种新的方法来应用预训练的Transformer语言模型，降低了它们在训练和推理时的内存需求。另一个好处是，我们的方法消除了大多数Transformer模型具有的固定上下文大小约束，从而允许更灵活的使用。当应用到GPT-2语言模型，我们发现，我们的方法获得更好的困惑比未修改的GPT-2模型上的PG-19和WikiText-103语料库，对于给定的计算量或内存。
2020-08-16 cs.CL
What's Hidden in a One-layer Randomly Weighted Transformer?
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook AI研究院）
我们证明，隐藏在一层随机加权神经网络，存在子网络，可以实现令人印象深刻的性能，而无需修改的权重初始化，在机器翻译任务。为了找到单层随机加权神经网络的子网络，我们将不同的二进制掩码应用于相同的权重矩阵以生成不同的层。隐藏在一层随机加权的Transformer中，我们发现可以在IWSLT 14/WMT 14上实现29.45/17.29 BLEU的子网络。使用固定的预训练嵌入层，之前找到的子网络比IWSLT 14/WMT 14上训练的Transformer small/base小，但可以匹配98%/92%（34.14/25.24 BLEU）的性能。此外，我们证明了在这种情况下更大更深的Transformers的有效性，以及不同初始化方法的影响。我们在https://github.com/sIncerass/one_layer_lottery_ticket上发布了源代码。
2021-09-08 cs.AI cs.CL
Insights into LLM Long-Context Failures: When Transformers Know but Don't Tell
Johns Hopkins University（约翰斯·霍普金斯大学）
本研究针对大语言模型长上下文位置偏差问题，通过探测隐藏表征发现其存在“知而不言”的信息检索与利用脱节现象，并分析提取时间与准确率的关系，为理解Transformer底层机制提供了新视角。
2024-10-04 cs.CL
Contextual Breach: Assessing the Robustness of Transformer-based QA Models
Rochester Institute of Technology（罗切斯特技术研究所）；Islamic University of Technology（伊斯兰技术大学）
针对上下文问答模型易受对抗性扰动的问题，本文构建含七种不同类型、五个强度水平对抗性噪声的SQuAD数据集，用标准化鲁棒性指标评估基于Transformer的问答模型，揭示其鲁棒性漏洞及真实场景下的性能见解。
2025-11-14 cs.CL
Hi-Transformer: Hierarchical Interactive Transformer for Efficient and Effective Long Document Modeling
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
Transformer对于文本建模非常重要。然而，由于输入文本长度的二次复杂性，它在处理长文档时有困难。为了处理这个问题，我们提出了一个层次化的交互式Transformer（Hi-Transformer），以实现高效和有效的长文档建模。Hi-Transformer以分层的方式对文档进行建模，即，首先学习句子表示，然后学习文档表示。它可以有效地降低复杂度，同时捕获全局文档上下文的建模中的每一个句子。更具体地说，我们首先使用句子Transformer来学习每个句子的表示。然后，我们使用一个文档Transformer来从这些句子表示中建模全局文档上下文。接下来，我们使用另一个句子Transformer来使用全局文档上下文增强句子建模。最后，我们使用层次池方法来获得文档嵌入。在三个基准数据集上的大量实验验证了Hi-Transformer在长文档建模中的效率和有效性。
2021-12-09 cs.CL
What Helps Transformers Recognize Conversational Structure? Importance of Context, Punctuation, and Labels in Dialog Act Recognition
Center of Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence, Johns Hopkins University（约翰斯·霍普金斯大学人类语言技术卓越中心）
对话行为可以被解释为会话的原子单位，比话语更细粒度，具有特定的交际功能。将会话记录结构化为对话行为序列的能力--对话行为识别，包括分段--对于理解对话至关重要。我们将两个预训练的Transformer模型XLNet和Longformer应用于英语中的这项任务，并在Switchboard Dialog Act和Meeting Recorder Dialog Act语料库上取得了很好的结果，对话行为分割出错率（DSER）为8.4%和14.2%。为了了解影响对话行为识别的关键因素，我们对不同条件下训练的模型进行了比较分析。我们发现，包括一个更广泛的会话上下文有助于消除歧义许多对话行为类，特别是那些不常见的训练数据。转录本中标点符号的存在对模型的性能有很大的影响，详细的分析揭示了在没有标点符号的情况下观察到的特定分割模式。最后，我们发现标签集特异性不影响对话行为分割性能。这些发现对口语语言理解应用程序具有重要的实际意义，这些应用程序在很大程度上依赖于高质量的分割。
2021-07-05 cs.CL
Fovea Transformer: Efficient Long-Context Modeling with Structured Fine-to-Coarse Attention
Shanghai Jiao Tong University（上海交通大学）
本文提出Fovea Transformer，通过从输入序列构建多尺度树并以由细到粗的粒度表示上下文token，实现平滑的注意力粒度过渡，在保持计算效率的同时有效捕捉长上下文依赖，在多个长上下文摘要任务上取得领先性能。
2024-01-11 cs.CL
What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure
IIIT-Delhi（德里印度理工学院信息技术学院）；Adobe（奥多比公司）；State University of New York at Buffalo（纽约州立大学布法罗分校）
最近，基于BERT的Transformer模型已经成为文本处理模型的“技术栈”中不可分割的一部分。在语音领域也观察到类似的进展，许多模型通过使用音频Transformer模型对语音进行编码来观察最先进的结果。这就引出了一个问题，这些音频Transformer模型在学习什么。此外，尽管标准方法是为任何下游任务选择最后一层嵌入，但它是最佳选择吗？我们试图回答这些问题的两个最近的音频Transformer模型，Mockingjay和wave2vec2.0。我们比较了一套全面的语言交付和结构特征，包括音频，流畅性和发音功能。此外，我们探讨了音频模型的理解的文本表面，语法和语义特征，并将它们与BERT。我们在本地，非本地，合成，阅读和自发语音数据集的详尽设置上这样做
2021-07-12 cs.CL cs.LG cs.SD
What's in your Head? Emergent Behaviour in Multi-Task Transformer Models
Blavatnik School of Computer Science, Tel-Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
自然语言处理中多任务训练的主要范例是用共享的预训练语言模型表示输入，并为每个任务添加一个小而薄的网络（头）。给定输入，目标头部是被选择用于输出最终预测的头部。在这项工作中，我们研究了非目标头的行为，也就是说，头的输出时，给定的输入属于一个不同的任务比他们被训练。我们发现，非目标头表现出紧急的行为，这可以解释目标任务，或概括超出他们原来的任务。例如，在数值推理任务中，跨度提取头从输入中提取参数以进行计算，从而产生由目标生成头生成的数字。此外，用目标问答头训练的摘要头在给定问题和要从中提取答案的上下文时输出基于查询的摘要。这种涌现的行为表明，多任务训练会导致技能的非平凡外推，这可以用于解释性和概括性。
2021-09-05 cs.CL
Mixed-effects transformers for hierarchical adaptation
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
语言的使用在不同的语境中有很大的不同。在某种程度上，像GPT-3这样的现代语言模型能够通过对先前输入文本或提示符的字符串进行调节来解释这种变化。然而，提示是无效的，当上下文是稀疏的，样本外，或extra-textual的，例如，占何时何地产生的文本或谁生产it. In本文中，我们介绍了混合效果的Transformer（MET），一种新的方法学习层次结构的前缀-轻量级模块前置到输入-占结构的变化。具体来说，我们展示了如何流行的混合效应模型类可以扩展到基于变换器的架构，使用正则化的前缀调整过程与辍学。我们在几个领域适应基准上评估了这种方法，发现它可以有效地适应新的环境，同时仍然有效地推广到看不见的环境。
2022-12-09 cs.CL
Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations
University of California San Diego（加州大学圣地亚哥分校）；Facebook AI Research（Facebook人工智能研究院）；University of California, Berkeley（加州大学伯克利分校）
长短期记忆（LSTM）和Transformers是两种用于自然语言处理任务的流行神经架构。理论结果表明，两者都是图灵完备的，可以表示任何上下文无关语言（CFL）。在实践中，经常观察到Transformer模型比LSTM具有更好的表示能力。但其中的原因却鲜为人知。我们研究了LSTM和Transformer之间的实际差异，并基于它们的潜在空间分解模式提出了一种解释。为了实现这一目标，我们引入了一个oracle训练范式，它强制分解LSTM和Transformer的潜在表示，并监督相应CFL的下推自动机（PDA）的转换。通过强制分解，我们证明了LSTM和Transformer在学习CFL方面的性能上限是接近的：它们都可以模拟堆栈并执行堆栈操作以及状态转换。然而，缺乏强制分解导致LSTM模型无法捕获堆栈和堆栈操作，同时对Transformer模型产生轻微影响。最后，我们将PDA原型上的实验与真实的句法分析任务相结合，再次验证了本文的结论
2022-03-23 cs.CL
Non-Autoregressive Machine Translation with Disentangled Context Transformer
University of Washington（华盛顿大学）；Facebook AI（Facebook人工智能）
最先进的神经机器翻译模型生成从左到右的翻译，并且每一步都以先前生成的标记为条件。这个生成过程的顺序性导致了推理的基本延迟，因为我们不能在每个句子中并行生成多个标记。我们提出了一个基于注意力掩蔽的模型，称为解纠缠上下文（DisCo）Transformer，同时生成所有令牌给定不同的上下文。训练DisCo Transformer以在给定其他参考令牌的任意子集的情况下预测每个输出令牌。我们还开发了并行的简单优先推理算法，它迭代地并行细化每个令牌，并减少了所需的迭代次数。我们在7个不同数据大小的翻译方向上进行了大量实验，结果表明，与非自回归机器翻译的最新技术相比，我们的模型即使没有更好的性能，也具有竞争力，同时显著减少了平均解码时间。我们的代码可在https://github.com/facebookresearch/DisCo上获得。
2020-06-30 cs.CL
What Formal Languages Can Transformers Express? A Survey
Umeå University（于默奥大学）；New York University（纽约大学）；EPFL（洛桑联邦理工学院）；University of Notre Dame（圣母大学）；Yale University（耶鲁大学）
本文综述了 Transformer 在形式语言表达方面的理论研究成果，梳理不同假设并构建统一框架，以协调看似矛盾的结论。
2024-09-04 cs.CL cs.FL cs.LG
Laughing Heads: Can Transformers Detect What Makes a Sentence Funny?
EPFL（洛桑联邦理工学院）
幽默的自动检测对自然语言处理提出了巨大的挑战。基于transformer的系统最近在这项任务上取得了显着的成果，但它们通常（1）~在严肃与幽默文本来自完全不同来源的设置中进行评估，（2）~专注于基准性能，而不提供对模型如何工作的见解。我们在这两个方面都取得了进展，通过训练和分析基于transformer的幽默识别模型，最近推出的数据集由最小对对齐的句子组成，一个严重，另一个幽默。我们发现，尽管我们的对齐数据集比以前的数据集要难得多，但基于transformer的模型以高准确率（78%）识别对齐对中的幽默句子。在仔细的错误分析中，我们描述了简单与困难的实例。最后，通过分析注意力权重，我们获得了重要的见解的机制，Transformers识别幽默。最值得注意的是，我们发现了明确的证据，表明一个单一的注意头学会识别使测试句子幽默的单词，即使在训练时没有获得这些信息。
2021-08-25 cs.AI cs.CL cs.LG
What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding
National Taiwan University（台湾大学）
近年来，预先训练的Transformers已经主导了大多数NLP基准测试任务。许多经过预先训练的Transformers变体不断爆发，大多数都专注于设计不同的预先训练目标或自我注意力的变体。在自我注意力机制中嵌入位置信息也是Transformers中不可或缺的因素，但经常被随意讨论。因此，本文对主流的预训练Transformers的职位嵌入进行了实证研究，主要关注两个问题：1）职位嵌入是否真的学习了职位的含义？2)这些不同的学习位置嵌入如何影响NLP任务的Transformers？本文旨在通过对大多数标志性NLP任务的特征级分析和实证实验，为预训练位置嵌入提供新的见解。相信我们的实验结果可以指导未来的工作，选择合适的位置编码功能，为特定的任务给定的应用属性。
2020-10-10 cs.AI cs.CL
Formal Algorithms for Transformers
DeepMind（深度思维）
本文档旨在对Transformer架构和算法（* 而不是 * 结果）进行独立的、数学上精确的概述。它涵盖了什么是Transformers，如何训练它们，它们用于什么，它们的关键架构组件，以及最突出的模型的预览。假设读者熟悉基本的ML术语和更简单的神经网络架构，如MLP。
2022-07-19 cs.AI cs.CL cs.LG
Transformers, Contextualism, and Polysemy
University of Reading（雷丁大学）
本文从transformer架构的工作方式中提取出一种关于语境与意义关系的理论，并论证该理论对语境主义和多义性两场哲学辩论具有新颖性。
2024-09-26 cs.AI cs.CL
Contextual Clarity: Generating Sentences with Transformer Models using Context-Reverso Data
本文提出利用Context-Reverso数据训练T5模型，为关键词生成无歧义且简短的上下文句子，以提升信息检索与生成应用的效率。
2024-03-14 cs.AI cs.CL
Hierarchical Transformer-based Large-Context End-to-end ASR with Large-Context Knowledge Distillation
NTT Media Intelligence Laboratories, NTT Corporation（NTT公司NTT媒体情报实验室）
提出了一种基于知识蒸馏的大上下文端到端自动语音识别模型及其有效的训练方法。常见的E2 E-ASR模型主要关注话语级处理，其中每个话语都是独立转录的。另一方面，大上下文E2 E-ASR模型，它考虑到长范围的连续上下文超出话语边界，很好地处理一系列的话语，如话语和对话。然而，Transformer架构，它最近已经实现了国家的最先进的话语级ASR系统中的ASR性能，尚未被引入到大上下文的ASR系统。我们可以预期，Transformer架构不仅可以有效地捕获输入语音上下文，而且可以有效地捕获超出话语边界的长距离序列上下文。因此，本文提出了一种基于分层transformer的大上下文E2 E-ASR模型，该模型将Transformer架构与基于分层编解码器的大上下文建模相结合。此外，为了使所提出的模型能够使用长范围的顺序上下文，我们还提出了一个大上下文知识蒸馏，在训练阶段从预先训练的大上下文语言模型中提取知识。我们评估了所提出的模型和提出的训练方法对日语语篇ASR任务的有效性。
2021-02-16 cs.CL cs.LG
When transformers learn "impossible" languages, what do they learn?
University of Edinburgh（爱丁堡大学）
研究通过训练GPT-2模型于英语的“不可能”变体，发现模型在语法敏感性上仅逐渐退化，但在生成任务中显著失败，提出生成缺陷是语言不可习得性的可能解释。
2026-07-01 cs.AI cs.CL
What Dense Graph Do You Need for Self-Attention?
Fudan University（复旦大学）；Peng Cheng Laboratory（鹏城实验室）
Transformers在各种任务中取得了进展，但受到二次计算和存储器复杂性的影响。最近的工作提出了稀疏Transformers与稀疏图的关注，以降低复杂性和保持强大的性能。虽然有效，但图需要多密集才能表现良好的关键部分尚未得到充分探索。在本文中，我们提出了归一化信息负载（NIP），图评分函数测量图上的信息传输，它提供了一个分析工具，性能和复杂性之间的权衡。在此理论分析的指导下，我们提出了超立方体Transformer，一个稀疏的Transformer模型令牌的相互作用在一个超立方体和香草Transformer，同时产生$O(N\log N)$的复杂性与序列长度$N$相比，表现出相当甚至更好的结果。在需要不同序列长度的任务上进行的实验验证了我们的图功能。
2022-10-12 cs.AI cs.CL cs.LG
Contextually Guided Transformers via Low-Rank Adaptation
Google DeepMind（谷歌DeepMind）
本文提出上下文引导Transformer（CGT），通过低秩自适应将上下文直接编码进模型权重以替代显式提示，实现模型自我专门化，并在合成上下文学习与语言建模任务中验证了有效性。
2025-06-06 cs.CL cs.LG
The Context-Ready Transformer
A Carrot, Inc（A Carrot公司）
提出上下文就绪变换器，通过预上下文化标记和校正网络实现循环神经网络架构，在保持并行训练的同时提升推理速度，实验表明单层模型可超越6层标准变换器。
2026-06-29 cs.AI cs.CL
Transformer ASR with Contextual Block Processing
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
Transformer自注意网络最近显示出作为端到端（E2 E）自动语音识别（ASR）系统中的递归神经网络（RNN）的替代方案的有前途的性能。然而，Transformer的缺点在于需要整个输入序列来计算自注意。在本文中，我们提出了一种新的块处理方法的Transformer编码器通过引入上下文感知的继承机制。从先前处理的块移交的附加上下文嵌入向量不仅有助于对局部声学信息进行编码，还有助于对全局语言、通道和扬声器属性进行编码。为了有效地训练模型，我们引入了一种新的掩码技术来实现上下文继承。华尔街日报（WSJ），Librispeech，VoxForge意大利语，和AISHELL-1普通话语音识别数据集的评估表明，我们提出的上下文块处理方法优于天真块处理一致。此外，每一层的注意力权重的趋势进行了分析，以阐明如何添加上下文继承机制模型的全局信息。
2019-10-16 cs.CL eess.AS
Context-based Transformer Models for Answer Sentence Selection
University of Padova（帕多瓦大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Amazon Alexa（亚马逊Alexa）
问答系统设计的一个重要任务是从与所问问题相关的文档中选择包含（或构成）答案的句子。大多数以前的工作只使用目标句子来计算它的分数，因为模型不够强大，无法有效地编码额外的上下文信息。在本文中，我们分析了上下文信息在句子选择任务中的作用，提出了一个基于Transformer的架构，利用两种类型的上下文，本地和全球。前者描述包含句子的段落，旨在解决隐式引用，而后者描述包含候选句子的整个文档，提供基于内容的信息。在三个不同的基准测试上的结果表明，在Transformer模型中，局部和全局上下文的组合显着提高了答案句子选择的准确性。
2020-06-01 cs.CL cs.LG
Differential Transformer
Microsoft Research（微软研究院）；Tsinghua University（清华大学）
针对Transformer易将注意力过度分配给无关上下文的问题，提出Diff Transformer，通过计算两个独立softmax注意力图的差值来消除噪声并放大相关上下文注意力，在多项任务中显著提升性能并增强鲁棒性。
2025-04-07 cs.CL cs.LG
What Algorithms can Transformers Learn? A Study in Length Generalization
Apple（苹果公司）；Mila, Université de Montréal（米拉研究所，蒙特利尔大学）；Tel Aviv University（特拉维夫大学）
研究Transformer在算法任务上的长度泛化能力，提出RASP泛化猜想，指出若任务可用适用于所有输入长度的简短RASP程序解决则Transformer能实现长度泛化，并据此大幅提升了奇偶性和加法等困难任务的泛化性能。
2023-10-24 cs.AI cs.CL cs.LG
Algorithmic Capabilities of Random Transformers
Massachusetts Institute of Technology（麻省理工学院）
该研究通过仅优化嵌入层的随机初始化Transformer实验，发现随机Transformer已具备模运算、联想回忆等多种算法能力，揭示Transformer的部分算法能力在训练前就已存在。
2024-10-06 cs.AI cs.CL cs.LG
Gradual Forgetting: Logarithmic Compression for Extending Transformer Context Windows
Department of Computer Science, Indiana University Bloomington（计算机科学系，印第安纳大学布卢明顿分校）；Department of Psychological and Brain Sciences, Indiana University Bloomington（心理学与脑科学系，印第安纳大学布卢明顿分校）
提出一种修改输入表示而非架构的对数压缩方法，受人类记忆模型启发，在WikiText-103和PG-19上降低困惑度，有效扩展Transformer长距离记忆。
2025-10-25 cs.AI cs.CL
Linear Transformers with Learnable Kernel Functions are Better In-Context Models
Innopolis University（因诺波利斯大学）；Tinkoff（汤科夫）；Higher School of Economics（高等经济学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文提出对Based模型的核函数进行独特修改，显著增强了线性Transformer在Multi-Query Associative Recall任务和Pile数据集上的上下文学习能力。
2024-06-05 cs.CL cs.LG
Transformers perform adaptive partial pooling
University of Oregon（俄勒冈大学）
本文研究了Transformer模型在训练过程中自适应部分池化特性，发现其下一个词预测随着训练进行逐渐减少对外部观察的依赖，且受情境频率、数量和变化影响。
2026-08-04 cs.AI cs.CL
Moving Beyond Next-Token Prediction: Transformers are Context-Sensitive Language Generators
Inha University（仁荷大学）
本文提出将Transformer驱动的LLMs解释为概率性左上下文敏感语言生成器的框架，分解其为三个基础组件，突破传统观点，为生成式AI理论与应用发展奠定基础。
2025-04-15 cs.AI cs.CL
Quantifying Context Mixing in Transformers
Tilburg University（蒂尔堡大学）；University of Amsterdam（阿姆斯特丹大学）
自注意权重及其转换变体一直是分析基于transformer的模型中令牌间交互的主要信息来源。但是，尽管它们易于解释，但这些权重并不忠实于模型的决策，因为它们只是编码器的一部分，并且编码器层中的其他组件可能对输出表示中的信息混合产生相当大的影响。在这项工作中，通过将分析范围扩展到整个编码器块，我们提出了Value Zeroing，这是一种为Transformers定制的新颖上下文混合分数，它为我们提供了对信息如何在每个编码器层混合的更深入理解。我们证明了我们的上下文混合得分优于其他分析方法，通过一系列的补充评估与不同的观点，基于语言学上知情的理由，探测，和忠实性分析。
2023-02-08 cs.CL cs.LG
Transformers Learn to Achieve Second-Order Convergence Rates for In-Context Linear Regression
University of Southern California（南加州大学）
本文证明Transformers在上下文线性回归中学会近似二阶优化方法，其收敛速率与迭代牛顿法相似且远快于梯度下降，并在病态数据上表现优异。
2024-11-16 cs.AI cs.CL cs.LG
Transformers generalize differently from information stored in context vs in weights
DeepMind（深度思维）
Transformer模型可以使用两种根本不同的信息：在训练期间存储在权重中的信息，以及在推理时提供的“上下文”信息。在这项工作中，我们表明，Transformers表现出不同的感性偏见，他们如何表示和概括这两个来源的信息。特别是，我们的特点是否通过简约的规则（基于规则的泛化）或通过直接比较观察到的例子（基于范例的泛化），他们概括。这具有重要的实际意义，因为它决定了是在权重中还是在上下文中对信息进行编码，这取决于我们希望模型如何使用这些信息。在受控刺激上训练的Transformers中，我们发现从权重的泛化更基于规则，而从上下文的泛化主要是基于范例的。相比之下，我们发现在自然语言预训练的Transformers中，上下文学习是基于规则的，更大的模型显示出更多的基于规则。我们假设，基于规则的概括，从上下文信息可能是一个紧急的结果，大规模的培训语言，它具有稀疏的规则结构。使用受控刺激，我们验证了在包含稀疏规则结构的数据上预训练的Transformers表现出更多基于规则的泛化。
2022-10-13 cs.AI cs.CL cs.LG
Dynamic Universal Approximation Theory: The Basic Theory for Transformer-based Large Language Models
The Hong Kong Polytechnic University（香港理工大学）
该研究针对Transformer类大语言模型的理论基础缺失问题，引入通用逼近理论（UAT）作为理论框架，旨在解释Transformer的有效性、ICL能力、LoRA微调增强及模型剪枝实用性等核心问题。
2024-12-11 cs.AI cs.CL cs.LG
Empirical Analysis of the Effect of Context in the Task of Automated Essay Scoring in Transformer-Based Models
本研究通过上下文增强改进基于Transformer的自动作文评分模型，实现优于现有模型的性能，且方法具有通用性。
2025-12-12 cs.CL cs.CY
Transformers and Cortical Waves: Encoders for Pulling In Context Across Time
Western University（韦仕敦大学）；Fields Institute（菲尔兹研究所）；University of California at San Diego（加州大学圣地亚哥分校）；Salk Institute for Biological Studies（索尔克生物研究所）
本研究提出皮层神经活动波可能采用与Transformer类似的编码原理，通过将输入历史封装为空间模式提取感官序列的时间上下文，为理解大脑时序信息处理提供新视角。
2024-08-16 cs.AI cs.CL
SpectFormer: Frequency and Attention is what you need in a Vision Transformer
Microsoft（微软）；University of Bath（巴斯大学）
本文提出SpectFormer，将频谱层与多头注意力层结合用于视觉Transformer，在ImageNet-1K上小型版本达84.25%、基础版本达85.7%的top-1准确率，并在迁移学习和下游检测分割任务中表现优异。
2023-04-14 cs.AI cs.CL cs.CV
What Can Transformers Learn In-Context? A Case Study of Simple Function Classes
Stanford University（斯坦福大学）
本文通过简单函数类案例研究 Transformer 的上下文学习能力，证明其能从零训练学习线性函数及更复杂的稀疏线性函数、两层神经网络和决策树，且在分布偏移下仍有效，性能可匹配或超越特定任务算法。
2023-08-11 cs.CL cs.LG
Dissecting Multimodal In-Context Learning: Modality Asymmetries and Circuit Dynamics in modern Transformers
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；DeepMind（深Mind）；Beijing University of Posts（北京邮电大学）
通过可控实验，研究现代Transformer中多模态上下文学习的基本机制，发现模态间学习不对称性，并揭示其背后的归纳式电路机制。
2026-05-26 cs.CL cs.LG
What Differentiates Educational Literature? A Multimodal Fusion Approach of Transformers and Computational Linguistics
Nottingham Trent University（诺丁汉特伦特大学）
针对教育工作者缺乏工具评估文献可读性并适配课程的问题，本研究提出结合Transformer文本分类与语言特征分析的多模态方法，融合模型F1分数达0.996，封装成应用赋能课程规划的数据驱动决策。
2024-12-02 cs.AI cs.CL cs.LG
Transformers to Learn Hierarchical Contexts in Multiparty Dialogue for Span-based Question Answering
Emory University（埃默里大学）
我们介绍了一种新的方法来Transformers，学习层次表示在多方对话。首先，三个语言建模任务用于预训练Transformers，令牌和话语级语言建模和话语顺序预测，学习令牌和话语嵌入，以便在对话上下文中更好地理解。然后，在话语预测和标记跨度预测之间的多任务学习被应用于基于跨度的问答（QA）的微调。我们的方法进行了评估，在BASINSQA数据集，并显示出3.8%和1.4%的改进，在两个国家的最先进的Transformer模型，BERT和RoBERTa，分别。
2020-05-23 cs.AI cs.CL cs.LG
Blockwise Parallel Transformer for Large Context Models
UC Berkeley（加州大学伯克利分校）
提出分块并行Transformer（BPT），通过分块计算自注意力和融合前馈网络降低内存成本，支持比原始Transformer长32倍、比现有高效方法长4倍的序列训练，实验验证其在语言建模和强化学习中的有效性。
2023-08-28 cs.CL cs.LG
Context-Aware Transformer Transducer for Speech Recognition
Amazon Alexa（亚马逊 Alexa）
端到端（E2 E）自动语音识别（ASR）系统通常难以识别在训练数据中不频繁出现的不常用词。一个有前途的方法，以提高识别精度的罕见的话，是锁存到个性化/上下文信息的推理。在这项工作中，我们提出了一种新的上下文感知的Transformer换能器（CATT）网络，提高了国家的最先进的变压器为基础的ASR系统，利用这样的上下文信号。具体来说，我们提出了一个基于多头注意力的上下文偏置网络，该网络与其余的ASR子网络联合训练。我们探索不同的技术来编码上下文数据，并创建最终的注意力上下文向量。我们还利用BLSTM和预训练的基于BERT的模型来编码上下文数据并指导网络训练。使用内部远场数据集，我们表明，CATT，使用基于BERT的上下文编码器，提高了基线Transformer传感器的单词出错率，并优于现有的深度上下文模型分别为24.2%和19.4%。
2021-11-05 cs.CL cs.LG cs.SD
What Matters in Transformers? Not All Attention is Needed
University of Maryland, College Park（马里兰大学帕克分校）
本文研究Transformer中注意力层与MLP层的冗余问题，发现大量注意力层可被剪枝且性能损失极小，并提出联合丢弃注意力层和MLP层的方法，在保持性能的同时显著提升推理效率。
2024-10-17 cs.AI cs.CL cs.LG
What Is the Minimum Architecture for Prolepsis? Early Irrevocable Commitment Across Tasks in Small Transformers
Cosmic AI
本文探讨了变压器在何时做出决策以及为何无法纠正决策，提出前瞻性架构概念，通过实验验证了任务特定注意力头对决策的持续影响及架构设计对任务性能的影响。
2026-07-20 cs.AI cs.CL cs.LG
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
Google（谷歌公司）
本研究提出含Infini-attention的高效方法，通过在Transformer块融合压缩记忆、局部与长期线性注意力，以有限内存和计算实现LLM的无限长输入支持，在多项长上下文任务中验证了有效性并支持快速流式推理。
2024-08-09 cs.AI cs.CL cs.LG
