What Algorithms can Transformers Learn? A Study in Length Generalization
Apple(苹果公司);Mila, Université de Montréal(米拉研究所,蒙特利尔大学);Tel Aviv University(特拉维夫大学)
研究Transformer在算法任务上的长度泛化能力,提出RASP泛化猜想,指出若任务可用适用于所有输入长度的简短RASP程序解决则Transformer能实现长度泛化,并据此大幅提升了奇偶性和加法等困难任务的泛化性能。
2023-10-24 cs.AI cs.CL cs.LG
The Impact of Positional Encoding on Length Generalization in Transformers
Mila, McGill University(米拉-麦吉尔大学);IBM Research(IBM研究院);Facebook CIFAR AI Chair(Facebook CIFAR AI主席);ServiceNow Research(ServiceNow研究院)
该研究通过实证对比五种位置编码方案在仅解码器Transformer上的长度泛化表现,发现无位置编码方案性能更优且无需额外计算,同时指出草稿板对长度泛化的作用不稳定,证明显式位置嵌入并非长序列泛化的必需条件。
2023-11-06 cs.AI cs.CL cs.LG
Systematic Generalization with Edge Transformers
University of California, San Diego(加利福尼亚大学圣迭戈分校);McGill University(麦吉尔大学);Quebec Artificial Intelligence Institute (Mila)(魁北克人工智能研究所);Element AI, a ServiceNow company(Element AI,ServiceNow旗下公司)
最近的研究表明,自然语言理解中的系统泛化仍然是最先进的神经模型(如Transformers和图神经网络)面临的挑战。为了应对这一挑战,我们提出了Edge Transformer,这是一种结合了Transformers和基于规则的符号AI的新模型。Edge Transformers中的第一个关键思想是将向量状态与每条边相关联,即与每对输入节点相关联-而不是像Transformer模型中那样只与每个节点相关联。第二个主要创新是三角形注意力机制,它以一种受逻辑编程统一启发的方式更新边缘表示。我们在关系推理、语义解析和依存句法分析中对Edge Transformer进行了组合泛化基准测试。在所有三种设置中,Edge Transformer的性能均优于可感知的、通用的和经典的Transformer基线。
2021-12-01 cs.CL cs.LG
Transformer Block Coupling and its Correlation with Generalization in LLMs
University of Toronto(多伦多大学)
本文通过分析token嵌入轨迹和雅可比矩阵,发现了transformer块耦合现象,该现象与LLMs及ViTs的泛化能力呈强正相关,为理解模型机制提供了新视角。
2025-03-05 cs.AI cs.CL cs.LG
Iterative Decoding for Compositional Generalization in Transformers
University of Pennsylvania(宾夕法尼亚大学);Google Research(谷歌研究院)
深度学习模型可以很好地推广到分布式数据,但很难在组成上进行推广,即,结合一组学习过的原语来解决更复杂的任务。在序列到序列(seq2seq)学习中,Transformers通常无法预测比训练时看到的更长的样本的正确输出。本文介绍了迭代解码,seq2seq的替代方案,(i)提高了PCFG和笛卡尔积数据集的Transformer组合泛化,(ii)证明在这些数据集中,seq2seq Transformers不学习未展开的迭代。在迭代解码中,训练样本被分解为Transformer迭代学习的一系列中间步骤。在推理时,中间输出作为中间输入反馈给Transformer,直到预测到迭代结束令牌。最后,我们说明了迭代解码的CFQ数据集的一些限制。
2021-12-09 cs.CL cs.LG
Theoretical Analysis of Positional Encodings in Transformer Models: Impact on Expressiveness and Generalization
University of Birmingham Dubai(布里斯托尔大学迪拜分校)
本文构建理论框架分析正弦、可学习、相对及ALiBi等位置编码对Transformer表达、泛化与长度外推的影响,并提出基于小波和Legendre多项式的正交编码,实验证明其优于传统正弦编码。
2025-06-05 cs.AI cs.LG
Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning
Department of Statistics & Data Science, Yale University(统计与数据科学系,耶鲁大学)
本研究提出四种架构机制(输入自适应递归、算法监督、离散瓶颈锚定表示、显式纠错),在计算图模块化算术任务上显著提升Transformer的分布外泛化,并通过可解释性分析揭示其内在机理。
2025-10-15 cs.AI cs.LG
Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
系统组合性是人类语言中的一种基本机制,它允许已知部分的重组来创造新的表达。然而,现有的神经模型已经被证明缺乏这种学习符号结构的基本能力。由于Transformer模型在SCAN组合性挑战(Lake和Baroni,2018)中失败,需要将命令解析为动作,我们提出了两个辅助序列预测任务,用于跟踪函数和参数语义的进展,作为额外的训练监督。这些自动生成的序列更能代表输入数据的底层组成符号结构。在推理过程中,模型在每一步联合预测辅助序列中的下一个动作和下一个标记。在SCAN数据集上的实验表明,我们的方法鼓励Transformer理解命令的组合结构,将其在多个具有挑战性的拆分上的准确率从<= 10%提高到100%。在只有418个(5%)训练实例的情况下,我们的方法在MCD1分割上仍然达到了97.8%的准确率。因此,我们认为,组合性可以诱导在Transformers给予最小的,但适当的指导。我们还表明,更好的结果是实现使用较少的上下文向量作为注意力的查询,实现系统的组合性的架构选择提供见解。最后,我们展示了对PulledSCAN任务的积极推广结果(Ruis等人,2020年)。我们的代码可在https://github.com/jiangycTarheel/compositional-auxseq上公开获取
2021-09-30 cs.AI cs.CL cs.LG
Comparing Generalization in Learning with Limited Numbers of Exemplars: Transformer vs. RNN in Attractor Dynamics
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本研究在吸引子动力学学习任务中比较了Transformer与RNN的学习泛化能力,发现有限数据条件下Transformer的泛化能力明显劣于RNN。
2023-11-15 cs.CL cs.LG
Principled Understanding of Generalization for Generative Transformer Models in Arithmetic Reasoning Tasks
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);ShanghaiTech University(上海科技大学);University of Hong Kong(香港大学);Fudan University(复旦大学)
本文提出统一理论框架,通过分析加法、乘法及模运算,揭示平移不变性与相对位置编码对长度泛化的作用,并经GPT系列实验验证,强调任务结构与数据分布的重要性。
2025-05-30 cs.AI cs.LG
Systematic Generalization and Emergent Structures in Transformers Trained on Structured Tasks
Stanford University(斯坦福大学)
Transformer网络在自然语言处理和机器视觉方面取得了巨大成功,其中下一个单词预测和图像分类等任务目标受益于高维输入的细微上下文敏感性。然而,有一个正在进行的辩论如何以及何时Transformers可以获得高度结构化的行为,并实现系统的推广。在这里,我们探讨如何以及因果Transformer可以执行一组算法任务,包括复制,排序,和这些操作的分层组合。我们展示了强大的泛化序列比那些在训练中使用的替换标准的位置编码通常用于Transformers器与标签任意配对的序列中的项目。我们寻找足以解决这些任务的层次和头部配置,然后探索潜在表征和注意模式中系统处理的迹象。我们表明,两层Transformers学习可靠的解决方案,多层次的问题,开发任务分解的迹象,并编码输入项的方式,鼓励利用共享计算相关的任务。这些结果提供了关于注意力层如何在任务内和跨多个任务支持结构化计算的关键见解。
2022-12-10 cs.AI cs.LG
Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);Allen Institute for AI(艾伦人工智能研究所)
本文通过合成数据集、训练目标对比、剪枝实验和贝叶斯分析,揭示语言建模目标促使 Transformer 形成层级句法泛化偏置。
2025-03-16 cs.CL cs.LG
What is my math transformer doing? -- Three results on interpretability and generalization
Meta AI
本文研究了故障情况下和分布外的行为训练的Transformers器矩阵求逆和特征值分解。我表明,不正确的模型预测仍然保留深的数学性质的解决方案(例如正确的特征值,单位范数的特征向量),几乎所有的模型故障可以归因于,并预测,属性的问题或解决方案。这表明,当有疑问时,数学Transformers不会产生荒谬的解决方案(正如有时提出的那样),而是保持“大致正确”。我还表明,精心选择训练数据集可以加速训练,同时允许模型从其训练分布中泛化,使Transformers“仅仅插值”的想法无效。
2022-10-31 cs.AI cs.LG
Sharper Generalization Bounds for Transformer
School of Mathematical Sciences, Capital Normal University, 100048 Beijing, China(首都师范大学数学学院);Advanced Institute of Information Technology, Peking University(北京大学信息科学技术高级研究院);Wangxuan Institute of Computer Technology, Peking University, China, 100871(北京大学王先计算机技术研究所);PKU-Wuhan Institute for Artificial Intelligence(北大-武汉人工智能研究所);Xiangjiang Laboratory, Changsha 410000, China(湘江实验室);Guanghua School of Management, Peking University, Beijing, China, 100871(北京大学光华管理学院);School of Artificial Intelligence, Beihang University, 100191 Beijing, China(北航人工智能学院)
本文基于偏移Rademacher复杂性,推导了不同Transformer架构的更精确泛化界限,通过覆盖数和矩阵秩推导出最优收敛率的泛化界限,并扩展到无界特征分布。
2026-03-23 cs.AI cs.LG
Too Big to Think: Capacity, Memorization, and Generalization in Pre-Trained Transformers
Amazon(亚马逊)
本研究通过预训练容量受限的Transformer模型,发现模型容量在算术外推与事实记忆间存在权衡,且联合训练时无法外推,揭示了容量对学习模式的影响。
2025-06-17 cs.AI cs.CL cs.LG
A Sharper Picture of Generalization in Transformers
Thayer School of Engineering Dartmouth College(达特茅斯学院泰勒工程学院)
本文通过PAC-Bayes理论研究Transformer在布尔域上的泛化行为,证明稀疏低阶频谱可实现低锐度构造并得到非平凡的泛化界,解释了思维链为何能改善高阶目标函数的泛化。
2026-05-26 cs.AI cs.LG
One for All: A Non-Linear Transformer can Enable Cross-Domain Generalization for In-Context Reinforcement Learning
Duke University(杜克大学)
本文提出通过非线性变换器实现跨领域泛化,利用核方法连接非线性变换器与时间差分学习,展示不同领域价值函数可通过共享权重表示。
2026-11-10 cs.AI cs.LG
Measuring Systematic Generalization in Neural Proof Generation with Transformers
Polytechnique Montréal(蒙特利尔综合理工学院);McGill University(麦吉尔大学);Facebook AI Research(脸书人工智能研究院);ElementAI(元素人工智能公司)
我们感兴趣的是了解如何以及Transformer语言模型(TLM)可以执行推理任务时,在自然语言的形式编码的知识进行训练。我们调查他们的系统概括能力的逻辑推理任务,在自然语言,其中包括推理的基础上的一阶逻辑证明实体之间的关系。具体来说,我们执行软定理证明利用TLM生成自然语言证明。我们测试生成的证明的逻辑一致性,以及最终推理的准确性。我们观察到在比训练序列长的序列上进行评估时的长度泛化问题。然而,我们观察到TLM在暴露于更长,更详尽的证明后提高了其泛化性能。此外,我们发现,TLM能够更好地推广使用后向链证明相比,他们的前向链同行,而他们发现更容易生成前向链证明。我们观察到,没有经过训练来生成证明的模型更善于推广到基于较长证明的问题。这表明,Transformers具有高效的内部推理策略,但很难解释。这些结果突出了TLM在逻辑推理背景下的系统泛化行为,我们相信这项工作激发了对其潜在推理策略的更深入研究。
2020-10-20 cs.AI cs.CL cs.LG
Position Coupling: Improving Length Generalization of Arithmetic Transformers Using Task Structure
Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院);Google Research(谷歌研究院);NYU(纽约大学)
针对Transformer算术任务长度泛化差的问题,提出将任务结构嵌入位置编码的位置耦合方法,经实验和理论验证可大幅提升泛化能力,且适用于多种算法任务。
2024-10-30 cs.AI cs.CL cs.LG
Adversarially Pretrained Transformers May Be Universally Robust In-Context Learners
The University of Tokyo(东京大学);Chiba University(千叶大学);National Institute of Informatics(国立信息学研究所)
本研究提出对抗性预训练的Transformer可作为普遍稳健的基础模型,通过上下文学习实现对多种下游任务的稳健泛化。
2026-03-01 cs.CV cs.LG stat.ML
Unifying Learning Dynamics and Generalization in Transformers Scaling Law
Sun Yat-sen University(中山大学)
本文通过将Transformer学习动力学形式化为ODE系统并近似为核行为,严格分析了随机梯度下降训练下的泛化误差,揭示了计算资源缩放时泛化误差的指数衰减与幂律衰减的两阶段相变,并建立了紧的上下界。
2026-06-11 cs.AI cs.CL cs.LG
From Interpolation to Extrapolation: Complete Length Generalization for Arithmetic Transformers
RDFZ(中国人民大学附属中学);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
针对 Transformer 学习算术算法时难以外推到更长序列的问题,提出 Attention Bias Calibration(ABC)自动校准注意力偏置,实现近乎完美的长度泛化并攻克 Parity 任务。
2024-05-10 cs.CL cs.LG
The Neural Data Router: Adaptive Control Flow in Transformers Improves Systematic Generalization
The Swiss AI Lab, IDSIA(瑞士人工智能实验室(IDSIA));University of Lugano (USI)(卢加诺大学);SUPSI(瑞士意大利语区高等专业学院);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
尽管在广泛的应用领域取得了进展,但Transformers在系统推广方面的成功有限。在算法任务的情况下,这种情况尤其令人沮丧,在这种情况下,他们通常无法找到直观的解决方案,将相关信息在正确的时间路由到由Transformer列表示的网格中的正确节点/操作。为了便于学习有用的控制流,我们提出了两个修改的Transformer架构,复制门和几何注意。我们的新型神经数据路由器(NDR)在经典的组合查表任务上实现了100%的长度泛化准确性,在简单的算术任务上也实现了近乎完美的准确性,并在计算深度上实现了ListOps测试的新变体。NDR的注意力和门控模式往往可以解释为神经路由的直观形式。代码是公开的。
2022-05-05 cs.AI cs.LG cs.NE
Impact of Layer Norm on Memorization and Generalization in Transformers
本文针对Pre/Post-LayerNorm两类Transformer,探究LayerNorm对模型记忆与学习能力的影响,明确不同位置LayerNorm的作用差异,通过多数据集多模型实验验证结论,为理解LayerNorm的作用提供新视角。
2025-11-13 cs.AI cs.CL cs.CV
From Small to Large: Generalization Bounds for Transformers on Variable-Size Inputs
Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种理论框架,用于分析变换器在可变大小输入上的泛化界限,通过采样密度和数据流形的内在维数确定误差界,并通过实验验证了理论的准确性。
2026-01-09 cs.AI cs.LG
Randomized Positional Encodings Boost Length Generalization of Transformers
DeepMind(深度思维(DeepMind))
本文提出随机化位置编码方案,通过模拟更长序列位置并随机选取有序子集,解决Transformer在长度泛化上的分布外问题,在15个算法推理任务上平均提升测试准确率12.0%。
2023-05-26 cs.AI cs.CL cs.LG
Learning a Decision Tree Algorithm with Transformers
UC San Diego(加州大学圣地亚哥分校);Microsoft Research(微软研究院)
本文提出基于Transformer的模型MetaTree,通过元学习直接生成决策树,使其能自适应模拟贪心和全局优化算法,从而解决传统局部划分难以实现全局泛化的问题,显著提升泛化性能。
2024-08-23 cs.AI cs.CL cs.LG
Do Transformers Have the Ability for Periodicity Generalization?
School of Computer Science, Peking University(北京大学计算机科学学院);College of AI, Tsinghua University(清华大学人工智能学院);School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)科学与工程学院)
本文研究了 Transformer 在周期性泛化方面的局限性,通过引入抽象代数和推理视角,揭示了模型在处理复合周期性任务时的不足,并提出了可控生成基准 Coper。
2026-01-30 cs.AI cs.LG
The Devil is in the Detail: Simple Tricks Improve Systematic Generalization of Transformers
The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA)
近年来,许多数据集被用来测试神经网络的系统泛化能力。同伴基线Transformers,通常使用标准任务的默认超参数进行训练,显示出显着失败。在这里,我们证明,通过重新访问模型配置的基本缩放嵌入,提前停止,相对位置嵌入,通用Transformer的变种,我们可以大大提高性能的Transformers的系统推广。我们报告了五个流行数据集的改进:SCAN,CFQ,PCFG,COGS和Mathematics数据集。我们的模型将PCFG生产率分割的准确性从50%提高到85%,将COGS的准确性从35%提高到81%。在SCAN上,相对位置嵌入在很大程度上减轻了EOS决策问题(Newman等人,2020年),产生100%的准确率的长度分裂与截止26。重要的是,这些模型之间的性能差异通常在IID数据分割上不可见。这就需要适当的泛化验证集来开发系统泛化的神经网络。我们公开发布代码以重现我们的结果。
2022-02-14 cs.AI cs.LG cs.NE
Can Transformers Jump Around Right in Natural Language? Assessing Performance Transfer from SCAN
Ecole Normale Superieure(巴黎高等师范学院);Facebook AI(脸书人工智能研究院);Pompeu Fabra(庞培法布拉大学)
尽管它们在实践中取得了成功,但现代seq2seq架构无法系统地概括几个SCAN任务。因此,尚不清楚SCAN风格的合成泛化在现实的NLP任务中是否有用。在这项工作中,我们研究的好处,这种组合带来的几个机器翻译任务。我们提出了几个有针对性的修改Transformer,大大提高了泛化能力的扫描,并选择一个仍然与香草Transformer在一个标准的机器翻译(MT)任务。接下来,我们研究其性能在低资源环境和新引入的分布转移英法翻译任务。总的来说,我们发现,改进的扫描能力的模型不直接转移到资源丰富的MT设置。相比之下,在低资源设置中,一般修改导致高达13.1%的BLEU分数w.r.t.一个普通的Transformer。同样,在引入的组合英法翻译任务中,基于准确性的度量提高了14%。这提供了实验证据表明,在SCAN中评估的合成概括在资源匮乏和域转移的情况下特别有用。
2021-09-16 cs.AI cs.CL cs.LG
ORCHARD: A Benchmark For Measuring Systematic Generalization of Multi-Hierarchical Reasoning
Nanyang Technological University(南洋理工大学)
对于自然语言处理来说,利用多层次结构进行推理的能力是顺序归纳偏差的一个有吸引力和令人期望的特性。最先进的Transformers和LSTM架构是否隐式地对这些偏差进行编码?为了回答这个问题,我们提出了ORCHARD,这是一个诊断数据集,用于系统地评估最先进的神经序列模型中的分层推理。虽然已经有了先前的评估框架,如ListOps或逻辑推理,但我们的工作提出了一种新颖且更自然的设置,在这种设置中,我们的模型学习使用多个显式层次结构进行推理,而不是只有一个,即,需要同时进行长期序列记忆、关系推理和层次结构推理的能力。因此,在一系列严格实验的支持下,我们发现(1)Transformer和LSTM模型在系统泛化方面令人惊讶地失败了,(2)随着层次结构之间引用的增加,Transformer的性能并不比随机更好。
2021-11-28 cs.AI cs.CL cs.LG
Out-of-distribution generalization via composition: a lens through induction heads in Transformers
BIGAI(北京智源人工智能研究院);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文通过归纳头视角研究Transformer的分布外泛化机制,发现模型可通过组合两个自注意力层学习隐藏规则,并提出嵌入空间中的共享潜在子空间作为组合桥梁的共同桥接表示假说。
2024-12-28 cs.AI cs.CL cs.LG
Enhancing the Transformer Decoder with Transition-based Syntax
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
尽管最近的进展,句法泛化仍然是文本解码器的一个挑战。虽然一些研究表明,将源端的符号句法和语义结构的文本生成Transformers的收益,很少有工作解决这种结构的解码。我们提出了一个通用的方法,树解码使用一个过渡为基础的方法。检查具有挑战性的测试情况下,将通用的重复性语法到机器翻译,我们提出了大量的改进测试集,侧重于语法泛化,同时提出改进或可比的性能标准MT基准。进一步的定性分析解决的情况下,语法概括香草Transformer解码器是不够的,并展示了整合语法信息所提供的优势。
2022-10-31 cs.CL cs.LG
Arithmetic Transformers Can Length-Generalize in Both Operand Length and Count
Kim Jaechul Graduate School of AI, KAIST(韩国科学技术院金在哲人工智能研究生院);Google Research(谷歌研究院)
针对Transformer在算术任务中难以对操作数长度和数量进行长度泛化的问题,本研究设计特定任务草稿本并应用多层级Position Coupling,首次在相关任务上实现约2-3倍长度泛化,且理论证明1层模型可解决指数级规模的多操作数加法。
2025-04-17 cs.AI cs.LG
On Vanishing Variance in Transformer Length Generalization
University of Oxford(牛津大学)
针对 Transformer 长度泛化失效问题,本文提出方差消失视角,发现长序列会导致多头注意力输出方差减小,并证明在注意力输出后应用层归一化能显著提升长度泛化能力。
2025-04-03 cs.AI cs.LG
How Transformers Learn In-Context Recall Tasks? Optimality, Training Dynamics and Generalization
Department of Computer Science University of Victoria(计算机科学系维多利亚大学);Department of Computer Science Johns Hopkins University(计算机科学系约翰霍普金斯大学)
本文分析 Transformer 学习上下文回忆任务的 Bayes 最优性、梯度下降线性收敛及 OOD 泛化,并指出参数化不当会使高表达模型泛化失败。
2025-10-21 cs.AI cs.LG
Transformer Module Networks for Systematic Generalization in Visual Question Answering
Fujitsu Limited(富士通有限公司);Fujitsu Research of America, Inc.(美国富士通研究公司);Massachusetts Institute of Technology(麻省理工学院);Center for Brains, Minds and Machines(大脑、心智与机器中心)
Transformers在可视化问答(VQA)方面取得了很好的性能。然而,它们的系统泛化能力,即,处理已知概念的新颖组合是不清楚的。我们发现,神经模块网络(NMN),即,解决子任务的模块的特定于问题的组合实现了比传统的Transformers更好或类似的系统泛化性能,即使NMN的模块是基于CNN的。为了解决这个缺点的Transformers相对于NMN,在本文中,我们研究模块化是否以及如何可以带来好处的Transformers。也就是说,我们介绍了Transformer Module Network(TMN),一种基于Transformer模块组合的新型NMN。TMN在三个VQA数据集上实现了最先进的系统泛化性能,比标准Transformers提高了30%以上,用于子任务的新组合。我们发现,不仅模块组成,而且模块的专业化,为每个子任务是这样的性能增益的关键。
2023-03-17 cs.CV cs.LG
Looped Transformers for Length Generalization
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Massachusetts Institute of Technology(麻省理工学院);UC Berkeley(加州大学伯克利分校)
针对 Transformer 难以泛化到未知输入长度的问题,本文提出采用自适应步数的循环 Transformer 及相应学习算法,在 RASP-L 迭代任务上实现了更强的长度泛化。
2025-05-12 cs.LG
Transformers as Algorithms: Generalization and Stability in In-context Learning
University of California, Riverside(加州大学河滨分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
上下文学习(ICL)是一种提示类型,其中Transformer模型对(输入,输出)示例序列进行操作,并在运行中执行推理。在这项工作中,我们正式的上下上下文学习作为一个算法学习的问题,其中一个Transformer模型隐式地构造一个假设函数在推理时间。我们首先通过多任务学习的镜头探索这种抽象的统计方面:当输入提示是(1)i.i.d.序列时,我们获得了ICL的泛化界限。(输入,标签)对或(2)从动力系统产生的轨迹。我们分析的关键是将超额风险与由Transformer实现的算法的稳定性相关联。当Transformer/attention结构可证明地服从稳定性条件时,我们表征,并提供经验验证。对于不可见任务的泛化,我们识别出一种归纳偏差现象,其中迁移学习风险以高度可预测的方式由任务复杂性和MTL任务的数量决定。最后,我们提供了数值评估,(1)证明Transformers确实可以实现接近最优算法的经典回归问题的独立同分布。和动态数据,(2)提供关于稳定性的见解,(3)验证我们的理论预测。
2023-02-06 cs.CL cs.LG stat.ML
Is the Reversal Curse a Binding Problem? Uncovering Limitations of Transformers from a Basic Generalization Failure
The Ohio State University(俄亥俄州立大学)
本文通过揭示变换器在概念绑定方面的局限性,首次突破反向诅咒并提升模型泛化能力。
2026-02-09 cs.CL cs.LG
Generalization of Agent Behavior through Explicit Representation of Context
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cognizant Technology Solutions(高知特科技解决方案公司)
为了在数字交互环境中部署自主智能体,它们必须能够在看不见的情况下稳健地行动。标准的机器学习方法是在训练这些代理时包含尽可能多的变化。然后,代理可以内插在他们的训练,但他们不能推断出太多超出it.This本文提出了一个原则性的方法,上下文模块与游戏中的技能模块共同进化。上下文模块识别游戏中的时间变化,并调制技能模块的输出,以便即使在以前看不见的情况下也可以稳健地做出动作决策。该方法在Flappy Bird和LunarLander视频游戏以及CARLA自动驾驶模拟中进行了评估。情境+技能方法在需要外推训练的环境中产生了更强大的行为。这种原则性的泛化能力对于在现实任务中部署自主智能体至关重要,并且也可以作为持续适应的基础。
2021-02-09 cs.AI cs.LG cs.NE
Sequence Length Independent Norm-Based Generalization Bounds for Transformers
University of Michigan(密歇根大学)
本文针对 Transformer 提出了不依赖输入序列长度的基于范数的泛化界,利用基于覆盖数的方法和三个新颖覆盖数界限制 Rademacher 复杂度,并证明其适用于掩码预测技术且经实验验证。
2023-10-19 cs.LG stat.ML
It Ain't That Bad: Understanding the Mysterious Performance Drop in OOD Generalization for Generative Transformer Models
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);ShanghaiTech University(上海科技大学);Fudan University(复旦大学)
该研究针对生成式Transformer模型在分布外(OOD)数学任务上的性能下降问题,通过训练小语言模型发现其OOD表现背后存在习得的代数结构与等价泛化规律,深化了对生成式模型泛化能力的理解。
2024-07-04 cs.AI cs.LG
A Formal Framework for Understanding Length Generalization in Transformers
Saarland University(萨尔大学);University of Notre Dame(圣母大学);University of Oxford(牛津大学);Apple(苹果公司)
本文引入了一个严格的理论框架,分析具有可学习绝对位置编码的因果 Transformer 的长度泛化问题,刻画了可识别函数并证明了其泛化可能性,且通过实验验证了该理论能有效预测长度泛化的成功与失败。
2025-04-30 cs.LG
Layer Specialization Underlying Compositional Reasoning in Transformers
ENS, Université PSL, EHESS, CNRS(高等科学研究院、巴黎高等科学研究所、国家科学研究中心)
该研究利用 Random Hierarchy Model 分析 Transformer 的组合推理,揭示层特化随训练逐步形成,并与不同泛化条件下的性能相关。
2025-10-20 cs.AI cs.LG
Universal Transformers for Circuit Computations: Perfect Length Generalization in Tiny Transformers
IBM Research(IBM研究院)
该研究提出一种仅需280个参数的通用Transformer,将算法任务建模为电路模型,结合特定位置编码与自主终止准则,在布尔运算、模运算等基准测试上实现了完美长度泛化。
2026-09-01 cs.LG
Training Nonlinear Transformers for Chain-of-Thought Inference: A Theoretical Generalization Analysis
Rensselaer Polytechnic Institute(罗切斯特理工学院);The Chinese University of Hong Kong(香港中文大学);IBM Research(IBM研究院)
本研究首次从理论上分析了训练非线性注意力Transformer以获得思维链推理能力所需的样本与迭代条件,证明了其在分布偏移的未见任务上的泛化性,并刻画了噪声示例下仍能准确推理的条件,实验验证了理论结果。
2025-05-25 cs.CL cs.LG
Ghost in the Kernel: In-Context Learning with Efficient Transformers via Domain Generalization
School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学院)
本文从领域泛化角度研究线性Transformer的近似与泛化能力,证明其通过上下文分布到响应函数的映射实现上下文学习,并基于理论提出激活函数与损失函数设计新视角。
2026-07-02 cs.LG stat.ML
Self-Improving Transformers Overcome Easy-to-Hard and Length Generalization Challenges
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research, AI Frontiers(微软研究院AI前沿部门)
针对大型语言模型在长度泛化及训练分布外复杂问题上的不足,提出自改进方法,使标准Transformer通过迭代学习自身解决方案,在多样任务中实现远超训练分布的泛化,部分任务性能呈指数级提升。
2025-02-13 cs.AI cs.LG
Understanding the Generalization of In-Context Learning in Transformers: An Empirical Study
Tsinghua University(清华大学)
该研究通过三维任务框架实证探究Transformer上下文学习的泛化能力,发现其缺乏问题间泛化但任务内、问题内泛化优异,混合多样训练任务可显著提升泛化效果,为训练数据设计提供指导。
2025-03-19 cs.LG
Generalization Bounds on Optimal Control for Transformer Training and Wasserstein Distributional Robustness
Bilkent University(比尔肯特大学)
该研究推导了Transformer训练的有限样本泛化界,通过将训练问题转化为马尔可夫控制问题,结合量化模型与Wasserstein分布鲁棒优化,建立了Transformer泛化与分布鲁棒控制的关联。
2026-07-31 cs.LG math.OC
Achieving and Understanding Out-of-Distribution Generalization in Systematic Reasoning in Small-Scale Transformers
Stanford University(斯坦福大学)
分布外泛化(OODG)是神经网络长期面临的挑战。这种挑战在具有明确定义的变量和规则的任务中非常明显,其中明确使用规则可以独立于变量的特定值来解决问题,但网络往往与其训练数据中采样的值范围相关联。基于transformer的大型语言模型已经突破了神经网络解决以前看不见的问题的能力,但是它们的复杂性和训练数据中相关内容的不清晰性模糊了它们如何实现这种鲁棒性。作为理解基于transformer的系统如何泛化的一步,我们探索了用已知分布的例子训练的小规模Transformers中的OODG问题。使用推理任务的基础上的难题数独,我们表明,OODG可以发生在一个复杂的问题,如果训练集包括从整个分布的简单组件任务的样本。成功的推广依赖于仔细管理位置对齐时,使用绝对位置编码,但我们发现,抑制绝对位置的敏感性克服了这一限制。总之,我们的研究结果代表了一小步,了解和促进系统化的Transformers。
2022-12-13 cs.LG
Beyond the Training Horizon: Mechanisms and Limits of Length Generalization in Looped Transformers
本研究通过机制分析揭示循环Transformer长度泛化的两种机制及其失效原因,并提出循环状态编码计算状态、可转移残差方向控制信息参与后续计算的共同原则,表明长度泛化无需忠实逐步推理。
2026-09-29 cs.AI cs.LG
Understanding Generalization in Transformers: Error Bounds and Training Dynamics Under Benign and Harmful Overfitting
Zhongtai Securities Institute for Financial Studies, Shandong University(山东大学中泰证券金融研究院);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
本文研究带标签翻转噪声的两层 Transformer,在不同 SNR 下刻画良性与有害过拟合的三阶段训练动态及泛化误差界,并通过实验验证理论预测。
2025-02-18 cs.LG