What's in your Head? Emergent Behaviour in Multi-Task Transformer Models
Blavatnik School of Computer Science, Tel-Aviv University(特拉维夫大学布拉瓦特尼克计算机科学学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
自然语言处理中多任务训练的主要范例是用共享的预训练语言模型表示输入,并为每个任务添加一个小而薄的网络(头)。给定输入,目标头部是被选择用于输出最终预测的头部。在这项工作中,我们研究了非目标头的行为,也就是说,头的输出时,给定的输入属于一个不同的任务比他们被训练。我们发现,非目标头表现出紧急的行为,这可以解释目标任务,或概括超出他们原来的任务。例如,在数值推理任务中,跨度提取头从输入中提取参数以进行计算,从而产生由目标生成头生成的数字。此外,用目标问答头训练的摘要头在给定问题和要从中提取答案的上下文时输出基于查询的摘要。这种涌现的行为表明,多任务训练会导致技能的非平凡外推,这可以用于解释性和概括性。
2021-09-05 cs.CL
Transformers generalize differently from information stored in context vs in weights
DeepMind(深度思维)
Transformer模型可以使用两种根本不同的信息:在训练期间存储在权重中的信息,以及在推理时提供的“上下文”信息。在这项工作中,我们表明,Transformers表现出不同的感性偏见,他们如何表示和概括这两个来源的信息。特别是,我们的特点是否通过简约的规则(基于规则的泛化)或通过直接比较观察到的例子(基于范例的泛化),他们概括。这具有重要的实际意义,因为它决定了是在权重中还是在上下文中对信息进行编码,这取决于我们希望模型如何使用这些信息。在受控刺激上训练的Transformers中,我们发现从权重的泛化更基于规则,而从上下文的泛化主要是基于范例的。相比之下,我们发现在自然语言预训练的Transformers中,上下文学习是基于规则的,更大的模型显示出更多的基于规则。我们假设,基于规则的概括,从上下文信息可能是一个紧急的结果,大规模的培训语言,它具有稀疏的规则结构。使用受控刺激,我们验证了在包含稀疏规则结构的数据上预训练的Transformers表现出更多基于规则的泛化。
2022-10-13 cs.AI cs.CL cs.LG
A Theory of Emergent In-Context Learning as Implicit Structure Induction
Saarland University(萨尔大学);Microsoft Research India(微软印度研究院)
扩展大语言模型(LLM)导致从示例演示中学习上下文的能力。尽管取得了进展,但对这一现象的理论认识仍然有限。我们认为,上下文学习依赖于重组的组合操作中发现的自然语言数据。我们推导出一个信息理论界,展示了在语言动机假设下,当预训练分布具有足够的组成结构时,上下文学习能力如何从通用的下一个标记预测中产生。第二个界限提供了一个理论上的理由,经验上的成功,促使LLM输出中间步骤的答案。为了验证理论预测,我们引入了一个可控的设置诱导上下文学习,与以前的方法不同,它占语言的组成性质。经过训练的Transformers可以执行上下文学习的一系列任务,在与理论结果一致的方式。在微型设置中模仿真实世界的LLM,当缩放参数和数据时,上下文学习出现,并且当提示输出中间步骤时,模型表现得更好。探索表明,上下文学习是由输入的组成结构的表示支持。总之,这些结果提供了一个步骤,在理论上理解的涌现行为在大语言模型。
2023-03-14 cs.CL cs.LG
Emergent Search and Backtracking in Latent Reasoning Models
研究发现潜在推理模型在无词推理中自发学习结构化搜索过程,通过回溯提升准确率并适应性地调整探索路径。
2026-02-08 cs.AI cs.CL
Numeracy from Literacy: Data Science as an Emergent Skill from Large Language Models
PeopleTec(PeopleTec公司)
大语言模型(LLM),如OpenAI的ChatGPT和GPT-3,为探索将识字能力转化为算术能力的翻译挑战提供了独特的测试平台。十八个月前的公开可用的Transformer模型和小1000倍的模型不能提供基本的算法。这里描述的四个复杂数据集的统计分析结合了无法通过简单规则记忆或编码的算术操作。这项工作探讨了下一个标记预测是否成功地从句子完成到实际的数字理解领域。例如,这项工作突出了LLM最初从内存加载或使用Python库随机生成的内存数据集上的描述性统计数据的情况。由此产生的探索性数据分析展示了该模型的能力,以分组或枢轴分类总和,推断特征重要性,推导相关性,并使用线性回归预测看不见的测试用例。为了扩展模型的可测试范围,研究删除并添加了随机行,这样回忆本身就不能解释涌现的计算能力。
2023-01-31 cs.CL
Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
本文提出叠加线性假设,证明LLMs在输入线性组合时输出叠加分布,通过轻量级微调恢复线性,并引入引导解码实现单次前向传播生成两个连贯续写。
2026-09-25 cs.AI cs.CL
What Algorithms can Transformers Learn? A Study in Length Generalization
Apple(苹果公司);Mila, Université de Montréal(米拉研究所,蒙特利尔大学);Tel Aviv University(特拉维夫大学)
研究Transformer在算法任务上的长度泛化能力,提出RASP泛化猜想,指出若任务可用适用于所有输入长度的简短RASP程序解决则Transformer能实现长度泛化,并据此大幅提升了奇偶性和加法等困难任务的泛化性能。
2023-10-24 cs.AI cs.CL cs.LG
Emergent autonomous scientific research capabilities of large language models
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种结合多个大型语言模型的智能体系统,可自主设计、规划和执行科学实验,并通过成功完成催化交叉偶联反应等三个示例验证其能力,同时讨论了安全风险与防范措施。
2023-04-11 cs.CL physics.chem-ph
Systematic Generalization and Emergent Structures in Transformers Trained on Structured Tasks
Stanford University(斯坦福大学)
Transformer网络在自然语言处理和机器视觉方面取得了巨大成功,其中下一个单词预测和图像分类等任务目标受益于高维输入的细微上下文敏感性。然而,有一个正在进行的辩论如何以及何时Transformers可以获得高度结构化的行为,并实现系统的推广。在这里,我们探讨如何以及因果Transformer可以执行一组算法任务,包括复制,排序,和这些操作的分层组合。我们展示了强大的泛化序列比那些在训练中使用的替换标准的位置编码通常用于Transformers器与标签任意配对的序列中的项目。我们寻找足以解决这些任务的层次和头部配置,然后探索潜在表征和注意模式中系统处理的迹象。我们表明,两层Transformers学习可靠的解决方案,多层次的问题,开发任务分解的迹象,并编码输入项的方式,鼓励利用共享计算相关的任务。这些结果提供了关于注意力层如何在任务内和跨多个任务支持结构化计算的关键见解。
2022-12-10 cs.AI cs.LG
Emergent Stack Representations in Modeling Counter Languages Using Transformers
Birla Institute of Technology and Science, Pilani(比拉理工学院皮拉尼分校);Saarland University(萨尔大学)
本文在4种计数器语言上训练Transformer模型,并用栈等价表示这些语言,通过探测内部表示发现模型作为下一token预测器学习到了类似栈的表示,为理解Transformer学习语言的算法机制和电路发现提供了新见解。
2025-02-03 cs.CL cs.LG
Coherent Wave Dynamics and Language Generation of a Generative Pre-trained Transformer
Meta Platforms Inc.(元平台公司)
本研究通过分析小型GPT的隐藏状态波动力学,揭示了相干振荡模式与语言生成的关系,并观察到拼写错误分布的相变现象,为理解大型语言模型的涌现能力提供了新视角。
2023-05-08 cs.CL nlin.PS
Learning stochastic dynamics and predicting emergent behavior using transformers
Ghent University(根特大学);University of Ottawa(渥太华大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们表明,最初设计用于语言处理的神经网络可以通过观察系统的单个动力学轨迹来学习随机系统的动力学规则,并且可以在训练过程中未观察到的条件下准确预测其紧急行为。我们考虑一个晶格模型的活性物质进行连续时间蒙特卡罗动力学,模拟密度在其稳定状态包括小,分散的集群。我们在模型的单一轨迹上训练一个称为Transformer的神经网络。的Transformer,我们表明有能力代表的动态规则,是众多的和非本地的,学习这个模型的动态组成的一个小数目的进程。前向传播的轨迹的训练Transformer,在训练过程中没有遇到的密度,表现出运动诱导的相分离,因此预测的非平衡相变的存在。Transformers具有从观察中学习动力学规则的灵活性,而无需显式枚举速率或粗粒度的配置空间,因此这里使用的过程可以应用于广泛的物理系统,包括具有大型和复杂动态生成器的系统。
2022-02-17 cond-mat.soft cond-mat.stat-mech cs.LG
Adversarial Activation Patching: A Framework for Detecting and Mitigating Emergent Deception in Safety-Aligned Transformers
Microsoft Corporation(微软公司)
本文提出对抗性激活修补框架,通过将欺骗性提示的激活注入安全前向传播,在Transformer模型中诱发、检测并缓解涌现性欺骗,实验证明其使欺骗输出升至23.9%,并提出了缓解策略与未来研究方向。
2025-07-12 cs.AI cs.LG
The underlying structures of self-attention: symmetry, directionality, and emergent dynamics in Transformer training
Institute of Neuroinformatics, ETH Zürich and University of Zürich(神经信息学研究所,苏黎世联邦理工学院和苏黎世大学);Centre for Artificial Intelligence, Zürich University of Applied Sciences(人工智能研究中心,应用科学大学);ECLT European Centre for Living Technology, Venice, Italy(欧洲生命科技中心,威尼斯,意大利);ETH AI Center, Zürich, Switzerland(苏黎世联邦理工学院AI中心)
本文提出数学框架分析自注意力权重更新结构,揭示双向训练诱导对称性、自回归训练导致方向性,并验证对称初始化可提升编码器模型性能。
2025-06-03 cs.LG
Dynamics of Transient Structure in In-Context Linear Regression Transformers
Gradient Institute(格雷迪安特研究所);University of Oxford(牛津大学);University of Melbourne(墨尔本大学)
本文研究了 Transformer 在上下文线性回归任务中的瞬态岭现象,发现模型会从岭回归的通用解转变为特化解,并基于贝叶斯内部模型选择理论,通过损失与复杂性的动态权衡解释了该瞬态结构。
2025-01-31 cs.LG
Emergent Agentic Transformer from Chain of Hindsight Experience
University of California, Berkeley(加州大学伯克利分校)
本文提出智能体 Transformer(AT),通过后见之明链重新标记次优轨迹并训练自回归模型,使基于 Transformer 的策略能直接组合多个次优经验,在 D4RL 和 ExoRL 上首次与 TD 和模仿学习方法相竞争,并展现随模型规模扩大而持续提升的趋势。
2023-05-26 cs.LG
Transformers Struggle to Use Their Emergent World Models: Revisiting the Tower of Hanoi, and the Illusion of Thinking
University of Amsterdam(阿姆斯特丹大学)
本文研究发现,Qwen3.6-27B等大型推理模型虽能编码汉诺塔的谢尔宾斯基世界模型,但因表示衰减导致圆环数超3时失败,注入提示词时间表示可部分恢复性能。
2026-08-10 cs.AI cs.LG
Vision Transformer for Transient Noise Classification
Institute of Astronomy, Nicolaus Copernicus University in Toruń(天文学研究所,尼古拉·哥白尼大学(托伦))
本研究利用视觉Transformer(ViT-B/32)对LIGO数据中的瞬态噪声进行分类,在包含24个类别的组合数据集上达到92.26%的分类效率,展示了其提升引力波探测准确性的潜力。
2025-10-06 astro-ph.IM cs.CV cs.LG
Emergent Modularity in Pre-trained Transformers
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(大数据管理与分析方法北京市重点实验室);NLP Group, DCST, IAI, BNRIST, Tsinghua University(清华大学计算机科学与技术系、人工智能研究院、北京国家信息科学与技术研究中心自然语言处理组);International Innovation Center of Tsinghua University, Shanghai(清华大学上海国际创新中心);Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯微信人工智能模式识别中心);Quan Cheng Laboratory(泉城实验室)
本文研究预训练Transformer中的模块化现象,发现神经元存在功能特化并能按功能分组为专家模块,且模块结构在预训练早期先于神经元功能稳定,表明Transformer先构建模块化结构再学习细粒度功能。
2023-10-30 cs.CL cs.LG
Development of Deep Transformer-Based Models for Long-Term Prediction of Transient Production of Oil Wells
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术学院)
我们提出了一种新的方法来数据驱动的建模的油井的瞬态生产。我们应用基于变换的神经网络训练的多变量时间序列组成的油井在其开采过程中测量的各种参数。通过在开源现场数据集上调整单井的机器学习模型(忽略相邻井的影响),我们证明了Transformer在预测井底压力动态方面优于具有LSTM/GRU单元的递归神经网络。我们将迁移学习过程应用于基于变换器的代理模型,该模型包括对来自某个井的数据集的初始训练和对来自目标井的数据集的模型权重的额外调整。迁移学习方法有助于提高模型的预测能力。接下来,我们将基于Transformer架构的单井模型推广到多井,以模拟复杂的瞬态油田水平模式。换句话说,我们创建了处理数据集的全局模型,该数据集由多口井的生产历史组成,并允许捕获井干扰,从而更准确地预测所考虑的每口井的井底压力或流速演变。所开发的单井和油田规模模拟仪器可用于通过选择操作制度和潜水设备来优化生产过程,以提高油气采收率。此外,这些模型有助于进行试井,避免昂贵的关井操作。
2021-10-12 cs.LG
One Model, Two Roles: Emergent Specialization in a Shared Recurrent Transformer
Rice University(里士大学)
该研究探讨了共享权重的递归变压器是否能在未被分割成独立模块的情况下发展出不同的内部角色,通过不对称输入递归(AIR)架构发现,模型内部状态分化出不同的功能角色,并展示了这种分化与模型状态动态的关系。
2026-10-30 cs.AI cs.LG math.OC
Paying Attention to Astronomical Transients: Introducing the Time-series Transformer for Photometric Classification
Mullard Space Science Laboratory(穆拉德空间科学实验室);University College London(伦敦大学学院)
针对未来巡天项目海量暂现源测光数据的分类难题,提出适用于多变量时间序列的新型Transformer架构,在PLAsTiCC数据集上取得了与当前最优方法相当的测光分类性能,且具备可解释性。
2023-10-04 astro-ph.IM cs.LG
Understanding Emergent Abilities of Language Models from the Loss Perspective
Zhipu AI(智谱AI);Tsinghua University(清华大学)
该研究从预训练损失视角探究语言模型涌现能力,发现相同预训练损失的Transformer模型下游性能一致,损失低于阈值时涌现能力显现,据此重新定义了涌现能力。
2025-01-15 cs.AI cs.CL cs.LG
Emergent musical properties of a transformer under contrastive self-supervised learning
本文挑战了对比自监督学习在MIR局部任务上表现不足的假设,通过NT-Xent训练ViT-1D模型,发现其序列标记能涌现出丰富的音乐特性,在局部和全局任务中均表现优异,推进了对Transformer的音乐解释。
2025-06-30 cs.IR cs.LG cs.SD
The Spectral Lifecycle of Transformer Training: Transient Compression Waves, Persistent Spectral Gradients, and the Q/K--V Asymmetry
本文系统研究了Transformer预训练过程中权重矩阵奇异值谱,发现瞬态压缩波、持久谱梯度和Q/K--V不对称性现象,并提出了双时间尺度动态模型和缩放定律。
2026-04-03 cs.AI cs.LG
Effects of Parameter Norm Growth During Transformer Training: Inductive Bias from Gradient Descent
Allen Institute for AI(艾伦人工智能研究所);New York University(纽约大学);University of Washington(华盛顿大学);Bar Ilan University(巴伊兰大学);Hebrew University of Jerusalem(希伯来大学)
众所周知,像广泛采用的Transformer这样的神经网络的容量非常高。有证据表明,由于训练程序中的归纳偏差,它们成功地学习,通常是梯度下降(GD)的变体。为了更好地理解这种偏差,我们研究了Transformer参数在训练过程中幅度增长的趋势($\ell_2$范数),以及它对自注意力层内的涌现表征的影响。从经验上讲,我们记录了Transformer语言模型训练中的规范增长,包括预训练期间的T5。随着参数的增长,我们证明了网络近似饱和激活函数的离散网络。已知这种“饱和”网络与可以用形式语言和自动机描述的完整网络族相比具有减小的容量。我们的研究结果表明,饱和度是一个新的表征的感应偏置隐含在GD的特别感兴趣的NLP。我们利用饱和的Transformer中涌现的离散结构来分析不同注意力头的作用,发现一些注意力集中在少数位置上,而其他注意力头计算全局平均值,允许计数。我们相信理解这两种能力之间的相互作用可能会进一步阐明大型Transformers中的计算结构。
2023-03-07 cs.CL cs.LG
A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language
Harvard University(哈佛大学);University of Michigan(密歇根大学);RIKEN(理化学研究所);The University of Tokyo(东京大学);NTT Research, Inc.(NTT研究公司);RIKEN Center for Biosystems Dynamics Research(理化学研究所生物系统动力学研究中心)
论文提出神经网络涌现的现象学定义,利用上下文敏感形式语言验证 Transformers 对底层结构的习得引发窄任务性能突增,并以二分图渗流相变模型预测涌现点变化。
2024-09-07 cs.AI cs.LG
Emergent Semantic Role Understanding in Language Models
University College London(伦敦大学学院);University of Bologna(博洛尼亚大学)
研究语言模型预训练中语义角色理解的涌现情况,发现预训练表示包含显著的语义角色信息,但未完全匹配微调模型表现。
2026-05-09 cs.AI cs.CL cs.LG
Transformer-Based Indirect Structural Health Monitoring of Rail Infrastructure with Attention-Driven Detection and Localization of Transient Defects
针对铁路断轨检测中微小瞬态异常难以识别的问题,提出基于注意力权重偏差的无监督Transformer模型,在合成基准上达到最先进精度且推理更快,并揭示高频噪声是关键瓶颈。
2025-10-08 cs.LG eess.SP
The Tiny Time-series Transformer: Low-latency High-throughput Classification of Astronomical Transients using Deep Model Compression
University College London(伦敦大学学院);Université Paris-Saclay(巴黎萨克雷大学);The Alan Turing Institute(艾伦·图灵研究所)
天文学的一个新的黄金时代即将到来,由数据主导。大型天文调查正在以前所未有的速度传播信息,这要求机器学习作为现代科学管道中的关键组成部分来处理大量数据。即将到来的空间和时间遗产调查(LSST)的维拉C。鲁宾天文台将提高时域天文学的大数据标准,预计每晚将发出1000万次警报,并在调查的整个生命周期内生成许多PB的数据。对于时间紧迫的事件,需要快速有效的分类算法,这些算法可以实时操作,但又可靠和准确,因为在这些事件中,可以寻求额外的资源进行后续分析。为了处理这些数据,最先进的深度学习架构以及利用现代硬件加速器的工具是必不可少的。我们展示了如何使用现代深度压缩方法可以实现模型大小的$18\times$减少,同时保持分类性能。我们还表明,除了深度压缩技术,仔细选择文件格式可以提高推理延迟,从而提高警报的吞吐量,在本地处理的顺序为$8\times$,并在现场生产环境中的$5\times$。为了在现场环境中测试这一点,我们将原始时间序列Transformer的优化版本t2部署到FINK的社区警报经纪系统中,对真实的Zwicky Transient Facility(ZTF)警报数据进行分析,并将吞吐量性能与FINK中存在的其他科学模块进行比较。本文所示的结果强调了时间序列Transformer在LSST规模及以上的实时分类中的适用性,并引入了深度模型压缩作为改进深度学习模型的部署能力和可扩展推理…
2023-03-15 astro-ph.IM cs.LG
Transient Chaos in BERT
The University of Tokyo(东京大学)
语言是人类复杂的、动态的交互活动的产物,因此自然语言处理技术是建立在人类语言活动的基础上的。来自Transformers的双向编码器表示(BERT)最近通过在几个NLP基准测试中建立最先进的分数而受到欢迎。Lite BERT(ALBERT)的字面特征是BERT的轻量级版本,其中通过重复应用称为Transformer的编码器层的相同神经网络来减少BERT参数的数量。通过使用大量自然语言数据预训练参数,ALBERT可以将输入句子转换为通用的高维向量,从而有可能解决多个NLP任务。从这个意义上说,ALBERT可以被看作是一个设计良好的高维动力系统,其算子是Transformer的编码器,因此人类语言的基本结构有望被封装在其动力学。在这项研究中,我们研究了ALBERT的嵌入特性,以揭示如何通过利用其动态来有效地解决NLP任务。因此,我们的目的是探索人类语言的自然语言处理模型的动态表达。我们的短期分析表明,预先训练的模型稳定地产生具有更高维度的轨迹,这将增强NLP任务所需的表达能力。此外,我们的长期分析表明,ALBERT本质上表现出瞬态混沌,这是一种典型的非线性现象,仅在其瞬态中表现出混沌动力学,与随机初始化的模型相比,预训练的ALBERT模型往往会在更长的时间内产生混沌轨迹。我们的研究结果表明,局部混沌性将有助于提高NLP性能,揭示了混沌动力学在人类语言行为中的作用的一个新方面。
2021-06-09 cs.AI cs.CL cs.LG
Beyond Position: the emergence of wavelet-like properties in Transformers
Sapienza University of Rome(罗马萨皮恩扎大学)
本文揭示带 RoPE 的 Transformer 会自发演化出类小波的多分辨率处理能力,以克服位置编码的理论限制,并证明该行为具有尺度不变性且符合不确定性原理。
2025-06-04 cs.AI cs.LG
Emergent properties with repeated examples
FAIR, Meta(FAIR,元公司);NYU CDS and Courant Institute(纽约大学数据科学中心与柯朗数学科学研究所)
该研究通过算法生成的数学数据集探究Transformer性能与训练样本重复次数的关系,发现固定训练步数下重复小样本训练效果优于单次大样本,且双集训练可加速学习并提升性能,为研究深度学习中泛化与记忆的相互作用提供受控场景。
2024-10-09 cs.AI cs.LG
Multi-scale Residual Transformer for VLF Lightning Transients Classification
Ocean University of China(中国海洋大学);Yantai University(烟台大学)
针对现有 CNN 忽视闪电信号多尺度属性及时序重要性的问题,提出 MRTransformer 多尺度残差模型,以捕捉细粒度模式并加权序列特征,分类准确率达 90%。
2023-12-07 cs.LG stat.ML
Learning emergent PDEs in a learned emergent space
Johns Hopkins University(约翰斯·霍普金斯大学);Princeton University(普林斯顿大学);TU München(慕尼黑工业大学);Massey University(梅西大学)
我们提取数据驱动的,内在的空间坐标从观察耦合异构代理的大系统的动态。然后,这些坐标作为一个新兴的空间,在其中学习预测模型的形式偏微分方程(PDE)的耦合剂系统的集体描述。它们在这个PDE中扮演独立空间变量的角色(与依赖的,也可能是数据驱动的状态变量相反)。这导致了另一种描述的动态,本地在这些紧急坐标,从而促进了复杂的耦合剂系统的替代建模路径。我们说明了这种方法的系统中,每个代理是一个极限环振荡器(所谓的斯图尔特-朗道振荡器),代理是异构的(他们每个人都有不同的固有频率$ω$),并通过其各自的变量的合奏平均耦合。快速初始瞬态后,我们表明,集体动力学的慢流形上可以近似通过学习模型的基础上,当地的“空间”偏导数的紧急坐标。然后,该模型用于预测的时间,以及捕捉集体分岔时,系统参数变化。因此,所提出的方法集成了自动的,数据驱动的提取紧急空间坐标参数化的代理动力学,与机器学习辅助识别的“紧急PDE”描述的动力学参数化。
2020-12-23 cs.LG nlin.AO nlin.PS
Toward a Graph Foundation Model: Pre-Training Transformers With Random Walks
本研究针对图基础模型构建难题,提出用多条随机游走表示节点以适配Transformer架构,设计新的上下文预测损失并理论分析其表达能力,验证了模型预训练及下游任务适配的潜力。
2025-06-17 cs.AI cs.LG
Symmetry Reveals Layerwise Dynamics: How Transformers Perform In-Context Classification
Boston University, Departments of Computer Science
通过强制特征和标签排列等变性,从Transformer中提取出显式的深度索引递归更新规则,揭示了上下文分类的几何驱动算法。
2026-08-11 cs.AI cs.LG
Self-attention as an attractor network: transient memories without backpropagation
University of Rome Sapienza(罗马智慧大学)
本文提出将自注意力层表示为局部能量项的导数,利用与伪似然的类比设计无需反向传播训练的循环模型,为从物理学视角理解Transformers提供了新的吸引子网络框架。
2024-09-24 cond-mat.dis-nn cs.LG
Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds
Department of Computer Engineering, Bahçeşehir University(计算机工程系,巴切谢希尔大学)
研究深度变换器模型中多步推理的隐含物体恒存现象,通过拓扑相变和重整化群流揭示低熵区域的形成机制。
2026-01-16 cs.CL cs.LG
ViTAMINS: An Empirical Study of Training Self-Supervised Vision Transformers with Synthetic Hard Negatives
Imperial College London(帝国理工学院)
本研究提出ViTAMINS方法,将合成难负样本用于视觉Transformer预训练,经多任务基准测试,该方法性能优于竞争模型且资源效率更高,推动对比学习成为主流生成式与自蒸馏方法的替代方案。
2026-09-02 cs.AI cs.CV cs.LG
Optimizer-Induced Low-Dimensional Drift and Transverse Dynamics in Transformer Training
研究揭示了Transformer训练中优化器诱导的低维漂移方向,分析了其在不同优化器下的稳定性及影响因素,强调累积更新动态的重要性。
2026-03-18 cs.AI cs.LG
Spectro-ViT: A Vision Transformer Model for GABA-edited MRS Reconstruction Using Spectrograms
University of Campinas(坎皮纳斯大学);University of Calgary(卡尔加里大学);Hotchkiss Brain Institute(霍奇基斯脑研究所);Alberta Children’s Hospital Research Institute(阿尔伯塔儿童医院研究所);CPQD(CPQD(电信研发中心))
研究提出Spectro-ViT模型,利用视觉Transformer从四分之一采集次数的频谱图重建GABA编辑MRS,在四项指标上显著优于其他模型,使扫描速度提升达四倍。
2023-11-26 cs.LG eess.IV physics.med-ph
The Kinetics of Reasoning: How Chain-of-Thought Shapes Learning in Transformers?
The University of Chicago(芝加哥大学);Amazon Web Services(亚马逊网络服务)
思想链(CoT)监督可以大大提高Transformer的性能,但模型学习遵循CoT并从中受益的机制仍然知之甚少。我们调查这些学习动态通过镜头grokking预训练Transformers器上的符号推理任务与可调的算法复杂性和可控的数据组成,以研究其泛化。模型在两种设置下进行训练:(i)仅产生最终答案,以及(ii)在回答之前发出明确的CoT轨迹。我们的研究结果表明,虽然CoT通常可以提高任务性能,但它的好处取决于任务的复杂性。为了量化这些影响,我们用三参数逻辑曲线对对数训练步骤的准确性进行了建模,揭示了学习速度和形状如何随任务复杂性、数据分布和CoT监督的存在而变化。我们还发现了一个短暂的跟踪不忠诚阶段:在训练的早期,模型通常会在跳过或反驳CoT步骤的同时产生正确的答案,然后再将其推理轨迹与答案对齐。从经验上讲,我们(1)证明CoT加速了泛化,但不能克服算法复杂度较高的任务,例如查找列表交集;(2)引入一个动力学建模框架来理解Transformer学习;(3)将跟踪忠实性描述为在训练过程中出现的动态属性;(4)显示CoT机械地改变了内部Transformer计算。
2025-10-28 cs.AI cs.LG
Enabling Robust In-Context Memory and Rapid Task Adaptation in Transformers with Hebbian and Gradient-Based Plasticity
St Paul’s School(圣保罗学校)
本文在仅解码器Transformer中引入赫布型与基于梯度的快速权重可塑性模块,发现赫布规则在小样本泛化上更强,梯度更新擅长长时程信用分配,并揭示了可塑性有效的边界条件。
2025-11-04 cs.AI cs.LG cs.NE
Unsupervised Transformer Pre-Training for Images: Self-Distillation, Mean Teachers, and Random Crops
Technical University Munich(慕尼黑技术大学)
本综述梳理图像无监督Transformer预训练方法DINOv2的核心技术(多裁剪增强、均值教师自蒸馏)的发展脉络,对比其与相关方法在下游任务的性能,介绍其特征涌现特性,并讨论局限性与未来方向。
2025-10-04 cs.CV cs.LG eess.IV
Learning In-context n-grams with Transformers: Sub-n-grams Are Near-stationary Points
Theory of Machine Learning Lab, EPFL, Switzerland(机器学习理论实验室,瑞士联邦理工学院)
本文研究Transformer学习上下文n-gram时的损失景观,证明子n-gram构成总体交叉熵损失的近驻点,为训练中的阶段性平台和相变现象提供理论解释。
2025-08-19 cs.LG
Leveraging chaotic transients in the training of artificial neural networks
Institute for Cross-Disciplinary Physics and Complex Systems (IFISC, CSIC-UIB)(跨学科物理与复杂系统研究所)
通过利用混沌瞬态,研究发现大学习率下神经网络训练可进入探索-利用平衡区域,从而加速训练过程。
2026-03-08 cond-mat.dis-nn cs.LG nlin.CD
Emergence of Segmentation with Minimalistic White-Box Transformers
ShanghaiTech(上海科技大学);NYU(纽约大学);TTIC(丰田技术研究所);HKU(香港大学);UC Berkeley(加州大学伯克利分校)
本研究证明,通过采用白盒Transformer架构CRATE,即使在极简监督训练下也能涌现分割特性,并揭示其与设计数学功能的一致性,为可解释基础模型提供了新路径。
2023-08-30 cs.CV cs.LG
Strategy Coopetition Explains the Emergence and Transience of In-Context Learning
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院加茨比计算神经科学单元);University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind)
本文通过提出“上下文约束的权重内学习”(CIWL)与“策略竞合”概念,并构建最小化数学模型,解释了Transformer中上下文学习(ICL)的涌现与短暂性,进而找到使ICL真正涌现且持久的设置。
2025-03-10 cs.LG
Predicting Atomistic Transitions with Transformers
Computing and Artificial Intelligence Division, Los Alamos National Laboratory(计算与人工智能部门,洛斯阿拉莫斯国家实验室);School of Engineering and Computer Science, University of Denver(工程与计算机科学学院,丹佛大学);Department of Physics and Astronomy, University of Denver(物理与天文学系,丹佛大学);Department of Electrical and Computer Engineering, University of Texas at Austin(电气与计算机工程系,德克萨斯大学奥斯汀分校);School of Computational Science and Engineering, Georgia Institute of Technology(计算科学与工程学院,佐治亚理工学院);Theoretical Division, Los Alamos National Laboratory(理论部门,洛斯阿拉莫斯国家实验室);X Computational Physics Division, Los Alamos National Laboratory(X计算物理部门,洛斯阿拉莫斯国家实验室)
本文利用变压器模型高效预测纳米簇中的原子级转变,通过评估物理有效性并生成多种微态,降低计算成本。
2026-04-29 cond-mat.mtrl-sci cs.LG