Interpretable Next-token Prediction via the Generalized Induction Head
Microsoft Research(微软研究院);Seoul National University(首尔大学);Stanford University(斯坦福大学)
针对大模型可解释性不足的问题,提出受LLM归纳头启发的可解释下一词元预测模型GIM,结合精确n-gram与神经模糊匹配检索相似序列,在语言建模和fMRI预测任务上均优于现有可解释基线,推动性能与可解释性的跨领域统一。
2025-10-24 cs.AI cs.CL cs.LG
Rethinking Associative Memory Mechanism in Induction Head
The University of Tokyo(东京大学)
本文从联想记忆视角,理论分析并实验验证了两层Transformer在下一词预测中如何捕获上下文信息并平衡预训练二元语法知识,揭示了归纳头机制的内在运作原理。
2025-07-08 cs.CL cs.LG
Out-of-distribution generalization via composition: a lens through induction heads in Transformers
BIGAI(北京智源人工智能研究院);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文通过归纳头视角研究Transformer的分布外泛化机制,发现模型可通过组合两个自注意力层学习隐藏规则,并提出嵌入空间中的共享潜在子空间作为组合桥梁的共同桥接表示假说。
2024-12-28 cs.AI cs.CL cs.LG
What One Cannot, Two Can: Two-Layer Transformers Provably Represent Induction Heads on Any-Order Markov Chains
Massachusetts Institute of Technology(麻省理工学院);École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院);University of California, Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
针对两层单头Transformer能否表示任意k阶马尔可夫过程的开放问题,本文从理论上证明其可表示任意条件k元语法,给出了ICL场景下Transformer深度与马尔可夫阶数作用关系的最紧刻画,深化了对Transformer上下文学习的理解。
2025-11-14 cs.AI cs.LG
What needs to go right for an induction head? A mechanistic study of in-context learning circuits and their formation
Gatsby Computational Neuroscience Unit, University College London(盖茨比计算神经科学单元,伦敦大学学院);Google DeepMind(谷歌DeepMind)
该研究针对Transformer中归纳头的多样性与涌现机制不明的问题,提出受光遗传学启发的因果框架,通过合成数据训练识别出三个驱动归纳头形成、引发损失相变的子电路,为理解上下文学习的机制提供了新视角。
2024-04-10 cs.LG
Spatial Induction Heads: In-Context Learning of Multidimensional Cellular Automata
Cornell University(康奈尔大学)
针对多维元胞自动机中上下文学习因序列化破坏空间邻域连续性的问题,提出空间归纳头两层收集-匹配电路,实现贝叶斯计数,实验验证泛化与机制。
2026-10-08 cs.AI cs.LG
The Evolution of Statistical Induction Heads: In-Context Learning Markov Chains
Harvard University(哈佛大学);University of Pennsylvania(宾夕法尼亚大学);NYU(纽约大学)
通过引入马尔可夫链序列建模任务,研究大型语言模型中上下文学习能力的涌现机制,发现Transformer在训练中形成统计归纳头,经历从均匀预测到一元再到二元统计的快速相变,揭示了层间交互及简单解对复杂解形成的延迟影响。
2024-02-16 cs.LG
How Transformers Get Rich: Approximation and Dynamics Analysis
本研究通过近似与动力学分析揭示了 transformers 实现 induction head 机制的原理,发现训练过程中模型会从懒惰的 n-gram 机制突变至丰富的 induction head 机制。
2025-01-29 cs.LG math.OC stat.ML
A circuit for predicting hierarchical structure in-context in Large Language Models
Harvard University(哈佛大学);Institute for Human-Centered AI(以人为中心的人工智能研究所);Helmholtz Computational Health Center(海德堡计算健康中心)
本研究通过合成任务和自然语言类比,发现大语言模型中的归纳头能自适应学习关注内容,从而在上下文中预测具有层级结构的重复模式,并揭示了其完整机制。
2025-09-25 cs.LG
Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers
Yale University(耶鲁大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
该研究针对Transformer各模块对上下文学习的贡献不明确的问题,通过分析含相对位置嵌入等的两层注意力Transformer在n-gram马尔可夫链数据上的训练,证明梯度流收敛到由各模块协同实现的广义归纳头极限模型,并经实验验证。
2024-09-09 cs.AI cs.CL cs.LG
When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures
University of California, Berkeley(加州大学伯克利分校)
本文追踪三种1B级语言模型中注意力头电路的形成轨迹,发现归纳电路形成早于注意力汇形成10-20倍令牌,且电路识别无需最终模型。
2026-06-09 cs.AI cs.LG
Spectral Probe-Circuits: A Three-Step Recipe for Identifying Attention-Head Circuits in Pretrained Transformers
University of California, Berkeley(加州大学伯克利分校)
提出一种三步法,通过频谱信号排序、任务模式筛选和组消融因果验证,无需标签即可识别预训练Transformer中执行持续内容依赖计算的注意力头电路,并在多个模型上验证了其通用性和因果必要性。
2026-06-03 cs.AI cs.LG
Linking In-context Learning in Transformers to Human Episodic Memory
University of California, San Diego(加利福尼亚大学圣迭戈分校);New York University(纽约大学)
本研究揭示Transformer大语言模型中的诱导头与人类情景记忆的CMR模型在多层面相似,发现类CMR头的层级分布与记忆偏差对应且对上下文学习有因果作用,为AI与神经科学研究提供新视角。
2024-10-31 cs.CL cs.LG
Function Induction and Task Generalization: An Interpretability Study with Off-by-One Addition
University of Southern California(南加州大学);Salesforce AI Research(Salesforce AI研究院)
本研究通过分析“加一错误”加法任务,揭示了语言模型中函数诱导机制如何实现任务泛化,展示了其在多种任务中的复用能力。
2026-03-04 cs.AI cs.CL cs.LG
Directional Routing in Transformers
本文提出了一种轻量级机制,通过共享路由器控制每个transformer注意力头的抑制方向,降低参数成本,并展示了路由在模型中的核心作用及对性能的影响。
2026-03-16 cs.AI cs.LG
The mechanistic basis of data dependence and abrupt learning in an in-context classification task
NTT Research Inc.(NTT研究公司);Harvard University(哈佛大学);Princeton University(普林斯顿大学)
本文用最小仅注意力网络复现数据分布对 ICL 与权重内学习的调控,提出双参数归纳头模型,解释其经嵌套 logit 顺序学习而突现的机制。
2023-12-03 cs.LG
The Communication Map of a Transformer
St. John Fisher University(圣约翰费舍尔大学)
该研究提出仅从权重生成语言模型所有潜在通信通道的通信图,通过实验验证其可恢复诱导电路并消除模型的诱导能力,发布了相关工具套件。
2026-11-10 cs.CL cs.LG
InductionBench: LLMs Fail in the Simplest Complexity Class
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);University of Arizona(亚利桑那大学);Rutgers University, New Brunswick(罗格斯大学新布朗斯维克分校)
本文提出 InductionBench 基准以评估 LLM 的归纳推理能力,实验显示即使最先进模型也难以掌握亚正则函数层级中最简单的复杂性类别。
2025-05-13 cs.AI cs.CL cs.FL
Overthinking the Truth: Understanding how Language Models Process False Demonstrations
UC Berkeley(加州大学伯克利分校)
该研究从语言模型内部表征出发,发现少样本学习中错误示例会引发“过度思考”现象,其机制可能与晚期层的“错误归纳头”相关,为理解和防范模型有害行为提供了新方向。
2024-03-12 cs.AI cs.CL cs.LG
Energy-Entropy Regularization: The True Power of Minimal Looped Transformers
Wai-Lun Lam
本文提出利用Tsallis熵和哈密顿动力学改进循环转换器训练,成功解决长序列归纳任务,揭示其推理能力的内在机制。
2026-01-22 cs.LG
Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
Indiana University Bloomington(印第安纳大学布鲁明顿分校)
本研究通过认知科学方法分析不同规模GPT-2模型的注意力分数与输出,发现其注意力头存在类似人类情景记忆的时间连续性等效应,归纳头是连续性效应的关键,揭示Transformer上下文学习中信息时间组织机制。
2025-02-09 cs.AI cs.CL cs.LG
Towards Understanding the Nature of Attention with Low-Rank Sparse Decomposition
Shanghai Innovation Institute(上海创新研究院);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
提出低秩稀疏注意力模型Lorsa,将多头自注意力解耦为可理解的组件,有效解决注意力叠加问题,发现更细粒度的注意力行为,并在可解释性与电路发现上优于稀疏自编码器。
2025-04-29 cs.CL cs.LG
Even Heads Fix Odd Errors: Mechanistic Discovery and Surgical Repair in Transformer Attention
Tandon School of Engineering(坦顿工程学院);New York University(纽约大学)
本文通过机制干预发现 Llama-3.1-8B-Instruct 中偶数注意力头负责数值比较、奇数头功能不兼容,并利用第 10 层 8 个偶数头及 SAE 特征分析实现仅 25% 注意力头的完美修复,揭示隐藏子结构与计算阈值。
2025-08-26 cs.AI cs.LG
The Head Complexity of Boolean Functions in Single-Layer Attention
Northeastern University(东北大学)
该研究定义了仅含一层注意力的模型中计算布尔函数所需的最小注意力头数(头复杂度),建立了其层级、下界、紧致性界及一般二元函数的通用界,明确了头数与维度、精度的不可替代性。
2026-09-04 cs.CC cs.LG
Logical Grammar Induction via Graph Kolmogorov Complexity: A Neuro-Symbolic Framework for Self-Healing Clinical Data Integrity
Department of Computer Engineering, Ferdowsi University of Mashhad(法尔德大学马什哈德分校计算机工程系)
本文提出Logic-GNN框架,通过整合时间图神经网络与图柯莫戈罗夫复杂性,推断医疗交互的逻辑语法规则,以识别临床数据中的异常,实现自愈数据完整性。
2026-05-14 cs.LG
Phase Space Attention:A Hairer Lift Circumvents the Single-Layer Induction Obstruction
通过将注意力提升到辛相空间,绕过SHT单层归纳障碍,实现精确辛且可部署的注意力,并在91.3M参数下观察到归纳涌现。\n
2026-09-29 cond-mat.mtrl-sci cs.AI cs.LG
Learning Through Noise: Why Subliminal Learning Works and When It Fails
Max Planck Institute for Dynamics and Self-Organization(马克斯·普朗克动态与自组织研究所);Faculty of Physics, Institute for the Dynamics of Complex Systems, University of Göttingen(哥廷根大学物理系,复杂系统动力学研究所)
本文研究人工神经网络中的潜意识学习现象,发现其机制依赖于兼容的输出头而非初始化匹配,并通过理论分析和实验揭示了其有效条件与失败界限。
2026-05-22 cs.AI cs.LG
Encoded but Disconnected: Decomposing Vision-Language Model Failures under a Patching Null
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本研究在三种视觉语言模型中发现中层编码答案但因果断开,通过修补实验验证失败模式,并证明其可学习性与干预效果。
2026-10-02 cs.CL cs.CV cs.LG
Heads, Tails, and AI Fails: LLMs, Randomness, and Human Judgments
Cornell University(康奈尔大学)
本研究通过生成二元随机序列的视角,探讨 LLM 如何处理随机性及其失败方式,发现 GPT 4 和 Llama 3 加剧了人类偏见,而 GPT 3.5 更随机,并提出随机性与人类特征的二分法是 LLM 的基本问题。
2026-10-05 cs.AI cs.LG
The Anxiety of Influence: Bloom Filters in Transformer Attention Heads
研究发现变换器注意力头中存在布洛姆过滤器功能,通过成员测试策略实现高效重复标记识别,且误报率随嵌入距离降低而减少。
2026-02-19 cs.AI cs.CL cs.LG
Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);P P Savani University(P P萨瓦尼大学)
研究多头潜在注意力(MLA)在语言模型中如何分离内容与位置。通过训练特定Transformer并运用多种分析方法,发现其瓶颈能保留内容丢弃位置信息,归纳头集中在单层,有“语义中心”层,且瓶颈容量供应过剩,重塑了模型相关结构。
2026-07-28 cs.AI cs.CL cs.LG
Runtime-Incremental Transformer for Reinforcement-Learning-Based Adaptive Control
Université de Picardie Jules Verne(皮卡第儒勒·凡尔纳大学);University of Palermo(巴勒莫大学)
本文提出一种运行时增量Transformer机制,在强化学习过程中根据上下文分布有效秩和头输出幅度动态增减注意力头数,消除了长记忆下固定容量控制器的灾难性故障,并在Stribeck摩擦两连杆机械臂上实现全记忆范围成功。
2026-09-15 cs.LG cs.RO
Greedy-Gnorm: A Gradient Matrix Norm-Based Alternative to Attention Entropy for Head Pruning
SWUFE-UD Institute of Data Science(西南财经大学-UD数据科学学院);School of Mathematical and Computational Sciences(数学与计算科学学院)
Greedy-Gnorm通过动态梯度范数评分替代注意力熵,提升Transformer模型压缩效率与准确性。
2026-02-04 cs.LG
Attention with Markov: A Framework for Principled Analysis of Transformers via Markov Chains
EPFL(苏黎世联邦理工学院);UT Austin(得克萨斯大学奥斯汀分校)
本文提出基于马尔可夫链的Transformer原理性分析框架,从理论上刻画单层Transformer的损失景观,解释了其陷入一元语法局部最小值而深层模型能学习二元语法的现象,并给出局部最优出现的条件。
2025-07-21 cs.CL cs.IT cs.LG
On the "Induction Bias" in Sequence Models
Qualcomm AI Research is an initiative of Qualcomm Technologies, Inc(高通人工智能研究,由高通技术公司发起)
通过大规模实验比较Transformer和RNN在状态跟踪任务上的数据效率,发现Transformer需要更多训练数据且难以跨长度共享权重,而RNN通过权重共享实现有效学习。
2026-05-29 cs.CL cs.LG