Mechanistic Interpretability of Fine-Tuned Vision Transformers on Distorted Images: Decoding Attention Head Behavior for Transparent and Trustworthy AI
Krembil Research Institute, University Health Network(肯贝尔研究所,大学健康网络)
本研究通过机制可解释性分析微调于失真频谱图的视觉Transformer各层注意力头的功能与任务贡献,揭示了模型功能特化规律,为构建更安全透明的AI提供支撑。
2025-03-24 cs.AI cs.LG
The mechanistic basis of data dependence and abrupt learning in an in-context classification task
NTT Research Inc.(NTT研究公司);Harvard University(哈佛大学);Princeton University(普林斯顿大学)
本文用最小仅注意力网络复现数据分布对 ICL 与权重内学习的调控,提出双参数归纳头模型,解释其经嵌套 logit 顺序学习而突现的机制。
2023-12-03 cs.LG
Momentum Attention: The Physics of In-Context Learning and Spectral Forensics for Mechanistic Interpretability
Qualcomm Cloud AI Division(高通云人工智能部门)
动量注意力通过引入物理先验和辛增广,实现上下文学习与频谱分析的物理机制可解释性,突破传统深度限制,提升模型性能。
2026-02-07 cs.AI cs.LG
The Evolution of Statistical Induction Heads: In-Context Learning Markov Chains
Harvard University(哈佛大学);University of Pennsylvania(宾夕法尼亚大学);NYU(纽约大学)
通过引入马尔可夫链序列建模任务,研究大型语言模型中上下文学习能力的涌现机制,发现Transformer在训练中形成统计归纳头,经历从均匀预测到一元再到二元统计的快速相变,揭示了层间交互及简单解对复杂解形成的延迟影响。
2024-02-16 cs.LG
Selective Induction Heads: How Transformers Select Causal Structures In Context
Theory of Machine Learning Lab, EPFL, Lausanne, Switzerland(机器学习理论实验室,EPFL,拉瓦尔湖,瑞士)
本文提出交错马尔可夫链框架,揭示选择性归纳头的形成,使Transformer能在上下文中动态选择正确因果结构,并通过3层构造和理论分析证明其渐近收敛于最大似然解。
2025-09-09 cs.LG stat.ME
Which Attention Heads Matter for In-Context Learning?
UC Berkeley(加州大学伯克利分校)
本研究比较了12个语言模型中的归纳头和函数向量(FV)头,发现少样本ICL性能主要依赖FV头,且FV头在训练中多由归纳头转变而来,表明归纳机制促进了驱动ICL的复杂FV机制的学习。
2025-02-19 cs.AI cs.CL cs.LG
The Struggle Between Continuation and Refusal: A Mechanistic Analysis of the Continuation-Triggered Jailbreak in LLMs
School of Computer Science & Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院)
本文研究了LLMs中延续触发突破现象,揭示了模型内在延续驱动与安全防御之间的竞争机制,为提升模型安全性提供了新视角。
2026-09-07 cs.AI cs.LG
Even Heads Fix Odd Errors: Mechanistic Discovery and Surgical Repair in Transformer Attention
Tandon School of Engineering(坦顿工程学院);New York University(纽约大学)
本文通过机制干预发现 Llama-3.1-8B-Instruct 中偶数注意力头负责数值比较、奇数头功能不兼容,并利用第 10 层 8 个偶数头及 SAE 特征分析实现仅 25% 注意力头的完美修复,揭示隐藏子结构与计算阈值。
2025-08-26 cs.AI cs.LG
Short-circuiting Shortcuts: Mechanistic Investigation of Shortcuts in Text Classification
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Utrecht University(乌特雷赫大学)
本文通过机制可解释性方法揭示语言模型利用演员姓名等捷径提前决策的注意力头,并提出基于头的令牌归因(HTA)来检测捷径并选择性停用相关注意力头以缓解虚假相关性。
2025-05-09 cs.CL cs.LG
Mechanistic Data Attribution: Tracing the Training Origins of Interpretable LLM Units
University of Science and Technology of China(中国科学技术大学)
提出机械论数据归因(MDA)框架,利用影响函数将可解释单元追溯到特定训练样本,通过因果验证表明干预高影响样本可显著调节可解释头的涌现,并发现重复结构数据作为机械催化剂,同时验证了归纳头与上下文学习之间的功能联系。
2026-06-07 cs.AI cs.CL cs.LG
Rethinking Associative Memory Mechanism in Induction Head
The University of Tokyo(东京大学)
本文从联想记忆视角,理论分析并实验验证了两层Transformer在下一词预测中如何捕获上下文信息并平衡预训练二元语法知识,揭示了归纳头机制的内在运作原理。
2025-07-08 cs.CL cs.LG
Interpretable Next-token Prediction via the Generalized Induction Head
Microsoft Research(微软研究院);Seoul National University(首尔大学);Stanford University(斯坦福大学)
针对大模型可解释性不足的问题,提出受LLM归纳头启发的可解释下一词元预测模型GIM,结合精确n-gram与神经模糊匹配检索相似序列,在语言建模和fMRI预测任务上均优于现有可解释基线,推动性能与可解释性的跨领域统一。
2025-10-24 cs.AI cs.CL cs.LG
A circuit for predicting hierarchical structure in-context in Large Language Models
Harvard University(哈佛大学);Institute for Human-Centered AI(以人为中心的人工智能研究所);Helmholtz Computational Health Center(海德堡计算健康中心)
本研究通过合成任务和自然语言类比,发现大语言模型中的归纳头能自适应学习关注内容,从而在上下文中预测具有层级结构的重复模式,并揭示了其完整机制。
2025-09-25 cs.LG
From Shortcut to Induction Head: How Data Diversity Shapes Algorithm Selection in Transformers
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);Flatiron Institute(Flatiron研究所);CNRS(法国国家科学研究中心);Université Côte d’Azur(蔚蓝海岸大学);New York University(纽约大学)
本研究探讨了数据多样性如何影响Transformer算法选择,证明输入多样性可使模型实现归纳头并泛化,而低多样性则导致位置捷径失效,同时揭示了预训练上下文长度与泛化能力的权衡。
2025-12-21 cs.LG stat.ML
Iteration Head: A Mechanistic Study of Chain-of-Thought
FAIR, Meta AI(FAIR,Meta人工智能公司);Datashape, INRIA(Datashape,法国国家信息与自动化研究所);Courant University and Center for Data Science, NYU(纽约大学柯朗数学科学研究所与数据科学中心);Center for Data Science, NYU(纽约大学数据科学中心);NYU(纽约大学);Courant University(柯朗大学)
本文在受控可解释的transformer设置中研究CoT推理的机制,发现并追踪负责迭代推理的iteration heads,同时评估其CoT技能的跨任务可迁移性。
2024-10-28 cs.AI cs.CL cs.LG
Mechanistic Interpretability for Neural Networks: Circuits, Sparse Features and Symbolic Reasoning
The University of Texas at Dallas(德克萨斯大学达拉斯分校);VSB—Technical University of Ostrava(奥斯特拉瓦技术大学)
研究神经网络机械可解释性,通过Transformer电路分析、Sparse Autoencoders等工具应对叠加等挑战,探索控制模型行为方法,还将机械见解与神经符号人工智能框架联系,以实现神经网络内部算法逆向工程及可解释。
2026-07-09 cs.LG
What One Cannot, Two Can: Two-Layer Transformers Provably Represent Induction Heads on Any-Order Markov Chains
Massachusetts Institute of Technology(麻省理工学院);École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院);University of California, Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
针对两层单头Transformer能否表示任意k阶马尔可夫过程的开放问题,本文从理论上证明其可表示任意条件k元语法,给出了ICL场景下Transformer深度与马尔可夫阶数作用关系的最紧刻画,深化了对Transformer上下文学习的理解。
2025-11-14 cs.AI cs.LG
Spatial Induction Heads: In-Context Learning of Multidimensional Cellular Automata
Cornell University(康奈尔大学)
针对多维元胞自动机中上下文学习因序列化破坏空间邻域连续性的问题,提出空间归纳头两层收集-匹配电路,实现贝叶斯计数,实验验证泛化与机制。
2026-10-08 cs.AI cs.LG
Does RoPE Prevent or Degrade Retrieval Heads? A Mechanistic Analysis Across Model Families
Independent Researcher(独立研究员)
通过因果掩码和维度修补实验,发现旋转位置嵌入(RoPE)的低频维度对检索头功能至关重要,但高频维度无影响,且检索头数量与RoPE基超参数θ无关。
2026-06-23 cs.CL cs.LG
In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention
Yale University(耶鲁大学);Nanjing University(南京大学)
本文通过实验与理论分析揭示了多头 softmax 注意力在执行上下文线性回归时涌现的注意力模式,证明其能近似实现去偏梯度下降并接近贝叶斯最优,且在协方差各向异性和多任务场景下展现出预条件梯度下降及叠加现象等高效机制。
2025-05-27 cs.LG stat.ML
When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures
University of California, Berkeley(加州大学伯克利分校)
本文追踪三种1B级语言模型中注意力头电路的形成轨迹,发现归纳电路形成早于注意力汇形成10-20倍令牌,且电路识别无需最终模型。
2026-06-09 cs.AI cs.LG
Spectral Probe-Circuits: A Three-Step Recipe for Identifying Attention-Head Circuits in Pretrained Transformers
University of California, Berkeley(加州大学伯克利分校)
提出一种三步法,通过频谱信号排序、任务模式筛选和组消融因果验证,无需标签即可识别预训练Transformer中执行持续内容依赖计算的注意力头电路,并在多个模型上验证了其通用性和因果必要性。
2026-06-03 cs.AI cs.LG
Dissecting Jet-Tagger Through Mechanistic Interpretability
Department of Physics, Indian Institute of Technology, Kanpur(印度理工学院坎浦尔分校物理系)
通过机制可解释性分析粒子变换器架构,揭示喷流分类的计算回路及内部表示的物理内容,展示自然语言模型的可解释性方法可用于喷流分类。
2026-05-11 cs.LG hep-ex hep-ph
Out-of-distribution generalization via composition: a lens through induction heads in Transformers
BIGAI(北京智源人工智能研究院);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文通过归纳头视角研究Transformer的分布外泛化机制,发现模型可通过组合两个自注意力层学习隐藏规则,并提出嵌入空间中的共享潜在子空间作为组合桥梁的共同桥接表示假说。
2024-12-28 cs.AI cs.CL cs.LG
Mechanistic Interpretability for Transformer-based Time Series Classification
Leiden Institute of Advanced Computer Science(莱顿先进计算机科学研究所);Leiden University(莱顿大学)
本文提出通过机制可解释性技术,如激活补丁、注意力显著性和稀疏自编码器,来揭示Transformer在时间序列分类中的内部因果结构和关键机制。
2025-11-26 cs.AI cs.LG
Mechanistic Exploration of Backdoored Large Language Model Attention Patterns
Department of Computer Science, Anglia Ruskin University(计算机科学系,安格利亚 Ruskin 大学)
本文通过机制可解释性方法比较干净与后门投毒的 Qwen2.5-3B 模型,发现后门注意力模式偏差集中在 20-30 层,且单 token 与多 token 触发器导致不同分布特征,为后门检测与缓解提供依据。
2025-08-19 cs.CL cs.LG
On Mechanistic Circuits for Extractive Question-Answering
Adobe Research(奥多比研究院);University of Maryland, College Park(马里兰大学帕克分校)
该研究针对抽取式问答任务的上下文增强语言建模,通过因果中介分析提取机制电路,揭示模型参数记忆与检索上下文的交互,提出ATTNATTRIB算法实现高效数据归因并引导模型基于上下文回答,为下游应用提供机制理解与技术支持。
2025-02-12 cs.CL cs.LG
How Transformers Get Rich: Approximation and Dynamics Analysis
本研究通过近似与动力学分析揭示了 transformers 实现 induction head 机制的原理,发现训练过程中模型会从懒惰的 n-gram 机制突变至丰富的 induction head 机制。
2025-01-29 cs.LG math.OC stat.ML
reward-lens: A Mechanistic Interpretability Library for Reward Models
reward-lens库将传统生成LLM的机制可解释性工具适配至奖励模型,通过奖励头权重向量作为核心分析轴,提供多种分析工具和扩展功能,验证发现线性归因与因果修补效果存在负相关。
2026-04-28 cs.AI cs.LG
Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers
Yale University(耶鲁大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
该研究针对Transformer各模块对上下文学习的贡献不明确的问题,通过分析含相对位置嵌入等的两层注意力Transformer在n-gram马尔可夫链数据上的训练,证明梯度流收敛到由各模块协同实现的广义归纳头极限模型,并经实验验证。
2024-09-09 cs.AI cs.CL cs.LG
Induction Signatures Are Not Enough: A Matched-Compute Study of Load-Bearing Structure in In-Context Learning
通过Bi-Induct研究上下文学习中归纳结构的负载能力,发现归纳头部活动增加但泛化能力未提升,揭示了归纳与反归纳的不对称性。
2026-03-14 cs.AI cs.CL cs.LG
How Vision Transformers Represent Position: A Mechanistic Comparison of Absolute and Rotary Positional Encodings
ESSTHS;DJSCE;Lotte Innovate(乐天创新);New York University(纽约大学)
本研究对比了视觉Transformer中绝对位置编码(APE)与旋转位置编码(RoPE)的位置表征机制,发现二者编码方式不同,且均对分类准确率有关键作用,为视觉模型的针对性干预提供了基础。
2026-10-14 cs.CV cs.LG
Characterize Then Distill: Mechanistic Reasoning in Large Output Spaces
Khoury College of Computer Sciences, Northeastern University(东北大学计算机科学学院)
研究现代推理模型在百万级标签空间中实现零样本多标签分类的机制,提出“候选列表生成+精细推理”两阶段模型,并基于此开发机械蒸馏策略,优于标准蒸馏。
2026-11-09 cs.AI cs.CL cs.LG
Mechanistic interpretability of large language models with applications to the financial services industry
Discover Financial Services Inc.(Discover金融服务公司);Emerging Capabilities Research Group(新兴能力研究组)
本文首创性地将机制可解释性应用于金融服务领域的大型语言模型,通过直接 logit 归因和激活修补等因果干预方法,定位了 GPT-2 Small 在识别 Fair Lending 违规任务中的关键注意力头,为合规监控提供了算法任务设计范例。
2024-10-16 cs.AI cs.CE cs.CL
Hierarchical Latent Structures in Data Generation Process Unify Mechanistic Phenomena across Scale
Ubiquitous Knowledge Processing Lab (UKP Lab) Department of Computer Science, Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany(通用知识处理实验室(UKP Lab)计算机科学系,达姆施塔特技术大学和应用网络安全国家研究中心ATHENE,德国)
本文通过生成合成语料库研究数据生成过程中层次结构对语言模型中归纳头、功能向量和海德拉效应等现象的统一解释。
2026-07-15 cs.CL cs.LG
Linking In-context Learning in Transformers to Human Episodic Memory
University of California, San Diego(加利福尼亚大学圣迭戈分校);New York University(纽约大学)
本研究揭示Transformer大语言模型中的诱导头与人类情景记忆的CMR模型在多层面相似,发现类CMR头的层级分布与记忆偏差对应且对上下文学习有因果作用,为AI与神经科学研究提供新视角。
2024-10-31 cs.CL cs.LG
A Mechanistic Study of Transformers Training Dynamics
本文通过可控实验研究Transformer训练动态,发现梯度下降可实现聚类头解决稀疏模块加法任务,并揭示训练过程中两阶段学习及归一化层高曲率导致的损失尖峰现象。
2026-06-29 cs.LG stat.ML
Born a Transformer -- Always a Transformer? On the Effect of Pretraining on Architectural Abilities
Saarland University(萨尔兰大学);Brown University(布朗大学)
本研究通过检索与复制任务,发现预训练Transformer存在归纳优于反归纳的不对称性,且该不对称性在理论保证下可经微调消除,表明预训练增强特定能力但未克服长度泛化限制。
2025-10-23 cs.CL cs.LG
Directional Routing in Transformers
本文提出了一种轻量级机制,通过共享路由器控制每个transformer注意力头的抑制方向,降低参数成本,并展示了路由在模型中的核心作用及对性能的影响。
2026-03-16 cs.AI cs.LG
From Indirect Object Identification to Syllogisms: Exploring Binary Mechanisms in Transformer Circuits
University of California, Los Angeles(加州大学洛杉矶分校);Harvard University(哈佛大学)
本文通过三段论任务分析 GPT-2 small 的逻辑推理机制,识别出多个关键电路及生成否定词元的二元机制,发现五个注意力头组成的电路可恢复超过 90% 的原始性能,为机制可解释性研究提供了新见解。
2025-08-22 cs.CL cs.LG
Towards Mechanistic Interpretability of Graph Transformers via Attention Graphs
Stanford University(斯坦福大学);University of Oxford(牛津大学);University of Cambridge(剑桥大学)
本文提出注意力图工具,基于GNN消息传递与Transformer自注意力的数学等价性,分析图Transformer的信息流动,发现其学习结构不相关于输入图,且异质性图中不同变体可殊途同归。
2025-02-25 cs.AI cs.LG
The Communication Map of a Transformer
St. John Fisher University(圣约翰费舍尔大学)
该研究提出仅从权重生成语言模型所有潜在通信通道的通信图,通过实验验证其可恢复诱导电路并消除模型的诱导能力,发布了相关工具套件。
2026-11-10 cs.CL cs.LG
Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis
研究通过可控数据集和激活分析,揭示Transformer模型中回忆与推理的分离电路,为模型泛化和安全部署提供依据。
2026-03-13 cs.AI cs.LG
An explainable transformer circuit for compositional generalization
Massachusetts Institute of Technology(麻省理工学院);McGovern Institute(麦戈文研究所);New York University(纽约大学);Howard Hughes Medical Institute(霍华德·休斯医学研究所)
本研究识别并机制性解释了紧凑Transformer中负责组合归纳的电路,通过因果消融验证并以类程序描述其运作,证明该理解可实现精确激活编辑以可控引导模型行为,推进了Transformer可解释性与模型控制研究。
2025-02-19 cs.AI cs.CL cs.LG
Finding and using interpretable latents in a neutrino foundation model with sparse autoencoders
Università degli Studi di Milano(米兰大学);INFN Sezione di Milano(米兰国家核物理研究所);Niels Bohr Institute, University of Copenhagen(哥本哈根大学尼尔斯·玻尔研究所)
本研究将基于稀疏自编码器的机械可解释性方法应用于中微子基础模型,识别出经验证的物理概念图谱,训练的不确定性预测头可提升20%选择效率下的中位角分辨率,证明机械可解释性可助力下游任务设计。
2026-11-09 astro-ph.HE cs.AI cs.LG
Steering Sparse Autoencoder Latents to Control Dynamic Head Pruning in Vision Transformers (Student Abstract)
本文提出结合稀疏解码器与动态剪枝的新框架,通过稀疏潜在特征实现头部剪枝的可解释和可控,提升ViTs的效率和可解释性。
2026-03-23 cs.AI cs.CV cs.LG
Beyond Components: Singular Vector-Based Interpretability of Transformer Circuits
Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎浦尔(IIT坎浦尔))
本文提出基于奇异向量的Transformer电路可解释性方法,揭示了模型内部更分布、结构化和组合化的计算特性。
2025-11-25 cs.AI cs.CL cs.LG
Mechanistic Fine-tuning for In-context Learning
Japan Advanced Institute of Science and Technology(日本科学技术先进研究院);Beijing Institute of Technology(北京理工大学);RIKEN(日本研究机构)
本文提出注意力行为微调 ABFT,直接约束注意力聚焦正确标签 token,仅用约 0.01% 数据即使 9 个 LM 在 8 个数据集上取得更优性能、鲁棒性、无偏性与效率。
2025-09-27 cs.AI cs.CL cs.LG
Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?
University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);University of Toronto(多伦多大学)
通过引入差异电路脆弱性指标,研究比较了强化学习与监督微调在大型语言模型微调中对内部计算电路的保留程度,发现RL虽任务适应较慢但能更好保留电路,从而减轻灾难性遗忘。
2026-06-06 cs.AI cs.CL cs.CR
The Reasoning Trap -- Logical Reasoning as a Mechanistic Pathway to Situational Awareness
MARS 4.0 Fellowship, Cambridge AI Safety Hub(CAISH), University of Cambridge(MARS 4.0 Fellow,剑桥人工智能安全中心(CAISH),剑桥大学);AWS Generative AI Innovation Center, Amazon Web Services, USA(亚马逊生成AI创新中心,亚马逊网络服务,美国);Google, USA(谷歌,美国);Stanford University(斯坦福大学);Northeastern University, Seattle, WA, USA(东北大学,西雅图,华盛顿州,美国)
本文提出RAISE框架,揭示逻辑推理能力提升与情境意识升级的机制路径,并提出安全原则与测试方法以应对潜在风险。
2026-10-15 cs.AI cs.CL cs.CY
Quantifying LLM Attention-Head Stability: Implications for Circuit Universality
Mila - Quebec Artificial Intelligence Institute(魁北克人工智能研究所);McGill University(麦吉尔大学)
本研究量化了大语言模型注意力头的稳定性,发现中层头最不稳定但表示最独特,深层模型中层分歧更明显,权重衰减优化提升稳定性,残差流较稳定,为AI系统白盒监控提供新视角。
2026-02-17 cs.AI cs.LG
On the Recall Scaling Laws in Mamba: A Theoretical and Mechanistic Study via Hashing
Blavatnik School of Computer Science and AI, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学与人工智能学院)
本文通过机制可解释性研究Mamba中的联想回忆,发现其隐式学习线性哈希函数,并基于此提出回忆缩放定律理论框架,可预测模型维度与回忆性能的关系,实证验证了其准确性。
2026-09-09 cs.CL cs.LG
Positional versus Symbolic Attention Heads: Learning Dynamics, RoPE Geometry, and Length Generalization
CENIA & Faculty of Mathematics UC Santiago(CENIA与圣托里尼大学数学系);IMC UC & CENIA Santiago(UC IMC与圣托里尼CENIA)
通过控制实验研究Transformer注意力头在位置推理和符号推理任务中的学习动态,发现位置和符号注意力头的不同机制及其对长度泛化的影响。
2026-05-29 cs.AI cs.LG
Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
Indiana University Bloomington(印第安纳大学布鲁明顿分校)
本研究通过认知科学方法分析不同规模GPT-2模型的注意力分数与输出,发现其注意力头存在类似人类情景记忆的时间连续性等效应,归纳头是连续性效应的关键,揭示Transformer上下文学习中信息时间组织机制。
2025-02-09 cs.AI cs.CL cs.LG