Emergence in non-neural models: grokking modular arithmetic via average gradient outer product
UC San Diego（圣迭戈大学）；The Broad Institute of MIT and Harvard（哈佛大学与麻省理工学院 Broad 实验室）；IIT Bombay（孟买印度理工学院）
本研究证明grokking现象不仅限于神经网络，递归特征机通过平均梯度外积学习块循环特征实现模算术，从而产生涌现，表明涌现源于任务相关特征学习。
2025-07-09 cs.LG stat.ML
Model Capacity Determines Grokking through Competing Memorisation and Generalisation Speeds
Harvard College（哈佛学院）
研究通过竞争记忆速度与泛化速度探讨模型容量对Grokking的影响，提出信息理论框架解释两者的时间尺度交集决定Grokking出现。
2026-10-12 cs.LG
Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials
The University of Tokyo（东京大学）
本文通过傅里叶分析和新的进展度量，系统研究模多项式等复杂模算术任务上 grokked Transformer 的内部表示、任务间可迁移性及多任务混合对 grokking 的影响，为内部电路可解释性提供实证依据。
2024-12-30 cs.AI cs.LG
Grokking as a First Order Phase Transition in Two Layer Networks
Hebrew University（希伯来大学）；Tel Aviv University（特拉维夫大学）
本文应用自适应核方法分析两个教师-学生模型，证明Grokking现象可映射为一阶相变，并揭示相变后网络内部表征发生突变。
2024-05-05 cond-mat.dis-nn cs.LG stat.ML
On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking
Yale University（耶鲁大学）
本文研究了两层神经网络在模加法任务中的学习机制，揭示了傅里叶特征、彩票机制和Grokking的形成过程。
2026-02-18 cs.LG math.OC stat.ML
NeuralGrok: Accelerate Grokking by Neural Gradient Transformation
EPFL（瑞士联邦理工学院）；Shanghai AI Lab（上海人工智能实验室）
提出NeuralGrok方法，通过双层优化学习梯度变换，加速Transformer在算术任务中的泛化，并降低模型复杂度，为Grokking现象提供新见解。
2025-04-25 cs.AI cs.LG
Misalignment of Low-Loss Regions Causes Grokking
Delft University of Technology（代尔夫特理工大学）；HDL TypeTech；IBM Infrastructure（IBM基础设施部门）
本文提出基于模式连通性和低损失区域几何的分析框架，发现训练与验证划分导致的低损失区域错位是顿悟现象产生的根源，并通过反例挑战现有解释。
2026-10-02 cs.AI cs.LG
Late-Stage Generalization Collapse in Grokking: Detecting anti-grokking with Weightwatcher
University of California San Diego, Data Science and Engineering（加州大学圣地亚哥分校数据科学与工程）
本文研究了Grokking后期阶段的泛化崩溃现象，通过WeightWatcher工具检测anti-grokking，并揭示了相关陷阱对泛化能力的影响。
2026-02-02 cs.LG
Bridging Lottery Ticket and Grokking: Understanding Grokking from Inner Structure of Networks
The University of Tokyo（东京大学）
本文将Grokking现象与彩票票券假说结合，发现泛化阶段获得的子网络结构能显著减少延迟泛化，揭示结构探索是理解Grokking的关键因素。
2025-05-09 cs.LG
Distributional Spectral Diagnostics for Localizing Grokking Transitions
Institute of Science Tokyo（东京科学研究所）；University of Science and Technology of China（中国科学技术大学）
本文提出通过分布谱诊断法定位Grokking转变，利用经验分布、Wasserstein坐标和Hankel DMD分析，实现对训练轨迹中转变的检测与定位。
2026-05-07 cs.LG stat.ML
Controlling Grokking with Nonlinearity and Data Symmetry
University of Waterloo（滑铁卢大学）
本文通过调整激活函数轮廓及模型深度和宽度控制模算术任务中的 grokking 行为，利用 PCA 投影模式分解非素数模数，并从权重熵推断泛化能力。
2024-11-08 cs.AI cs.LG
Egalitarian Gradient Descent: A Simple Approach to Accelerated Grokking
McGill University（麦吉尔大学）；Mila Institute（Mila研究院）；Concordia University（康科迪亚大学）
本文提出平等梯度下降（EGD）方法，通过规范化梯度使所有主方向的动态以相同速度演化，从而加速模型的 Grokking 过程，消除测试性能的停滞现象。
2026-05-18 cs.LG
Grokking Group Multiplication with Cosets
EleutherAI；Brown University（布朗大学）；University of Geneva（日内瓦大学）
本文完全逆向工程了在 $S_5$ 和 $S_6$ 群乘法上发生 grokking 的单隐藏层网络，揭示其利用子群与陪集分解算术的神经回路，并讨论可解释性研究中的算法识别分歧。
2024-06-17 cs.AI cs.LG math.RT
Low-Dimensional and Transversely Curved Optimization Dynamics in Grokking
研究通过几何分析Transformer在模运算中的优化动力学，发现训练过程主要存在于低维执行子空间中，横向曲率增长在泛化前出现，且需子空间运动才能实现Grokking。
2026-04-03 cs.AI cs.LG
Dichotomy of Early and Late Phase Implicit Biases Can Provably Induce Grokking
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of Washington（华盛顿大学）；University of Michigan（密歇根大学）
本文从理论上证明，大初始化与小权重衰减下训练齐次神经网络时，早期核预测器偏置与晚期最小范数/最大间隔偏置的二分性可导致训练后期测试准确率突然提升，从而解释grokking现象。
2024-04-02 cs.AI cs.LG
Mechanistic Insights into Grokking from the Embedding Layer
MBZUAI（马布里克人工智能研究所）
本研究揭示嵌入层是grokking延迟泛化的核心机制，提出频率感知采样和自适应学习率比率缓解双线性耦合，加速收敛并改善Transformer优化。
2025-05-21 cs.CL cs.LG
Topological Signatures of Grokking
Imperial College London（帝国学院伦敦）；Queen Mary University of London（女王玛丽大学伦敦）；University of Fribourg（弗里堡大学）
通过拓扑学视角研究Grokking现象，利用持久同调分析嵌入矩阵的点云，发现H1同调的持久性显著增加，揭示了任务的循环结构。持久同调为表示学习提供了统一的几何和拓扑描述，且与泛化而非记忆相关。
2026-05-07 cs.AI cs.LG stat.ML
Algebraic Representability as the Limiting Regime of Grokking: An Exactly Solvable Model with Holomorphic Activations
University Paris City & University of Reunion（巴黎城市大学和留尼汪大学）；Dipartimento di Fisica e Chimica Emilio Segrè, Università degli Studi di Palermo（巴勒莫大学埃米利奥·塞格雷物理与化学系）；Thayer School of Engineering, Dartmouth College（达特茅斯学院塞耶工程学院）；EnergyLab, University of Reunion（留尼汪大学能源实验室）；PEACCEL, AI for Biologics（PEACCEL，生物制品人工智能）
研究在模运算训练的神经网络，当可表达函数类坍缩到有限维代数簇时的情况。通过全纯单项式激活的两层网络及代数表征研究，给出训练损失下界，实验表明代数预测准确率高，呈现二元行为，是容量 - Grokking关系极限，瓶颈消融连接极端与标准网络。
2026-07-16 cs.LG stat.ML
ILDR: Geometric Early Detection of Grokking
Virginia Tech（弗吉尼亚理工大学）
本文提出ILDR指标，通过计算最后一层表示的类间距离与类内散度比，实现对神经网络早期内化现象的早期检测，提升模型泛化能力。
2026-04-22 cs.LG
Grokking Is Conditional and Fragile: A Fully-Tractable, Multi-Seed Study at 12K Parameters
CompactAI（紧凑人工智能）
研究11856参数的Llama风格变压器在模运算中的理解现象，通过多种子速率衡量，发现理解是有条件且脆弱的相变，受训练集覆盖度影响，还介绍了权重衰减等情况及多种子控制的作用。
2026-07-07 cs.AI cs.LG
Quantifying the Memorization-to-Generalization Transition: Scaling Laws and Phase Structure in Grokking
Princeton University（普林斯顿大学）
本研究通过384种配置的模算术MLP实验，量化了grokking中记忆化到泛化转变的标度律，发现数据复杂度是主导因素，并识别出权重衰减的尖锐相边界，为预测和调控过参数化网络的状态转变提供了定量基础。
2026-09-11 cs.AI cs.LG
Thermodynamic Weight Decay: Exploring Grokking Acceleration via Attention Specific Heat
研究针对神经网络快速学习问题，基于Transformer注意力与热力学系统同构，将注意力对数its方差视为比热Cv，提出CvAdamW变体，经改进解决失败模式，实现快速学习加速，还提出无任务特定超参数的重新表述并评估，效果良好。
2026-07-24 cs.LG
Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold
研究通过分析AdamW动态揭示频谱门控机制，探讨在模运算任务中泛化与记忆之间的相变过程，识别出三个复杂度阶段并挑战平坦极小值假说。
2026-03-16 cs.AI cs.LG
Grokking on the Weight-Decay Clock: A Rate Hierarchy from Softly Broken Symmetries
Korea Institute for Advanced Study（韩国高等研究院）；Center for AI and Natural Sciences（人工智能与自然科学中心）
研究针对延迟泛化问题，在线性模型及非线性神经网络中确定了可精确求解的后期松弛机制，揭示grokking子空间并推导相关预测，验证理论恒等式，还在模块化加法中观察到延迟泛化，展现理论与实际的契合。
2026-07-28 cs.AI cs.LG
The Geometry of Multi-Task Grokking: Transverse Instability, Superposition, and Weight Decay Phase Structure
本文研究多任务场景下grokking现象，揭示了叠加子空间、权重衰减相结构及横向不稳定性等核心机制，通过系统扫描权重衰减，发现不同任务泛化顺序、积分性、相结构等一致现象。
2026-04-03 cs.AI cs.LG
The Active Ingredient in Muon's Grokking
研究μ子优化器在模运算中比AdamW更快达学习理解阈值的原因，通过多实验分解压力测试，发现加速源于正交化，减少迭代次数有不同影响，还表明可去掉谱缩放，且在稳定性度量下相关“更快”说法可能反转，发布代码支持重现。
2026-07-24 cs.AI cs.LG
Low-Rank Decay for Grokking in Scale-Invariant Transformers: A Spectral-Geometric View
Beijing Normal University（北京师范大学）
针对尺度不变Transformer中权重衰减无法简化归一化层函数的问题，提出低秩衰减（LRD）正则化器，通过核范数子梯度的切向分量压缩奇异值，在模算术任务中加速有效秩下降并扩展延迟泛化（grokking）的数据边界。
2026-06-03 cs.AI cs.LG
Using physics-inspired Singular Learning Theory to understand grokking & other phase transitions in modern neural networks
Yale University（耶鲁大学）
本文利用奇异学习理论研究现代神经网络中的相变现象，通过实验揭示了自由能和局部学习系数的特性，并提出了进一步研究的方向。
2025-12-03 cs.LG stat.ML
Progress measures for grokking via mechanistic interpretability
University of California, Berkeley（加州大学伯克利分校）
本文通过机制可解释性逆向工程小型Transformer在模加法任务上的grokking算法，定义进展度量将训练分为记忆化、电路形成和清理三阶段，揭示grokking源于结构化机制逐渐放大及记忆组件移除。
2023-10-19 cs.AI cs.LG
Structure-Specific Representational Priors Causally Control the Grokking Delay
研究通过向单层变压器学习模块化加法中注入不同结构内容的表征先验，因果性测试顿悟延迟是否衡量形成任务结构化表征的时间，发现只有真实结构能加速顿悟，证明顿悟延迟是形成正确表征结构的时间。
2026-07-15 cs.LG
Post-Grokking Collapse at the Representation-Readout Interface in Muon-Trained Transformers
Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所）；Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）；CentraleSupélec（中央高等电力学院）
该研究发现Muon训练的Transformer在模块化加法等任务中，顿悟后会因表示-读出接口故障丧失泛化性，冻结嵌入/读出可避免，傅里叶滤波能分离故障与掩码，任务对齐族可恢复性能。
2026-10-07 cs.AI cs.LG
The Long Delay to Arithmetic Generalization
Stanford University（斯坦福大学）
研究Transformer在算术任务中泛化延迟的原因，发现编码器早期已学到结构，但解码器瓶颈导致延迟，通过移植编码器或冻结编码器可加速泛化，且数字基的选择影响学习难度。
2026-10-27 cs.AI cs.LG
The Weight Norm Sets the Grokking Timescale: A Causal Delay Law
H&K Research Studio / Clevix LLC（H&K研究工作室 / Clevix有限责任公司）；Bac A Bank（北亚银行）；Banking Academy of Vietnam（越南银行学院）
通过干预训练中权重范数，发现网络在范数达到临界值Wc时发生顿悟，且延迟时间与固定范数倍数呈指数关系，揭示了范数对顿悟的因果作用。
2026-06-15 cs.AI cs.LG
At-Grok Is Not Converged:A Measurement-Validity Audit for Grokking Representation Metrics
H&K Research Studio / Clevix LLC（H&K研究工作室/Clevix有限责任公司）
研究发现网络嵌入在泛化后仍持续压缩，Grok学习时读取有效秩会高估收敛值，压缩滞后于准确率转变。通过实验找出滞后原因，打包成审计工具，还揭示了特定深度定律的问题，且发布了代码和工具包。
2026-07-09 cs.AI cs.LG
Feature Repulsion and Spectral Lock-in: An Empirical Study of Two-Layer Network Grokking
本文通过实验证实了双层网络在Grokking阶段中特征排斥机制的有效性，揭示了参数更新的谱特征与激活函数导数之间的依赖关系。
2026-04-28 cs.AI cs.LG
The Norm-Separation Delay Law of Grokking: A First-Principles Theory of Delayed Generalization
H&K Research Studio, Clevix LLC（H&K研究室，Clevix LLC）；Banking Academy of Vietnam（越南银行学院）
本文提出归一化分离延迟定律，揭示了模型在完全记忆训练数据后延迟泛化的机制，通过理论分析和实验验证，展示了优化器在分离记忆与收缩中的作用，提出了一种实用算法用于提前停止。
2026-05-02 cs.AI cs.LG
Cross-Trajectory Chimera Interventions Reveal Dissociable Roles of Weight Magnitude and Direction in Grokking
H&K Research Studio（H&K研究工作室）；Clevix LLC（Clevix有限责任公司）
研究部分训练网络属性跨独立训练网络的可转移性，提出交叉轨迹嵌合体干预方法，发现方向携带可转移电路标识，范数有延迟效应，自适应二分法定阈值，揭示权重大小和方向在学习中的不同作用。
2026-07-09 cs.AI cs.LG
Is Grokking a Loss of Normal Hyperbolicity of the Interpolation Manifold?
Technische Universität Braunschweig（布伦瑞克工业大学）
该研究针对Grokking的泛化转变，通过残差雅可比矩阵的最小非零奇异值σ_min⁺(J)诊断，发现其在转变时未崩溃，为反对分岔假说、支持平滑收缩图景提供了初步证据。
2026-08-18 cs.LG
Grokking through the Lens of Minimum-Norm Interpolation
ETH Zürich（苏黎世联邦理工学院）；Institute of Science and Technology Austria（奥地利科学技术研究所）；Harvard University（哈佛大学）
本文提出统计理论，揭示正则化几何与信号稀疏性如何控制插值附近的泛化，证明零一律并刻画泛化增益，实验验证了理论预测，并发现最小范数插值的统计不稳定性。
2026-10-01 cs.LG math.ST stat.ML
Provable Scaling Laws of Feature Emergence from Learning Dynamics of Grokking
Meta Superintelligence Labs (FAIR)（Meta超级智能实验室（FAIR））
本文提出$\mathbf{Li}_2$框架，揭示二层网络中Groking现象的三个阶段，并通过梯度动力学分析特征涌现、记忆和泛化的可证明缩放规律。
2025-12-02 cs.AI cs.LG
Learned Structure Shows Up Earlier in the Task's Own Basis: A Controlled Look at a Synchronisation Precursor in Grokking
New York University（纽约大学）
提出频率同步度（FSD）指标，发现其在模算术任务中比grokking早500-3000步同步，且通过权重衰减控制验证了间隔期的正则化本质，提供因果证据。
2026-10-14 cs.LG cs.NE
What Makes a Representational Prior Work? Feature Families, Label-Free Invariances, and Critical Windows in Grokking
研究刻画使表征先验起作用的因素，包括特征族、无标签不变性、时间窗口等方面。通过多种实验设置，发现特征族对齐影响泛化，无标签不变性可加速，早期短暂应用先验效果最佳，为理解和改进先验方法提供依据。
2026-07-15 cs.LG
Beyond Embedding Transfer: Component Roles in Grokking Transfer and Stability
Tianjin Medical University（天津医科大学）
本研究通过模算术跨算子迁移实验，发现内部注意力/MLP权重迁移能加速泛化，但冻结表示载体或采用在线门控可显著提升稳定性，揭示了迁移加速与轨迹稳定性之间的组件级分离。
2026-11-10 cs.LG
A Spectral Theory of Grokking: Weight Decay induces Feature Learning
Arnold-Sommerfeld-Center for Theoretical Physics（阿诺德-索末菲理论物理中心）；Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学）；University of Cambridge（剑桥大学）；Standford University（斯坦福大学）
本研究提出谱理论，揭示权重衰减驱动特征学习导致 grokking 延迟泛化，预测时间尺度由学习率与衰减乘积控制，并在模加法实验中验证。
2026-09-23 cs.AI cs.LG
First-Passage Prediction of Grokking Delay: ACalibrated Law under AdamW with Causal Validation
H&K Research Studio（H&K研究室）；Clevix LLC（Clevix公司）；Banking Academy of Vietnam（越南银行学院）
本文提出了一种在AdamW优化器下预测grokking延迟的定量方法，通过推导闭合形式定律并结合因果验证，实现了对模型记忆延迟的准确预测。
2026-05-13 cs.AI cs.LG
A Mechanistic Study of Algorithmic Generalization in Diffusion Models on Modular Arithmetic
Department of Computer and Information Science（计算机与信息科学系）
研究扩散模型在模块加法任务中展现的延迟泛化现象，揭示其内部计算机制，通过单图像和多样本两种数据 regime 分析模型的算法学习过程。
2026-10-22 cs.LG
Grokking or Glitching? How Low-Precision Drives Slingshot Loss Spikes
Tsinghua University（清华大学）；The University of Tokyo（东京大学）
本文证明深度神经网络训练中的 Slingshot 损失尖峰现象是由浮点精度限制导致的数值特征膨胀（NFI）机制引起的，并解释了参数范数快速增长和梯度消失等现象。
2026-11-06 cs.CL cs.LG math.OC
Breaking Data Symmetry is Needed For Generalization in Feature Learning Kernels
CFIS UPC（UPC 计算机科学与信息系）；UC San Diego（加州大学圣地亚哥分校）
研究特征学习核在代数任务中的“grokking”现象，发现泛化仅在训练集对称性被打破时发生，并通过恢复数据中的不变群作用实现泛化。
2026-06-25 cs.LG stat.ML
Emergence via Phase Transitions: Mechanism Landscapes and Universal Convergence Across Complex Systems
H&K Research Studio（H&K 研究工作室）；Clevix LLC（Clevix 有限责任公司）
提出层次涌现框架(HEF)，将涌现建模为机制景观中的相变，证明在结构假设下物理可行且收敛到唯一不动点，并在111个模算术变换器实验中验证了相变指纹。
2026-05-25 cs.AI cs.LG
Latent Algorithmic Structure Precedes Grokking: A Mechanistic Study of ReLU MLPs on Modular Arithmetic
研究发现ReLU MLP在模运算中学习近二进制方波输入权重，输出权重满足相位和关系，即使在噪声数据下也能实现高准确率，表明掌握是记忆中编码算法的细化过程。
2026-11-03 cs.AI cs.LG
Weight Decay Regimes in Grokking Transformers: Cheap Online Diagnostics
Independent Researcher（独立研究者）
研究探讨了在模运算中训练的Transformer模型在记忆、泛化和崩溃之间的尖锐转变，并通过权重衰减作为标量经验控制参数来分析这些区域，引入了两种廉价的在线诊断方法，通过注意力激活来跟踪训练动态，并在较低计算成本下补充损失景观诊断。
2026-05-19 cs.AI cs.LG cs.NE
Low Rank and Sparse Fourier Structure in Recurrent Networks Trained on Modular Addition
New Jersey Institute of Technology（新泽西理工学院）
本文发现循环神经网络在模加法任务中采用傅里叶乘法策略，识别出权重中的低秩结构及傅里叶空间稀疏表示，并实验证明其对单频率移除鲁棒，多频率消融则性能骤降。
2025-03-28 cs.LG eess.SP stat.ML
Making Hard Problems Easier with Custom Data Distributions and Loss Regularization: A Case Study in Modular Arithmetic
FAIR at Meta（Meta 的 FAIR 部门）；Duke University（杜克大学）
针对ML攻击在复杂LWE场景扩展难的问题，本文开发自定义数据分布和损失函数技术提升模型模运算性能，使模型能处理N=128元素模q≤974269求和，应用于LWE可恢复2倍难的秘密，还改善其他任务性能。
2025-08-25 cs.LG
Learning Modular Exponentiation with Transformers
Department of Computer Science and Technology（计算机科学与技术系）
本文训练4层Transformer模型学习模幂运算，发现倒数训练带来泛化与grokking式突增，最终层注意力头子图足以完成任务，揭示模型通过专门电路学习模算术。
2025-10-23 cs.AI cs.CR cs.LG
