How to Tame Grokking: Representation Geometry as a Control Signal
研究神经网络‘顿悟’现象中表示几何与延迟泛化的关系，引入几何维度正则化方法，发现其能改变‘顿悟’动态，加速泛化，为研究和影响神经网络延迟泛化提供实用途径。
2026-07-14 cs.LG
Towards Empirical Interpretation of Internal Circuits and Properties in Grokked Transformers on Modular Polynomials
The University of Tokyo（东京大学）
本文通过傅里叶分析和新的进展度量，系统研究模多项式等复杂模算术任务上 grokked Transformer 的内部表示、任务间可迁移性及多任务混合对 grokking 的影响，为内部电路可解释性提供实证依据。
2024-12-30 cs.AI cs.LG
Model Capacity Determines Grokking through Competing Memorisation and Generalisation Speeds
Harvard College（哈佛学院）
研究通过竞争记忆速度与泛化速度探讨模型容量对Grokking的影响，提出信息理论框架解释两者的时间尺度交集决定Grokking出现。
2026-10-12 cs.LG
Distributional Spectral Diagnostics for Localizing Grokking Transitions
Institute of Science Tokyo（东京科学研究所）；University of Science and Technology of China（中国科学技术大学）
本文提出通过分布谱诊断法定位Grokking转变，利用经验分布、Wasserstein坐标和Hankel DMD分析，实现对训练轨迹中转变的检测与定位。
2026-05-07 cs.LG stat.ML
Misalignment of Low-Loss Regions Causes Grokking
Delft University of Technology（代尔夫特理工大学）；HDL TypeTech；IBM Infrastructure（IBM基础设施部门）
本文提出基于模式连通性和低损失区域几何的分析框架，发现训练与验证划分导致的低损失区域错位是顿悟现象产生的根源，并通过反例挑战现有解释。
2026-10-02 cs.AI cs.LG
Late-Stage Generalization Collapse in Grokking: Detecting anti-grokking with Weightwatcher
University of California San Diego, Data Science and Engineering（加州大学圣地亚哥分校数据科学与工程）
本文研究了Grokking后期阶段的泛化崩溃现象，通过WeightWatcher工具检测anti-grokking，并揭示了相关陷阱对泛化能力的影响。
2026-02-02 cs.LG
Topological Signatures of Grokking
Imperial College London（帝国学院伦敦）；Queen Mary University of London（女王玛丽大学伦敦）；University of Fribourg（弗里堡大学）
通过拓扑学视角研究Grokking现象，利用持久同调分析嵌入矩阵的点云，发现H1同调的持久性显著增加，揭示了任务的循环结构。持久同调为表示学习提供了统一的几何和拓扑描述，且与泛化而非记忆相关。
2026-05-07 cs.AI cs.LG stat.ML
Bridging Lottery Ticket and Grokking: Understanding Grokking from Inner Structure of Networks
The University of Tokyo（东京大学）
本文将Grokking现象与彩票票券假说结合，发现泛化阶段获得的子网络结构能显著减少延迟泛化，揭示结构探索是理解Grokking的关键因素。
2025-05-09 cs.LG
Algebraic Representability as the Limiting Regime of Grokking: An Exactly Solvable Model with Holomorphic Activations
University Paris City & University of Reunion（巴黎城市大学和留尼汪大学）；Dipartimento di Fisica e Chimica Emilio Segrè, Università degli Studi di Palermo（巴勒莫大学埃米利奥·塞格雷物理与化学系）；Thayer School of Engineering, Dartmouth College（达特茅斯学院塞耶工程学院）；EnergyLab, University of Reunion（留尼汪大学能源实验室）；PEACCEL, AI for Biologics（PEACCEL，生物制品人工智能）
研究在模运算训练的神经网络，当可表达函数类坍缩到有限维代数簇时的情况。通过全纯单项式激活的两层网络及代数表征研究，给出训练损失下界，实验表明代数预测准确率高，呈现二元行为，是容量 - Grokking关系极限，瓶颈消融连接极端与标准网络。
2026-07-16 cs.LG stat.ML
Controlling Grokking with Nonlinearity and Data Symmetry
University of Waterloo（滑铁卢大学）
本文通过调整激活函数轮廓及模型深度和宽度控制模算术任务中的 grokking 行为，利用 PCA 投影模式分解非素数模数，并从权重熵推断泛化能力。
2024-11-08 cs.AI cs.LG
Low-Dimensional and Transversely Curved Optimization Dynamics in Grokking
研究通过几何分析Transformer在模运算中的优化动力学，发现训练过程主要存在于低维执行子空间中，横向曲率增长在泛化前出现，且需子空间运动才能实现Grokking。
2026-04-03 cs.AI cs.LG
Grokking on the Weight-Decay Clock: A Rate Hierarchy from Softly Broken Symmetries
Korea Institute for Advanced Study（韩国高等研究院）；Center for AI and Natural Sciences（人工智能与自然科学中心）
研究针对延迟泛化问题，在线性模型及非线性神经网络中确定了可精确求解的后期松弛机制，揭示grokking子空间并推导相关预测，验证理论恒等式，还在模块化加法中观察到延迟泛化，展现理论与实际的契合。
2026-07-28 cs.AI cs.LG
Mechanistic Insights into Grokking from the Embedding Layer
MBZUAI（马布里克人工智能研究所）
本研究揭示嵌入层是grokking延迟泛化的核心机制，提出频率感知采样和自适应学习率比率缓解双线性耦合，加速收敛并改善Transformer优化。
2025-05-21 cs.CL cs.LG
Grokking Is Conditional and Fragile: A Fully-Tractable, Multi-Seed Study at 12K Parameters
CompactAI（紧凑人工智能）
研究11856参数的Llama风格变压器在模运算中的理解现象，通过多种子速率衡量，发现理解是有条件且脆弱的相变，受训练集覆盖度影响，还介绍了权重衰减等情况及多种子控制的作用。
2026-07-07 cs.AI cs.LG
Grokking as the Transition from Lazy to Rich Training Dynamics
Harvard University（哈佛大学）
该研究提出grokking现象源于神经网络从懒惰训练动力学过渡到特征学习的丰富训练阶段，通过两层神经网络多项式回归实验验证机制，明确特征学习速率等关键决定因素及延迟泛化条件，并证实该机制在MNIST等更通用场景中同样适用。
2024-04-11 cond-mat.dis-nn cs.LG stat.ML
Egalitarian Gradient Descent: A Simple Approach to Accelerated Grokking
McGill University（麦吉尔大学）；Mila Institute（Mila研究院）；Concordia University（康科迪亚大学）
本文提出平等梯度下降（EGD）方法，通过规范化梯度使所有主方向的动态以相同速度演化，从而加速模型的 Grokking 过程，消除测试性能的停滞现象。
2026-05-18 cs.LG
Quantifying the Memorization-to-Generalization Transition: Scaling Laws and Phase Structure in Grokking
Princeton University（普林斯顿大学）
本研究通过384种配置的模算术MLP实验，量化了grokking中记忆化到泛化转变的标度律，发现数据复杂度是主导因素，并识别出权重衰减的尖锐相边界，为预测和调控过参数化网络的状态转变提供了定量基础。
2026-09-11 cs.AI cs.LG
Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold
研究通过分析AdamW动态揭示频谱门控机制，探讨在模运算任务中泛化与记忆之间的相变过程，识别出三个复杂度阶段并挑战平坦极小值假说。
2026-03-16 cs.AI cs.LG
The Geometry of Multi-Task Grokking: Transverse Instability, Superposition, and Weight Decay Phase Structure
本文研究多任务场景下grokking现象，揭示了叠加子空间、权重衰减相结构及横向不稳定性等核心机制，通过系统扫描权重衰减，发现不同任务泛化顺序、积分性、相结构等一致现象。
2026-04-03 cs.AI cs.LG
The Active Ingredient in Muon's Grokking
研究μ子优化器在模运算中比AdamW更快达学习理解阈值的原因，通过多实验分解压力测试，发现加速源于正交化，减少迭代次数有不同影响，还表明可去掉谱缩放，且在稳定性度量下相关“更快”说法可能反转，发布代码支持重现。
2026-07-24 cs.AI cs.LG
Progress measures for grokking via mechanistic interpretability
University of California, Berkeley（加州大学伯克利分校）
本文通过机制可解释性逆向工程小型Transformer在模加法任务上的grokking算法，定义进展度量将训练分为记忆化、电路形成和清理三阶段，揭示grokking源于结构化机制逐渐放大及记忆组件移除。
2023-10-19 cs.AI cs.LG
Low-Rank Decay for Grokking in Scale-Invariant Transformers: A Spectral-Geometric View
Beijing Normal University（北京师范大学）
针对尺度不变Transformer中权重衰减无法简化归一化层函数的问题，提出低秩衰减（LRD）正则化器，通过核范数子梯度的切向分量压缩奇异值，在模算术任务中加速有效秩下降并扩展延迟泛化（grokking）的数据边界。
2026-06-03 cs.AI cs.LG
ILDR: Geometric Early Detection of Grokking
Virginia Tech（弗吉尼亚理工大学）
本文提出ILDR指标，通过计算最后一层表示的类间距离与类内散度比，实现对神经网络早期内化现象的早期检测，提升模型泛化能力。
2026-04-22 cs.LG
Thermodynamic Weight Decay: Exploring Grokking Acceleration via Attention Specific Heat
研究针对神经网络快速学习问题，基于Transformer注意力与热力学系统同构，将注意力对数its方差视为比热Cv，提出CvAdamW变体，经改进解决失败模式，实现快速学习加速，还提出无任务特定超参数的重新表述并评估，效果良好。
2026-07-24 cs.LG
Using physics-inspired Singular Learning Theory to understand grokking & other phase transitions in modern neural networks
Yale University（耶鲁大学）
本文利用奇异学习理论研究现代神经网络中的相变现象，通过实验揭示了自由能和局部学习系数的特性，并提出了进一步研究的方向。
2025-12-03 cs.LG stat.ML
The Weight Norm Sets the Grokking Timescale: A Causal Delay Law
H&K Research Studio / Clevix LLC（H&K研究工作室 / Clevix有限责任公司）；Bac A Bank（北亚银行）；Banking Academy of Vietnam（越南银行学院）
通过干预训练中权重范数，发现网络在范数达到临界值Wc时发生顿悟，且延迟时间与固定范数倍数呈指数关系，揭示了范数对顿悟的因果作用。
2026-06-15 cs.AI cs.LG
Structure-Specific Representational Priors Causally Control the Grokking Delay
研究通过向单层变压器学习模块化加法中注入不同结构内容的表征先验，因果性测试顿悟延迟是否衡量形成任务结构化表征的时间，发现只有真实结构能加速顿悟，证明顿悟延迟是形成正确表征结构的时间。
2026-07-15 cs.LG
Feature Repulsion and Spectral Lock-in: An Empirical Study of Two-Layer Network Grokking
本文通过实验证实了双层网络在Grokking阶段中特征排斥机制的有效性，揭示了参数更新的谱特征与激活函数导数之间的依赖关系。
2026-04-28 cs.AI cs.LG
Grokking through the Lens of Minimum-Norm Interpolation
ETH Zürich（苏黎世联邦理工学院）；Institute of Science and Technology Austria（奥地利科学技术研究所）；Harvard University（哈佛大学）
本文提出统计理论，揭示正则化几何与信号稀疏性如何控制插值附近的泛化，证明零一律并刻画泛化增益，实验验证了理论预测，并发现最小范数插值的统计不稳定性。
2026-10-01 cs.LG math.ST stat.ML
Post-Grokking Collapse at the Representation-Readout Interface in Muon-Trained Transformers
Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所）；Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）；CentraleSupélec（中央高等电力学院）
该研究发现Muon训练的Transformer在模块化加法等任务中，顿悟后会因表示-读出接口故障丧失泛化性，冻结嵌入/读出可避免，傅里叶滤波能分离故障与掩码，任务对齐族可恢复性能。
2026-10-07 cs.AI cs.LG
The Norm-Separation Delay Law of Grokking: A First-Principles Theory of Delayed Generalization
H&K Research Studio, Clevix LLC（H&K研究室，Clevix LLC）；Banking Academy of Vietnam（越南银行学院）
本文提出归一化分离延迟定律，揭示了模型在完全记忆训练数据后延迟泛化的机制，通过理论分析和实验验证，展示了优化器在分离记忆与收缩中的作用，提出了一种实用算法用于提前停止。
2026-05-02 cs.AI cs.LG
At-Grok Is Not Converged:A Measurement-Validity Audit for Grokking Representation Metrics
H&K Research Studio / Clevix LLC（H&K研究工作室/Clevix有限责任公司）
研究发现网络嵌入在泛化后仍持续压缩，Grok学习时读取有效秩会高估收敛值，压缩滞后于准确率转变。通过实验找出滞后原因，打包成审计工具，还揭示了特定深度定律的问题，且发布了代码和工具包。
2026-07-09 cs.AI cs.LG
Cross-Trajectory Chimera Interventions Reveal Dissociable Roles of Weight Magnitude and Direction in Grokking
H&K Research Studio（H&K研究工作室）；Clevix LLC（Clevix有限责任公司）
研究部分训练网络属性跨独立训练网络的可转移性，提出交叉轨迹嵌合体干预方法，发现方向携带可转移电路标识，范数有延迟效应，自适应二分法定阈值，揭示权重大小和方向在学习中的不同作用。
2026-07-09 cs.AI cs.LG
Is Grokking a Loss of Normal Hyperbolicity of the Interpolation Manifold?
Technische Universität Braunschweig（布伦瑞克工业大学）
该研究针对Grokking的泛化转变，通过残差雅可比矩阵的最小非零奇异值σ_min⁺(J)诊断，发现其在转变时未崩溃，为反对分岔假说、支持平滑收缩图景提供了初步证据。
2026-08-18 cs.LG
Learned Structure Shows Up Earlier in the Task's Own Basis: A Controlled Look at a Synchronisation Precursor in Grokking
New York University（纽约大学）
提出频率同步度（FSD）指标，发现其在模算术任务中比grokking早500-3000步同步，且通过权重衰减控制验证了间隔期的正则化本质，提供因果证据。
2026-10-14 cs.LG cs.NE
A Spectral Theory of Grokking: Weight Decay induces Feature Learning
Arnold-Sommerfeld-Center for Theoretical Physics（阿诺德-索末菲理论物理中心）；Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学）；University of Cambridge（剑桥大学）；Standford University（斯坦福大学）
本研究提出谱理论，揭示权重衰减驱动特征学习导致 grokking 延迟泛化，预测时间尺度由学习率与衰减乘积控制，并在模加法实验中验证。
2026-09-23 cs.AI cs.LG
First-Passage Prediction of Grokking Delay: ACalibrated Law under AdamW with Causal Validation
H&K Research Studio（H&K研究室）；Clevix LLC（Clevix公司）；Banking Academy of Vietnam（越南银行学院）
本文提出了一种在AdamW优化器下预测grokking延迟的定量方法，通过推导闭合形式定律并结合因果验证，实现了对模型记忆延迟的准确预测。
2026-05-13 cs.AI cs.LG
What Makes a Representational Prior Work? Feature Families, Label-Free Invariances, and Critical Windows in Grokking
研究刻画使表征先验起作用的因素，包括特征族、无标签不变性、时间窗口等方面。通过多种实验设置，发现特征族对齐影响泛化，无标签不变性可加速，早期短暂应用先验效果最佳，为理解和改进先验方法提供依据。
2026-07-15 cs.LG
Breaking Data Symmetry is Needed For Generalization in Feature Learning Kernels
CFIS UPC（UPC 计算机科学与信息系）；UC San Diego（加州大学圣地亚哥分校）
研究特征学习核在代数任务中的“grokking”现象，发现泛化仅在训练集对称性被打破时发生，并通过恢复数据中的不变群作用实现泛化。
2026-06-25 cs.LG stat.ML
Beyond Embedding Transfer: Component Roles in Grokking Transfer and Stability
Tianjin Medical University（天津医科大学）
本研究通过模算术跨算子迁移实验，发现内部注意力/MLP权重迁移能加速泛化，但冻结表示载体或采用在线门控可显著提升稳定性，揭示了迁移加速与轨迹稳定性之间的组件级分离。
2026-10-28 cs.LG
A Mechanistic Study of Algorithmic Generalization in Diffusion Models on Modular Arithmetic
Department of Computer and Information Science（计算机与信息科学系）
研究扩散模型在模块加法任务中展现的延迟泛化现象，揭示其内部计算机制，通过单图像和多样本两种数据 regime 分析模型的算法学习过程。
2026-10-22 cs.LG
Emergence via Phase Transitions: Mechanism Landscapes and Universal Convergence Across Complex Systems
H&K Research Studio（H&K 研究工作室）；Clevix LLC（Clevix 有限责任公司）
提出层次涌现框架(HEF)，将涌现建模为机制景观中的相变，证明在结构假设下物理可行且收敛到唯一不动点，并在111个模算术变换器实验中验证了相变指纹。
2026-05-25 cs.AI cs.LG
Latent Algorithmic Structure Precedes Grokking: A Mechanistic Study of ReLU MLPs on Modular Arithmetic
研究发现ReLU MLP在模运算中学习近二进制方波输入权重，输出权重满足相位和关系，即使在噪声数据下也能实现高准确率，表明掌握是记忆中编码算法的细化过程。
2026-10-14 cs.AI cs.LG
Transformers converge to invariant algorithmic cores
研究从Transformer偶然行为转向必然操作，用算法核心提取（ACE）隔离子空间等，发现不同Transformer的功能冗余及语言模型主谓语一致的控制轴，揭示其有简单共享计算结构，针对不变量利于理解和控制机制。
2026-07-08 cs.AI cs.LG
Dimensional Criticality at Grokking Across MLPs and Transformers
Institute of High Energy Physics, Chinese Academy of Science（中国科学院高能物理研究所）
研究通过TDU-OFC方法揭示了Grokking过程中动态临界现象，发现不同任务在一般化临界点处呈现不同的维度跨越行为。
2026-04-06 cond-mat.dis-nn cs.AI cs.LG
The Order Is The Message
Independent Researcher（独立研究员）
研究通过模块算术实验发现，固定顺序策略在训练集仅占输入空间0.3%时，能取得99.5%的测试准确率，而 IID 基线在5000轮后仅0.30%，对抗性顺序完全抑制学习，模型能构建傅里叶表示并编码信息。
2026-03-24 cs.LG stat.ML
How Learning Governs Unlearning across the Memorization-Generalization Spectrum
Seoul National University（首尔大学）；Hanyang University（汉阳大学）；Chung-Ang University（中央大学）
本文研究模型学习方式（记忆与泛化）对遗忘效果的影响，发现泛化型模型遗忘时保留损伤更大，并验证了该趋势在大型语言模型中的适用性，为改进遗忘方法提供了见解。
2026-10-07 cs.AI cs.LG
Feature Lottery? A Bifurcation Theory of Concept Emergence
MIT（麻省理工学院）
提出一种基于分岔理论的方法，通过损失Hessian驱动的超临界叉形分岔检测表示动力学中的结构涌现，并引入无标签相位坐标β/β_c，在多种设置下验证了四个不同的转变阶段，揭示了特征可解释性的早期可预测性。
2026-05-22 cs.AI cs.LG
Beyond Neural Collapse: Task-Intrinsic Geometry Governs Neural Representations in Modular Arithmetic
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）；Shanghai Institute for Mathematics and Interdisciplinary Sciences (SIMIS)（上海数学与交叉学科研究院）；Key Laboratory of Systems Health Science of Zhejiang Province, School of Life Science, Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（浙江省系统健康科学重点实验室，中国科学院大学杭州高等研究院生命科学学院）
本文发现模加法任务中网络表示呈现二维循环几何而非神经坍缩的单纯形等角紧框架，通过层间非均匀训练、子空间锁定后的相位对齐动力学和复杂度优势分析解释了这一现象。
2026-06-08 cs.LG
Weight Decay Regimes in Grokking Transformers: Cheap Online Diagnostics
Independent Researcher（独立研究者）
研究探讨了在模运算中训练的Transformer模型在记忆、泛化和崩溃之间的尖锐转变，并通过权重衰减作为标量经验控制参数来分析这些区域，引入了两种廉价的在线诊断方法，通过注意力激活来跟踪训练动态，并在较低计算成本下补充损失景观诊断。
2026-05-19 cs.AI cs.LG cs.NE
A Bayesian Perspective on the Role of Epistemic Uncertainty for Delayed Generalization in In-Context Learning
EURECOM
本文从贝叶斯视角研究上下文学习中延迟泛化与证据不确定性的关系，通过模运算任务分析训练过程中预测不确定性演变，发现模型理解后不确定性骤降，为泛化提供无标签诊断。
2026-04-14 cs.LG stat.ML
Grokked Models are Better Unlearners
School of Computer Science and Informatics（计算机科学与信息学系）；Cardiff University（卡迪夫大学）
已掌握模型在反向学习中表现更优，通过模块化表示减少梯度对齐，实现更高效的遗忘与更稳定的更新。
2025-12-03 cs.LG
Low Rank and Sparse Fourier Structure in Recurrent Networks Trained on Modular Addition
New Jersey Institute of Technology（新泽西理工学院）
本文发现循环神经网络在模加法任务中采用傅里叶乘法策略，识别出权重中的低秩结构及傅里叶空间稀疏表示，并实验证明其对单频率移除鲁棒，多频率消融则性能骤降。
2025-03-28 cs.LG eess.SP stat.ML
Learning Modular Exponentiation with Transformers
Department of Computer Science and Technology（计算机科学与技术系）
本文训练4层Transformer模型学习模幂运算，发现倒数训练带来泛化与grokking式突增，最终层注意力头子图足以完成任务，揭示模型通过专门电路学习模算术。
2025-10-23 cs.AI cs.CR cs.LG
