A Solvable Model of Neural Scaling Laws
McGill University（麦吉尔大学）；Massachusetts Institute of Technology（麻省理工学院）；Salesforce（赛富时）；University of British Columbia（不列颠哥伦比亚大学）；Anthropic
具有大量参数的大语言模型，当在接近互联网大小的令牌上进行训练时，已被经验证明遵守神经缩放定律：具体而言，它们的性能在参数或数据集大小方面表现为可预测的幂律，直到被其他资源检查。为了更好地理解这一点，我们首先确定了允许这种缩放定律出现的必要属性，然后提出了一个统计模型--一个联合生成数据模型和随机特征模型--它捕捉了这种神经缩放现象。通过在大训练集大小和大量参数的双重限制下求解该模型，我们可以深入了解（i）导致缩放定律的数据集和任务的统计结构，（ii）非线性特征映射（如神经网络提供的那些）在这些数据集上训练时启用缩放定律的方式，（iii）训练集和参数的等参数化缩放的最优性，以及（iv）这种缩放定律是否会失效，以及当它们失效时它们的表现如何。主要发现是自然数据集统计中出现的幂律通过非线性随机特征映射扩展，然后转化为测试损失的幂律缩放的方式，以及数据的谱幂律的有限范围如何导致模型的性能达到平台。
2022-10-30 cs.LG hep-th stat.ML
Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study
Department of Mathematics, Hong Kong Baptist University（香港 Baptist 大学数学系）；Department of ACMS, University of Notre Dame（Notre Dame 大学ACMS系）；School of Mathematics, Georgia Institute of Technology（佐治亚理工学院数学系）；Department of Mathematics, UCLA（加州大学洛杉矶分校数学系）
本文通过分析深度算子网络的逼近误差和泛化误差，建立了量化神经缩放定律的理论框架，揭示了网络模型大小和训练数据大小与误差之间的关系，并推广到深度ReLU网络。
2026-05-26 cs.LG stat.ML
Scaling Laws are Redundancy Laws
本文通过核回归证明缩放定律可形式化为冗余定律，揭示学习曲线斜率依赖数据冗余，统一了经验观察与理论基础。
2026-03-22 cs.LG math.ST stat.ML
Optimal scaling laws in learning hierarchical multi-index models
Departement d’Informatique, École Normale Supérieure, PSL & CNRS（信息学院，巴黎综合理工学院，PSL与CNRS）；Information, Learning and Physics Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（信息、学习与物理实验室，洛桑联邦理工学院（EPFL））；INRIA Paris（巴黎INRIA）
本文研究了分层多索引模型中神经网络的最优缩放规律，提出了一种简单且高效的谱估计方法，揭示了分层特征的逐层学习过程及统计最优读出机制。
2026-02-05 cs.LG stat.ML
Deriving Neural Scaling Laws from the statistics of natural language
研究从自然语言统计推导神经缩放定律，分离出语言关键统计属性预测神经缩放指数，给出基于这些统计量的简单公式，与实验测量定律匹配。
2026-07-07 cs.AI cs.LG stat.ML
How to Allocate Your Tokens? Scaling Laws with Training Steps and Batch Size
Inria, École Normale Supérieure, PSL Research University（法国国家信息与自动化研究所，巴黎高等师范学院，巴黎文理研究大学）
提出一个包含模型大小、训练步数和批大小的三术语缩放定律，能正确恢复最优批大小缩放，且拟合所需训练运行次数更少。
2026-07-03 cs.LG stat.ML
Neural Scaling Laws From Large-N Field Theory: Solvable Model Beyond the Ridgeless Limit
University of Utah（犹他大学）
本文使用大N场论方法求解神经标度律模型，将结果推广至ridge参数非零的一般情况，获得更精确的标度律，并揭示图层面的对偶变换以解释模型与数据集大小的对称性。
2024-05-29 cond-mat.dis-nn cs.LG hep-ph
Information-Theoretic Foundations for Neural Scaling Laws
Stanford University（斯坦福大学）
本文利用严格的信息论方法为神经缩放定律建立理论基础，并证明在无限宽双层神经网络数据下，数据规模与模型规模的最优关系在忽略对数因子时呈线性，与大规模实证结果一致。
2024-06-28 cs.AI cs.LG
Scaling Laws Are Unreliable for Downstream Tasks: A Reality Check
New York University（纽约大学）；Prescient Design；CIFAR LMB
本研究通过元分析发现下游缩放定律仅在39%情况下可预测，强调需理解其成功条件并接受非线性缩放行为。
2025-10-09 cs.CL cs.LG
Scaling laws for amplitude surrogates
Institut für Theoretische Physik, Universität Heidelberg（海德堡大学理论物理研究所）；Department of Physics, Harvard University（哈佛大学物理系）；LPNHE, Sorbonne Université, Université Paris Cité, CNRS/IN2P3（巴黎大学LPNHE）
本文研究了粒子物理学中幅度替代方案的缩放规律，发现缩放系数与过程的外部粒子数量相关，并证明了缩放规律在实现精度目标中的作用。
2026-11-06 cs.LG hep-ph
Understanding Scaling Laws for Recommendation Models
Meta
规模一直是提高机器学习性能的主要驱动力，理解缩放定律对于可持续模型质量性能增长的战略规划、长期资源规划和开发有效的系统基础设施以支持大规模模型至关重要。本文研究了DLRM风格推荐模型的经验缩放定律，特别是点击率（CTR）。我们观察到模型质量与幂律以及模型大小、数据大小和用于训练的计算量的常数有关。我们沿着三个不同的资源维度，即数据，参数和计算，通过比较不同的缩放方案沿这些轴的缩放效率。我们表明，参数缩放是蒸汽的模型架构正在研究中，直到一个更高性能的模型架构出现，数据缩放是前进的道路。本研究所解决的关键研究问题包括：一个推荐模型的规模可持续的预测的缩放定律？或者我们离缩放定律的预测还很远？缩放的极限是什么？缩放定律对长期硬件/系统开发有何影响？
2022-08-17 cs.IR cs.LG
Iterative Orthogonalization Scaling Laws
本文研究muon优化器中迭代正交化过程在大规模下的奇异值收缩问题，通过理论和随机矩阵实验揭示其缩放行为，但未给出解决方案。
2026-11-11 cs.LG
On Implications of Scaling Laws on Feature Superposition
本文通过缩放定律论证了特征叠加假设与特征通用性命题无法同时成立，揭示了特征表示理论的内在矛盾。
2024-07-01 cs.AI cs.LG
Exact Scaling Laws for a Random-Features Bigram Model
Concordia University（康考迪亚大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）
本研究以带 Zipf 统计的双词模型为玩具模型，推导出预测遗憾的缩放定律，其结果与经典神经缩放定律形式吻合，且在 WikiText2、OpenWebText 上的实验验证了结论。
2026-10-13 cs.LG
Complexity Scaling Laws for Neural Models using Combinatorial Optimization
Virginia Tech（弗吉尼亚理工大学）；Kensho Technologies（Kensho科技）
本研究基于问题复杂度（解空间与表示空间大小）为组合优化神经模型建立缩放定律，以TSP为例验证了无损失时仍可预测次优性增长，并与局部搜索的梯度下降趋势类比。
2025-10-25 cs.LG
Meta-Scaling Laws: On the Invariance and Generality of Neural Scaling
Johns Hopkins University（约翰霍普金斯大学）；NTT Research（NTT研究）；MIT（麻省理工学院）；Johns Hopkins University, Bayesian Health（约翰霍普金斯大学，贝叶斯健康）
本文探讨如何建立通用的神经扩展定律，通过识别不变量，使定律能在不同领域间可靠传输，验证了在语言、视觉和语音任务中的有效性，并展示了跨领域应用。
2026-11-13 cs.LG
Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments
Tel-Aviv University（特拉维夫大学）
神经缩放定律以幂律的形式定义了模型参数计数与训练后性能之间的可预测关系。然而，迄今为止，大多数研究还没有明确调查是否缩放定律可以用来加速模型的发展。在这项工作中，我们在广泛的语言理解任务中进行了这样的实证调查，从具有少至10K参数的模型开始，并在9个语言理解任务中评估下游性能。我们发现，缩放定律出现在一些NLP任务中的微调时间，并且它们也可以用于训练大型模型时的调试收敛。此外，对于存在缩放定律的任务，它们可以用于预测更大模型的性能，从而实现有效的模型选择。然而，揭示缩放定律需要仔细的超参数调整和多次运行的目的不确定性估计，这会产生额外的开销，部分抵消了计算的好处。
2022-10-18 cs.CL cs.LG cs.NA
Understanding Scaling Laws with Statistical and Approximation Theory for Transformer Neural Networks on Intrinsically Low-dimensional Data
Georgia Institute of Technology（佐治亚理工学院）
针对Transformer缩放定律缺乏严格理论解释的问题，本文基于低维流形假设建立统计估计与逼近理论，证明了泛化误差遵循由数据内在维度决定的幂律，并在浅层架构下得到实验验证。
2024-11-11 cs.AI cs.CL cs.LG
Generalizing Scaling Laws for Dense and Sparse Large Language Models
Department of Computer Science（计算机科学系）；Iowa State University（爱荷华州立大学）
本文提出了一种通用缩放定律，适用于密集和稀疏大语言模型，通过比较实验验证了其在大规模模型中的有效性。
2026-02-09 cs.AI cs.LG cs.PF
gzip Predicts Data-dependent Scaling Laws
Reworkd
本研究通过调节PCFG复杂度生成训练数据，发现缩放定律对数据复杂度敏感，并提出基于gzip可压缩性的数据相关缩放定律，其计算最优前沿随数据难压缩而偏向数据集大小。
2024-05-26 cs.CL cs.LG
A Simple Model of Inference Scaling Laws
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
该研究提出基于记忆的统计假设构建推理缩放定律简单模型，定义呈幂律衰减的推理损失并关联提示成本，经简单生成模型实验验证预测与经验曲线吻合，为融合推理缩放与其他缩放定律奠基。
2024-12-07 cs.AI cs.IT cs.LG
Towards Robust Scaling Laws for Optimizers
Institute of Science and Technology Austria (ISTA)（科学与技术奥地利研究所）；Lancaster University（兰卡斯特大学）
本文研究了不同优化器的稳健缩放定律，提出了一种共享幂律指数和优化器特定重缩放因子的更稳健定律，并通过理论分析证明了Chinchilla式缩放定律的自然产生。
2026-02-24 cs.LG
Scaling Laws in Jet Classification
Center for Artificial Intelligence Innovation（人工智能创新中心）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文发现对撞机物理中顶夸克与QCD喷注分类的六种分类器随训练集增大呈现幂律标度律，强调应按数据集规模比较分类器而非固定训练集。
2023-12-04 cs.LG hep-ph
Neural Neural Scaling Laws
New York University（纽约大学）
本文提出NeuNeu模型，通过时间序列外推预测语言模型在下游任务中的性能，相比传统参数化方法，其在66个下游任务上的均方误差降低了44%。
2026-10-30 cs.CL cs.LG
Scaling Laws for Associative Memories
FAIR, Meta（FAIR（Meta旗下部门））；Flatiron Institute（弗拉蒂伦研究所）
本文通过基于嵌入外积的高维矩阵模型研究联想记忆机制，推导了关于样本量与参数量的精确缩放定律，并比较了不同估计器的统计效率，辅以大量数值实验验证理论结果。
2024-02-20 cs.AI cs.CL cs.LG
Scaling Laws for Acoustic Models
Amazon Alexa（亚马逊Alexa）
机器学习最近有一种趋势，即通过将模型增长到以前认为不合理的大小来提高模型质量。最近的工作表明，具有交叉熵目标函数的自回归生成模型表现出平滑的幂律关系或缩放律，可以从模型大小，训练集大小和可用的计算预算预测模型质量。这些比例律允许人们在给定对可用训练数据、模型参数计数或训练计算预算的约束的情况下选择接近最优的超参数。在本文中，我们证明了用自动预测编码损失训练的声学模型的行为就好像它们受到类似的缩放律。我们扩展了以前的工作，共同预测由于模型大小，训练集大小和任务固有的“不可减少的损失”造成的损失。我们发现，比例律准确地匹配模型的性能超过两个数量级的模型大小和训练集大小，并预测模型性能的限制。
2021-06-11 cs.CL cs.LG cs.SD
Scaling Laws for Looped Mixture of Experts
Meta AI
本文提出循环缩放定律，联合建模循环与稀疏性，预测循环MoE损失，并证明其在万亿token规模下带来参数效率与性能优势。
2026-10-01 cs.AI cs.CL cs.LG
AlphaZero Neural Scaling and Zipf's Law: a Tale of Board Games and Power Laws
Goethe University Frankfurt（法兰克福歌德大学）
本文研究 AlphaZero 中的幂律缩放，发现游戏状态遵循齐普夫定律，智能体按频率降序优化损失，且逆缩放与终局状态频繁相关，大模型牺牲开局理解。
2025-10-13 cs.LG
Broken neural scaling laws in materials science
Institute of Physics（物理研究所）；Institute of Micro（微研究所）
本研究发现材料科学中预测介电函数的神经缩放定律在数据集规模上失效，但模型参数数量的缩放遵循简单幂律。
2026-02-05 cond-mat.mtrl-sci cs.LG
Pretraining Scaling Laws for Generative Evaluations of Language Models
Computer Science Stanford University（计算机科学 斯坦福大学）；AI Center EPFL（人工智能中心 EPFL）
本文提出三种预训练扩展定律，用于生成评估的性能预测，揭示了不同扩展定律在稳定性与预测性能上的差异。
2026-02-01 cs.LG
The Capability Manifold and ML Scaling Laws
University of Leeds（利兹大学）
本文提出能力流形框架，将下游能力映射到预训练、后训练和测试时资源，统一现有缩放定律，并量化能力对资源的敏感性。
2026-09-24 cs.AI cs.LG
Neural Scaling Laws for Deep Regression
Asia Pacific Center for Theoretical Physics（亚太理论物理中心）；Department of Physics（物理系）；Pohang University of Science and Technology（坡山科学技术大学）
研究深度回归模型中神经扩展定律，通过参数估计模型探讨回归性能与训练数据量和模型容量的幂律关系，发现损失与这些因素呈1到2之间的幂律关系。
2025-11-24 cond-mat.other cs.LG
Scaling Laws for Differentially Private Language Models
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本文针对差分隐私大语言模型（DP LLM）训练动态特性显著不同导致缩放定律未被完全理解的问题，建立了准确建模其训练复杂性的缩放定律，完整呈现了多种设置下的计算-隐私-效用权衡及最优训练配置。
2025-01-31 cs.CR cs.LG
Efficiently Estimating Optimal Hyperparameter Scaling Laws through Power-Law Entropy Search
Meta；National University of Singapore（新加坡国立大学）；Atomic Machines（原子机器公司）
该研究提出幂律熵搜索（PLES），一种基于多保真度贝叶斯优化的获取函数，可高效估计LLM的最优超参数缩放定律，其计算预算仅为传统网格搜索的十分之一。
2026-10-16 cs.AI cs.LG
Scaling Laws for Online Advertisement Retrieval
Kuaishou Technology（快手科技）；M-A-P
针对在线广告检索缺乏缩放定律研究的问题，提出轻量级范式，用离线指标和模拟算法识别在线缩放定律，并验证其存在性及应用。
2025-09-25 cs.AI cs.IR cs.LG
Compression Scaling Laws:Unifying Sparsity and Quantization
Google DeepMind（谷歌DeepMind）；Institute of Science and Technology Austria（奥地利科学技术研究所）
本研究统一了稀疏性与量化在大型语言模型预训练中的缩放定律，发现两者均通过有效参数乘数影响模型性能，并提出了一个通用框架以支持压缩方法的比较与组合。
2025-02-23 cs.CL cs.LG
Sub-Scaling Laws: On the Role of Data Density and Training Strategies in LLMs
Meituan Inc.（美团公司）；The University of Hong Kong（香港大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）
本文揭示了LLMs中性能提升减速的sub-scaling现象，通过分析超400个模型发现高数据密度和非最优资源分配是关键成因，并提出能更好预测该现象的次优缩放定律。
2025-07-13 cs.AI cs.LG
Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws
Databricks MosaicML
本研究针对现有LLM缩放定律忽略推理成本的问题，修改Chinchilla定律以优化给定质量和推理需求下的模型参数与训练数据，通过计算预算和实际成本分析及模型训练验证，为高推理需求场景提供更小、训练更长的模型选择依据。
2025-04-14 cs.CL cs.LG
Towards Multi-Fidelity Scaling Laws of Neural Surrogates in CFD
ELLIS Unit, LIT AI Lab, Institute for Machine Learning, JKU Linz（ELLIS单位、LIT AI实验室、机器学习研究所、JKU林茨）；Emmi AI
研究CFD中神经代理模型在多保真度数据下的缩放定律，通过分解数据集轴为计算预算与构成，揭示了计算性能缩放行为及依赖预算的最优保真度组合，为科学机器学习的高效数据生成提供指导。
2025-11-03 cs.LG physics.flu-dyn
Reproducible scaling laws for contrastive language-image learning
LAION；UC Berkeley（加州大学伯克利分校）；HuggingFace；University of Washington（华盛顿大学）；Juelich Supercomputing Center (JSC)（于利希超级计算中心）；Research Center Juelich (FZJ)（于利希研究中心）
该研究基于公开LAION数据集和开源OpenCLIP库开展CLIP大规模实验，验证了多下游任务的幂律缩放关系，发现训练分布影响缩放行为，开源相关资源以保障可复现性。
2024-07-13 cs.AI cs.CV cs.LG
LLM Architecture, Scaling Laws, and Economics: A Quick Summary
本文梳理了带QKV自注意力的主流LLM标准架构及Transformer结构，给出算力、内存缩放定律与2025年不同规模LLM参数成本估算，探讨DeepSeek的定位，汇总了此前不易获取的相关材料。
2025-09-11 cs.CL cs.GL cs.LG
Scaling Laws for Precision
Harvard University（哈佛大学）；Stanford University（斯坦福大学）；MIT（麻省理工学院）；Databricks（Databricks公司）；Carnegie Mellon University（卡内基梅隆大学）
针对当前缩放定律未考虑低精度训练推理影响的问题，本研究提出精度感知缩放定律，通过有效参数数量预测损失，统一量化规律并在大模型上验证，为计算最优训练提供指导。
2024-11-30 cs.CL cs.LG
Paired Multimodal Scaling Laws
University of Southern California（南加利福尼亚大学）
本研究提出配对多模态缩放定律，将损失分解为四个幂律通道，揭示配对数据对协同损失的临界阈值影响，并在实验中以3.2%误差优于现有定律。
2026-09-30 cs.AI cs.LG
Large Language Model Scaling Laws for Neural Quantum States in Quantum Chemistry
University of Michigan（密歇根大学）；SandboxAQ；New York University（纽约大学）
本文研究了量子化学中基于transformer的神经量子态（NQS）的缩放定律，发现其模型大小与训练时间的关系高度依赖损失指标和拟设，不遵循语言模型的近似线性关系。
2025-09-16 cs.CE cs.LG quant-ph
OWLS: Scaling Laws for Multilingual Speech Recognition and Translation Models
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达公司）
针对语音领域神经缩放定律研究不足的问题，本研究提出OWLS多语言语音模型套件（0.25B至18B参数），基于150种语言36万小时数据推导缩放定律，发现缩放可提升低资源语言性能并推动涌现能力研究。
2025-02-14 cs.AI cs.CL cs.LG
Neural Scaling Laws for Boosted Jet Tagging
Technical University of Munich（慕尼黑技术大学）；SLAC National Accelerator Laboratory（斯坦福大学SLAC国家加速器实验室）
本文研究了提升喷注分类中的神经扩展定律，推导出计算最优的扩展定律，并展示了增加计算资源如何提高性能极限。
2026-02-17 cs.LG hep-ex hep-ph
