Amortizing Scaling Law Construction Costs
ELLIS Institute Tübingen(埃利斯研究所蒂宾根分所);OpenEuroLLM;Eindhoven University of Technology(埃因霍温理工大学);University of Freiburg(弗赖堡大学);Zuse School ELIZA(楚塞ELIZA学校);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(蒂宾根人工智能中心)
针对推导大型基础模型缩放定律计算成本高的问题,提出将数据收集转化为贝叶斯优化的框架,结合逐步扩大计算预算与代理幻想评估,可在节省10至100倍计算成本的同时实现准确的缩放定律拟合。
2026-11-18 cs.AI cs.LG
Scaling Law Hypothesis for Multimodal Model
PIN AI;G-Alpha;Apple(苹果公司);MIT(麻省理工学院);MIT EECS(麻省理工学院电气工程与计算机科学系)
本文提出适用于共享空间的多模态模型缩放定律假设,基于模态压缩与tokenization效率预测性能,并探讨利用多模态训练数据减小模型规模以实现资源受限设备的高效部署。
2024-11-11 cs.AI cs.LG
Bayesian Neural Scaling Law Extrapolation with Prior-Data Fitted Networks
Yonsei University(延世大学);University of Freiburg(弗莱堡大学);Korea University(韩国大学)
针对现有神经缩放律外推方法多依赖点估计、无法量化不确定性的问题,提出基于先验数据拟合网络的贝叶斯框架,通过设计可采样类真实缩放律合成函数的先验实现元学习外推,在数据有限场景下性能更优。
2025-06-16 cs.AI cs.LG
Towards Neural Scaling Laws on Graphs
Michigan State University(密歇根州立大学);Snap Inc(Snap公司)
该研究通过覆盖多任务、最高1亿参数和5000万样本的基准实验,建立并修正图模型与图数据的神经缩放定律。
2024-11-30 cs.AI cs.LG
Scaling Laws for Online Advertisement Retrieval
Kuaishou Technology(快手科技);M-A-P
针对在线广告检索缺乏缩放定律研究的问题,提出轻量级范式,用离线指标和模拟算法识别在线缩放定律,并验证其存在性及应用。
2025-09-25 cs.AI cs.IR cs.LG
Scaling Laws for Looped Mixture of Experts
Meta AI
本文提出循环缩放定律,联合建模循环与稀疏性,预测循环MoE损失,并证明其在万亿token规模下带来参数效率与性能优势。
2026-10-01 cs.AI cs.CL cs.LG
Relative-Based Scaling Law for Neural Language Models
Tsinghua University(清华大学)
针对交叉熵指标忽略正确与错误令牌相对排序的局限,本文提出相对排序概率(RBP)指标并建立基于相对排序的缩放定律,通过跨五个数量级的实验验证其稳健性,并展示其在解释涌现现象和探索基础理论中的应用。
2025-10-23 cs.AI cs.CL cs.LG
AlphaZero Neural Scaling and Zipf's Law: a Tale of Board Games and Power Laws
Goethe University Frankfurt(法兰克福歌德大学)
本文研究 AlphaZero 中的幂律缩放,发现游戏状态遵循齐普夫定律,智能体按频率降序优化损失,且逆缩放与终局状态频繁相关,大模型牺牲开局理解。
2025-10-13 cs.LG
Scaling Law Phenomena Across Regression Paradigms: Multiple and Kernel Approaches
The University of Chicago(芝加哥大学);Guilin University of Electronic Technology(桂林电子科技大学);University of New South Wales(新南威尔士大学);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Simons Institute for the Theory of Computing at UC Berkeley(加州大学伯克利分校西蒙斯理论计算研究所)
本研究证明缩放律现象扩展至比线性回归更具表达力的多重回归和核回归设置,为理解大型语言模型中的缩放律提供了更深入的见解。
2025-03-03 cs.AI cs.LG stat.ML
Deriving Neural Scaling Laws from the statistics of natural language
研究从自然语言统计推导神经缩放定律,分离出语言关键统计属性预测神经缩放指数,给出基于这些统计量的简单公式,与实验测量定律匹配。
2026-07-07 cs.AI cs.LG stat.ML
Understanding Scaling Laws for Recommendation Models
Meta
规模一直是提高机器学习性能的主要驱动力,理解缩放定律对于可持续模型质量性能增长的战略规划、长期资源规划和开发有效的系统基础设施以支持大规模模型至关重要。本文研究了DLRM风格推荐模型的经验缩放定律,特别是点击率(CTR)。我们观察到模型质量与幂律以及模型大小、数据大小和用于训练的计算量的常数有关。我们沿着三个不同的资源维度,即数据,参数和计算,通过比较不同的缩放方案沿这些轴的缩放效率。我们表明,参数缩放是蒸汽的模型架构正在研究中,直到一个更高性能的模型架构出现,数据缩放是前进的道路。本研究所解决的关键研究问题包括:一个推荐模型的规模可持续的预测的缩放定律?或者我们离缩放定律的预测还很远?缩放的极限是什么?缩放定律对长期硬件/系统开发有何影响?
2022-08-17 cs.IR cs.LG
Beyond neural scaling laws: beating power law scaling via data pruning
Stanford University(斯坦福大学);University of Tübingen(蒂宾根大学);Meta AI (FAIR)(Meta人工智能(基础人工智能研究院))
本文提出利用高质量数据剪枝突破误差随数据量的幂律缩放,并通过 ImageNet 基准与自监督剪枝指标验证其可显著降低深度学习资源成本。
2023-04-21 cs.AI cs.CV cs.LG
Scaling Laws for a Multi-Agent Reinforcement Learning Model
Institute for Theoretical Physics(理论物理研究所);Goethe University Frankfurt(法兰克福歌德大学)
最近对神经幂律比例关系的观察在深度学习领域产生了重大影响。因此,大量的注意力都集中在对缩放定律的描述上,尽管大多数是针对监督学习的,而对于强化学习框架来说只是在一定程度上。在本文中,我们提出了一个广泛的研究性能缩放的基石强化学习算法,AlphaZero。基于Elo评级、游戏强度和幂律缩放之间的关系,我们在游戏Connect Four和Pentago上训练AlphaZero代理并分析其性能。我们发现,球员的实力规模作为一个幂律的神经网络参数计数时,不检查可用的计算,并作为一个权力的计算时,训练最佳规模的代理。我们观察到几乎相同的标度指数为两个游戏。结合这两个观测到的缩放定律,我们得到了一个幂律相关的最佳大小来计算类似的观察语言模型。我们发现,预测的最佳神经网络大小的缩放适合我们的数据为两个游戏。这种缩放定律意味着,在给定各自的计算预算的情况下,先前发布的最先进的游戏模型明显小于其最佳大小。我们还表明,大型AlphaZero模型的样本效率更高,在训练数据相同的情况下,性能优于较小的模型。
2023-02-13 cs.LG
Neural Scaling Laws Rooted in the Data Distribution
本研究针对深度神经网络神经缩放定律的普遍性成因问题,基于渗流理论构建描述自然数据集的数学模型,发现两种对应不同数据特征的临界态 regime 可统一现有缩放理论,并通过玩具数据集实验验证,为语言模型缩放定量预测提供方向。
2024-12-10 cond-mat.dis-nn cs.LG
Scaling Laws Are Unreliable for Downstream Tasks: A Reality Check
New York University(纽约大学);Prescient Design;CIFAR LMB
本研究通过元分析发现下游缩放定律仅在39%情况下可预测,强调需理解其成功条件并接受非线性缩放行为。
2025-10-09 cs.CL cs.LG
Pretraining Scaling Laws for Generative Evaluations of Language Models
Computer Science Stanford University(计算机科学 斯坦福大学);AI Center EPFL(人工智能中心 EPFL)
本文提出三种预训练扩展定律,用于生成评估的性能预测,揭示了不同扩展定律在稳定性与预测性能上的差异。
2026-02-01 cs.LG
How to Allocate Your Tokens? Scaling Laws with Training Steps and Batch Size
Inria, École Normale Supérieure, PSL Research University(法国国家信息与自动化研究所,巴黎高等师范学院,巴黎文理研究大学)
提出一个包含模型大小、训练步数和批大小的三术语缩放定律,能正确恢复最优批大小缩放,且拟合所需训练运行次数更少。
2026-07-03 cs.LG stat.ML
An Empirical Study of Scaling Laws for Transfer
Epoch AI
本文通过实证研究提出含“迁移差距”项的缩放定律,揭示预训练与微调数据在不同分布间的成本效益权衡,为迁移学习效率测量和最优数据分配提供理论依据。
2024-08-30 cs.LG
Scaling laws for amplitude surrogates
Institut für Theoretische Physik, Universität Heidelberg(海德堡大学理论物理研究所);Department of Physics, Harvard University(哈佛大学物理系);LPNHE, Sorbonne Université, Université Paris Cité, CNRS/IN2P3(巴黎大学LPNHE)
本文研究了粒子物理学中幅度替代方案的缩放规律,发现缩放系数与过程的外部粒子数量相关,并证明了缩放规律在实现精度目标中的作用。
2026-11-06 cs.LG hep-ph
Exact Scaling Laws for a Random-Features Bigram Model
Concordia University(康考迪亚大学);Mila – Quebec AI Institute(魁北克人工智能研究所)
本研究以带 Zipf 统计的双词模型为玩具模型,推导出预测遗憾的缩放定律,其结果与经典神经缩放定律形式吻合,且在 WikiText2、OpenWebText 上的实验验证了结论。
2026-10-13 cs.LG
From Zipf's Law to Neural Scaling through Heaps' Law and Hilberg's Hypothesis
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文系统揭示了神经缩放定律与齐普夫定律之间的演绎关系,通过推导词汇增长的希普斯定律和熵缩放的希尔伯格假设,证明神经缩放定律是齐普夫定律在广泛假设下的推论。
2026-06-23 cs.IT cs.LG math.IT
Meta-Scaling Laws: On the Invariance and Generality of Neural Scaling
Johns Hopkins University(约翰霍普金斯大学);NTT Research(NTT研究);MIT(麻省理工学院);Johns Hopkins University, Bayesian Health(约翰霍普金斯大学,贝叶斯健康)
本文探讨如何建立通用的神经扩展定律,通过识别不变量,使定律能在不同领域间可靠传输,验证了在语言、视觉和语音任务中的有效性,并展示了跨领域应用。
2026-11-13 cs.LG
A Solvable Model of Neural Scaling Laws
McGill University(麦吉尔大学);Massachusetts Institute of Technology(麻省理工学院);Salesforce(赛富时);University of British Columbia(不列颠哥伦比亚大学);Anthropic
具有大量参数的大语言模型,当在接近互联网大小的令牌上进行训练时,已被经验证明遵守神经缩放定律:具体而言,它们的性能在参数或数据集大小方面表现为可预测的幂律,直到被其他资源检查。为了更好地理解这一点,我们首先确定了允许这种缩放定律出现的必要属性,然后提出了一个统计模型--一个联合生成数据模型和随机特征模型--它捕捉了这种神经缩放现象。通过在大训练集大小和大量参数的双重限制下求解该模型,我们可以深入了解(i)导致缩放定律的数据集和任务的统计结构,(ii)非线性特征映射(如神经网络提供的那些)在这些数据集上训练时启用缩放定律的方式,(iii)训练集和参数的等参数化缩放的最优性,以及(iv)这种缩放定律是否会失效,以及当它们失效时它们的表现如何。主要发现是自然数据集统计中出现的幂律通过非线性随机特征映射扩展,然后转化为测试损失的幂律缩放的方式,以及数据的谱幂律的有限范围如何导致模型的性能达到平台。
2022-10-30 cs.LG hep-th stat.ML
Scaling Laws in Jet Classification
Center for Artificial Intelligence Innovation(人工智能创新中心);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文发现对撞机物理中顶夸克与QCD喷注分类的六种分类器随训练集增大呈现幂律标度律,强调应按数据集规模比较分类器而非固定训练集。
2023-12-04 cs.LG hep-ph
Neural Neural Scaling Laws
New York University(纽约大学)
本文提出NeuNeu模型,通过时间序列外推预测语言模型在下游任务中的性能,相比传统参数化方法,其在66个下游任务上的均方误差降低了44%。
2026-10-30 cs.CL cs.LG
Towards Robust Scaling Laws for Optimizers
Institute of Science and Technology Austria (ISTA)(科学与技术奥地利研究所);Lancaster University(兰卡斯特大学)
本文研究了不同优化器的稳健缩放定律,提出了一种共享幂律指数和优化器特定重缩放因子的更稳健定律,并通过理论分析证明了Chinchilla式缩放定律的自然产生。
2026-02-24 cs.LG
Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments
Tel-Aviv University(特拉维夫大学)
神经缩放定律以幂律的形式定义了模型参数计数与训练后性能之间的可预测关系。然而,迄今为止,大多数研究还没有明确调查是否缩放定律可以用来加速模型的发展。在这项工作中,我们在广泛的语言理解任务中进行了这样的实证调查,从具有少至10K参数的模型开始,并在9个语言理解任务中评估下游性能。我们发现,缩放定律出现在一些NLP任务中的微调时间,并且它们也可以用于训练大型模型时的调试收敛。此外,对于存在缩放定律的任务,它们可以用于预测更大模型的性能,从而实现有效的模型选择。然而,揭示缩放定律需要仔细的超参数调整和多次运行的目的不确定性估计,这会产生额外的开销,部分抵消了计算的好处。
2022-10-18 cs.CL cs.LG cs.NA
gzip Predicts Data-dependent Scaling Laws
Reworkd
本研究通过调节PCFG复杂度生成训练数据,发现缩放定律对数据复杂度敏感,并提出基于gzip可压缩性的数据相关缩放定律,其计算最优前沿随数据难压缩而偏向数据集大小。
2024-05-26 cs.CL cs.LG
Scaling Laws are Redundancy Laws
本文通过核回归证明缩放定律可形式化为冗余定律,揭示学习曲线斜率依赖数据冗余,统一了经验观察与理论基础。
2026-03-22 cs.LG math.ST stat.ML
How to Upscale Neural Networks with Scaling Law? A Survey and Practical Guidelines
Indian Institute of Technology Delhi(印度理工学院德里)
本综述综合50余项研究,探讨神经缩放定律的理论基础与局限,指出其在稀疏、多模态等模型中的偏差,并倡导针对实际应用的自适应缩放策略。
2025-05-27 cs.CL cs.LG
Neural Scaling Laws for Deep Regression
Asia Pacific Center for Theoretical Physics(亚太理论物理中心);Department of Physics(物理系);Pohang University of Science and Technology(坡山科学技术大学)
研究深度回归模型中神经扩展定律,通过参数估计模型探讨回归性能与训练数据量和模型容量的幂律关系,发现损失与这些因素呈1到2之间的幂律关系。
2025-11-24 cond-mat.other cs.LG
A Neural Scaling Law from the Dimension of the Data Manifold
Johns Hopkins University(约翰斯·霍普金斯大学)
当数据丰富时,经过良好训练的神经网络所实现的损失在网络参数$N$的数量上按幂律$L \propto N^{-α}$缩放。这种经验性的缩放定律适用于各种各样的数据模态,并且可以在许多数量级上持续存在。如果神经模型有效地只对内在维度为$d$的数据流形执行回归,则可以解释缩放定律。这个简单的理论预测了交叉熵和均方误差损失的标度指数$α\approx 4/d$。我们通过独立测量教师/学生框架中的内在维数和标度指数来证实理论,在这个框架中,我们可以通过拨打随机教师网络的属性来研究各种$d$和$α$。我们还在几个数据集上使用CNN图像分类器和GPT类型的语言模型测试了该理论。
2020-04-22 cs.LG stat.ML
Compression Scaling Laws:Unifying Sparsity and Quantization
Google DeepMind(谷歌DeepMind);Institute of Science and Technology Austria(奥地利科学技术研究所)
本研究统一了稀疏性与量化在大型语言模型预训练中的缩放定律,发现两者均通过有效参数乘数影响模型性能,并提出了一个通用框架以支持压缩方法的比较与组合。
2025-02-23 cs.CL cs.LG
Scaling Laws for Acoustic Models
Amazon Alexa(亚马逊Alexa)
机器学习最近有一种趋势,即通过将模型增长到以前认为不合理的大小来提高模型质量。最近的工作表明,具有交叉熵目标函数的自回归生成模型表现出平滑的幂律关系或缩放律,可以从模型大小,训练集大小和可用的计算预算预测模型质量。这些比例律允许人们在给定对可用训练数据、模型参数计数或训练计算预算的约束的情况下选择接近最优的超参数。在本文中,我们证明了用自动预测编码损失训练的声学模型的行为就好像它们受到类似的缩放律。我们扩展了以前的工作,共同预测由于模型大小,训练集大小和任务固有的“不可减少的损失”造成的损失。我们发现,比例律准确地匹配模型的性能超过两个数量级的模型大小和训练集大小,并预测模型性能的限制。
2021-06-11 cs.CL cs.LG cs.SD
Neural Scaling Laws From Large-N Field Theory: Solvable Model Beyond the Ridgeless Limit
University of Utah(犹他大学)
本文使用大N场论方法求解神经标度律模型,将结果推广至ridge参数非零的一般情况,获得更精确的标度律,并揭示图层面的对偶变换以解释模型与数据集大小的对称性。
2024-05-29 cond-mat.dis-nn cs.LG hep-ph