Scaling Laws are Redundancy Laws
本文通过核回归证明缩放定律可形式化为冗余定律,揭示学习曲线斜率依赖数据冗余,统一了经验观察与理论基础。
2026-03-22 cs.LG math.ST stat.ML
Scaling Laws for a Multi-Agent Reinforcement Learning Model
Institute for Theoretical Physics(理论物理研究所);Goethe University Frankfurt(法兰克福歌德大学)
最近对神经幂律比例关系的观察在深度学习领域产生了重大影响。因此,大量的注意力都集中在对缩放定律的描述上,尽管大多数是针对监督学习的,而对于强化学习框架来说只是在一定程度上。在本文中,我们提出了一个广泛的研究性能缩放的基石强化学习算法,AlphaZero。基于Elo评级、游戏强度和幂律缩放之间的关系,我们在游戏Connect Four和Pentago上训练AlphaZero代理并分析其性能。我们发现,球员的实力规模作为一个幂律的神经网络参数计数时,不检查可用的计算,并作为一个权力的计算时,训练最佳规模的代理。我们观察到几乎相同的标度指数为两个游戏。结合这两个观测到的缩放定律,我们得到了一个幂律相关的最佳大小来计算类似的观察语言模型。我们发现,预测的最佳神经网络大小的缩放适合我们的数据为两个游戏。这种缩放定律意味着,在给定各自的计算预算的情况下,先前发布的最先进的游戏模型明显小于其最佳大小。我们还表明,大型AlphaZero模型的样本效率更高,在训练数据相同的情况下,性能优于较小的模型。
2023-02-13 cs.LG
Generalizing Scaling Laws for Dense and Sparse Large Language Models
Department of Computer Science(计算机科学系);Iowa State University(爱荷华州立大学)
本文提出了一种通用缩放定律,适用于密集和稀疏大语言模型,通过比较实验验证了其在大规模模型中的有效性。
2026-02-09 cs.AI cs.LG cs.PF
Beyond neural scaling laws: beating power law scaling via data pruning
Stanford University(斯坦福大学);University of Tübingen(蒂宾根大学);Meta AI (FAIR)(Meta人工智能(基础人工智能研究院))
本文提出利用高质量数据剪枝突破误差随数据量的幂律缩放,并通过 ImageNet 基准与自监督剪枝指标验证其可显著降低深度学习资源成本。
2023-04-21 cs.AI cs.CV cs.LG
Perturbation Bounds for Procrustes, Classical Scaling, and Trilateration, with Applications to Manifold Learning
University of California, San Diego(加州大学圣地亚哥分校);University of Southern California(南加州大学);Université Rennes II(雷恩第二大学)
无监督学习的一个常见任务是降维,其目标是找到隐藏在高维数据中的有意义的低维结构。有时被称为流形学习,这个问题与定位问题密切相关,定位问题旨在将加权图嵌入低维欧氏空间。已经提出了几种方法用于定位,以及流形学习。尽管如此,大多数的鲁棒性还不太清楚。在本文中,我们获得了经典的缩放和三边测量的扰动界,然后将其应用于导出Isomap,Landmark Isomap和最大方差展开的性能界。一个新的微扰界对procrustes分析起着关键作用。
2019-10-24 cs.LG cs.NA math.NA
Understanding Scaling Laws for Recommendation Models
Meta
规模一直是提高机器学习性能的主要驱动力,理解缩放定律对于可持续模型质量性能增长的战略规划、长期资源规划和开发有效的系统基础设施以支持大规模模型至关重要。本文研究了DLRM风格推荐模型的经验缩放定律,特别是点击率(CTR)。我们观察到模型质量与幂律以及模型大小、数据大小和用于训练的计算量的常数有关。我们沿着三个不同的资源维度,即数据,参数和计算,通过比较不同的缩放方案沿这些轴的缩放效率。我们表明,参数缩放是蒸汽的模型架构正在研究中,直到一个更高性能的模型架构出现,数据缩放是前进的道路。本研究所解决的关键研究问题包括:一个推荐模型的规模可持续的预测的缩放定律?或者我们离缩放定律的预测还很远?缩放的极限是什么?缩放定律对长期硬件/系统开发有何影响?
2022-08-17 cs.IR cs.LG
Kernel Scaling for Manifold Learning and Classification
Tel Aviv University(特拉维夫大学)
核方法在许多机器学习算法中起着至关重要的作用。它们在流形学习、分类、聚类和其他数据分析任务中很有用。设置内核的scale参数(也称为内核的带宽)会严重影响当前任务的性能。我们建议设置一个尺度参数,该参数针对两种类型的任务之一:分类和流形学习。对于流形学习,我们寻求一个最能捕捉流形内在维度的尺度。对于分类,我们提出了三种估计尺度的方法,它们在不同的意义上优化了分类结果。所提出的框架在人工数据集和真实数据集上进行了模拟。结果表明,最佳分类率和估计的规模之间的高度相关性。最后,我们展示了一个地震事件分类任务的方法。
2019-06-05 cs.LG
Pretraining Scaling Laws for Generative Evaluations of Language Models
Computer Science Stanford University(计算机科学 斯坦福大学);AI Center EPFL(人工智能中心 EPFL)
本文提出三种预训练扩展定律,用于生成评估的性能预测,揭示了不同扩展定律在稳定性与预测性能上的差异。
2026-02-01 cs.LG
The Capability Manifold and ML Scaling Laws
University of Leeds(利兹大学)
本文提出能力流形框架,将下游能力映射到预训练、后训练和测试时资源,统一现有缩放定律,并量化能力对资源的敏感性。
2026-09-24 cs.AI cs.LG
An Empirical Study of Scaling Laws for Transfer
Epoch AI
本文通过实证研究提出含“迁移差距”项的缩放定律,揭示预训练与微调数据在不同分布间的成本效益权衡,为迁移学习效率测量和最优数据分配提供理论依据。
2024-08-30 cs.LG
Exact Scaling Laws for a Random-Features Bigram Model
Concordia University(康考迪亚大学);Mila – Quebec AI Institute(魁北克人工智能研究所)
本研究以带 Zipf 统计的双词模型为玩具模型,推导出预测遗憾的缩放定律,其结果与经典神经缩放定律形式吻合,且在 WikiText2、OpenWebText 上的实验验证了结论。
2026-10-13 cs.LG
Meta-Scaling Laws: On the Invariance and Generality of Neural Scaling
Johns Hopkins University(约翰霍普金斯大学);NTT Research(NTT研究);MIT(麻省理工学院);Johns Hopkins University, Bayesian Health(约翰霍普金斯大学,贝叶斯健康)
本文探讨如何建立通用的神经扩展定律,通过识别不变量,使定律能在不同领域间可靠传输,验证了在语言、视觉和语音任务中的有效性,并展示了跨领域应用。
2026-11-13 cs.LG
Neural Scaling Laws Rooted in the Data Distribution
本研究针对深度神经网络神经缩放定律的普遍性成因问题,基于渗流理论构建描述自然数据集的数学模型,发现两种对应不同数据特征的临界态 regime 可统一现有缩放理论,并通过玩具数据集实验验证,为语言模型缩放定量预测提供方向。
2024-12-10 cond-mat.dis-nn cs.LG
Embedding Functional Data: Multidimensional Scaling and Manifold Learning
University of California, San Diego(加州大学圣地亚哥分校);George Mason University(乔治梅森大学)
我们适应的概念,方法和理论最初开发的多维尺度和多维数据降维的功能设置。我们专注于经典的缩放和Isomap -原型方法,在这些领域发挥了重要作用-并展示其在功能数据分析的背景下使用。在这个过程中,我们强调了环境度量所起的关键作用。
2022-08-30 cs.LG math.MG math.ST
Efficiently Estimating Optimal Hyperparameter Scaling Laws through Power-Law Entropy Search
Meta;National University of Singapore(新加坡国立大学);Atomic Machines(原子机器公司)
该研究提出幂律熵搜索(PLES),一种基于多保真度贝叶斯优化的获取函数,可高效估计LLM的最优超参数缩放定律,其计算预算仅为传统网格搜索的十分之一。
2026-10-16 cs.AI cs.LG
Information-Theoretic Foundations for Neural Scaling Laws
Stanford University(斯坦福大学)
本文利用严格的信息论方法为神经缩放定律建立理论基础,并证明在无限宽双层神经网络数据下,数据规模与模型规模的最优关系在忽略对数因子时呈线性,与大规模实证结果一致。
2024-06-28 cs.AI cs.LG
Scaling laws for amplitude surrogates
Institut für Theoretische Physik, Universität Heidelberg(海德堡大学理论物理研究所);Department of Physics, Harvard University(哈佛大学物理系);LPNHE, Sorbonne Université, Université Paris Cité, CNRS/IN2P3(巴黎大学LPNHE)
本文研究了粒子物理学中幅度替代方案的缩放规律,发现缩放系数与过程的外部粒子数量相关,并证明了缩放规律在实现精度目标中的作用。
2026-11-06 cs.LG hep-ph
Scaling Laws in Jet Classification
Center for Artificial Intelligence Innovation(人工智能创新中心);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文发现对撞机物理中顶夸克与QCD喷注分类的六种分类器随训练集增大呈现幂律标度律,强调应按数据集规模比较分类器而非固定训练集。
2023-12-04 cs.LG hep-ph
Neural Neural Scaling Laws
New York University(纽约大学)
本文提出NeuNeu模型,通过时间序列外推预测语言模型在下游任务中的性能,相比传统参数化方法,其在66个下游任务上的均方误差降低了44%。
2026-10-30 cs.CL cs.LG
gzip Predicts Data-dependent Scaling Laws
Reworkd
本研究通过调节PCFG复杂度生成训练数据,发现缩放定律对数据复杂度敏感,并提出基于gzip可压缩性的数据相关缩放定律,其计算最优前沿随数据难压缩而偏向数据集大小。
2024-05-26 cs.CL cs.LG
How to Upscale Neural Networks with Scaling Law? A Survey and Practical Guidelines
Indian Institute of Technology Delhi(印度理工学院德里)
本综述综合50余项研究,探讨神经缩放定律的理论基础与局限,指出其在稀疏、多模态等模型中的偏差,并倡导针对实际应用的自适应缩放策略。
2025-05-27 cs.CL cs.LG
From Zipf's Law to Neural Scaling through Heaps' Law and Hilberg's Hypothesis
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文系统揭示了神经缩放定律与齐普夫定律之间的演绎关系,通过推导词汇增长的希普斯定律和熵缩放的希尔伯格假设,证明神经缩放定律是齐普夫定律在广泛假设下的推论。
2026-06-23 cs.IT cs.LG math.IT
Amortizing Scaling Law Construction Costs
ELLIS Institute Tübingen(埃利斯研究所蒂宾根分所);OpenEuroLLM;Eindhoven University of Technology(埃因霍温理工大学);University of Freiburg(弗赖堡大学);Zuse School ELIZA(楚塞ELIZA学校);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(蒂宾根人工智能中心)
针对推导大型基础模型缩放定律计算成本高的问题,提出将数据收集转化为贝叶斯优化的框架,结合逐步扩大计算预算与代理幻想评估,可在节省10至100倍计算成本的同时实现准确的缩放定律拟合。
2026-11-18 cs.AI cs.LG
Scaling Law Hypothesis for Multimodal Model
PIN AI;G-Alpha;Apple(苹果公司);MIT(麻省理工学院);MIT EECS(麻省理工学院电气工程与计算机科学系)
本文提出适用于共享空间的多模态模型缩放定律假设,基于模态压缩与tokenization效率预测性能,并探讨利用多模态训练数据减小模型规模以实现资源受限设备的高效部署。
2024-11-11 cs.AI cs.LG
Neural Scaling Laws for Deep Regression
Asia Pacific Center for Theoretical Physics(亚太理论物理中心);Department of Physics(物理系);Pohang University of Science and Technology(坡山科学技术大学)
研究深度回归模型中神经扩展定律,通过参数估计模型探讨回归性能与训练数据量和模型容量的幂律关系,发现损失与这些因素呈1到2之间的幂律关系。
2025-11-24 cond-mat.other cs.LG
Scaling Laws for Online Advertisement Retrieval
Kuaishou Technology(快手科技);M-A-P
针对在线广告检索缺乏缩放定律研究的问题,提出轻量级范式,用离线指标和模拟算法识别在线缩放定律,并验证其存在性及应用。
2025-09-25 cs.AI cs.IR cs.LG
Relative-Based Scaling Law for Neural Language Models
Tsinghua University(清华大学)
针对交叉熵指标忽略正确与错误令牌相对排序的局限,本文提出相对排序概率(RBP)指标并建立基于相对排序的缩放定律,通过跨五个数量级的实验验证其稳健性,并展示其在解释涌现现象和探索基础理论中的应用。
2025-10-23 cs.AI cs.CL cs.LG
Neural Scaling Laws From Large-N Field Theory: Solvable Model Beyond the Ridgeless Limit
University of Utah(犹他大学)
本文使用大N场论方法求解神经标度律模型,将结果推广至ridge参数非零的一般情况,获得更精确的标度律,并揭示图层面的对偶变换以解释模型与数据集大小的对称性。
2024-05-29 cond-mat.dis-nn cs.LG hep-ph