Complexity Scaling Laws for Neural Models using Combinatorial Optimization
Virginia Tech(弗吉尼亚理工大学);Kensho Technologies(Kensho科技)
本研究基于问题复杂度(解空间与表示空间大小)为组合优化神经模型建立缩放定律,以TSP为例验证了无损失时仍可预测次优性增长,并与局部搜索的梯度下降趋势类比。
2025-10-25 cs.LG
Meta-Scaling Laws: On the Invariance and Generality of Neural Scaling
Johns Hopkins University(约翰霍普金斯大学);NTT Research(NTT研究);MIT(麻省理工学院);Johns Hopkins University, Bayesian Health(约翰霍普金斯大学,贝叶斯健康)
本文探讨如何建立通用的神经扩展定律,通过识别不变量,使定律能在不同领域间可靠传输,验证了在语言、视觉和语音任务中的有效性,并展示了跨领域应用。
2026-11-13 cs.LG
Towards Robust Scaling Laws for Optimizers
Institute of Science and Technology Austria (ISTA)(科学与技术奥地利研究所);Lancaster University(兰卡斯特大学)
本文研究了不同优化器的稳健缩放定律,提出了一种共享幂律指数和优化器特定重缩放因子的更稳健定律,并通过理论分析证明了Chinchilla式缩放定律的自然产生。
2026-02-24 cs.LG
AlphaZero Neural Scaling and Zipf's Law: a Tale of Board Games and Power Laws
Goethe University Frankfurt(法兰克福歌德大学)
本文研究 AlphaZero 中的幂律缩放,发现游戏状态遵循齐普夫定律,智能体按频率降序优化损失,且逆缩放与终局状态频繁相关,大模型牺牲开局理解。
2025-10-13 cs.LG
Pretraining Scaling Laws for Generative Evaluations of Language Models
Computer Science Stanford University(计算机科学 斯坦福大学);AI Center EPFL(人工智能中心 EPFL)
本文提出三种预训练扩展定律,用于生成评估的性能预测,揭示了不同扩展定律在稳定性与预测性能上的差异。
2026-02-01 cs.LG
Scaling Laws for the Value of Individual Data Points in Machine Learning
Stanford University(斯坦福大学)
本文研究了单个数据点价值的缩放定律,发现其对模型性能的贡献随数据集大小以对数线性方式缩减,并提出了高效估计器以应用于数据评估与子集选择。
2024-05-30 cs.LG
Scaling laws in wearable human activity recognition
Google DeepMind(谷歌DeepMind);Google LLC School of Engineering & Informatics, University of Sussex, UK(谷歌 LLC 工程与信息学学院,Sussex 大学,英国);Google LLC Computer Laboratory, University of Cambridge, UK(谷歌 LLC 计算实验室,剑桥大学,英国);Google Research Queen’s University, Canada(谷歌研究 Queen’s 大学,加拿大)
该研究针对可穿戴人体活动识别领域缺乏缩放定律的问题,通过网格搜索建立了首个HAR缩放定律,验证了数据多样性的重要性及定律的下游迁移效果,并建议重审过往相关研究的模型容量设置。
2025-05-20 cs.LG
High-dimensional Analysis of Knowledge Distillation: Weak-to-Strong Generalization and Scaling Laws
University of Michigan(密歇根大学);Institute of Science and Technology Austria(奥地利科学技术研究所)
本文通过高维无脊回归的精确刻画,证明弱到强泛化中弱模型代理训练在相同数据预算下优于强标签训练,但无法改善数据缩放定律。
2025-02-27 cs.LG stat.ML
Scaling Reasoning Efficiently via Relaxed On-Policy Distillation
REOPOLD通过放松在线策略蒸馏的约束,提升模型训练效率和推理扩展能力,尤其在视觉推理任务中表现突出。
2026-10-28 cs.CL cs.LG
Information-Theoretic Foundations for Neural Scaling Laws
Stanford University(斯坦福大学)
本文利用严格的信息论方法为神经缩放定律建立理论基础,并证明在无限宽双层神经网络数据下,数据规模与模型规模的最优关系在忽略对数因子时呈线性,与大规模实证结果一致。
2024-06-28 cs.AI cs.LG
Scaling Laws Are Unreliable for Downstream Tasks: A Reality Check
New York University(纽约大学);Prescient Design;CIFAR LMB
本研究通过元分析发现下游缩放定律仅在39%情况下可预测,强调需理解其成功条件并接受非线性缩放行为。
2025-10-09 cs.CL cs.LG
Scaling laws for amplitude surrogates
Institut für Theoretische Physik, Universität Heidelberg(海德堡大学理论物理研究所);Department of Physics, Harvard University(哈佛大学物理系);LPNHE, Sorbonne Université, Université Paris Cité, CNRS/IN2P3(巴黎大学LPNHE)
本文研究了粒子物理学中幅度替代方案的缩放规律,发现缩放系数与过程的外部粒子数量相关,并证明了缩放规律在实现精度目标中的作用。
2026-11-06 cs.LG hep-ph
SelMatch: Effectively Scaling Up Dataset Distillation via Selection-Based Initialization and Partial Updates by Trajectory Matching
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院电气工程学院)
提出SelMatch数据集蒸馏方法,通过基于选择的初始化和轨迹匹配的部分更新控制合成数据集难度,有效解决IPC增大时覆盖差距问题,在CIFAR-10/100和TinyImageNet上表现优异。
2024-05-28 cs.CV cs.LG
Understanding Scaling Laws for Recommendation Models
Meta
规模一直是提高机器学习性能的主要驱动力,理解缩放定律对于可持续模型质量性能增长的战略规划、长期资源规划和开发有效的系统基础设施以支持大规模模型至关重要。本文研究了DLRM风格推荐模型的经验缩放定律,特别是点击率(CTR)。我们观察到模型质量与幂律以及模型大小、数据大小和用于训练的计算量的常数有关。我们沿着三个不同的资源维度,即数据,参数和计算,通过比较不同的缩放方案沿这些轴的缩放效率。我们表明,参数缩放是蒸汽的模型架构正在研究中,直到一个更高性能的模型架构出现,数据缩放是前进的道路。本研究所解决的关键研究问题包括:一个推荐模型的规模可持续的预测的缩放定律?或者我们离缩放定律的预测还很远?缩放的极限是什么?缩放定律对长期硬件/系统开发有何影响?
2022-08-17 cs.IR cs.LG
On Implications of Scaling Laws on Feature Superposition
本文通过缩放定律论证了特征叠加假设与特征通用性命题无法同时成立,揭示了特征表示理论的内在矛盾。
2024-07-01 cs.AI cs.LG
Neural Scaling Laws Rooted in the Data Distribution
本研究针对深度神经网络神经缩放定律的普遍性成因问题,基于渗流理论构建描述自然数据集的数学模型,发现两种对应不同数据特征的临界态 regime 可统一现有缩放理论,并通过玩具数据集实验验证,为语言模型缩放定量预测提供方向。
2024-12-10 cond-mat.dis-nn cs.LG
Gemstones: A Model Suite for Multi-Faceted Scaling Laws
University of Maryland(马里兰大学);Columbia University(哥伦比亚大学)
本研究发布Gemstones开源缩放定律数据集,含超4000个检查点,揭示缩放定律处方对实验设计和模型检查点高度敏感。
2025-10-07 cs.AI cs.LG
gzip Predicts Data-dependent Scaling Laws
Reworkd
本研究通过调节PCFG复杂度生成训练数据,发现缩放定律对数据复杂度敏感,并提出基于gzip可压缩性的数据相关缩放定律,其计算最优前沿随数据难压缩而偏向数据集大小。
2024-05-26 cs.CL cs.LG
Mitigating the Length-Scaling Tax with Online Distillation
ByteDance Seed(字节跳动Seed);Tongji University(同济大学);Peking University(北京大学)
提出长度自蒸馏(LSD)方法,通过在线策略蒸馏缓解RL后训练中的长度扩展税,在保持性能的同时显著减少简单查询的回答长度,实验显示LST从19.0%降至-3.7%(单轮)和从31.4%降至13.7%(多轮)。
2026-10-01 cs.AI cs.LG
Reverse Distillation: Consistently Scaling Protein Language Model Representations
Department of Computer Science(计算机科学系);Duke University(杜克大学);Center for Computational Biology(计算生物学中心);Flatiron Institute(Flatiron研究所);Depts of Biostats. and Bioinformatics(生物统计学与生物信息学系;细胞生物学系);and Cell Biology
反蒸馏通过分解大型蛋白质语言模型表示为正交子空间,使较大模型在相同维度下始终优于较小模型,提升了蛋白质特征编码效果。
2026-03-08 cs.LG q-bio.BM
Scaling Laws in Jet Classification
Center for Artificial Intelligence Innovation(人工智能创新中心);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文发现对撞机物理中顶夸克与QCD喷注分类的六种分类器随训练集增大呈现幂律标度律,强调应按数据集规模比较分类器而非固定训练集。
2023-12-04 cs.LG hep-ph
MaskTab: Scalable Masked Tabular Pretraining with Scaling Laws and Distillation for Industrial Classification
Zhejiang University(浙江大学);MyBank, Ant Group(蚂蚁集团MyBank)
MaskTab通过结合监督预训练和MoE增强损失,提升工业表格数据的分类性能,实现更高的AUC和KS值,并在轻量化模型中保持鲁棒性。
2026-05-12 cs.AI cs.CL cs.LG
Beyond Scaling Law: A Data-Efficient Distillation Framework for Reasoning
本文提出一种数据高效的蒸馏框架DED,通过优化推理蒸馏的帕累托前沿,提升推理能力而不依赖大规模数据集。
2026-06-29 cs.AI cs.LG
Neural Neural Scaling Laws
New York University(纽约大学)
本文提出NeuNeu模型,通过时间序列外推预测语言模型在下游任务中的性能,相比传统参数化方法,其在66个下游任务上的均方误差降低了44%。
2026-10-30 cs.CL cs.LG
Scaling Laws for Uncertainty in Deep Learning
King Abdullah University of Science and Technology(国王阿卜杜勒-阿齐兹大学);Aalto University(阿莱理工大学)
本研究通过实验验证深度学习中预测不确定性的缩放规律,展示了贝叶斯方法在处理不确定性方面的有效性。
2026-02-09 cs.LG stat.ML
Broken neural scaling laws in materials science
Institute of Physics(物理研究所);Institute of Micro(微研究所)
本研究发现材料科学中预测介电函数的神经缩放定律在数据集规模上失效,但模型参数数量的缩放遵循简单幂律。
2026-02-05 cond-mat.mtrl-sci cs.LG
Scaling Model-Generated Distillation Data Can Make Latent Teacher Traits More Recoverable
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学)
该研究发现扩展模型生成的蒸馏数据可使学生模型中教师的潜在特征更易被检测,且该效应跨多种场景存在,建议扩展数据时结合感知特征的整理与评估。
2026-08-28 cs.CL cs.LG
The Capability Manifold and ML Scaling Laws
University of Leeds(利兹大学)
本文提出能力流形框架,将下游能力映射到预训练、后训练和测试时资源,统一现有缩放定律,并量化能力对资源的敏感性。
2026-09-24 cs.AI cs.LG
Neural Scaling Laws for Deep Regression
Asia Pacific Center for Theoretical Physics(亚太理论物理中心);Department of Physics(物理系);Pohang University of Science and Technology(坡山科学技术大学)
研究深度回归模型中神经扩展定律,通过参数估计模型探讨回归性能与训练数据量和模型容量的幂律关系,发现损失与这些因素呈1到2之间的幂律关系。
2025-11-24 cond-mat.other cs.LG
Efficiently Estimating Optimal Hyperparameter Scaling Laws through Power-Law Entropy Search
Meta;National University of Singapore(新加坡国立大学);Atomic Machines(原子机器公司)
该研究提出幂律熵搜索(PLES),一种基于多保真度贝叶斯优化的获取函数,可高效估计LLM的最优超参数缩放定律,其计算预算仅为传统网格搜索的十分之一。
2026-10-16 cs.AI cs.LG
Scaling Laws for Differentially Private Language Models
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本文针对差分隐私大语言模型(DP LLM)训练动态特性显著不同导致缩放定律未被完全理解的问题,建立了准确建模其训练复杂性的缩放定律,完整呈现了多种设置下的计算-隐私-效用权衡及最优训练配置。
2025-01-31 cs.CR cs.LG
Generalizing Scaling Laws for Dense and Sparse Large Language Models
Department of Computer Science(计算机科学系);Iowa State University(爱荷华州立大学)
本文提出了一种通用缩放定律,适用于密集和稀疏大语言模型,通过比较实验验证了其在大规模模型中的有效性。
2026-02-09 cs.AI cs.LG cs.PF
Compression Scaling Laws:Unifying Sparsity and Quantization
Google DeepMind(谷歌DeepMind);Institute of Science and Technology Austria(奥地利科学技术研究所)
本研究统一了稀疏性与量化在大型语言模型预训练中的缩放定律,发现两者均通过有效参数乘数影响模型性能,并提出了一个通用框架以支持压缩方法的比较与组合。
2025-02-23 cs.CL cs.LG
Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study
Department of Mathematics, Hong Kong Baptist University(香港 Baptist 大学数学系);Department of ACMS, University of Notre Dame(Notre Dame 大学ACMS系);School of Mathematics, Georgia Institute of Technology(佐治亚理工学院数学系);Department of Mathematics, UCLA(加州大学洛杉矶分校数学系)
本文通过分析深度算子网络的逼近误差和泛化误差,建立了量化神经缩放定律的理论框架,揭示了网络模型大小和训练数据大小与误差之间的关系,并推广到深度ReLU网络。
2026-05-26 cs.LG stat.ML
Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws
Databricks MosaicML
本研究针对现有LLM缩放定律忽略推理成本的问题,修改Chinchilla定律以优化给定质量和推理需求下的模型参数与训练数据,通过计算预算和实际成本分析及模型训练验证,为高推理需求场景提供更小、训练更长的模型选择依据。
2025-04-14 cs.CL cs.LG
Sub-Scaling Laws: On the Role of Data Density and Training Strategies in LLMs
Meituan Inc.(美团公司);The University of Hong Kong(香港大学);Pennsylvania State University(宾夕法尼亚州立大学);Peking University(北京大学);The Hong Kong University of Science and Technology(香港科学与技术大学)
本文揭示了LLMs中性能提升减速的sub-scaling现象,通过分析超400个模型发现高数据密度和非最优资源分配是关键成因,并提出能更好预测该现象的次优缩放定律。
2025-07-13 cs.AI cs.LG
Towards Multi-Fidelity Scaling Laws of Neural Surrogates in CFD
ELLIS Unit, LIT AI Lab, Institute for Machine Learning, JKU Linz(ELLIS单位、LIT AI实验室、机器学习研究所、JKU林茨);Emmi AI
研究CFD中神经代理模型在多保真度数据下的缩放定律,通过分解数据集轴为计算预算与构成,揭示了计算性能缩放行为及依赖预算的最优保真度组合,为科学机器学习的高效数据生成提供指导。
2025-11-03 cs.LG physics.flu-dyn
Optimal scaling laws in learning hierarchical multi-index models
Departement d’Informatique, École Normale Supérieure, PSL & CNRS(信息学院,巴黎综合理工学院,PSL与CNRS);Information, Learning and Physics Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)(信息、学习与物理实验室,洛桑联邦理工学院(EPFL));INRIA Paris(巴黎INRIA)
本文研究了分层多索引模型中神经网络的最优缩放规律,提出了一种简单且高效的谱估计方法,揭示了分层特征的逐层学习过程及统计最优读出机制。
2026-11-17 cs.LG stat.ML
Scaling Laws are Redundancy Laws
本文通过核回归证明缩放定律可形式化为冗余定律,揭示学习曲线斜率依赖数据冗余,统一了经验观察与理论基础。
2026-03-22 cs.LG math.ST stat.ML
Scaling Laws for Precision
Harvard University(哈佛大学);Stanford University(斯坦福大学);MIT(麻省理工学院);Databricks(Databricks公司);Carnegie Mellon University(卡内基梅隆大学)
针对当前缩放定律未考虑低精度训练推理影响的问题,本研究提出精度感知缩放定律,通过有效参数数量预测损失,统一量化规律并在大模型上验证,为计算最优训练提供指导。
2024-11-30 cs.CL cs.LG
How to Allocate Your Tokens? Scaling Laws with Training Steps and Batch Size
Inria, École Normale Supérieure, PSL Research University(法国国家信息与自动化研究所,巴黎高等师范学院,巴黎文理研究大学)
提出一个包含模型大小、训练步数和批大小的三术语缩放定律,能正确恢复最优批大小缩放,且拟合所需训练运行次数更少。
2026-07-03 cs.LG stat.ML
Scaling Algorithm Distillation for Continuous Control with Mamba
Akkodis Research France(法国Akkodis研究公司)
针对算法蒸馏受Transformer二次复杂度限制难以适配长序列连续控制的问题,本研究引入基于S6层的Mamba模型,在4个复杂连续元强化学习环境中验证其性能优于Transformer,且扩展长上下文可提升上下文强化学习效果,达到与在线元强化学习基线可比的水平。
2025-06-16 cs.AI cs.LG cs.RO
Paired Multimodal Scaling Laws
University of Southern California(南加利福尼亚大学)
本研究提出配对多模态缩放定律,将损失分解为四个幂律通道,揭示配对数据对协同损失的临界阈值影响,并在实验中以3.2%误差优于现有定律。
2026-09-30 cs.AI cs.LG
Ground-A-Score: Scaling Up the Score Distillation for Multi-Attribute Editing
Kim Jaechul Graduate School of AI, KAIST(KAIST金在哲人工智能研究生院)
针对文本到图像扩散模型在复杂提示下易遗漏请求的问题,提出Ground-A-Score方法,通过在分数蒸馏中引入定位、新惩罚系数和对比损失精确定位编辑区域并保留源图像完整性,实现高质量的多属性图像编辑。
2024-03-20 cs.CV cs.LG
Deriving Neural Scaling Laws from the statistics of natural language
研究从自然语言统计推导神经缩放定律,分离出语言关键统计属性预测神经缩放指数,给出基于这些统计量的简单公式,与实验测量定律匹配。
2026-07-07 cs.AI cs.LG stat.ML
ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality
MIT(麻省理工学院);University of Washington(华盛顿大学);Stanford University(斯坦福大学);Google Cloud AI(谷歌云人工智能);Google DeepMind(谷歌DeepMind)
ATLAS提出了一种适应性迁移缩放定律,用于多语言预训练、微调和解码,解决了多语言学习中的性能瓶颈和计算优化问题。
2026-02-25 cs.CL cs.LG
Scaling Down the Scaling Laws: Parameter Efficiency and Compute-Optimal Training in Resource-Constrained Large Language Models
ECPI University(ECPI大学)
本文综述了LLM缩放定律向计算最优训练的演变,聚焦参数与数据效率,提出在资源受限环境下应综合性能、参数、计算成本等多维度评估效率。
2026-10-08 cs.AI cs.LG
Scaling Motion Forecasting Models with Ensemble Distillation
Waymo
针对自主机器人系统车载计算预算限制运动预测精度的问题,提出结合模型集成与蒸馏的方法,构建通用框架将高性能集成模型蒸馏为低成本小型学生模型,在自动驾驶数据集上验证了其有效性。
2024-05-13 cs.LG cs.RO
A Solvable Model of Neural Scaling Laws
McGill University(麦吉尔大学);Massachusetts Institute of Technology(麻省理工学院);Salesforce(赛富时);University of British Columbia(不列颠哥伦比亚大学);Anthropic
具有大量参数的大语言模型,当在接近互联网大小的令牌上进行训练时,已被经验证明遵守神经缩放定律:具体而言,它们的性能在参数或数据集大小方面表现为可预测的幂律,直到被其他资源检查。为了更好地理解这一点,我们首先确定了允许这种缩放定律出现的必要属性,然后提出了一个统计模型--一个联合生成数据模型和随机特征模型--它捕捉了这种神经缩放现象。通过在大训练集大小和大量参数的双重限制下求解该模型,我们可以深入了解(i)导致缩放定律的数据集和任务的统计结构,(ii)非线性特征映射(如神经网络提供的那些)在这些数据集上训练时启用缩放定律的方式,(iii)训练集和参数的等参数化缩放的最优性,以及(iv)这种缩放定律是否会失效,以及当它们失效时它们的表现如何。主要发现是自然数据集统计中出现的幂律通过非线性随机特征映射扩展,然后转化为测试损失的幂律缩放的方式,以及数据的谱幂律的有限范围如何导致模型的性能达到平台。
2022-10-30 cs.LG hep-th stat.ML
Scaling Laws for Looped Mixture of Experts
Meta AI
本文提出循环缩放定律,联合建模循环与稀疏性,预测循环MoE损失,并证明其在万亿token规模下带来参数效率与性能优势。
2026-10-01 cs.AI cs.CL cs.LG
Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments
Tel-Aviv University(特拉维夫大学)
神经缩放定律以幂律的形式定义了模型参数计数与训练后性能之间的可预测关系。然而,迄今为止,大多数研究还没有明确调查是否缩放定律可以用来加速模型的发展。在这项工作中,我们在广泛的语言理解任务中进行了这样的实证调查,从具有少至10K参数的模型开始,并在9个语言理解任务中评估下游性能。我们发现,缩放定律出现在一些NLP任务中的微调时间,并且它们也可以用于训练大型模型时的调试收敛。此外,对于存在缩放定律的任务,它们可以用于预测更大模型的性能,从而实现有效的模型选择。然而,揭示缩放定律需要仔细的超参数调整和多次运行的目的不确定性估计,这会产生额外的开销,部分抵消了计算的好处。
2022-10-18 cs.CL cs.LG cs.NA
Scaling Laws for Online Advertisement Retrieval
Kuaishou Technology(快手科技);M-A-P
针对在线广告检索缺乏缩放定律研究的问题,提出轻量级范式,用离线指标和模拟算法识别在线缩放定律,并验证其存在性及应用。
2025-09-25 cs.AI cs.IR cs.LG
Neural Scaling Laws From Large-N Field Theory: Solvable Model Beyond the Ridgeless Limit
University of Utah(犹他大学)
本文使用大N场论方法求解神经标度律模型,将结果推广至ridge参数非零的一般情况,获得更精确的标度律,并揭示图层面的对偶变换以解释模型与数据集大小的对称性。
2024-05-29 cond-mat.dis-nn cs.LG hep-ph
Reproducible scaling laws for contrastive language-image learning
LAION;UC Berkeley(加州大学伯克利分校);HuggingFace;University of Washington(华盛顿大学);Juelich Supercomputing Center (JSC)(于利希超级计算中心);Research Center Juelich (FZJ)(于利希研究中心)
该研究基于公开LAION数据集和开源OpenCLIP库开展CLIP大规模实验,验证了多下游任务的幂律缩放关系,发现训练分布影响缩放行为,开源相关资源以保障可复现性。
2024-07-13 cs.AI cs.CV cs.LG