Pushing the Limits of All-Atom Geometric Graph Neural Networks: Pre-Training, Scaling and Zero-Shot Transfer
The University of Chicago(芝加哥大学);Amazon Web Services(亚马逊网络服务);Amazon(亚马逊)
本研究针对几何图神经网络在下游任务泛化差的问题,探索预训练全原子Geom-GNNs作为可迁移描述符的可行性,分析其在不同学习设置下的缩放规律,验证图嵌入与其他架构结合的效果及潜空间投影与传统描述符的一致性。
2024-10-29 cs.LG physics.chem-ph
Beyond Scaling Curves: Internal Dynamics of Neural Networks Through the NTK Lens
Institute of Computational Physics, University of Stuttgart, Stuttgart, Germany(计算物理研究所,斯图加特大学,斯图加特,德国);Cavendish Laboratory(卡文迪许实验室);DAMTP, University of Cambridge, Cambridge, United Kingdom, CB3 0WA(戴维森数学理论物理系,剑桥大学,剑桥,英国,CB3 0WA)
本文通过 NTK 视角实证分析神经网络在数据和模型缩放下的内部动力学,发现相似性能缩放指数可对应相反的模型动力学,并确定了支持特征学习的最大宽度远小于大语言模型典型宽度。
2025-07-07 cs.LG
Neural Neural Scaling Laws
New York University(纽约大学)
本文提出NeuNeu模型,通过时间序列外推预测语言模型在下游任务中的性能,相比传统参数化方法,其在66个下游任务上的均方误差降低了44%。
2026-10-30 cs.CL cs.LG
Quantization Error as a Metric for Dynamic Precision Scaling in Neural Net Training
Department of Electrical and Computer Engineering(电气与计算机工程系);University of Toronto(多伦多大学);Toronto, ON, Canada(加拿大安大略省多伦多市)
最近的工作已经探索了在神经网络训练期间降低参数、激活和梯度的数值精度,作为降低训练计算成本的一种方式(Na & Mukhopadhyay,2016)(Courbariaux et al.,2014年)。我们提出了一种新的动态精度缩放(DPS)计划。通过使用随机定点舍入、基于量化误差的缩放方案以及训练过程中的动态位宽,我们在MNIST数据集上实现了98.8%的测试准确度,与深度学习框架中使用的标准32位浮点值相比,权重的平均位宽仅为16位,激活的平均位宽为14位。
2019-01-24 cs.LG
Neural Scaling Laws Rooted in the Data Distribution
本研究针对深度神经网络神经缩放定律的普遍性成因问题,基于渗流理论构建描述自然数据集的数学模型,发现两种对应不同数据特征的临界态 regime 可统一现有缩放理论,并通过玩具数据集实验验证,为语言模型缩放定量预测提供方向。
2024-12-10 cond-mat.dis-nn cs.LG
Information-Theoretic Foundations for Neural Scaling Laws
Stanford University(斯坦福大学)
本文利用严格的信息论方法为神经缩放定律建立理论基础,并证明在无限宽双层神经网络数据下,数据规模与模型规模的最优关系在忽略对数因子时呈线性,与大规模实证结果一致。
2024-06-28 cs.AI cs.LG
Neural Clamping: Joint Input Perturbation and Temperature Scaling for Neural Network Calibration
The Chinese University of Hong Kong(香港中文大学);National Tsing Hua University(国立清华大学);IBM Research(IBM研究院)
本文提出后处理校准方法 Neural Clamping,通过联合可学习输入扰动与温度缩放变换预训练分类器,理论上优于温度缩放,并在多个数据集和模型上显著超越现有方法。
2024-07-24 cs.LG
Complexity Scaling Laws for Neural Models using Combinatorial Optimization
Virginia Tech(弗吉尼亚理工大学);Kensho Technologies(Kensho科技)
本研究基于问题复杂度(解空间与表示空间大小)为组合优化神经模型建立缩放定律,以TSP为例验证了无损失时仍可预测次优性增长,并与局部搜索的梯度下降趋势类比。
2025-10-25 cs.LG
On Neural Scaling Laws for Weather Emulation through Continual Training
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Oak Ridge National Laboratory(橡树岭国家实验室)
本文研究了科学机器学习中神经扩展定律,通过最小化设置的Swin Transformer架构和持续训练策略,展示了模型在预测天气中的性能提升及计算优化。
2026-11-10 cs.LG
A Generalized Spectral Framework to Expain Neural Scaling and Compression Dynamics
针对现有经验缩放律在模型压缩等场景下行为不统一的问题,本文提出广义谱框架,推广谱演化函数形式,统一解释神经学习与压缩动力学,兼容现有相关理论并得到二者的不变关系。
2025-11-17 cs.LG
A Neural Scaling Law from the Dimension of the Data Manifold
Johns Hopkins University(约翰斯·霍普金斯大学)
当数据丰富时,经过良好训练的神经网络所实现的损失在网络参数$N$的数量上按幂律$L \propto N^{-α}$缩放。这种经验性的缩放定律适用于各种各样的数据模态,并且可以在许多数量级上持续存在。如果神经模型有效地只对内在维度为$d$的数据流形执行回归,则可以解释缩放定律。这个简单的理论预测了交叉熵和均方误差损失的标度指数$α\approx 4/d$。我们通过独立测量教师/学生框架中的内在维数和标度指数来证实理论,在这个框架中,我们可以通过拨打随机教师网络的属性来研究各种$d$和$α$。我们还在几个数据集上使用CNN图像分类器和GPT类型的语言模型测试了该理论。
2020-04-22 cs.LG stat.ML
Scaling Up Computer Vision Neural Networks Using Fast Fourier Transform
Ahmedabad University(艾哈迈达巴德大学)
基于深度学习的计算机视觉领域最近一直在尝试探索更大的卷积核,以有效地扩大卷积神经网络。同时,诸如视觉Transformer的模型的新范例发现,由于它们在输入序列方面的二次复杂性,难以按比例放大到更大的更高分辨率的图像。在本报告中,快速傅立叶变换以各种方式用于提供这些问题的一些解决方案。
2023-02-02 cs.CV cs.LG
Adaptive Temperature Scaling for Robust Calibration of Deep Neural Networks
Universidad Autónoma de Madrid(马德里自治大学)
在本文中,我们研究了现代神经网络的事后校准,这是一个近年来引起广泛关注的问题。许多不同复杂性的校准方法已被提出的任务,但没有共识如何表达这些应该是。我们专注于置信度缩放的任务,特别是推广温度缩放的事后方法,我们称之为自适应温度缩放家族。我们分析表达功能,提高校准,并提出可解释的方法。我们表明,当有大量的数据复杂的模型,如神经网络产生更好的性能,但容易失败时,数据量是有限的,在某些事后校准应用程序,如医疗诊断的常见情况。我们研究了表达方法在理想条件下学习的函数,并设计了更简单的方法,但对这些性能良好的函数有很强的归纳倾向。具体地说,我们提出了基于熵的温度标度,这是一种简单的方法,根据熵来衡量预测的置信度。结果表明,与其他方法相比,我们的方法获得了最先进的性能,并且与复杂模型不同,它对数据稀缺具有鲁棒性。此外,我们提出的模型能够更深入地解释校准过程。
2022-07-31 cs.LG
Deriving Neural Scaling Laws from the statistics of natural language
研究从自然语言统计推导神经缩放定律,分离出语言关键统计属性预测神经缩放指数,给出基于这些统计量的简单公式,与实验测量定律匹配。
2026-07-07 cs.AI cs.LG stat.ML
Unified Neural Scaling Laws
Mila, University of Montreal(蒙特利尔大学Mila实验室);Google DeepMind(谷歌DeepMind)
提出一种统一神经缩放定律(UNSL)函数形式,能够准确建模和预测深度神经网络在多个维度(模型参数、训练数据量、训练步数、推理步数、计算量及超参数)同时变化时的缩放行为,适用于多种架构和任务,并在大规模视觉、语言、数学和强化学习任务中实现更精确的缩放行为外推。
2026-05-25 cs.AI cs.LG cs.NE
AlphaZero Neural Scaling and Zipf's Law: a Tale of Board Games and Power Laws
Goethe University Frankfurt(法兰克福歌德大学)
本文研究 AlphaZero 中的幂律缩放,发现游戏状态遵循齐普夫定律,智能体按频率降序优化损失,且逆缩放与终局状态频繁相关,大模型牺牲开局理解。
2025-10-13 cs.LG
An argument in favor of strong scaling for deep neural networks with small datasets
IBM Research(IBM研究院)
近年来,随着深度学习框架和大型数据集的普及,研究人员开始并行化他们的模型,以便更快地进行训练。这一点至关重要,因为他们通常会探索许多超参数,以便找到最适合其应用的超参数。这一过程很耗时,因此,加快培训可以提高生产率。许多研究人员采用的并行化深度学习模型的一种方法是基于弱缩放。随着新的GPU被添加到系统中,小批量的大小会增加。此外,已经提出了新的学习率时间表,以修复大的minibatch大小发生的优化问题。然而,在本文中,我们表明,最近的工作提供的建议不适用于缺乏大型数据集的模型。事实上,我们主张在这种情况下使用强大的扩展来实现可靠的性能。我们使用多达32个GPU对我们的方法进行了评估,结果表明,弱缩放不仅没有与顺序模型相同的准确性,而且在大多数情况下也无法收敛。同时,强缩放具有良好的可扩展性,同时具有与顺序实现完全相同的精度。
2020-07-13 cs.AI cs.DC cs.LG
Beyond Folklore: A Scaling Calculus for the Design and Initialization of ReLU Networks
Facebook AI Research(脸书人工智能研究院)
我们提出了一个系统,用于计算“缩放常数”的层和权重的神经网络。我们将这个缩放常数与神经网络的可优化性相关的两个重要量联系起来,并认为通过缩放进行“预处理”的网络,在这个意义上,所有权重都具有相同的缩放常数,将更容易训练。这种缩放演算导致了许多后果,其中一个事实是,扇入和扇出的几何平均值,而不是扇入,扇出或算术平均值,应该用于神经网络中权重方差的初始化。我们的系统允许ReLU神经网络的离线设计和工程,有可能取代盲实验。
2021-02-11 cs.LG stat.ML
Meta-Principled Family of Hyperparameter Scaling Strategies
Meta AI;Meta Platforms, Inc.(元平台公司)
在这篇文章中,我们首先推导出一个单参数族的超参数缩放策略,该策略介于神经切线缩放和平均场/最大更新缩放之间。然后,我们计算动态可观测量的缩放-网络输出,神经切线核,和神经切线核的微分-广泛和深入的神经网络。这些计算反过来揭示了一种适当的方法来缩放深度与宽度,从而使所得的大规模模型保持其表示学习能力。最后,我们观察到文献中研究的各种无限宽度限制对应于有限宽度神经网络的有效理论所跨越的互连网络的不同角落,其训练动态范围从弱耦合到强耦合。
2022-10-18 cs.LG hep-th stat.ML
Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study
Department of Mathematics, Hong Kong Baptist University(香港 Baptist 大学数学系);Department of ACMS, University of Notre Dame(Notre Dame 大学ACMS系);School of Mathematics, Georgia Institute of Technology(佐治亚理工学院数学系);Department of Mathematics, UCLA(加州大学洛杉矶分校数学系)
本文通过分析深度算子网络的逼近误差和泛化误差,建立了量化神经缩放定律的理论框架,揭示了网络模型大小和训练数据大小与误差之间的关系,并推广到深度ReLU网络。
2026-05-26 cs.LG stat.ML
Complexity-Scalable Neural Network Based MIMO Detection With Learnable Weight Scaling
University College London(伦敦大学学院)
本文介绍了一种基于深度神经网络(DNN)的MIMO检测器的系统复杂度缩放框架。该模型使用DNN输入的一部分,通过遵循单调非递增函数的权重来缩放其值。这允许在不同的DNN层之间和内部进行权重缩放,以实现准确性-vs.推理过程中的复杂性可伸缩性。为了进一步提高我们的建议的性能,我们引入了一个稀疏诱导正则化约束与可训练的权重缩放函数。通过这种方式,网络学习平衡检测精度与复杂度,同时还增加了对激活模式变化的鲁棒性,从而在相同的推理复杂度下进一步提高检测精度和BER性能。数值结果表明,我们的方法是10倍和100倍的复杂性比经典的方法的基础上半定松弛和ML检测,分别。
2020-07-01 cs.LG eess.SP
How to Upscale Neural Networks with Scaling Law? A Survey and Practical Guidelines
Indian Institute of Technology Delhi(印度理工学院德里)
本综述综合50余项研究,探讨神经缩放定律的理论基础与局限,指出其在稀疏、多模态等模型中的偏差,并倡导针对实际应用的自适应缩放策略。
2025-05-27 cs.CL cs.LG
A Resource Model For Neural Scaling Law
Department of Physics, MIT(麻省理工学院物理系);IAIFI(人工智能与基础交互研究所)
本研究提出一种神经缩放资源模型,基于复合任务可分解为竞争神经元资源的子任务的假设,通过玩具问题实证得出子任务损失与分配神经元成反比、资源占比随模型扩容保持恒定的规律,成功复现Chinchilla模型的缩放定律,为神经网络表征与诊断提供新工具。
2024-05-15 cs.AI cs.LG cs.NE
Bayesian Neural Scaling Law Extrapolation with Prior-Data Fitted Networks
Yonsei University(延世大学);University of Freiburg(弗莱堡大学);Korea University(韩国大学)
针对现有神经缩放律外推方法多依赖点估计、无法量化不确定性的问题,提出基于先验数据拟合网络的贝叶斯框架,通过设计可采样类真实缩放律合成函数的先验实现元学习外推,在数据有限场景下性能更优。
2025-06-16 cs.AI cs.LG
Neural Scaling Laws for Deep Regression
Asia Pacific Center for Theoretical Physics(亚太理论物理中心);Department of Physics(物理系);Pohang University of Science and Technology(坡山科学技术大学)
研究深度回归模型中神经扩展定律,通过参数估计模型探讨回归性能与训练数据量和模型容量的幂律关系,发现损失与这些因素呈1到2之间的幂律关系。
2025-11-24 cond-mat.other cs.LG
Fast Training of Sinusoidal Neural Fields via Scaling Initialization
Pohang University of Science and Technology (POSTECH)(坡桑科学技术大学(POSTECH))
本文提出通过权重缩放方法提升正弦神经场训练速度,显著提高训练效率。
2026-02-03 cs.AI cs.LG
CarbonScaling: Extending Neural Scaling Laws for Carbon Footprint in Large Language Models
Indiana University(印第安纳大学)
本文提出CarbonScaling框架,结合神经缩放定律和分布式训练策略,准确建模前沿LLM训练的碳足迹,提高硬件配置和排放估计的精度。
2026-05-15 cs.AI cs.CL cs.CY
Effects of Introducing Synaptic Scaling on Spiking Neural Network Learning
Osaka Institute of Technology(大阪工业大学)
本研究探讨了突触缩放对脉冲神经网络学习的影响,发现基于L2范数的突触缩放能有效提升分类性能。
2026-01-16 cs.LG cs.NE
Efficient Decoder Scaling Strategy for Neural Routing Solvers
Guangdong Provincial Key Laboratory of Fully Actuated System Control Theory(广东省全驱动系统控制理论与技术重点实验室);School of Automation(自动化学院);Intelligent Manufacturing, Southern University of Science(智能制造,南方科技大学);Department of Computer Science, City University of Hong Kong, Hong Kong SAR, China(计算机科学系,香港城市大学,香港特别行政区,中国)
本文提出了一种高效解码器扩展策略,通过比较扩展深度与扩展宽度,发现扩展深度在提升模型性能方面更有效。
2026-02-28 cs.LG
A Solvable Model of Neural Scaling Laws
McGill University(麦吉尔大学);Massachusetts Institute of Technology(麻省理工学院);Salesforce(赛富时);University of British Columbia(不列颠哥伦比亚大学);Anthropic
具有大量参数的大语言模型,当在接近互联网大小的令牌上进行训练时,已被经验证明遵守神经缩放定律:具体而言,它们的性能在参数或数据集大小方面表现为可预测的幂律,直到被其他资源检查。为了更好地理解这一点,我们首先确定了允许这种缩放定律出现的必要属性,然后提出了一个统计模型--一个联合生成数据模型和随机特征模型--它捕捉了这种神经缩放现象。通过在大训练集大小和大量参数的双重限制下求解该模型,我们可以深入了解(i)导致缩放定律的数据集和任务的统计结构,(ii)非线性特征映射(如神经网络提供的那些)在这些数据集上训练时启用缩放定律的方式,(iii)训练集和参数的等参数化缩放的最优性,以及(iv)这种缩放定律是否会失效,以及当它们失效时它们的表现如何。主要发现是自然数据集统计中出现的幂律通过非线性随机特征映射扩展,然后转化为测试损失的幂律缩放的方式,以及数据的谱幂律的有限范围如何导致模型的性能达到平台。
2022-10-30 cs.LG hep-th stat.ML
Meta-Scaling Laws: On the Invariance and Generality of Neural Scaling
Johns Hopkins University(约翰霍普金斯大学);NTT Research(NTT研究);MIT(麻省理工学院);Johns Hopkins University, Bayesian Health(约翰霍普金斯大学,贝叶斯健康)
本文探讨如何建立通用的神经扩展定律,通过识别不变量,使定律能在不同领域间可靠传输,验证了在语言、视觉和语音任务中的有效性,并展示了跨领域应用。
2026-11-13 cs.LG
Over-parameterised Shallow Neural Networks with Asymmetrical Node Scaling: Global Convergence Guarantees and Feature Learning
University of Oxford(牛津大学);Huawei Technologies(华为技术有限公司);Fordham University(福特汉姆大学);Samsung SDS(三星SDS);KAIST(韩国科学技术院)
针对非对称正参数缩放的宽浅层网络,证明梯度流与梯度下降可高概率收敛至全局最小并实现特征学习,实验验证其在剪枝和迁移学习上的优势。
2025-02-18 cs.LG math.OC stat.ML
Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks
New York University(纽约大学);Google DeepMind(谷歌DeepMind)
本文发现计算最优训练的神经网络在归一化计算量和损失后,不同规模模型的损失曲线会坍缩到同一普适曲线,并提出“超坍缩”现象及一个SGD噪声动力学模型来解释其机制,为判断缩放是否最优提供了实用指标。
2025-07-07 cs.LG
Towards Multi-Fidelity Scaling Laws of Neural Surrogates in CFD
ELLIS Unit, LIT AI Lab, Institute for Machine Learning, JKU Linz(ELLIS单位、LIT AI实验室、机器学习研究所、JKU林茨);Emmi AI
研究CFD中神经代理模型在多保真度数据下的缩放定律,通过分解数据集轴为计算预算与构成,揭示了计算性能缩放行为及依赖预算的最优保真度组合,为科学机器学习的高效数据生成提供指导。
2025-11-03 cs.LG physics.flu-dyn
Neural Scaling Laws From Large-N Field Theory: Solvable Model Beyond the Ridgeless Limit
University of Utah(犹他大学)
本文使用大N场论方法求解神经标度律模型,将结果推广至ridge参数非零的一般情况,获得更精确的标度律,并揭示图层面的对偶变换以解释模型与数据集大小的对称性。
2024-05-29 cond-mat.dis-nn cs.LG hep-ph
Scaling Recurrent Neural Network Language Models
Cantab Research(坎塔布研究公司)
研究了循环神经网络语言模型的标度特性。我们讨论如何在GPU上训练非常大的RNN,并解决RNNLM如何在模型大小,训练集大小,计算成本和内存方面扩展的问题。我们的分析表明,尽管训练的成本更高,RNNLM在标准基准测试中获得的困惑比n-gram模型低得多。我们训练了已知最大的RNN,并在ASR任务上实现了18%的相对字出错率增益。我们还在最近发布的十亿字语言建模基准上提出了新的最低困惑,机器翻译的BLEU点增益和单词预测的17%相对命中率增益。
2015-02-02 cs.CL cs.LG
Superposition Yields Robust Neural Scaling
Massachusetts Institute of Technology(麻省理工学院)
研究发现表示叠加是神经扩展定律的核心驱动因素,揭示了损失与模型规模之间的反比关系。
2025-11-29 cs.AI cs.CL cs.LG
Beyond Uniform Scaling: Exploring Depth Heterogeneity in Neural Architectures
Nyun AI;Transmute AI Lab(Transmute AI实验室)
本文提出一种利用二阶损失景观信息的自动化缩放方法,在视觉Transformer中引入深度异质性,无需额外训练迭代即可联合缩放与训练,在DeiT-S上实现2.5%准确率提升和10%参数效率改进。
2024-02-19 cs.AI cs.LG cs.NE
Configuration-to-Performance Scaling Law with Neural Ansatz
IIIS, Tsinghua University(清华大学信息科学技术学院);Stanford University(斯坦福大学)
本文提出基于神经元的配置到性能缩放定律,通过大规模预训练日志训练模型,实现对训练配置与性能之间关系的准确预测,并支持多超参数联合优化。
2026-02-10 cs.LG
Unintended Effects on Adaptive Learning Rate for Training Neural Network with Output Scale Change
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(国立信息学研究所)
一个乘法常数缩放因子通常应用于模型输出,以调整神经网络参数的动态。这已被用作懒惰和积极行为的实证研究中的关键干预措施之一。然而,我们表明,这种缩放和常用的自适应学习率优化器的组合强烈影响的神经网络的训练行为。这是有问题的,因为它会导致神经网络的\emph{unintended behavior},导致对实验结果的误解。具体地,对于某些缩放设置,自适应学习率的效果消失或受到缩放因子的强烈影响。为了避免意想不到的效果,我们提出了一种修改的优化算法,并证明显着的差异自适应学习率优化和简单的梯度下降,特别是与一个小的($<1.0$)缩放因子。
2021-07-02 cs.LG stat.ML
From Activation to Initialization: Scaling Insights for Optimizing Neural Fields
Australian Institute of Machine Learning, University of Adelaide, Australia(澳大利亚机器学习研究所,阿德莱德大学,澳大利亚);Amazon, Australia(亚马逊,澳大利亚)
本文探讨神经场中初始化与激活的相互作用,揭示网络初始化、架构选择与优化过程之间的深层联系,为设计高效神经场提供理论基础。
2026-03-13 cs.CV cs.LG
Scaling up deep neural networks: a capacity allocation perspective
Spotify(Spotify(Spotify公司))
在最近的容量分配工作之后,我们提出了一个猜想,即只有当层的数量趋于无穷大时,通过层的容量传播具有非退化连续极限时,深度神经网络中的破碎问题才能避免。这使我们能够研究一些常用的架构,并确定在实践中应该执行哪些缩放关系,因为层的数量越来越大。特别是,我们恢复了多通道情况下的Xavier初始化条件,我们发现,权重和偏置应按比例缩小为深度残差网络的层数的平方根倒数,并作为递归网络所需内存长度的平方根倒数。
2019-03-27 cs.LG stat.ML
NeuralScale: Efficient Scaling of Neurons for Resource-Constrained Deep Neural Networks
Institute of Electronics, National Chiao Tung University(国立交通大学电子研究所)
在设计深度神经网络以最大化性能的过程中,决定神经元的数量并不直观。在这项工作中,我们试图寻找一个固定的网络架构,最大限度地提高精度的神经元(滤波器)配置。使用迭代修剪方法作为代理,我们将每层神经元(滤波器)数量的变化与参数的变化进行参数化,使我们能够有效地扩展任意大小的架构。我们还介绍了架构下降迭代细化用于模型缩放的参数化函数。这两种方法的组合被称为NeuralScale。为了证明NeuralScale在参数方面的效率,我们使用CIFAR10,CIFAR100和TinyImageNet作为基准数据集,在VGG11,MobileNetV2和ResNet18上进行了实证模拟。我们的研究结果显示,在参数约束设置下(默认配置的输出神经元(过滤器),缩放因子为0.25),VGG11,MobileNetV2和ResNet18在CIFAR10,CIFAR100和TinyImageNet上的准确度分别提高了3.04%,8.56%和3.41%。
2020-06-23 cs.CV cs.LG cs.NE
Neural Scaling Universality: If Exponents Are Fixed, Time to Understand Coefficients
Massachusetts Institute of Technology(麻省理工学院)
本文论证神经缩放定律中的幂律指数由通用机制固定,而系数对数据和架构细节敏感,理解系数是近期性能提升的关键。
2026-06-25 cs.CL cs.LG
From Zipf's Law to Neural Scaling through Heaps' Law and Hilberg's Hypothesis
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文系统揭示了神经缩放定律与齐普夫定律之间的演绎关系,通过推导词汇增长的希普斯定律和熵缩放的希尔伯格假设,证明神经缩放定律是齐普夫定律在广泛假设下的推论。
2026-06-23 cs.IT cs.LG math.IT
Scaling Effects and Uncertainty Quantification in Neural Actor Critic Algorithms
Boston University(波士顿大学);University of Oxford(牛津大学)
本研究探讨了神经Actor-Critic算法中不同标度方案对收敛性和不确定性量化的影响,提出了一种通用逆多项式标度方法,通过渐近展开分析网络输出的统计特性,并为超参数选择提供了理论指导。
2026-01-25 cs.LG math.PR
The Quantization Model of Neural Scaling
MIT(麻省理工学院);IAIFI(人工智能基础交互研究所)
本文提出神经标度律的量子化模型,将网络知识离散化为按使用频率学习的量子,并用使用频率的幂律解释损失标度和新能力涌现,在玩具数据与语言模型上进行了验证。
2024-01-13 cond-mat.dis-nn cs.LG
Revisiting Neural Scaling Laws in Language and Vision
Google Research(谷歌研究院)
近年来,深度学习的显著进步主要是由规模的改进推动的,即在更大的数据集上训练更大的模型,以获得更长的时间表。为了从经验上预测规模的好处,我们主张基于外推损失的更严格的方法,而不是报告最佳拟合(插值)参数。然后,我们提出了一个配方,估计缩放定律参数可靠的学习曲线。我们证明,它比以前的方法更准确地推断在广泛的架构家庭在几个领域,包括图像分类,神经机器翻译(NMT)和语言建模,除了任务从BIG-Bench评估基准。最后,我们发布了一个由90个评估任务组成的基准数据集,以促进该领域的研究。
2022-11-01 cs.AI cs.LG
Renormalizable Spectral-Shell Dynamics as the Origin of Neural Scaling Laws
本文通过可重正化频谱-壳动力学解释神经网络缩放定律和双下降现象,统一了懒惰训练和特征学习。
2026-01-08 cs.LG
4+3 Phases of Compute-Optimal Neural Scaling Laws
McGill University(麦吉尔大学);Google DeepMind(谷歌DeepMind)
该研究通过可解神经缩放模型分析计算最优缩放定律,识别出4个主阶段和3个子阶段,并推导出各阶段缩放指数及最优参数数量与算力预算的关系。
2025-04-18 cs.LG math.OC math.PR
Broken Neural Scaling Laws
Mila(米拉研究所);McGill University(麦吉尔大学);University of Montreal(蒙特利尔大学);University of Cambridge(剑桥大学)
本文提出平滑断裂幂律函数BNSL,用于准确建模和外推广泛任务、架构与设置下的神经缩放行为,并揭示其可预测性极限。
2023-07-24 cs.AI cs.LG
Scaling Laws for Neural Material Models
University of California, Berkeley(加州大学伯克利分校)
本文通过训练 transformer 和 EquiformerV2 模型预测材料性质,发现损失与训练数据、模型规模和计算资源之间遵循幂律缩放定律,为材料性质预测的模型扩展提供了经验指导。
2025-09-26 cs.LG
How Feature Learning Can Improve Neural Scaling Laws
本文提出一个超越核极限的神经缩放定律可解模型,证明特征学习能将困难任务的缩放指数几乎翻倍,并带来新的计算最优策略。
2025-04-04 cond-mat.dis-nn cs.LG stat.ML
Information Scaling Law of Deep Neural Networks
随着深度神经网络(DNN)的快速发展,各种显示出强大计算能力和令人印象深刻的表达能力的网络模型被提出。然而,目前还没有从信息论的角度对DNN进行全面的信息解释。由于DNN中使用的非线性函数和不确定的层数和神经元数量,网络结构表现出非线性和复杂性。通过典型的DNN卷积算术电路(ConvACs),可以将复杂的DNN转换为数学公式。因此,我们可以使用严格的数学理论,特别是信息论来分析复杂的DNN。在本文中,我们提出了一个新的信息缩放定律方案,可以解释网络的内部组织的信息论。首先,我们展示了激活函数的信息解释。其次,我们证明了当信息通过ConvAC传输时,信息熵增加。最后,通过合理的假设,我们给出了对流层的信息缩放定律。
2018-02-13 cs.IT cs.LG math.IT