Scaling Exponents Across Parameterizations and Optimizers
Google DeepMind（谷歌DeepMind）；MIT（麻省理工学院）
本文提出参数化新视角，放宽假设并涵盖更多优化器，发现所有参数化均可实现超参数迁移，且提出的逐层学习率方案优于muP，并推出Adam-atan2消除epsilon超参数。
2024-07-16 cs.LG
The Unified Balance Theory of Second-Moment Exponential Scaling Optimizers in Visual Tasks
本文提出二阶矩指数缩放（SMES）方法，通过引入优化平衡理论，将SGD与自适应优化器统一在广义一阶优化公式下，并在经典数据集与网络上验证了不同平衡系数对训练过程的影响。
2024-05-28 cs.CV cs.LG
VeLO: Training Versatile Learned Optimizers by Scaling Up
Google Research（谷歌研究院）
虽然深度学习模型已经在许多领域取代了手工设计的功能，但这些模型仍然是用手工设计的优化器训练的。在这项工作中，我们利用深度学习成功背后的相同缩放方法来学习通用优化器。我们训练了一个深度学习优化器，它本身就是一个小型神经网络，可以吸收梯度并输出参数更新。我们的优化器在各种优化任务上进行了大约4000个TPU月的元训练，不仅表现出令人信服的性能，而且以有趣和意想不到的方式进行优化。它不需要超参数调优，而是自动适应正在优化的问题的细节。我们在velo-code.github.io上开源了我们学到的优化器、元训练代码、相关的训练和测试数据，以及一个广泛的优化器基准测试套件。
2022-11-17 cs.LG math.OC stat.ML
How Inner Optimizers Shape Replica Scaling
Mila（米拉人工智能研究所）；Concordia University（康考迪亚大学）；Université de Montréal（蒙特利尔大学）；CNRS（法国国家科学研究中心）
本研究针对固定总训练预算下增加LLM副本会导致性能下降的问题，分析了影响副本扩展的两个因素，证明基于白化的预条件化是内部优化器的重要特性，且基于白化的内部优化器在多副本场景中表现出色。
2026-10-13 cs.AI cs.LG
Optimizer-dependent training dynamics converge to the same one-third optimal data scaling
Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
本研究区分了训练动态指数与最优数据指数，证明尽管动态指数因优化器而异，最优数据缩放指数在不同优化器下均收敛至1/3，并揭示其背后的统一动态指数关系。
2026-09-30 cs.LG
Is Scaling Learned Optimizers Worth It? Evaluating The Value of VeLO's 4000 TPU Months
University of Edinburgh（爱丁堡大学）；Samsung AI Research, Cambridge（三星剑桥人工智能研究院）
本研究针对耗费4000 TPU月算力训练的通用学习型优化器VeLO展开独立评估，通过MLCommons基准测试发现其存在需调优的关键超参数、性能未超越现有优化器等问题，质疑其通用性与投入价值。
2024-03-07 cs.AI cs.LG math.OC
Exact Scaling Laws for a Random-Features Bigram Model
Concordia University（康考迪亚大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）
本研究以带 Zipf 统计的双词模型为玩具模型，推导出预测遗憾的缩放定律，其结果与经典神经缩放定律形式吻合，且在 WikiText2、OpenWebText 上的实验验证了结论。
2026-10-13 cs.LG
Complexity Scaling Laws for Neural Models using Combinatorial Optimization
Virginia Tech（弗吉尼亚理工大学）；Kensho Technologies（Kensho科技）
本研究基于问题复杂度（解空间与表示空间大小）为组合优化神经模型建立缩放定律，以TSP为例验证了无损失时仍可预测次优性增长，并与局部搜索的梯度下降趋势类比。
2025-10-25 cs.LG
On the Invariance and Generality of Neural Scaling Laws
Johns Hopkins University（约翰霍普金斯大学）；NTT Research（NTT研究）；MIT（麻省理工学院）；Johns Hopkins University, Bayesian Health（约翰霍普金斯大学，贝叶斯健康）
本文探讨如何建立通用的神经扩展定律，通过识别不变量，使定律能在不同领域间可靠传输，验证了在语言、视觉和语音任务中的有效性，并展示了跨领域应用。
2026-09-29 cs.LG
Extending $μ$P: Spectral Conditions for Feature Learning Across Optimizers
Purdue University（普渡大学）；Argonne National Laboratory（阿贡国家实验室）
本文提出了一种新的框架，用于推导更广泛优化器类别的μP，实现了跨优化器的零样本学习率转移和深度缩放参数化。
2026-02-24 cs.LG
Sharp Capacity Scaling of Spectral Optimizers in Learning Associative Memory
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；New York University（纽约大学）；Flatiron Institute（Flatiron研究所）
本文研究了谱优化器在关联记忆问题中的性能，发现Muon的存储容量显著超过SGD，且在仅使用一阶信息时可与牛顿法匹配。通过实验验证了预测的扩展规律，为更实际的语言建模任务提供了理论基础。
2026-04-28 cs.LG stat.ML
The Best Optimizer Depends on Batch Size
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文挑战了优化器性能与批大小无关的假设，证明Muon缺乏普适缩放规则，且语言模型预训练的最佳优化器随批大小变化而改变。
2026-10-14 cs.LG stat.ML
TrasMuon: Trust-Region Adaptive Scaling for Orthogonalized Momentum Optimizers
Department of XXX, University of YYY, Location, Country；School of ZZZ, Institute of WWW, Location, Country；Department of Combinatorics；Optimization, University of Waterloo, Waterloo, Canada；Huawei Canadian Research Institute, Canada；McGill University \& Mila-Quebec AI Institue, Canada
TrasMuon通过结合全局RMS校准和能量基于的可信区域裁剪，改进了Muon优化器的稳定性与收敛速度，适用于视觉和语言模型。
2026-03-07 cs.AI cs.LG
A second-order-like optimizer with adaptive gradient scaling for deep learning
Toulouse School of Economics（图卢兹经济学院）；Université de Toulouse（图卢兹大学）；Thales LAS France（泰雷兹法国LAS公司）
该研究提出结合INNA方法与RMSprop自适应梯度缩放的优化算法INNAprop，在维持标准深度学习方法内存需求的同时，多数据集多模型场景下训练速度和准确率持平或优于AdamW，且超参数调优成本低。
2024-12-12 cs.AI cs.LG math.OC
On the Width Scaling of Neural Optimizers Under Matrix Operator Norms I: Row/Column Normalization and Hyperparameter Transfer
University of Chicago（芝加哥大学）；Northwestern University（西北大学）
本文提出MOGA优化器，通过行/列规范化实现宽度感知的学习率转移，解决了传统优化器在宽度扩展时的稳定性问题。
2026-03-10 cs.LG cs.NA cs.SY
Nonlinear Conjugate Gradients For Scaling Synchronous Distributed DNN Training
Apple Inc.（苹果公司）
与传统的基于梯度下降的优化算法相比，基于非线性共轭梯度（NLCG）的优化算法具有更好的损失收敛特性。然而，在深度神经网络（DNN）训练中，选择的主要优化算法仍然是随机梯度下降（SGD）及其变体。在这项工作中，我们提出并评估了用于大规模DNN训练任务的随机预处理非线性共轭梯度算法。我们发现，非线性共轭梯度算法提高了DNN训练的收敛速度，特别是在大型小批量场景中，这对于将同步分布式DNN训练扩展到大量工作者至关重要。我们展示了如何在NLCG预处理器中有效地使用二阶信息来提高DNN训练收敛性。对于ImageNet分类任务，在超过65 k的超大型小批量时，NLCG优化器能够将Resnet-50模型的标准训练的top-1准确率提高10个百分点以上。对于CIFAR-100分类任务，在超过16 k的超大型小批量时，NLCG优化器能够将Resnet-32模型的标准训练提高15个百分点以上，用于200个epoch。
2019-11-20 cs.LG stat.ML
Information-Theoretic Foundations for Neural Scaling Laws
Stanford University（斯坦福大学）
本文利用严格的信息论方法为神经缩放定律建立理论基础，并证明在无限宽双层神经网络数据下，数据规模与模型规模的最优关系在忽略对数因子时呈线性，与大规模实证结果一致。
2024-06-28 cs.AI cs.LG
Scaling Laws Are Unreliable for Downstream Tasks: A Reality Check
New York University（纽约大学）；Prescient Design；CIFAR LMB
本研究通过元分析发现下游缩放定律仅在39%情况下可预测，强调需理解其成功条件并接受非线性缩放行为。
2025-10-09 cs.CL cs.LG
Scaling laws for amplitude surrogates
Institut für Theoretische Physik, Universität Heidelberg（海德堡大学理论物理研究所）；Department of Physics, Harvard University（哈佛大学物理系）；LPNHE, Sorbonne Université, Université Paris Cité, CNRS/IN2P3（巴黎大学LPNHE）
本文研究了粒子物理学中幅度替代方案的缩放规律，发现缩放系数与过程的外部粒子数量相关，并证明了缩放规律在实现精度目标中的作用。
2026-11-06 cs.LG hep-ph
Understanding Scaling Laws for Recommendation Models
Meta
规模一直是提高机器学习性能的主要驱动力，理解缩放定律对于可持续模型质量性能增长的战略规划、长期资源规划和开发有效的系统基础设施以支持大规模模型至关重要。本文研究了DLRM风格推荐模型的经验缩放定律，特别是点击率（CTR）。我们观察到模型质量与幂律以及模型大小、数据大小和用于训练的计算量的常数有关。我们沿着三个不同的资源维度，即数据，参数和计算，通过比较不同的缩放方案沿这些轴的缩放效率。我们表明，参数缩放是蒸汽的模型架构正在研究中，直到一个更高性能的模型架构出现，数据缩放是前进的道路。本研究所解决的关键研究问题包括：一个推荐模型的规模可持续的预测的缩放定律？或者我们离缩放定律的预测还很远？缩放的极限是什么？缩放定律对长期硬件/系统开发有何影响？
2022-08-17 cs.IR cs.LG
On Implications of Scaling Laws on Feature Superposition
本文通过缩放定律论证了特征叠加假设与特征通用性命题无法同时成立，揭示了特征表示理论的内在矛盾。
2024-07-01 cs.AI cs.LG
Neural Scaling Laws Rooted in the Data Distribution
本研究针对深度神经网络神经缩放定律的普遍性成因问题，基于渗流理论构建描述自然数据集的数学模型，发现两种对应不同数据特征的临界态 regime 可统一现有缩放理论，并通过玩具数据集实验验证，为语言模型缩放定量预测提供方向。
2024-12-10 cond-mat.dis-nn cs.LG
Gemstones: A Model Suite for Multi-Faceted Scaling Laws
University of Maryland（马里兰大学）；Columbia University（哥伦比亚大学）
本研究发布Gemstones开源缩放定律数据集，含超4000个检查点，揭示缩放定律处方对实验设计和模型检查点高度敏感。
2025-10-07 cs.AI cs.LG
gzip Predicts Data-dependent Scaling Laws
Reworkd
本研究通过调节PCFG复杂度生成训练数据，发现缩放定律对数据复杂度敏感，并提出基于gzip可压缩性的数据相关缩放定律，其计算最优前沿随数据难压缩而偏向数据集大小。
2024-05-26 cs.CL cs.LG
Scaling Laws in Jet Classification
Center for Artificial Intelligence Innovation（人工智能创新中心）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文发现对撞机物理中顶夸克与QCD喷注分类的六种分类器随训练集增大呈现幂律标度律，强调应按数据集规模比较分类器而非固定训练集。
2023-12-04 cs.LG hep-ph
Neural Neural Scaling Laws
New York University（纽约大学）
本文提出NeuNeu模型，通过时间序列外推预测语言模型在下游任务中的性能，相比传统参数化方法，其在66个下游任务上的均方误差降低了44%。
2026-10-30 cs.CL cs.LG
Scaling Laws for Uncertainty in Deep Learning
King Abdullah University of Science and Technology（国王阿卜杜勒-阿齐兹大学）；Aalto University（阿莱理工大学）
本研究通过实验验证深度学习中预测不确定性的缩放规律，展示了贝叶斯方法在处理不确定性方面的有效性。
2026-02-09 cs.LG stat.ML
Broken neural scaling laws in materials science
Institute of Physics（物理研究所）；Institute of Micro（微研究所）
本研究发现材料科学中预测介电函数的神经缩放定律在数据集规模上失效，但模型参数数量的缩放遵循简单幂律。
2026-02-05 cond-mat.mtrl-sci cs.LG
The Capability Manifold and ML Scaling Laws
University of Leeds（利兹大学）
本文提出能力流形框架，将下游能力映射到预训练、后训练和测试时资源，统一现有缩放定律，并量化能力对资源的敏感性。
2026-09-24 cs.AI cs.LG
Neural Scaling Laws for Deep Regression
Asia Pacific Center for Theoretical Physics（亚太理论物理中心）；Department of Physics（物理系）；Pohang University of Science and Technology（坡山科学技术大学）
研究深度回归模型中神经扩展定律，通过参数估计模型探讨回归性能与训练数据量和模型容量的幂律关系，发现损失与这些因素呈1到2之间的幂律关系。
2025-11-24 cond-mat.other cs.LG
Scaling Laws for Differentially Private Language Models
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本文针对差分隐私大语言模型（DP LLM）训练动态特性显著不同导致缩放定律未被完全理解的问题，建立了准确建模其训练复杂性的缩放定律，完整呈现了多种设置下的计算-隐私-效用权衡及最优训练配置。
2025-01-31 cs.CR cs.LG
Efficiently Estimating Optimal Hyperparameter Scaling Laws through Power-Law Entropy Search
Meta；National University of Singapore（新加坡国立大学）；Atomic Machines（原子机器公司）
该研究提出幂律熵搜索（PLES），一种基于多保真度贝叶斯优化的获取函数，可高效估计LLM的最优超参数缩放定律，其计算预算仅为传统网格搜索的十分之一。
2026-10-16 cs.AI cs.LG
Compression Scaling Laws:Unifying Sparsity and Quantization
Google DeepMind（谷歌DeepMind）；Institute of Science and Technology Austria（奥地利科学技术研究所）
本研究统一了稀疏性与量化在大型语言模型预训练中的缩放定律，发现两者均通过有效参数乘数影响模型性能，并提出了一个通用框架以支持压缩方法的比较与组合。
2025-02-23 cs.CL cs.LG
Generalizing Scaling Laws for Dense and Sparse Large Language Models
Department of Computer Science（计算机科学系）；Iowa State University（爱荷华州立大学）
本文提出了一种通用缩放定律，适用于密集和稀疏大语言模型，通过比较实验验证了其在大规模模型中的有效性。
2026-02-09 cs.AI cs.LG cs.PF
Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study
Department of Mathematics, Hong Kong Baptist University（香港 Baptist 大学数学系）；Department of ACMS, University of Notre Dame（Notre Dame 大学ACMS系）；School of Mathematics, Georgia Institute of Technology（佐治亚理工学院数学系）；Department of Mathematics, UCLA（加州大学洛杉矶分校数学系）
本文通过分析深度算子网络的逼近误差和泛化误差，建立了量化神经缩放定律的理论框架，揭示了网络模型大小和训练数据大小与误差之间的关系，并推广到深度ReLU网络。
2026-05-26 cs.LG stat.ML
Sub-Scaling Laws: On the Role of Data Density and Training Strategies in LLMs
Meituan Inc.（美团公司）；The University of Hong Kong（香港大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）
本文揭示了LLMs中性能提升减速的sub-scaling现象，通过分析超400个模型发现高数据密度和非最优资源分配是关键成因，并提出能更好预测该现象的次优缩放定律。
2025-07-13 cs.AI cs.LG
Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws
Databricks MosaicML
本研究针对现有LLM缩放定律忽略推理成本的问题，修改Chinchilla定律以优化给定质量和推理需求下的模型参数与训练数据，通过计算预算和实际成本分析及模型训练验证，为高推理需求场景提供更小、训练更长的模型选择依据。
2025-04-14 cs.CL cs.LG
A Solvable Model of Neural Scaling Laws
McGill University（麦吉尔大学）；Massachusetts Institute of Technology（麻省理工学院）；Salesforce（赛富时）；University of British Columbia（不列颠哥伦比亚大学）；Anthropic
具有大量参数的大语言模型，当在接近互联网大小的令牌上进行训练时，已被经验证明遵守神经缩放定律：具体而言，它们的性能在参数或数据集大小方面表现为可预测的幂律，直到被其他资源检查。为了更好地理解这一点，我们首先确定了允许这种缩放定律出现的必要属性，然后提出了一个统计模型--一个联合生成数据模型和随机特征模型--它捕捉了这种神经缩放现象。通过在大训练集大小和大量参数的双重限制下求解该模型，我们可以深入了解（i）导致缩放定律的数据集和任务的统计结构，（ii）非线性特征映射（如神经网络提供的那些）在这些数据集上训练时启用缩放定律的方式，（iii）训练集和参数的等参数化缩放的最优性，以及（iv）这种缩放定律是否会失效，以及当它们失效时它们的表现如何。主要发现是自然数据集统计中出现的幂律通过非线性随机特征映射扩展，然后转化为测试损失的幂律缩放的方式，以及数据的谱幂律的有限范围如何导致模型的性能达到平台。
2022-10-30 cs.LG hep-th stat.ML
Towards Multi-Fidelity Scaling Laws of Neural Surrogates in CFD
ELLIS Unit, LIT AI Lab, Institute for Machine Learning, JKU Linz（ELLIS单位、LIT AI实验室、机器学习研究所、JKU林茨）；Emmi AI
研究CFD中神经代理模型在多保真度数据下的缩放定律，通过分解数据集轴为计算预算与构成，揭示了计算性能缩放行为及依赖预算的最优保真度组合，为科学机器学习的高效数据生成提供指导。
2025-11-03 cs.LG physics.flu-dyn
Optimal scaling laws in learning hierarchical multi-index models
Departement d’Informatique, École Normale Supérieure, PSL & CNRS（信息学院，巴黎综合理工学院，PSL与CNRS）；Information, Learning and Physics Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)（信息、学习与物理实验室，洛桑联邦理工学院（EPFL））；INRIA Paris（巴黎INRIA）
本文研究了分层多索引模型中神经网络的最优缩放规律，提出了一种简单且高效的谱估计方法，揭示了分层特征的逐层学习过程及统计最优读出机制。
2026-02-05 cs.LG stat.ML
Scaling Laws are Redundancy Laws
本文通过核回归证明缩放定律可形式化为冗余定律，揭示学习曲线斜率依赖数据冗余，统一了经验观察与理论基础。
2026-03-22 cs.LG math.ST stat.ML
How to Allocate Your Tokens? Scaling Laws with Training Steps and Batch Size
Inria, École Normale Supérieure, PSL Research University（法国国家信息与自动化研究所，巴黎高等师范学院，巴黎文理研究大学）
提出一个包含模型大小、训练步数和批大小的三术语缩放定律，能正确恢复最优批大小缩放，且拟合所需训练运行次数更少。
2026-07-03 cs.LG stat.ML
Scaling Laws for Precision
Harvard University（哈佛大学）；Stanford University（斯坦福大学）；MIT（麻省理工学院）；Databricks（Databricks公司）；Carnegie Mellon University（卡内基梅隆大学）
针对当前缩放定律未考虑低精度训练推理影响的问题，本研究提出精度感知缩放定律，通过有效参数数量预测损失，统一量化规律并在大模型上验证，为计算最优训练提供指导。
2024-11-30 cs.CL cs.LG
Grams: Gradient Descent with Adaptive Momentum Scaling
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（金山大学）
本文提出新型优化算法Grams，通过解耦参数更新方向与动量幅度实现更快的损失下降与全局收敛，在训练大型语言模型时展现出优于Adam等优化器的收敛与泛化性能。
2025-03-05 cs.AI cs.DS cs.LG
Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments
Tel-Aviv University（特拉维夫大学）
神经缩放定律以幂律的形式定义了模型参数计数与训练后性能之间的可预测关系。然而，迄今为止，大多数研究还没有明确调查是否缩放定律可以用来加速模型的发展。在这项工作中，我们在广泛的语言理解任务中进行了这样的实证调查，从具有少至10K参数的模型开始，并在9个语言理解任务中评估下游性能。我们发现，缩放定律出现在一些NLP任务中的微调时间，并且它们也可以用于训练大型模型时的调试收敛。此外，对于存在缩放定律的任务，它们可以用于预测更大模型的性能，从而实现有效的模型选择。然而，揭示缩放定律需要仔细的超参数调整和多次运行的目的不确定性估计，这会产生额外的开销，部分抵消了计算的好处。
2022-10-18 cs.CL cs.LG cs.NA
Deriving Neural Scaling Laws from the statistics of natural language
研究从自然语言统计推导神经缩放定律，分离出语言关键统计属性预测神经缩放指数，给出基于这些统计量的简单公式，与实验测量定律匹配。
2026-07-07 cs.AI cs.LG stat.ML
Scaling Laws for Looped Mixture of Experts
Meta AI
本文提出循环缩放定律，联合建模循环与稀疏性，预测循环MoE损失，并证明其在万亿token规模下带来参数效率与性能优势。
2026-10-01 cs.AI cs.CL cs.LG
Towards joint scaling laws with optimal batch size schedules
Meta
该研究从凸优化视角推导了适用于通用优化器和模型架构的损失联合表征，得到闭式最优批量大小调度与联合缩放律，其性能优于固定批量大小基线，凸显动态批量大小调度在大语言模型训练中的重要性。
2026-07-31 cs.AI cs.LG math.OC
Scaling Laws for Acoustic Models
Amazon Alexa（亚马逊Alexa）
机器学习最近有一种趋势，即通过将模型增长到以前认为不合理的大小来提高模型质量。最近的工作表明，具有交叉熵目标函数的自回归生成模型表现出平滑的幂律关系或缩放律，可以从模型大小，训练集大小和可用的计算预算预测模型质量。这些比例律允许人们在给定对可用训练数据、模型参数计数或训练计算预算的约束的情况下选择接近最优的超参数。在本文中，我们证明了用自动预测编码损失训练的声学模型的行为就好像它们受到类似的缩放律。我们扩展了以前的工作，共同预测由于模型大小，训练集大小和任务固有的“不可减少的损失”造成的损失。我们发现，比例律准确地匹配模型的性能超过两个数量级的模型大小和训练集大小，并预测模型性能的限制。
2021-06-11 cs.CL cs.LG cs.SD
Scaling Laws for Online Advertisement Retrieval
Kuaishou Technology（快手科技）；M-A-P
针对在线广告检索缺乏缩放定律研究的问题，提出轻量级范式，用离线指标和模拟算法识别在线缩放定律，并验证其存在性及应用。
2025-09-25 cs.AI cs.IR cs.LG
Neural Scaling Laws From Large-N Field Theory: Solvable Model Beyond the Ridgeless Limit
University of Utah（犹他大学）
本文使用大N场论方法求解神经标度律模型，将结果推广至ridge参数非零的一般情况，获得更精确的标度律，并揭示图层面的对偶变换以解释模型与数据集大小的对称性。
2024-05-29 cond-mat.dis-nn cs.LG hep-ph
Reproducible scaling laws for contrastive language-image learning
LAION；UC Berkeley（加州大学伯克利分校）；HuggingFace；University of Washington（华盛顿大学）；Juelich Supercomputing Center (JSC)（于利希超级计算中心）；Research Center Juelich (FZJ)（于利希研究中心）
该研究基于公开LAION数据集和开源OpenCLIP库开展CLIP大规模实验，验证了多下游任务的幂律缩放关系，发现训练分布影响缩放行为，开源相关资源以保障可复现性。
2024-07-13 cs.AI cs.CV cs.LG
LLM Architecture, Scaling Laws, and Economics: A Quick Summary
本文梳理了带QKV自注意力的主流LLM标准架构及Transformer结构，给出算力、内存缩放定律与2025年不同规模LLM参数成本估算，探讨DeepSeek的定位，汇总了此前不易获取的相关材料。
2025-09-11 cs.CL cs.GL cs.LG
Large Language Model Scaling Laws for Neural Quantum States in Quantum Chemistry
University of Michigan（密歇根大学）；SandboxAQ；New York University（纽约大学）
本文研究了量子化学中基于transformer的神经量子态（NQS）的缩放定律，发现其模型大小与训练时间的关系高度依赖损失指标和拟设，不遵循语言模型的近似线性关系。
2025-09-16 cs.CE cs.LG quant-ph
