Robust Gradient Descent via Heavy-Ball Momentum with Predictive Extrapolation
Columbia University, Irving Medical Center（哥伦比亚大学，伊文斯医疗中心）
HB-SGE通过结合重力球动量与预测梯度外推，提供了一种在不良条件和非凸问题上更稳健的梯度下降方法，兼具稳定性与效率。
2025-12-10 cs.LG
In-Context Freeze-Thaw Bayesian Optimization for Hyperparameter Optimization
University of Freiburg（弗莱堡大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
针对冻融贝叶斯优化代理模型更新开销大的问题，提出基于PFN的代理模型FT-PFN，结合新采集机制MFPI-random构建ifBO方法，在三类HPO基准上实现更准更快的最优性能。
2024-08-12 cs.LG
Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation
KAIST（韩国科学技术院）；Korea University（高丽大学）；DeepAuto
本文提出一种成本敏感的多保真贝叶斯优化方法，通过用户定义的效用函数、新型采集函数和停止准则，结合迁移学习改进学习曲线外推，在多个数据集上优于现有基线，实现成本与性能的更好权衡。
2024-05-28 cs.AI cs.LG
Adaptive Rollout Length for Model-Based RL Using Model-Free Deep RL
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；College of Information and Computer Sciences（信息与计算机科学学院）
与无模型强化学习相比，基于模型的强化学习通过学习环境的中间模型来预测未来的交互，从而承诺从与环境的较少交互中学习最优策略。当预测一系列交互时，限制预测范围的卷展长度是一个关键的超参数，因为预测的准确性在远离真实体验的区域中会降低。因此，随着更长的推出长度，从长远来看，总体上更糟糕的策略是学习。因此，超参数提供了质量和效率之间的折衷。在这项工作中，我们将调整推出长度的问题框架为元级顺序决策问题，该问题通过基于基于模型的强化学习优化最终策略，给定固定的环境交互预算，通过基于学习过程的反馈动态调整超参数，例如模型的准确性和剩余的交互预算。我们使用无模型深度强化学习来解决元级决策问题，并证明我们的方法在两个著名的强化学习环境中优于常见的启发式基线。
2022-06-07 cs.AI cs.LG
Accelerating Differentially Private Federated Learning via Adaptive Extrapolation
LY Corporation（LY公司）
针对DP-FedAvg在客户端数据异质性下收敛慢的问题，提出无需额外超参数和客户端计算成本的DP-FedEXP，通过局部更新多样性自适应选全局步长，理论与实证均优于现有方法。
2025-04-14 cs.LG
Automatic Neural Network Hyperparameter Optimization for Extrapolation: Lessons Learned from Visible and Near-Infrared Spectroscopy of Mango Fruit
University of British Columbia（不列颠哥伦比亚大学）
神经网络是通过选择架构和超参数值来配置的;这样做通常涉及专家的直觉和手动调整，以找到一个可以很好地外推而不会过度拟合的配置。本文考虑自动配置的神经网络，外推的可见光和近红外（VNIR）光谱的域的时间的方法。特别是，我们研究的效果（a）选择样本验证配置和（b）使用合奏。大多数时候，模型是建立在过去的基础上来预测未来的。为了鼓励神经网络模型进行外推，我们考虑在与测试集类似的时间偏移的样本上验证模型配置。我们使用三种验证集选择进行实验：（1）1/3非测试数据的随机样本（以前的工作中使用的技术），（2）使用最新的1/3（按时间排序），（3）使用语义有意义的数据子集。超参数优化依赖于验证集来估计测试集误差，但神经网络方差混淆了真实的误差值。包络平均-计算许多神经网络的平均值-可以减少预测误差的方差。为了测试这些方法，我们对2018年芒果收获季节进行了全面研究，给出了前3年的VNIR光谱。我们发现，集成提高了最先进的模型的方差和准确性。此外，超参数优化实验（有和没有集成平均以及每个验证集选择）表明，当集成与使用最新的1/3样本作为验证集相结合时，可以自动找到与最新技术水平相当的神经网络配置。
2022-10-03 cs.LG eess.IV
Learning Equations for Extrapolation and Control
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）；IST Austria（奥地利科学技术研究所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了一种方法来识别简洁的方程数据使用浅神经网络的方法。与普通的黑盒回归相比，这种方法允许理解函数关系，并将它们从观察到的数据推广到参数空间中看不见的部分。我们展示了如何将最近提出的方程学习网络的可学习方程类扩展到包括除法，并且我们改进了学习和模型选择策略，以便对具有挑战性的现实数据有用。对于由解析表达式控制的系统，我们的方法在许多情况下可以识别真正的基本方程并外推到看不见的域。我们证明了其有效性的实验上的小车摆系统，其中只有2个随机推出需要学习的前向动力学，并成功地实现了摆动的任务。
2018-06-19 cs.LG stat.ML
Quantifying Hyperparameter Transfer and the Importance of Embedding Layer Learning Rate
Department of Physics, University of Maryland, College Park（马里兰大学物理系）；Department of Computer Science, University of Maryland, College Park（马里兰大学计算机科学系）；Joint Quantum Institute, University of Maryland, College Park（马里兰大学联合量子研究所）；Meta Superintelligence Labs, Fundamental AI Research（Meta超智能实验室，基础人工智能研究）
本文研究了超参数迁移的量化方法，通过三种指标评估超参数迁移的质量，发现Maximal Update（μP）参数化在训练中通过最大化嵌入层学习率提升了超参数迁移质量，而权重衰减虽改善了缩放定律拟合，但会降低外推鲁棒性。
2026-05-20 cond-mat.dis-nn cs.AI cs.LG
Adaptive FastOPD: Progress-Aware Rollout Horizon Expansion for Efficient On-Policy Distillation
该研究针对在线策略蒸馏的高计算成本问题，提出自适应FastOPD策略，仅在学习平台且范围充分利用时扩展展开范围，使训练时间降49.1%-71.2%且性能最优。
2026-08-03 cs.LG
Streamlining Ocean Dynamics Modeling with Fourier Neural Operators: A Multiobjective Hyperparameter and Architecture Optimization Approach
Argonne National Laboratory（阿贡国家实验室）；Florida State University（佛罗里达州立大学）；Université Paris-Saclay（巴黎萨克雷大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文利用 DeepHyper 对 FNO 的预处理、架构和训练策略进行多目标超参数优化，并引入负异常相关系数损失，显著提升海洋动力学最长 30 天的预测精度。
2024-04-10 cs.LG physics.ao-ph stat.ML
Architecture-Aware Learning Curve Extrapolation via Graph Ordinary Differential Equation
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Baylor University（贝勒大学）
本文提出一种基于图常微分方程的结构感知学习曲线外推模型，通过整合神经网络架构信息连续预测学习曲线，在MLP和CNN上优于现有方法，并适用于神经架构搜索中的训练配置排名。
2025-01-19 cs.AI cs.LG stat.ML
Beyond Compression: Training Latent Representations for Stable Long-Horizon Rollout in Neural Surrogate Solvers
Sandia National Laboratories（桑迪亚国家实验室）；University of Southern California（南加州大学）；Brown University（布朗大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
针对潜在神经代理求解器长时程展开误差累积问题，本文提出训练层面干预措施，将潜在表示与长时程展开对齐，将长展开误差降低约40%，并达到或超过全分辨率模型精度，同时大幅降低计算成本。
2026-09-25 cond-mat.mtrl-sci cs.CE cs.LG
Tune My Adam, Please!
University of Freiburg（弗赖堡大学）；Meta；ELLIS Institute（ELLIS研究所）；Prior Labs（Prior实验室）
本文针对 Adam 超参数调优成本高的问题，提出基于 TaskSet 学习曲线预训练的 Adam-PFN 代理模型及 CDF-augment 增强方法，以提升 Freeze-thaw BO 的外推、优化速度与 OOD 表现。
2025-08-28 cs.LG
TI-DeepONet: Learnable Time Integration for Stable Long-Term Extrapolation
本文提出TI-DeepONet，通过结合神经算子与自适应时间步长，解决神经算子在长期外推中的稳定性问题，提升预测精度与效率。
2026-03-16 cs.LG
Towards Infinitely Long Neural Simulations: Self-Refining Neural Surrogate Models for Dynamical Systems
Courant Institute School of Mathematics, Computing, and Data Science, New York University, USA（Courant学院数学、计算与数据科学学院，纽约大学，美国）
本文提出自修正神经代理模型(SNS)，通过条件扩散模型在无需超参数的情况下平衡短期精度与长期一致性，实现对复杂动力系统长时间模拟的高保真度。
2026-03-18 cs.LG
The Unreasonable Effectiveness Of Early Discarding After One Epoch In Neural Network Hyperparameter Optimization
Argonne National Laboratory（阿贡国家实验室）；Université Paris-Saclay（巴黎-萨克雷大学）；Universidad de La Sabana（萨瓦纳大学）；Delft University of Technology（代尔夫特理工大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文研究神经网络 HPO 中提前丢弃的性能权衡，发现简单的固定 i 个 epoch 后丢弃策略 i-Epoch 几乎不逊于 successive halving 等复杂方法，并提出基于 Pareto-Front 互补性的评估框架。
2024-04-05 cs.LG
Hyperparameter Scaling Laws Across MoE Sparsity
Ant Group（蚂蚁集团）
针对超稀疏MoE，通过大规模实验揭示最优学习率与批量大小随激活比率变化的规律，提出统一超参数缩放定律，实现跨稀疏性和模型规模的可靠迁移。
2026-09-09 cs.AI cs.CL cs.LG
An ALE-Consistent Graph Neural Operator-Transformer Framework for Fluid-Structure Interaction
Institute for Ocean Engineering（海洋工程研究院）；Shenzhen International Graduate School, Tsinghua University（深圳国际研究生院，清华大学）
本文提出一种结合图神经运算与视觉变换器的ALE一致框架，用于预测变形无结构网格上的流固耦合，通过轻量级LSTM网络预测结构运动，并通过ALE一致边界修正提升精度与稳定性。
2026-05-01 cs.LG physics.flu-dyn
Predicting Sim-to-Real Transfer with Probabilistic Dynamics Models
DeepMind（深度思维）；OpenAI（开放人工智能研究中心）
我们提出了一种方法来预测RL策略的仿真到现实迁移性能。我们的转移指标简化了模拟中训练设置（如算法、超参数、随机化）和策略的选择，而不需要大量耗时的真实世界部署。概率动力学模型与策略一起训练，并在一组固定的真实世界轨迹上进行评估，以获得转移度量。实验表明，传输度量是高度相关的策略性能在模拟和真实世界的机器人环境中的复杂操作任务。我们进一步表明，转移度量可以预测训练设置对策略转移性能的影响。
2020-09-27 cs.AI cs.LG cs.RO
Simulating extrapolated dynamics with parameterization networks
Energy Research Institute, Nanyang Technological University（南洋理工大学能源研究院）
提出了一种人工神经网络结构-参数化网络，用于模拟动力系统中观测数据外推的动力学。参数化网络用于确保外推动力学的长期完整性，同时仔细调整模型超参数以防止验证误差控制过拟合。一个参数化网络上的逻辑映射，其中混沌和其他非线性现象与底层模型一致，可以外推非混沌训练时间序列具有良好的保真度。所述结果比它们看起来要少得多，因为神经网络只是在二次返回映射之间进行外推。尽管如此，研究结果确实表明，要成功地外推性质不同的行为，需要在相应的行为在本质上更相似的抽象层面上进行学习。
2019-02-09 cs.AI cs.LG nlin.CD
Crash Assessment via Mesh-Based Graph Neural Networks and Physics-Aware Attention
SEAT S.A.（SEAT公司）；IDIADA Automotive Technology S.A.（IDIADA汽车技术公司）
本文提出结合局部网格消息传递、几何感知全局注意力和稀疏接触修正的混合模型，用于预测车辆碰撞中的结构变形场，实现高精度的碰撞模拟与工程解释。
2026-05-12 cs.AI cs.CE cs.LG
Using Machine Learning to Anticipate Tipping Points and Extrapolate to Post-Tipping Dynamics of Non-Stationary Dynamical Systems
University of Maryland, College Park（马里兰大学帕克分校）
在本文中，我们考虑预测临界点过渡和长期后临界点行为的机器学习（ML）任务与未知（或部分未知）的时间演化，非平稳，潜在的噪声和混沌，动力系统。我们专注于特别具有挑战性的情况，其中可用于ML训练的过去动态状态时间序列主要位于状态空间的受限区域中，而待预测的行为在训练期间ML模型未完全观察到的较大状态空间集上演变。在这种情况下，需要ML预测系统能够外推到训练期间观察到的不同动态。我们研究了ML方法能够在多大程度上完成这项任务的有用结果，以及它们失败的条件。总的来说，我们发现ML方法即使在非常具有挑战性的情况下也是非常有效的，但是当需要“太多”外推时（正如人们所期望的那样）会失败。对于后一种情况，我们研究了ML方法与基于科学知识的传统建模相结合的有效性，从而形成了一个混合预测系统，我们发现即使其基于ML和基于知识的组件在单独行动时失败，也可以进行有用的预测。我们还发现，实现有用的结果可能需要使用非常仔细选择的ML超参数，我们提出了一个超参数优化策略来解决这个问题。本文的主要结论是，基于ML的方法是有前途的工具，用于预测非平稳动态系统的行为，即使在这种情况下，未来的演变（也许是由于交叉的临界点）包括动态以外的一组探索的训练数据。
2022-07-01 cs.LG physics.comp-ph
Factorized Neural Operators Decompose Dynamic and Persistent Responses
School of Medicine, University of Dundee（邓迪大学医学院）；School of Data Science, Fudan University（复旦大学数据科学学院）；School of Mathematical Sciences, Fudan University（复旦大学数学科学学院）；Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学类脑智能科学与技术研究院）；School of Science and Engineering, University of Dundee（邓迪大学科学与工程学院）；Department of Applied Mathematics and Theoretical Physics, University of Cambridge（剑桥大学应用数学与理论物理系）
提出因子化神经算子（FaNO），通过分解谱表示为等变动态响应和不变持久响应，提升多尺度物理系统的预测精度、参数效率和跨尺度泛化能力。
2026-07-20 cs.LG
Dissipative Latent Residual Physics-Informed Neural Networks for Modeling and Identification of Electromechanical Systems
Human-Robot Interfaces and Interaction Lab, Istituto Italiano di Tecnologia, 16163 Genoa, Italy（人机交互实验室，意大利理工学院，意大利热那亚16163）
本文提出DiLaR-PINN，通过潜层残差网络和耗散性约束，更准确地建模电磁机械系统中的耗散效应，并在长时域外推中表现更优。
2026-04-20 cs.LG
Dynami-CAL GraphNet: A Physics-Informed Graph Neural Network Conserving Linear and Angular Momentum for Dynamical Systems
Intelligent Maintenance and Operations Systems, EPFL（智能维护与运作系统，瑞士联邦理工学院）
本文提出物理信息图神经网络 Dynami-CAL GraphNet，通过边局部参考系强制线动量和角动量成对守恒，在三维颗粒系统上实现物理一致、可解释且可扩展的多体动力学建模与力/力矩推断。
2025-09-23 cs.CE cs.LG physics.comp-ph
Learning multi-phase flow and transport in fractured porous media with auto-regressive and recurrent graph neural networks
Khalifa University of Science and Technology（哈利法科技大学）；Delft University of Technology（代尔夫特理工大学）；Qingdao University of Technology（青岛理工大学）
本文提出用图神经网络学习裂隙多孔介质多相流，采用两阶段训练（自回归+微调），循环GNN在长时预测中表现更优。
2025-02-22 cs.LG physics.flu-dyn
