Stability and Generalization of Stochastic Nonconvex Optimization under Heavy-Tailed Noise: From Gradient Norm to Goldstein Stationarity
Hongxu Chen；Ke Wei；Xiaoming Yuan；Luo Luo
本文研究了重尾噪声下非凸优化的稳定性与泛化能力，提出了一种通用框架用于建立泛化界限，并分析了多种随机优化算法的性能。
2026-10-06 cs.LG
AlphaGrad: Non-Linear Gradient Normalization Optimizer
Collins Aerospace (RTX)（柯林斯航空航天公司）
AlphaGrad是一种内存高效的非线性梯度归一化优化器，通过双曲正切变换实现尺度不变性，在PPO中表现优越，在TD3中需调参，为内存受限场景提供替代方案。
2025-04-23 cs.AI cs.LG cs.NE
Online Stochastic Optimization with Wasserstein Based Non-stationarity
New York University（纽约大学）
我们考虑一个一般的在线随机优化问题，多个预算约束在有限的时间段内的地平线。在每个时间段内，揭示了一个奖励函数和多个成本函数，决策者需要从凸和紧凑的行动集中指定一个行动，以收集奖励并消耗预算。每个成本函数对应于一个预算的消耗。在每个周期中，奖励和成本函数都是从一个未知的分布中得出的，这个分布在时间上是非平稳的。决策者的目标是在预算约束下最大化累积报酬。该公式涵盖了广泛的应用，包括在线线性规划和网络收入管理等。在本文中，我们考虑两种设置：（i）数据驱动的设置，其中真实分布是未知的，但先验估计（可能不准确）是可用的;（ii）无信息的设置，其中真实分布是完全未知的。我们提出了一个统一的Wasserstein距离为基础的措施，以量化的不准确性的先验估计设置（i）和非平稳的系统设置（ii）。我们表明，建议的措施导致一个次线性遗憾在这两种设置的可达性的充分必要条件。对于设置（i），我们提出了一个新的算法，它采取了原始-对偶的角度来看，并集成到一个在线的梯度下降过程中的对偶空间的潜在分布的先验信息。该算法也自然延伸到无信息的设置（ii）。在这两种情况下，我们证明了相应的算法实现了最优顺序的遗憾。在数值实验中，我们演示了如何将所提出的算法自然地与重新求解技术相结合，以进一步提高经验性能。
2022-07-25 cs.LG math.OC
First-Order Methods for Linearly Constrained Bilevel Optimization
Weizmann Institute of Science（魏兹曼科学研究所）；Massachusetts Institute of Technology（麻省理工学院）；Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）
针对线性约束双层优化，提出一阶方法，实现有限时间超梯度平稳性保证，分别对等式和不等式约束达到近最优及维度无关的复杂度，并辅以数值实验验证。
2025-04-20 cs.LG math.OC
Meta-Reinforcement Learning by Tracking Task Non-stationarity
Politecnico di Milano（米兰理工大学）；Inria Lille（里尔法国国家信息与自动化研究所）
许多现实世界的领域受到结构化的非平稳性，影响代理的目标和环境动态。Meta-强化学习（RL）已被证明可以成功地训练快速适应相关任务的智能体。然而，大多数现有的元强化学习算法的非平稳域要么作出强有力的假设任务生成过程中，或需要在训练时从它的采样。在本文中，我们提出了一种新的算法（TRIO），通过明确地跟踪任务的演变，随着时间的推移，为未来进行优化。在训练时，TRIO学习变分模块，以快速识别经验样本中的潜在参数。该模块与考虑任务不确定性的最优探索策略联合学习。在测试时，TRIO在线跟踪潜在参数的演变，从而减少未来任务的不确定性，并通过元学习策略获得快速适应。与大多数现有方法不同，TRIO不假设马尔可夫任务演化过程，它不需要关于训练时的非平稳性的信息，并且它捕获环境中发生的复杂变化。我们评估我们的算法在不同的模拟问题，并显示它优于竞争对手的基线。
2021-05-18 cs.LG
Two Projection Pursuit Algorithms for Machine Learning under Non-Stationarity
TU Berlin（柏林工业大学）；Bernstein Focus: Neurotechnology Berlin（柏林伯恩斯坦神经技术重点中心）；BCCN（伯恩斯坦计算神经科学中心）
本文推导、测试并应用了两种线性投影算法，用于非平稳环境下的机器学习。第一种方法在线性空间中找到一个方向，在这个方向上，数据集是最不稳定的。第二个目标是鲁棒的双向分类对非平稳性。该算法的测试上的一个关键的应用场景，即脑机接口。
2011-10-04 cs.AI cs.LG
Non-Stationarity in the Embedding Space of Time Series Foundation Models
Auton Lab（自动化实验室）；Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
研究时间序列基础模型嵌入空间中非平稳性的检测方法，分析不同分布非平稳性和时间非平稳性对模型检测能力的影响。
2026-04-06 cs.AI cs.LG stat.ML
When May a Bandit Leave Its Anchor? E-Process-Authorized Thompson Sampling under Non-stationarity
UC Santa Barbara（加州大学圣塔芭芭拉分校）；Purdue University（普渡大学）
研究非平稳多臂赌博机中何时允许遗忘，提出E-过程授权的汤普森采样（e-ATS），通过随时有效的E-过程控制折扣状态启用，在平稳性下以$\alpha_E$概率保持乐观采样，实验显示授权影响因环境而异。
2026-10-05 cs.LG stat.ML
Understanding Notions of Stationarity in Non-Smooth Optimization
The Chinese University of Hong Kong（香港中文大学）
信号处理和机器学习中的许多当代应用产生了结构化非凸非光滑最优化问题，这些问题通常可以通过简单的迭代法非常有效地解决。理解这种现象的关键之一，事实上，甚至对专家来说也是一个非常困难的难题，就在于研究所讨论问题的“驻点”。与平稳优化不同，平稳点的定义是相当标准的，在非平稳优化中有无数的平稳性定义。本文对几类重要的非凸非光滑函数给出了不同的平稳性概念，并讨论了它们的几何解释，进一步阐明了这些不同概念之间的关系。然后，我们展示了这些结构在一些代表性的应用程序的相关性，以及它们如何影响迭代法的性能来解决这些应用程序。
2020-06-26 cs.LG eess.SP math.OC
Consistency of Extreme Learning Machines and Regression under Non-Stationarity and Dependence for ML-Enhanced Moving Objects
RWTH Aachen University（亚琛工业大学）
分别由极限学习机进行监督学习。研究了具有随机权重的神经网络在非平稳空间-时间采样设计下的性能，该设计特别针对在非平稳空间环境中移动的自主对象收集和分析数据的设置。随机模型特别考虑到空间异质性和弱依赖性。作为有效的和计算成本低的学习方法（无约束）最小二乘法，岭回归和$\ell_s$ -惩罚最小二乘法（包括LASSO）进行了研究。最小二乘和岭回归估计的一致性和渐近正态性，以及相应的一致性结果的$\ell_s$ -罚款弱条件下。结果还涵盖了样本平方预测误差的界限。
2021-09-01 cs.LG math.ST stat.ML
DS FedProxGrad: Asymptotic Stationarity Without Noise Floor in Fair Federated Learning
DS FedProxGrad通过改进的渐近收敛分析，在公平联邦学习中实现了无需噪声地板的渐近站静。
2026-01-21 cs.LG stat.ML
Temporal Task Diversity: Inductive Biases Under Non-Stationarity in Synthetic Sequence Modelling
University of Oxford（牛津大学）
研究探讨了在合成序列建模中，任务分布随时间变化对深度学习模型归纳偏置的影响，发现任务分布的多样性增强了模型对泛化而非记忆的偏好。
2026-05-18 cs.LG
Trust Region Bounds for Decentralized PPO Under Non-stationarity
University of Manchester（曼彻斯特大学）；University of Oxford（牛津大学）；Microsoft Research（微软研究院）
我们提出了信任域界的合作多智能体强化学习（MARL），即使在过渡动力学是非平稳的优化分散的政策。这项新的分析提供了一个理论上的理解，最近的两个演员批评的方法，MARL，这都依赖于独立的比率，即，分别计算每个代理的策略的概率比。我们发现，尽管非平稳性，独立的比率造成的，单调的改善保证仍然会出现作为强制执行的信任区域约束的结果，在所有分散的政策。我们还表明，这种信赖域约束可以有效地执行在原则上的方式绑定独立的比例的基础上的代理在训练中，提供了一个理论基础，近端比裁剪。最后，我们的实证结果支持这样一个假设，即IPPO和MAPPO的强大性能是通过集中式训练中的裁剪来强制执行这种信任区域约束的直接结果，并根据代理的数量调整超参数，正如我们的理论分析所预测的那样。
2023-02-15 cs.LG
Adaptive World Models: Learning Behaviors by Latent Imagination Under Non-Stationarity
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Institute for Artificial Intelligence, Stuttgart（斯图加特人工智能研究所）
本文提出隐参数部分可观测马尔可夫决策过程形式化方法，用于自适应世界模型，在非平稳强化学习基准中实现鲁棒行为学习，并无监督地学习任务抽象，形成结构化潜在空间。
2024-11-02 cs.AI cs.LG
Off-Policy Evaluation and Learning for the Future under Non-Stationarity
Yale University（耶鲁大学）；Sony Group Corporation（索尼集团公司）；Cornell University（康奈尔大学）
针对非平稳环境下未来策略价值评估与优化问题，提出利用时间序列结构的离线策略估计器OPFV及策略梯度方法，有效降低偏差并显著提升未来价值估计与优化效果。
2025-06-25 cs.AI cs.LG
U-Mixer: An Unet-Mixer Architecture with Stationarity Correction for Time Series Forecasting
Shandong University（山东大学）；Shandong Provincial Laboratory of Future Intelligence and Financial Engineering（山东省未来智能与金融工程实验室）
针对时间序列预测中的非平稳性问题，提出结合Unet和Mixer的U-Mixer框架，通过新颖的平稳性校正方法显式恢复数据分布并保留时间依赖性，在真实数据集上相比SOTA方法分别提升14.5%和7.7%。
2024-01-04 cs.LG
CANet: ChronoAdaptive Network for Enhanced Long-Term Time Series Forecasting under Non-Stationarity
organization= Department of Computer Engineering , addressline= Middle East Technical University , city= Ankara , postcode= 06800 , country= Turkey；organization= METU-BILTIR CAD/CAM \& Robotics Research Center , addressline= Middle East Technical University , city= Ankara , postcode= 06800 , country= Turkey
CANet通过非平稳自适应归一化模块和多分辨率补丁处理，提升非平稳条件下时间序列预测的准确性与效率。
2025-12-17 cs.LG
Learning Deployable Causal Action Geometry under Temporal Non-Stationarity
Peking University（北京大学）；Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对时间非平稳性下连续决策响应规律的泛化难题，提出可部署的因果作用几何，开发两阶段正交估计器，经实验验证其在淘宝 A/B 测试中可提升 GMV 与购买量
2026-10-14 cs.LG
Convergence to Second-Order Stationarity for Non-negative Matrix Factorization: Provably and Concurrently
SUTD（新加坡科技设计大学(SUTD)（注：SUTD是Singapore University of Technology and Design的缩写，常见中文名新加坡科技设计大学））
非负矩阵分解（NMF）是一个基本的非凸优化问题，在机器学习（音乐分析，文档聚类，语音-声源分离等）中有许多应用。尽管已经得到了广泛的研究，但人们对是否存在可以证明收敛到局部最小值的自然算法知之甚少。部分原因是因为目标是重对称的，它的梯度不是Lipschitz。在本文中，我们定义了一个乘法的权重更新型动力学（修改的种子李Seung算法），同时运行，并可证明避免鞍点（一阶不二阶固定点）。我们的技术结合了动力系统的工具，如稳定性，并利用几何的NMF目标，通过减少标准的NMF制定的非负正交到一个新的制定（缩放）单纯形。我们的方法的一个重要优点是使用并发更新，它允许在并行计算环境中实现。
2020-03-19 cs.LG math.OC stat.ML
Off-Policy Evaluation for Action-Dependent Non-Stationary Environments
University of Massachusetts（马萨诸塞大学）；United States Military Academy（美国军事学院）；Stanford University（斯坦福大学）
顺序决策的方法通常建立在一个基本假设上，即潜在的决策过程是静态的。这限制了这些方法的应用，因为现实世界的问题往往会受到外部因素（被动非平稳性），与系统本身的相互作用（主动非平稳性），或两者（混合非平稳性）引起的变化。在这项工作中，我们采取了第一步的基本挑战，政策和政策外的评估结构化的变化，由于主动，被动，或混合非平稳。为了实现这个目标，我们做了一个高阶平稳性假设，使得非平稳性导致随时间的变化，但变化发生的方式是固定的。我们提出，OPEN，一个算法，它使用了双重应用的反事实推理和一种新的重要性加权工具变量回归，以获得较低的偏差和较低的方差估计的结构中的政策的过去的表现的变化。最后，我们展示了如何OPEN可以用来预测未来的表现，表现出非平稳性的现实世界中的应用程序的启发几个领域的有希望的结果。
2023-01-24 cs.AI cs.LG
Quantifying the Impact of Non-Stationarity in Reinforcement Learning-Based Traffic Signal Control
Federal University of Rio Grande do Sul（南里奥格兰德州联邦大学）
在强化学习（RL）中，处理非平稳性是一个具有挑战性的问题。然而，某些领域，如流量优化，本质上是非平稳的。其原因和影响是多方面的。特别是，在处理交通信号控制时，解决非平稳性是关键，因为交通状况随时间变化，并作为网络其他部分所采取的交通控制决策的函数。在本文中，我们分析了不同来源的非平稳性的影响，在网络中的交通信号，其中每个信号被建模为一个学习代理。更确切地说，我们研究了改变代理学习的\textit{context}的影响（例如，其经历的流速变化），以及降低真实环境状态的试剂可观测性的影响。部分可观测性可能导致不同的状态（其中不同的动作是最佳的）被交通信号代理视为相同的。这反过来可能导致次优性能。我们表明，缺乏合适的传感器提供一个代表性的观察的真实状态似乎影响性能更剧烈的变化，基本的交通模式。
2020-04-09 cs.AI cs.LG cs.MA
The Rank and Gradient Lost in Non-stationarity: Sample Weight Decay for Mitigating Plasticity Loss in Reinforcement Learning
School of Computer Software, Tianjin University（天津大学计算机软件学院）；International Joint Institute of Tianjin University, Fuzhou（天津大学福州国际联合学院）；The Hong Kong University of Science and Technology（香港科技大学）
本文从网络优化的理论视角研究了非平稳性导致的塑性丧失问题，通过分析数据分布和目标非平稳性，提出样本权重衰减方法以缓解梯度衰减，提升强化学习性能。
2026-04-02 cs.LG
Enabling Pareto-Stationarity Exploration in Multi-Objective Reinforcement Learning: A Multi-Objective Weighted-Chebyshev Actor-Critic Approach
University of Wisconsin-Whitewater（威斯尼斯大学）；Amazon（亚马逊）；Rochester Institute of Technology（罗切斯特理工学院）；The Ohio State University（俄亥俄州立大学）
针对多目标强化学习中帕累托平稳解系统探索及有限样本复杂度理论保障不足的问题，提出多目标加权切比雪夫演员-评论家算法，兼具理论保证与更优实验性能。
2025-07-29 cs.LG
Battling the Non-stationarity in Time Series Forecasting via Test-time Adaptation
Seoul National University（首尔国立大学）
针对时间序列非平稳性导致预训练预测器在分布偏移下失效的问题，提出TSF-TTA框架及TAFAS方法，利用部分真值与门控校准实现模型无关的测试时自适应。
2025-01-09 cs.AI cs.LG
DCD: Decomposition-based Causal Discovery from Autocorrelated and Non-Stationary Temporal Data
Causal AI Lab, Department of Information Systems University of Maryland, Baltimore County（因果AI实验室，信息系统系马里兰大学巴尔的摩县）
本文提出一种基于分解的因果发现方法，通过分离时间序列的趋势、季节性和残差成分，分别进行因果分析，从而在非平稳和自相关数据中更准确地恢复真实因果结构。
2026-10-14 cs.AI cs.LG stat.ML
Adapting to Decision-Relevant Non-Stationarity in Decentralized Heterogeneous Bandits
针对去中心化异构老虎机中的非平稳性，提出DRFC算法，通过平衡全局比较忽略局部变化，实现无局部变化依赖的遗憾界，并验证其有效性。
2026-09-16 cs.LG
Learning to Adapt: In-Context Learning Beyond Stationarity
Michigan Institute for Computational Discovery and Engineering（密歇根计算发现与工程研究所）；Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Department of Statistics（统计学系）；University of Michigan（密歇根大学）；Department of Computer Science and Engineering（计算机科学与工程系）；The Ohio State University（俄亥俄州立大学）
本文研究了非平稳回归问题中上下文学习的理论机制，揭示了门控线性注意力机制在动态环境下的适应性优势。
2026-04-13 cs.LG math.OC
Improving Model Performance by Adapting the KGE Metric to Account for System Non-Stationarity
Department of Hydrology and Atmospheric Sciences, The University of Arizona（亚利桑那大学水文与大气科学系）；Earth and Environmental Science Area, Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室地球与环境科学区）
本文提出JKGE_ss度量，通过检测数据统计特性中的动态非平稳性，提升信息提取和模型性能，适用于不同水文气候条件下的流域模型。
2026-04-09 cs.LG physics.ao-ph
The Stationarity Bias: Stratified Stress-Testing for Time-Series Imputation in Regulated Dynamical Systems
Department of Computer Science Center for Diabetes Technology University of Virginia（计算机科学系糖尿病技术中心弗吉尼亚大学）；School of Data Science Center for Diabetes Technology University of Virginia（数据科学学院糖尿病技术中心弗吉尼亚大学）
本文提出分层压力测试方法，揭示时间序列填补中站定偏差问题，通过CGM实验发现稳态效率、瞬态保真度及制度条件模型选择，强调深度学习在关键瞬态中的重要性。
2026-02-17 cs.LG
Dynamic Regret of Policy Optimization in Non-stationary Environments
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
我们考虑强化学习（RL）的情节MDP与对抗性的全信息奖励反馈和未知的固定过渡内核。我们提出了两个无模型的策略优化算法，POWER和POWER++，并建立保证他们的动态遗憾。与静态后悔的经典概念相比，动态后悔是一个更强的概念，因为它明确地解释了环境的非平稳性。所提出的算法获得的动态遗憾之间的非平稳性不同的制度插值，而且满足自适应（近）最优的概念，在这个意义上说，它匹配（近）最优静态遗憾缓慢变化的环境下。动态遗憾界功能两个组成部分，一个来自探索，处理过渡内核的不确定性，而另一个来自适应，处理非平稳环境。具体来说，我们表明，POWER++通过预测主动适应非平稳性，在动态遗憾的第二个组成部分上优于POWER。据我们所知，我们的工作是第一次在非平稳环境中的无模型强化学习算法的动态遗憾分析。
2020-06-30 cs.LG math.OC stat.ML
Semi-Supervised Learning under Spatially Biased Sampling
African Institute for Mathematical Sciences (AIMS)（非洲数学科学研究所（AIMS））；Edith Cowan University（埃迪斯科文大学）；Rio Tinto（力拓集团）；Kaplan Business School Pty Ltd（卡普兰商业学校私人有限公司）；Centre for Marine Ecosystems Research（海洋生态系统研究中心）
针对空间有偏采样下边际失配问题，提出核加权局部散度诊断法，发现SSL性能呈阈值式崩溃（约0.71-0.77），非平稳性独立致损，模型在无标签区过度自信。
2026-09-09 cs.LG
Classical and Deep Reinforcement Learning Inventory Control Policies for Pharmaceutical Supply Chains with Perishability and Non-Stationarity
University of Milano-Bicocca（米兰-比可卡大学）；ESSCA School of Management（ESSCA管理学院）；Eindhoven University of Technology（埃因霍温理工大学）
本研究针对药品供应链的易腐性、非平稳需求等挑战，比较了OUT、PIL和深度强化学习（PPO）三种库存策略，发现经典与DRL策略各有优劣，需整合多种策略以有效管理。
2025-01-18 cs.AI cs.LG math.OC
Mixture of Experts in a Mixture of RL settings
University of Oxford（牛津大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）
本研究通过多任务强化学习设置考察混合专家（MoE）在非平稳环境下的作用，揭示其提升学习能力的机制，并指导在演员-评论家网络中集成MoE组件。
2024-06-26 cs.AI cs.LG
Context-Specific Causal Graph Discovery with Unobserved Contexts: Non-Stationarity, Regimes and Spatio-Temporal Patterns
University of Potsdam（波茨坦大学）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析与人工智能中心（ScaDS.AI））
该研究提出了一种针对非平稳性和时空模式的因果图发现框架，通过改进基于约束的因果发现方法，提升对变化点检测和聚类等任务的处理能力。
2026-02-13 cs.LG math.ST stat.TH
Learning to Spend: Model Predictive Control for Budgeting under Non-Stationary Returns
Department of Chemical Engineering, McMaster University（麦斯特大学化学工程系）
本文研究预算分配作为闭环经济控制问题，比较MPC与反应式策略在非平稳回报环境下的表现，发现当回报动态平稳或存在不可预测漂移时，MPC无系统性优势，但当回报效率具有可预测结构时，MPC通过跨时期权衡持续优于反应式预算。
2026-04-29 cs.AI cs.LG cs.SY
