A unified view of entropy-regularized Markov decision processes
Universitat Pompeu Fabra（庞培法布拉大学）
提出了一种基于熵正则化的平均奖励强化学习的马尔可夫决策过程（MDP）的一般框架。我们的方法是基于扩展的线性规划制定的MDP政策优化，以适应凸正则化函数。我们的关键结果是表明，使用联合状态-作用分布的条件熵作为正则化产生了一个类似于Bellman最优性方程的对偶优化问题。这一结果使我们能够将一些最先进的熵正则化强化学习算法形式化为镜像下降或对偶平均的近似变体，从而讨论这些方法的收敛特性。特别是，我们证明了Schulman等人（2015）的TRPO算法的精确版本实际上收敛到最优策略，而Mnih等人（2016）的熵正则化策略梯度方法可能无法收敛到固定点。最后，我们用经验说明了在一个简单的强化学习设置中使用各种正则化技术对学习性能的影响。
2017-05-22 cs.AI cs.LG stat.ML
LAPO: KL-Free Logit-Averaged Policy Optimization to Leverage RL and SFT in LLM Post-Training
UC San Diego（加州大学圣迭戈分校）
本文提出一种在LLMs后训练中通过logit平均补充强化学习的方法，将该方法整合到Group Relative Policy Optimization (GRPO)中，无需使用KL正则化或critic，通过logit平均结构将可训练策略与参考策略耦合，以利用可训练策略的推理能力并保持SFT的格式优势。
2026-11-10 cs.AI cs.LG
Extended Regularized Dual Averaging Methods for Stochastic Optimization
提出了一种求解正则化随机最优化问题的新算法--扩展正则化对偶平均法（XRDA），它推广了正则化对偶平均法（RDA）。该方法的主要新颖之处在于它允许灵活地控制向后步长。例如，RDA中使用的后向步长无限制地增长，而对于XRDA，后向步长可以保持有限制。我们的实验表明，额外的控制后向步长可以显着提高收敛速度的算法，同时保持所需的属性的迭代，如稀疏。理论上，我们表明，XRDA方法实现了相同的收敛速度RDA一般凸目标。
2022-07-13 math.OC
Averaging log-likelihoods in direct alignment
Cohere
针对直接对齐中因补全长度不同导致对数似然非长度不变的问题，引入新平均算子使损失内对数似然平均化，实现长度不变性，并实证揭示了生成长度与分数间的权衡。
2024-06-27 cs.LG
Robust Entropy-regularized Markov Decision Processes
Singapore Management University（新加坡管理大学）；Massachusetts Institute of Technology（麻省理工学院）
由熵正则化马尔可夫决策过程（ER-MDP）产生的随机和软最优策略对于探索和模仿学习应用是理想的。出于这样一个事实，即这些政策是敏感的状态转移概率，这些概率的估计可能是不准确的，我们研究了一个强大的版本的ER-MDP模型，其中随机最优的政策是需要强大的模糊性，在底层的转移概率。我们的工作是在强化学习（RL）的两个重要计划，即鲁棒MDP和熵正则化MDP的十字路口。我们发现，在我们的设置中，非鲁棒ER-MDP和鲁棒非正则化MDP模型的基本属性也成立，使得鲁棒ER-MDP问题易于处理。我们展示了我们的框架和结果如何可以集成到不同的算法方案，包括价值或（修改）的政策迭代，这将导致新的强大的RL和逆RL算法来处理不确定性。分析了传统不确定度设置下的计算复杂性和误差传播。
2021-12-31 cs.AI cs.LG
Lipschitz-Regularized Critics Lead to Policy Robustness Against Transition Dynamics Uncertainty
College of Engineering & Computer Science, Syracuse University（工程与计算机科学学院，苏利文大学）
研究针对强化学习中转移动态不确定性致策略性能下降问题，提出基于近端策略优化的PPO-PGDLC算法，集成投影梯度下降与李普希茨正则化评论家，实验表明该算法在环境扰动下性能更好且动作更平滑。
2026-07-09 cs.LG
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
我们考虑一个复合凸最小化问题与正则化的经验风险最小化，这经常出现在机器学习。本文提出了两种新的随机梯度法，它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法，因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外，我们的方法有理论支持的强和非强凸正则化，并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
Regularized Policies are Reward Robust
The Australian National University（澳大利亚国立大学）；Data61（Data61研究所）；Microsoft Research Cambridge（微软剑桥研究院）
强化学习（RL）中的策略的熵正则化是一种常用的启发式方法，以确保学习的策略在过拟合到局部最优策略之前充分探索状态空间。使用熵的主要动机是为了探索和消除最优策略的歧义;然而，理论上的影响并不完全清楚。在这项工作中，我们研究了更一般的正则化RL目标，并使用Fenchel对偶;我们推导出对偶问题，其形式为对抗性奖励问题。特别地，我们发现，由正则化目标找到的最优策略正是最坏情况对抗性奖励下强化学习问题的最优策略。我们的结果使我们能够重新解释流行的熵正则化方案作为一种形式的鲁棒性。此外，由于我们的结果的一般性，我们适用于其他现有的正则化计划。因此，我们的研究结果深入了解了政策正规化的影响，并加深了我们对探索的理解，通过强大的奖励。
2021-01-18 cs.LG stat.ML
Regularized Adaptive Momentum Dual Averaging with an Efficient Inexact Subproblem Solver for Training Structured Neural Network
National Taiwan University（台湾大学）；Institute of Statistical Mathematics（统计数理研究所）
本文提出正则化自适应动量对偶平均算法 RAMDA，通过设计非精确子问题求解器和利用流形识别理论，在保证收敛的同时获得局部最优模型结构，并在大规模视觉、语言和语音任务中优于现有方法。
2024-12-26 cs.LG math.OC
Robust Reinforcement Learning as a Stackelberg Game via Adaptively-Regularized Adversarial Training
Carnegie Mellon University（卡内基梅隆大学）
鲁棒强化学习（RL）专注于提高模型错误或对抗攻击下的性能，这有助于RL代理的实际部署。鲁棒对抗性强化学习（RARL）是最流行的鲁棒强化学习框架之一。然而，大多数现有的文献模型RARL作为一个零和同步游戏的纳什均衡作为解决方案的概念，这可能会忽略RL部署的顺序性，产生过于保守的代理，并诱导训练不稳定。在本文中，我们介绍了一种新的层次制定的强大的RL -一般和Stackelberg游戏模型称为RRL-Stack -正式的顺序性质，并提供额外的灵活性，强大的训练。我们开发了Stackelberg策略梯度算法来解决RRL-Stack，通过考虑对手的响应来利用Stackelberg学习动态。我们的方法生成具有挑战性但可解决的对抗环境，有利于RL代理的鲁棒学习。在单智能体机器人控制和多智能体高速公路合并任务中，我们的算法对不同的测试条件表现出更好的训练稳定性和鲁棒性。
2022-09-24 cs.AI cs.GT cs.LG
Model-Free Robust $ϕ$-Divergence Reinforcement Learning Using Both Offline and Online Data
California Institute of Technology（加州理工学院）
针对名义模型与真实环境不匹配导致的参数不确定性，论文提出无模型 RPQ 与混合离线/在线数据的 HyTQ 算法，并在一般函数逼近和大状态空间下给出鲁棒策略的理论保证。
2024-05-08 cs.LG stat.ML
SymCircuit: Bayesian Structure Inference for Tractable Probabilistic Circuits via Entropy-Regularized Reinforcement Learning
Department of Mechanical and Aerospace Engineering（机械与航空航天工程系）
SymCircuit通过熵正则化强化学习替代贪心算法，实现概率电路结构学习，采用语法约束的自回归Transformer生成有效电路，并在NLTCS数据集上显著提升样本效率。
2026-03-20 cs.AI cs.LG stat.ML
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
Averaging on the Bures-Wasserstein manifold: dimension-free convergence of gradient descent
Massachusetts Institute of Technology（麻省理工学院）
本文针对Bures-Wasserstein流形上高斯分布重心的优化问题，证明了新的测地凸性结果，首次为黎曼梯度下降建立了无维度收敛速率，并扩展到熵正则化重心和几何中位数问题。
2023-10-31 cs.LG math.OC
Regularized and Distributionally Robust Data-Enabled Predictive Control
本文研究了一种应用于未知随机线性定常系统的数据使能预测控制（DeePC）算法。该算法使用噪声损坏的输入/输出数据来预测未来的轨迹和计算最优控制策略。为了对输入/输出数据中的不确定性进行鲁棒化，计算控制策略以最小化给定目标函数的最坏情况期望。使用来自分布鲁棒随机最优化的技术，我们证明了对于某些目标函数，最坏情况下的最优化问题与DeePC算法的正则化版本一致。这些结果支持了正则化算法先前观察到的优点，并为其性能提供了概率保证。我们通过一个数值算例说明了正则化算法的鲁棒性。
2019-11-01 math.OC
Nested Stochastic Algorithm for Generalized Sinkhorn distance-Regularized Distributionally Robust Optimization
本文针对广义Sinkhorn距离正则化的非凸分布鲁棒优化问题，推导出嵌套随机优化的对偶形式，提出嵌套SGD算法并证明其多项式复杂度，数值实验验证了算法的效率与鲁棒性。
2025-06-26 cs.LG math.OC stat.ML
On the regularized risk of distributionally robust learning over deep neural networks
University College London（伦敦大学学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在本文中，我们探讨了分布式鲁棒学习与不同形式的正则化之间的关系，以增强深度神经网络的鲁棒性。特别是，从一个具体的最小-最大分布鲁棒问题，并使用最优输运理论的工具，我们得到一阶和二阶近似的分布鲁棒问题的适当的正则化风险最小化问题。在深度ResNet模型的背景下，我们将由此产生的正则化问题的结构确定为平均场最优控制问题，其中状态变量的数量和维度在原始非鲁棒问题的维度的无量纲因子内。使用庞特里亚金最大值原理与这些问题，我们激励一个家庭的可扩展算法的强大的神经网络的训练。我们的分析恢复了文献中已知的一些结果和算法（在整个论文中解释的设置），并提供了许多其他理论和算法的见解，据我们所知是新颖的。在我们的分析中，我们使用了我们认为对未来分析更一般的对抗性学习问题有用的工具。
2022-03-27 cs.LG math.OC math.PR
A complete characterization on the robust isolated calmness of the nuclear norm regularized convex optimization problems
本文给出了用核范数函数正则化的凸约束最优化问题的Karush-Kuhn-Tucker（KKT）解映射的鲁棒孤立平静性的完整刻画.在文献[8]中，作者证明了在局部最优解的Robinson约束条件下，一类锥规划问题的KKT解映射是鲁棒孤立镇定的当且仅当同时满足二阶充分条件（SOSC）和严格Robinson约束规格（SRCQ）.基于核范数函数及其共轭的变分性质，我们建立了原始/对偶SOSC与对偶/原始SRCQ之间的等价性。导出的结果导致几个等价的刻画的鲁棒孤立冷静的KKT解决方案映射和添加见解，现有文献的稳定性核范数正则化凸最优化问题。
2017-02-20 math.OC
Optimization of Inf-Convolution Regularized Nonconvex Composite Problems
Technical University of Munich（慕尼黑工业大学）
在这项工作中，我们考虑非凸复合问题，涉及下卷积与勒让德函数，这引起了各向异性的推广的邻近映射和Moreau包络。在一个凸的设置，这样的问题可以通过交替最小化的分裂公式，其中的共识约束是惩罚与勒让德函数来解决。相比之下，对于非凸模型，通常不清楚这种方法是否会产生下卷积问题的稳定点。为此，我们分析调查的Moreau包络函数的局部正则性下的正则性，这使我们能够建立分裂模型和原始的下卷积模型的稳定点之间的等价性。我们应用我们的理论来表征固定点的惩罚目标，这是最小化的弹性平均SGD（EASGD）方法进行分布式训练。在数值上，我们证明了所提出的方法在深度神经网络分布式训练这一重要任务上的实际相关性。
2019-03-27 cs.AI cs.LG math.OC
Robust Hybrid Zero-Order Optimization Algorithms with Acceleration via Averaging in Time
研究了求解实时最优化问题的鲁棒零级算法。特别是，我们提出了一个家庭的极值寻求动力学，可以普遍建模为奇摄动混合动力系统与重新启动机制。从这个家庭的动力学，我们合成四个快速算法的解决方案凸，强凸，约束和无约束最优化问题。在每种情况下，我们建立强大的半全球实际渐近或指数稳定性的结果，我们展示了如何获得良好的离散算法，保留原始动态的主要属性。鉴于现有的平均定理奇异摄动混合动力系统不直接适用于我们的设置，我们推导出一个新的平均定理，放宽了文献中的一些假设，使我们能够明确的KL界之间的联系，表征混合动力学的收敛速度和平均动态。我们还表明，我们的研究结果是适用于非混合算法，从而提供了一个一般的框架，加速动力学平均理论的基础上。我们提出了不同的数值例子来说明我们的结果。
2020-12-15 math.OC
The robust isolated calmness of spectral norm regularized convex matrix optimization problems
本文研究谱范数正则化凸优化问题 KKT 映射的鲁棒孤立平静性，通过建立谱范数函数的变分性质，证明了其与严格 Robinson 约束规格及二阶充分条件的等价关系，丰富了稳定性理论。
2025-09-16 math.OC
On Regularized Square-root Regression Problems: Distributionally Robust Interpretation and Fast Computations
本文统一证明范数加半范数惩罚的平方根回归等价于最小二乘的DRO形式，并提出邻近点对偶半光滑Newton算法高效求解两类非光滑问题。
2023-10-05 math.OC
Sparsity Regularized and Robust Mean Variance Portfolio Selection Under Ellipsoidal Uncertainty
Bilkent University（比尔肯特大学）；EPFL（洛桑联邦理工学院）
针对椭球不确定性下的均值-方差投资组合选择，提出带$\ell_0$惩罚的稳健稀疏优化框架，刻画极值结构并设计分支定界算法及高效剪枝规则，实验验证其有效性与竞争力。
2026-09-11 cs.LG math.OC stat.ML
Robust Min-Max (Regret) Optimization using Ordered Weighted Averaging
本文提出一种推广经典 OWA 的新型有序加权平均优化框架，涵盖鲁棒最小-最大与最小-最大遗憾优化，并给出复杂性、不可近似性及改进的近似界，辅以计算实验验证。
2024-01-29 math.OC
Robust Distributed Averaging in Networks
在这项工作中，我们考虑了两种类型的对抗性攻击网络的节点寻求达成共识。第一种类型涉及能够在每个时刻破坏特定数量的链接的对手。在第二种攻击中，对手能够通过添加噪声信号来破坏节点的值。在后一种情况下，我们假设对手受到功率预算的约束。我们认为对手的最优化问题，并充分表征其最佳策略，为每一种情况。
2013-03-11 math.OC
Distributional Robustness Regularized Scenario Optimization with Application to Model Predictive Control
我们提供了一个强大的统计和功能分析的动机分布鲁棒性的功能视图。这导致在两个实际的计算方法近似分布鲁棒非线性优化的基础上梯度范数和再生核希尔伯特空间。我们的方法可以应用于小样本和测试分布移动的统计学习的设置。作为一个案例研究，我们鲁棒基于随机模型预测控制一般非线性约束。特别是，我们证明了约束满足只有少数情况下的分布转移。
2021-10-26 cs.SY eess.SY math.OC
On Robustness of Kernel-Based Regularized System Identification
提出了一种基于核的系统辨识方法。我们证明了有限冲激响应的正则化核基估计方法等价于一个鲁棒最小二乘问题，该问题具有一个由核矩阵定义的特定不确定集，因此，它被称为基于核的不确定集。我们提供了一个理论基础的鲁棒性的基于核的方法输入干扰。基于鲁棒正则化最小二乘方法，考虑了不同的系统辨识公式，其中一些公式采用了基于核的不确定性集。我们将这些方法应用于输入测量受到干扰的情况。随后，我们进行了广泛的数值实验，并比较结果，以检查在识别过程中利用基于核的不确定性集的影响。数值实验表明，基于核不确定集的鲁棒最小二乘辨识方法提高了估计对输入扰动的鲁棒性。
2021-05-26 cs.SY eess.SP eess.SY
SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models through Principled Regularized Optimization
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Dynamics 365 AI（微软Dynamics 365 AI）；Microsoft Research（微软研究院）
迁移学习从根本上改变了自然语言处理（NLP）研究的格局。许多现有的最先进的模型首先在大型文本语料库上进行预训练，然后在下游任务上进行微调。然而，由于来自下游任务的数据资源有限以及预训练模型的容量非常大，积极的微调通常会导致适应模型过度拟合下游任务的数据，并忘记预训练模型的知识。为了以更有原则的方式解决上述问题，我们提出了一种新的计算框架，用于对预训练的语言模型进行鲁棒和有效的微调。具体而言，我们提出的框架包含两个重要组成部分：1。平滑诱导正则化，有效地管理模型的容量; 2. Bregman邻近点优化算法是一类信赖域方法，可以防止知识遗忘。我们的实验表明，我们提出的方法在多个NLP基准测试中达到了最先进的性能。
2021-09-09 cs.CL cs.LG math.OC
Robust McKean--Vlasov Variational Systems with Asymmetric Loss Aversion: Well-Posedness, Stability, and Propagation of Chaos for the Forward and Regularized Backward Systems
University of Kinshasa（金沙萨大学）
研究非主导概率测度族下鲁棒前向-后向McKean-Vlasov变分系统，通过Wasserstein空间不动点论证建立正向动力学的存在唯一性和稳定性，利用Yosida正则化和Minty-Brézis论证得到正则化反向系统的典范解，并证明正向动力学的粒子近似和混沌传播显式收敛率。
2026-06-29 math.OC
Reweighted Quasi Norm Regularized Low-Rank Factorization for Matrix Robust PCA
本文针对矩阵补全中非凸分解缺乏理论保证的问题，提出一种加权矩阵拟范数分解新策略，构建了加权对数范数和 Schatten-$q$ 拟范数的双线性分解模型，并采用 ADMM 算法求解且证明了其收敛性。
2024-03-27 math.OC
General Optimization Framework for Robust and Regularized 3D Full Waveform Inversion
油气资源的稀缺性和高勘探风险促使开发高保真算法和计算上可行的勘探地球物理方法。而早期的方法认为最小二乘最小化，最近的发展强调了强大的配方，以及配方，允许纪律编码的先验信息到反问题的制定的重要性。更灵活的优化框架的代价是更大的计算复杂性，因为可以使用直接方法（例如，最速下降，高斯-牛顿，L-BFGS），而鲁棒（非平滑）惩罚的结合需要定制改变，这可能难以在一般地震反演工作流程的上下文中实现。在这项研究中，我们提出了一个通用的，灵活的优化框架，能够将广泛的噪声模型，前向模型，正则化和重新参数化变换。该框架涵盖了无缝鲁棒的噪声模型（如Huber和Student的$t$），以及稀疏正则化，投影约束和全变差正则化。拟议的框架也是可扩展的-我们解释了任何新的提法所需的调整。最后，我们得出结论，一些数值例子证明了制定的多功能性。
2015-04-18 math.OC
Sharp, strong and unique minimizers for low complexity robust recovery
在本文中，我们展示了鲁棒恢复的锐极小和强极小的重要作用。我们还得到了凸正则化最优化问题的锐极小的几个特征。我们的刻画是定量的和可验证的，特别是对于可分解的范数正则化问题，包括稀疏性，群稀疏性和低秩凸问题的情况。对于群稀疏最优化问题，我们证明了唯一解是强解，并给出了解唯一性的定量刻画。
2021-11-09 math.OC
Group zero-norm regularized robust loss minimization: proximal MM method and statistical error bound
本文研究组零范数正则化鲁棒损失最小化问题，提出近端MM算法求解等价DC代理优化问题，证明其在KL性质下的全局收敛性并推导统计误差界，数值实验验证了其优于pADMM的计算效率。
2025-05-29 math.OC
Relative entropy-regularized robust optimal order execution
本文将订单执行建模为相对熵正则化随机微分博弈，推导 rHJI 方程并在 Gaussian 先验线性二次设定下给出闭式最优策略，数值结果表明其优于传统策略。
2024-09-09 math.OC q-fin.MF q-fin.TR
Entropy-regularized Wasserstein distributionally robust shape and topology optimization
本文旨在介绍形状和拓扑优化领域的分布鲁棒性的最新范例。承认不确定的物理数据的概率法是很少知道的，超出了从观察到的样本构建的粗略近似，我们优化设计的预期成本的最坏情况下的值时，不确定性的概率法是“接近”的估计一个规定的阈值。概率定律之间的"接近性“由瓦瑟斯坦距离（Wasserstein distance）量化，这是一个与最优输运理论有关的概念。结合经典的熵正则化技术在这一领域的凸对偶理论的最新成果，允许重新制定的分布鲁棒最优化问题的方式是易于处理的计算。在基于密度的拓扑优化和几何形状优化的不同设置下，给出了两个数值例子。无论所选的最优设计框架如何，他们都证明了所提出的公式的相关性和适用性。
2023-01-11 cs.NA math.NA math.OC
Robust Distributed Averaging: When are Potential-Theoretic Strategies Optimal?
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究网络设计者与对抗者在动态网络中的互动，分析对抗者如何断开链接阻止达成共识，网络设计者通过调整有限链接权重帮助达成共识，提出两个Stackelberg博弈模型，利用潜在理论提供最优策略的替代描述，并给出零和博弈均衡存在的充分条件。
2015-02-20 cs.SY eess.SY math.OC
Robust Distributed Averaging on Networks with Adversarial Intervention
Coordinated Science Laboratory, ECE Department, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程学院协调科学实验室）；ECE Department, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
研究网络设计者与对手在动态网络中的博弈，利用庞特里亚金最大值原理推导最优策略，并给出零和博弈鞍点均衡存在的充分条件。
2013-03-30 cs.SY eess.SY math.OC
