Imitation-Projected Programmatic Reinforcement Learning
Rice University（莱斯大学）；Caltech（加州理工学院）
我们研究了程序化强化学习的问题，在该学习中，策略被表示为符号语言的短程序。编程策略比神经策略更容易解释、更容易推广，更容易接受形式化验证;然而，为这些策略设计严格的学习方法仍然是一个挑战。我们应对这一挑战的方法--一种名为PROPEL的元算法--基于三个见解。首先，我们将我们的学习任务视为策略空间中的优化，对所需策略具有编程表示的约束取模，并使用镜像下降的形式来解决此优化问题，该形式将梯度步骤引入无约束的策略空间，然后投影回约束空间。其次，我们将不受约束的策略空间视为神经和编程表示的混合，这使得能够采用最先进的深度策略梯度方法。第三，我们通过模仿学习将投影步骤转换为程序合成，并利用当代组合方法完成这项任务。我们目前的理论收敛结果PROPEL和经验评估的方法在三个连续的控制域。实验表明，PROPEL可以显着优于国家的最先进的方法学习程序化政策。
2021-01-19 cs.AI cs.LG cs.PL
PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning
本文提出PA2D-MORL方法，通过帕累托上升方向选择标量化权重并计算多目标策略梯度，实现高效多目标问题分解与策略优化，提升帕累托策略集的逼近质量。
2026-03-20 cs.AI cs.LG
On the Hidden Biases of Policy Mirror Ascent in Continuous Action Spaces
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research（微软研究院）；U.S. Army Research Laboratory（美国陆军研究实验室）；Amazon（亚马逊）
我们专注于连续动作空间上的参数化策略搜索强化学习。通常，假设与策略相关联的得分函数是有界的，即使对于高斯策略也不成立。为了正确地解决这个问题，必须引入一个勘探公差参数来量化它所处的区域。这样做会导致一个持续的偏差，出现在预期的策略梯度范数的衰减率，这是成反比的行动空间的半径。为了减轻这种隐藏的偏差，可以使用重尾策略参数化，其表现出有界的得分函数，但这样做可能会导致算法更新的不稳定性。为了解决这些问题，在这项工作中，我们研究了重尾参数化下的策略梯度算法的收敛性，我们建议将镜像上升型更新和梯度跟踪相结合来稳定该算法。我们的主要理论贡献是建立，该计划收敛于恒定的步长和批量大小，而以前的作品需要这些参数分别收缩到零或增长到无穷大。实验上，该计划下的重尾政策参数化产生改进的奖励积累在各种设置相比，标准的基准。
2022-01-31 cs.AI cs.LG math.OC
Policy Gradient for Continuing Tasks in Non-stationary Markov Decision Processes
Univ. of Pennsylvania（宾夕法尼亚大学）；Univ. de la República（共和国大学）
强化学习考虑的是在转移概率未知的马尔可夫决策过程中找到最大化预期累积奖励的策略的问题。在本文中，我们考虑的问题，找到最佳的政策，假设他们属于再生核希尔伯特空间（RKHS）。为此，我们计算无偏随机梯度的价值函数，我们使用的上升方向更新的政策。策略梯度型算法的一个主要缺点是，除非施加平稳性假设，否则它们仅限于偶发任务。因此，防止这些算法完全在线实现，这对于需要适应部署中的新任务和/或环境的系统是期望的属性。策略梯度算法工作的主要要求是在任何时间点的梯度的估计是初始价值函数的上升方向。在这项工作中，我们建立，确实是这种情况下，使显示的初始价值函数的临界点的在线算法的收敛。一个数值例子显示了我们的在线算法学习解决导航和监视问题的能力，其中代理必须在目标位置之间循环。这个例子证实了我们关于后继随机梯度上升方向的理论发现。它还展示了运行我们的在线算法的智能体如何成功学习导航，遵循不符合非情景训练文献中标准平稳性假设的持续循环轨迹。
2020-10-16 cs.LG cs.SY eess.SY
Policy Gradient Algorithms Implicitly Optimize by Continuation
Montefiore Institute, University of Liège（列日大学蒙特菲奥雷研究所）；LTCI, Telecom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI）
本文在连续化优化框架下为强化学习策略梯度算法提供了新理论解释，证明优化仿射高斯策略和熵正则化等价于隐式连续化优化确定性策略，并提出策略方差应为避免局部极值的依赖历史函数。
2023-10-21 cs.LG math.OC stat.ML
Multi-Phase Spacecraft Trajectory Optimization via Transformer-Based Reinforcement Learning
Aeronautics & Astronautics, Massachusetts Institute of Technology（航空与宇航科学系，麻省理工学院）；Department of Computer Systems Engineering, Universidad Politécnica de Madrid（计算机系统工程系，马德里理工大学）
针对航天器多阶段自主控制需分阶段设置独立策略的问题，提出基于GTrXL的Transformer强化学习框架，用单一策略实现跨动力学区间的多阶段轨迹优化，在多类基准与火箭上升任务中验证了有效性。
2025-11-14 cs.LG
Personalized Projected Ascent for Federated Stackelberg Optimization
Indian Institute of Science（印度科学学院）；CISPA（CISPA亥姆霍兹信息安全中心）；IIIT-Hyderabad（海得拉巴国际信息技术学院）
针对联邦斯塔克尔伯格优化中跨客户端最大化变量不适定平均的问题，提出VR-SGDA算法，消除非凸-PL情形下的噪声底，在子群体鲁棒性和NLP对抗训练中验证了其优势。
2026-10-16 cs.LG
Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent
University of Oulu（奥卢大学）；US Army Research Laboratory（美国陆军研究实验室）；Purdue University（普渡大学）
在本文中，我们提出了一个节能的联邦元学习框架。我们的目标是能够学习一个元模型，可以微调到一个新的任务，在分布式设置中的几个样本，并在低计算和通信能耗。我们假设每个任务都由一个单独的代理拥有，因此使用有限数量的任务来训练元模型。假设每个任务都是在代理的本地数据上离线训练的，我们提出了一个轻量级算法，该算法从所有代理的本地模型开始，并以向后的方式使用投影随机梯度上升（P-SGA）找到一个元模型。所提出的方法避免了复杂的计算，如计算hessian，双循环，矩阵求逆，同时实现高性能，在显着更少的能源消耗相比，最先进的方法，如MAML和iMAML进行实验的正弦曲线回归和图像分类任务。
2021-05-31 cs.AI cs.DC cs.LG
Reinforcement Learning for Adaptive Routing
强化学习是指根据环境反馈学习策略--将观察映射为行动。学习可以被看作是浏览一组策略，同时通过与环境的交互来尝试评估它们。我们提出了一个梯度上升算法的强化学习应用到一个复杂的域的数据包路由在网络通信，并比较该算法的性能与其他路由方法的基准问题。
2007-03-28 cs.AI cs.LG cs.NI
Concave Statistical Utility Maximization Bandits via Influence-Function Gradients
ORT Uruguay（ORT乌拉圭大学）
研究了基于长期奖励分布统计功能而非期望奖励的随机多臂老虎机问题，提出基于影响函数计算的熵镜升算法，通过乘法权重更新和影响函数估计实现凹分布效用优化，建立分离优化误差与影响函数估计偏差的后悔界。
2026-04-29 cs.LG math.ST stat.AP
Emphatic TD Bellman Operator is a Contraction
Technion（以色列理工学院）
最近，\citet{SuttonMW15}引入了马尔可夫决策过程中的非策略评估的时间差分（ETD）算法。在这篇短文中，我们证明了ETD的投影不动点方程涉及一个收缩算子，具有$\sqrtγ$ -收缩模（其中$γ$是折扣因子）。这使我们能够提供ETD近似误差的误差界限。据我们所知，这些是一般目标和行为策略下的非策略评估算法的第一个误差界。
2015-08-23 cs.LG stat.ML
Classical and Deep Reinforcement Learning Inventory Control Policies for Pharmaceutical Supply Chains with Perishability and Non-Stationarity
University of Milano-Bicocca（米兰-比可卡大学）；ESSCA School of Management（ESSCA管理学院）；Eindhoven University of Technology（埃因霍温理工大学）
本研究针对药品供应链的易腐性、非平稳需求等挑战，比较了OUT、PIL和深度强化学习（PPO）三种库存策略，发现经典与DRL策略各有优劣，需整合多种策略以有效管理。
2025-01-18 cs.AI cs.LG math.OC
When Will Generative Adversarial Imitation Learning Algorithms Attain Global Convergence
The Ohio State University（俄亥俄州立大学）
生成对抗模仿学习（GAIL）是一种流行的反向强化学习方法，用于从专家轨迹中联合优化策略和奖励。关于GAIL的一个主要问题是将某个策略梯度算法应用于GAIL是否获得全局最小值（即，产生专家策略），对此现有的理解非常有限。这样的全局收敛性仅在线性（或线性型）MDP和线性（或可线性化）报酬下得到证明。在本文中，我们研究GAIL下一般MDP和非线性奖励函数类（只要目标函数是强凹的奖励参数）。我们描述了一个次线性速率的全局收敛性的广泛使用的策略梯度算法，所有这些都是实现在一个交替的方式与随机梯度上升的奖励更新，包括预计策略梯度（PPG）-GAIL，弗兰克-沃尔夫策略梯度（FWPG）-GAIL，信任域策略优化（TRPO）-GAIL和自然策略梯度（NPG）-GAIL。这是第一次对GAIL算法的全局收敛性进行系统的理论研究。
2020-06-25 cs.LG stat.ML
Actor-Critic Policy Optimization in Partially Observable Multiagent Environments
DeepMind（深度思考公司）
强化学习中参数化策略的优化是人工智能中一个重要而又具有挑战性的问题。其中最常见的方法是基于表示贴现收益的得分函数的梯度上升的算法。在本文中，我们研究的作用，这些策略梯度和演员批评的算法在部分可观察的多智能体环境。我们展示了几个候选的政策更新规则，并将它们与后悔最小化和多智能体学习技术的基础，一杆和表格的情况下，导致以前未知的收敛保证。我们将我们的方法应用于无模型多智能体强化学习在对抗顺序决策问题（零和不完美信息游戏），使用RL风格的函数逼近。我们评估常用的基准扑克域，显示性能对固定的政策和经验收敛到近似纳什均衡在自我发挥率类似或优于基线无模型算法的零和游戏，没有任何特定领域的状态空间减少。
2020-06-12 cs.AI cs.GT cs.LG
Smoothing Policy Iteration for Zero-sum Markov Games
Tsinghua University（清华大学）；University of Science and Technology Beijing（北京科技大学）
零和马尔可夫博弈是研究多智能体系统和鲁棒控制的有效框架，它通过构造极小极大问题来求解均衡策略。目前，该公式在表格设置下得到了很好的研究，其中最大值算子被主要且精确地求解以计算最坏情况的价值函数。然而，扩展这些方法来处理复杂的任务并不简单，因为在大规模动作空间上找到最大值通常很麻烦。本文提出了平滑策略迭代（SPI）算法来近似求解零和MG，其中最大值算子被加权LogSumExp（WLSE）函数所取代，以获得近似最优的均衡策略.特别地，对抗策略被用作权函数，以实现动作空间上的有效采样。我们还证明了SPI的收敛性，并基于压缩映射定理分析了其在$\infty -$范数下的逼近误差。此外，我们提出了一个基于模型的算法称为平滑对抗演员评论家（SaAC）通过扩展SPI与函数近似。该方法利用采样轨迹估计WLSE函数的目标值，构造均方误差对价值函数进行优化，并采用梯度-上升-下降法对主、对抗策略进行联合优化。此外，我们将重新参数化技术在基于模型的梯度反向传播，以防止梯度消失，由于采样的随机政策。我们验证我们的算法在表格和函数近似设置。实验结果表明，SPI能以较高的精度逼近最坏情况下的价值函数，SaAC能稳定训练过程，大幅度提高对抗鲁棒性。
2022-12-03 cs.LG
Risk-Sensitive Bayesian Games for Multi-Agent Reinforcement Learning under Policy Uncertainty
Zenseact AB（Zenseact公司）；University of Oslo（奥斯陆大学）
在不完全信息的随机博弈中，不确定性是由于缺乏对参与者自身和其他参与者类型（即效用函数和策略空间）的了解，以及不同参与者之间相互作用的内在随机性引起的。在现有的文献中，随机博弈中的风险已被研究的内在不确定性引起的变化的过渡和行动。在这项工作中，我们重点关注与\textit{uncertainty over types}相关的风险。我们将此与多智能体强化学习框架进行对比，在该框架中，其他智能体具有固定的静态策略，并由于其他智能体的自适应策略的不确定性而调查风险敏感性。我们提出了风险敏感版本的现有算法提出的风险中性的随机游戏，如迭代最佳响应（IBR），虚拟播放（FP）和一般的多目标梯度方法，使用双上升（DAPG）。我们的实验分析表明，风险敏感的DAPG比竞争算法的社会福利和一般和随机游戏。
2022-03-18 cs.LG cs.MA
Towards Task-Prioritized Policy Composition
Örebro University（厄勒布鲁大学）；McMaster University（麦克马斯特大学）
以优先化的、有序的方式组合学习的策略是期望的，因为它允许模块化设计并通过知识转移促进数据重用。在控制理论中，优先组合是通过零空间控制来实现的，其中低优先级控制动作被投影到高优先级控制动作的零空间中。这种方法目前不适用于强化学习。本文提出了一种新的基于任务优先的强化学习组合框架，其中包含了一个新的概念：强化学习策略的无差异空间。我们的框架有可能促进知识转移和模块化设计，同时大大提高数据效率和数据重用的强化学习代理。此外，我们的方法可以确保高优先级的约束满足，这使得它有希望在机器人等安全关键领域的学习。与零空间控制不同，我们的方法允许学习全局最优策略的复合任务的在线学习在初始复合政策建设后的高级别政策的冷漠空间。
2022-09-20 cs.AI cs.LG
Robust Finite-Memory Policy Gradients for Hidden-Model POMDPs
Radboud University Nijmegen（奈克梅根雷达堡大学）；Brno University of Technology（布拉格技术大学）；Ruhr-University Bochum（波恩鲁尔大学）
针对隐模型POMDPs（HM-POMDPs）中策略对环境扰动鲁棒性不足的问题，结合演绎形式验证技术与子梯度上升优化，提出鲁棒有限记忆策略梯度方法，提升策略鲁棒性与泛化性并实现大规模扩展。
2025-08-20 cs.AI cs.LG
Look Inward to Explore Outward: Learning Temperature Policy from LLM Internal States via Hierarchical RL
Zhejiang University（浙江大学）；Southeast University（东南大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Innovation Institute（上海创新研究院）
Introspective LLM通过分层强化学习从LLM内部状态学习温度策略，提升数学推理任务中的探索效率与可解释性。
2026-02-13 cs.AI cs.CL cs.LG
Augmented Lagrangian Method for Last-Iterate Convergence for Constrained MDPs
Simon Fraser University（西蒙弗雷泽大学）
本文提出一种基于增广拉格朗日方法的框架，实现受约束无限时间折扣马尔可夫决策过程的最后迭代收敛，适用于表格和对数线性策略，并在连续控制任务中验证了其扩展性。
2026-05-12 cs.LG
CAQL: Continuous Action Q-Learning
Google Research（谷歌研究院）
基于值的强化学习（RL）方法（如Q学习）在许多领域都取得了成功。然而，将Q学习应用于连续动作RL问题的一个挑战是最佳Bellman备份所需的连续动作最大化（max-Q）。在这项工作中，我们开发了CAQL，这是一种用于连续动作Q学习的算法，可以使用几个即插即用的优化器来解决最大Q问题。利用深度神经网络的最新优化结果，我们证明了可以使用混合整数规划（MIP）来最佳地解决max-Q。当Q函数表示具有足够的功率时，基于MIP的优化产生更好的策略并且比近似方法（例如，梯度上升、交叉熵搜索）。我们进一步开发了几种技术来加速CAQL中的推理，尽管它们具有近似的性质，但性能良好。我们比较CAQL与最先进的RL算法的基准连续控制问题，有不同程度的行动约束，并表明CAQL优于基于政策的方法在严重约束的环境中，往往显着。
2020-02-28 cs.AI cs.LG stat.ML
Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement Learning
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊登伯勒大学）
在批量强化学习的应用中，如教育和医疗保健，需要从观测数据中对顺序决策策略进行非策略评估。然而，在这样的环境中，未观察到的变量混淆了观察到的动作，使得不可能对新策略进行精确评估，即，无法辨认我们开发了一个强大的方法，估计一个给定的政策（无法识别）的价值在一个无限的地平线问题的数据从另一个政策与未观察到的混淆，敏感性模型的急剧界限。我们认为固定或基线未观察到的混杂和计算边界的所有固定状态占用率，同意一个新的部分确定的估计方程和敏感性模型的优化。我们证明收敛到尖锐的界限，因为我们收集更多的混淆数据。虽然集员检验是一个线性规划，但支持函数是由一个困难的非凸优化问题给出的。我们开发的非凸投影梯度下降的基础上的近似，并证明由此产生的界限经验。
2020-07-13 cs.LG math.OC stat.ML
Efficient Algorithms for Mitigating Uncertainty and Risk in Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；University of New Hampshire（新罕布什尔大学）
本文针对强化学习中的模型不确定性与风险规避问题，提出 CADP 及 ERM-TRC、EVaR-TRC 的规划与无模型 Q-learning 算法，并证明其收敛性与最优策略存在性。
2025-10-20 cs.LG
Last-iterate Convergence of Decentralized Optimistic Gradient Descent/Ascent in Infinite-horizon Competitive Markov Games
University of Southern California（南加州大学）
我们研究无限时域折扣两人零和马尔可夫博弈，并开发了一个分散的算法，证明收敛到纳什均衡下的自我发挥。我们的算法基于对每个状态运行乐观梯度下降算法来学习策略，并使用一个慢慢学习每个状态值的评论家。据我们所知，这是第一个算法，在这种设置，同时是理性的（当对手使用固定策略时，收敛到对手的最佳对策），收敛（收敛到自我博弈下的纳什均衡集），不可知论者（不需要知道对手的动作），对称（玩家在算法中扮演对称角色），并享受有限时间的最后收敛保证，所有这些都是分散算法的理想特性。
2021-07-07 cs.AI cs.LG stat.ML
SPoRt -- Safe Policy Ratio: Certified Training and Deployment of Task Policies in Model-Free RL
Oxford Robotics Institute, University of Oxford（牛津大学机器人研究所）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）
SPoRt提出基于安全基础策略的最大策略比率界限，结合场景方法与投影PPO，在无模型强化学习中实现可认证的安全训练与部署，并允许安全与性能间的权衡。
2025-06-23 cs.LG
Decentralized Diffusion Policy Learning for Enhanced Exploration in Cooperative Multi-agent Reinforcement Learning
SEAS, Harvard University（哈佛大学工程与应用科学学院）；Kempner Institute, Harvard University（哈佛大学肯珀研究所）
本文提出去中心化扩散策略学习方法，通过扩散概率模型提升多智能体强化学习中的探索能力，解决了高维动作空间下的策略表达限制问题。
2026-05-08 cs.MA stat.ML
On Quantum Natural Policy Gradients
University of Minho（米尼奥大学）；International Nanotechnology Laboratory（国际纳米技术实验室）；INESC TEC（INESC TEC 科技与科学研究生院）
该研究分析量子费舍尔信息矩阵在参数化量子电路强化学习智能体中的作用，发现量子FIM预处理虽优于标准梯度上升，但通常不优于经典FIM预处理，且会带来更大近似误差。
2024-01-16 cs.LG quant-ph
A Reinforcement Learning Approach to the Stochastic Cutting Stock Problem
Federal University of Ceará（塞阿拉联邦大学）
我们提出了一个公式的随机下料问题作为一个折扣的无限时域马尔可夫决策过程。在每个决策时期，给定当前的物品库存，代理选择在哪些模式中削减库存中的对象，以预测未知的需求。最优解对应于将每个状态与决策相关联并使预期总成本最小化的策略。由于精确算法与状态空间维度呈指数关系，我们开发了一种基于强化学习的启发式求解方法。我们提出了一个近似的策略迭代算法，在该算法中，我们应用一个线性模型来近似策略的动作价值函数。策略评估是通过求解预测贝尔曼方程从一个样本的状态转换，决策和成本通过模拟获得。由于大的决策空间，通过交叉熵方法进行策略改进。通过实际数据进行了计算实验，说明了算法的应用。启发式政策得到多项式和傅立叶基函数相比，近视和随机的政策。结果表明，获得能够充分控制库存的政策的可能性，平均成本高达80%，低于通过短视的政策获得的成本。
2021-09-20 cs.LG math.OC
Variance-Constrained Actor-Critic Algorithms for Discounted and Average Reward MDPs
INRIA Lille - Nord Europe（法国国立信息学及其应用研究院里尔-北欧中心）；Adobe Research（奥多比研究院）；INRIA Lille（法国国立信息学及其应用研究院里尔中心）
在许多顺序决策问题中，我们可能希望通过最大化标准之外的最小化奖励的可变性来管理风险。方差相关风险度量是金融和运筹学中最常见的风险敏感标准之一。然而，优化许多这样的标准是已知的是一个困难的问题。在本文中，我们考虑贴现和平均报酬马尔可夫决策过程。对于每个公式，我们首先定义一个政策的可变性度量，这反过来又给了我们一组风险敏感的标准来优化。对于这些标准中的每一个，我们推导出计算其梯度的公式。然后，我们设计的演员，评论家的算法，在三个时间尺度上操作-TD的最快的时间尺度上的评论家，一个策略梯度（演员）的中间时间尺度上，和一个双上升拉格朗日乘数上最慢的时间尺度。在贴现的设置，我们指出的困难，估计的方差的回报率的梯度，并结合同时扰动的方法来减轻这一点。另一方面，平均值设置允许使用兼容的特征来估计方差的梯度的演员更新。我们建立我们的算法收敛到局部风险敏感的最优策略。最后，我们证明了我们的算法在交通信号控制应用程序的实用性。
2015-03-18 cs.LG math.OC stat.ML
Wasserstein Policy Optimization
Google DeepMind（谷歌DeepMind）
本文提出了一种用于连续动作空间的actor-critic强化学习算法WPO，通过近似Wasserstein梯度流得到闭式更新，结合了确定性与经典策略梯度方法的优势，在多个任务上表现优异。
2025-05-01 cs.AI cs.LG
Robust General Utility for Reinforcement Learning
针对通用效用强化学习的部署效用误指定问题，提出极小极大学习框架及两种收敛随机算法，经LLM安全对齐等实验验证了其有效性。
2026-08-05 cs.LG
Risk-Constrained Reinforcement Learning with Percentile Risk Criteria
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）；INRIA Lille（里尔国家信息与自动化研究所）
在许多顺序决策问题中，人们感兴趣的是在考虑\emph{risk}的同时使期望累积成本最小化，即，提高对小概率和高后果事件的认识。因此，本文的目标是提出有效的强化学习算法的风险约束马尔可夫决策过程（MDP），其中风险表示通过机会约束或约束的条件风险价值（CVaR）的累积成本。我们将这些问题统称为百分位风险约束MDP。具体来说，我们首先推导出一个公式，用于计算拉格朗日函数的梯度百分位风险约束的MDP。然后，我们设计了策略梯度和行动者-批评者算法，用于（1）估计此类梯度，（2）在下降方向上更新策略，以及（3）在上升方向上更新拉格朗日乘数。对于这些算法，我们证明收敛到局部最优的政策。最后，我们证明了我们的算法在最优停止问题和在线营销应用的有效性。
2017-04-06 cs.AI cs.LG math.OC
Max-Min Off-Policy Actor-Critic Method Focusing on Worst-Case Robustness to Model Misspecification
University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所人工智能研究中心）
在强化学习领域，由于在现实世界中进行策略训练的成本和风险较高，因此在仿真环境中训练策略并将其转移到相应的现实环境中。然而，仿真环境并不能完美地模仿真实世界的环境，导致模型的错误设定。多项研究报告称，在现实环境中，政策绩效显著恶化。在这项研究中，我们专注于涉及一个模拟环境的不确定性参数和它们的可能值，称为不确定性参数集的设置方案。其目的是在不确定性参数集上优化最坏情况下的性能，以保证在相应的现实环境中的性能。为了获得优化策略，我们提出了一种称为最大-最小双延迟深度确定性策略梯度算法（M2 TD 3）的非策略行为者-评论家方法，该算法使用同步梯度上升下降方法解决了最大-最小优化问题。在多关节接触动力学（MuJoCo）环境中的实验表明，该方法表现出优于几个基线方法的最坏情况下的性能。
2023-01-11 cs.AI cs.LG
Sample-efficient Actor-Critic Reinforcement Learning with Supervised Data for Dialogue Management
University of Cambridge（剑桥大学）
深度强化学习（RL）方法在对话策略优化方面具有巨大的潜力。然而，他们在学习的早期阶段表现不佳。这对于与真实用户的在线学习来说尤其成问题。介绍了两种方法来解决这个问题。首先，为了加快学习过程，提出了两种样本有效的神经网络算法：具有经验重放的信任域行动者-评论家（TRACER）和具有经验重放的情节自然行动者-评论家（eNACER）。对于TRACER，信任区域有助于控制学习步长并避免灾难性的模型变化。对于eNACER，自然梯度标识策略空间中的最陡上升方向以加速收敛。这两个模型都采用了离策略学习和经验重放来提高样本效率。其次，为了缓解冷启动问题，在在线强化学习之前，利用示范数据语料库来预训练模型。结合这两种方法，我们展示了一种实用的方法来学习基于RL的深度对话策略，并展示了它们在面向任务的信息搜索领域中的有效性。
2017-07-05 cs.AI cs.CL cs.LG
Lipschitz-Regularized Critics Lead to Policy Robustness Against Transition Dynamics Uncertainty
College of Engineering & Computer Science, Syracuse University（工程与计算机科学学院，苏利文大学）
研究针对强化学习中转移动态不确定性致策略性能下降问题，提出基于近端策略优化的PPO-PGDLC算法，集成投影梯度下降与李普希茨正则化评论家，实验表明该算法在环境扰动下性能更好且动作更平滑。
2026-07-09 cs.LG
Policy Gradient for Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）
针对策略梯度方法难以适配模型不确定性、难以学习鲁棒策略的问题，提出双环鲁棒策略镜像下降方法，具备全局最优收敛保证，适配多类空间设置，实验验证了其鲁棒性与收敛性。
2024-10-31 cs.AI cs.LG
Score-Aware Policy-Gradient and Performance Guarantees using Local Lyapunov Stability
LAAS–CNRS, Université de Toulouse, CNRS（LAAS–CNRS，图卢兹大学，CNRS）；Eindhoven University of Technology（埃因霍温理工大学）；LAAS-CNRS, IRIT, and Université de Toulouse（LAAS-CNRS，IRIT，图卢兹大学）
本文提出了适用于基于模型的强化学习的分数感知梯度估计器SAGE，无需值函数估计即可估计策略梯度，证明了其局部收敛性与遗憾界，实验显示其比actor-critic方法更快找到近优策略。
2025-10-29 cs.LG cs.PF math.OC
Meta Policy Switching for Secure UAV Deconfliction in Adversarial Airspace
Faculty of Engineering and Applied Sciences, Cranfield University（工程与应用科学学院，克兰菲尔德大学）
本研究提出元策略切换框架，通过动态选择稳健策略提升无人机在对抗性空域中的安全导航能力。
2025-12-13 cs.AI cs.LG
Policy Gradient with Second Order Momentum
Department of Mathematics, Indiana University（数学系，印第安纳大学）
本研究提出轻量级二阶强化学习优化方法PG-SOM，通过指数加权的一阶梯度平均和对角海森近似预处理梯度，在标准控制基准上实现最高2.1倍样本效率提升与方差降低，且内存开销低。
2025-05-16 cs.LG cs.NA math.NA
On the Structural Non-Preservation of Epistemic Behaviour under Policy Transformation
本文研究了在策略变换下信念行为的结构非保持性，通过定义行为依赖性和行为距离，证明了在凸组合下策略集不闭合，并探讨了梯度上升在倾斜混合目标下的效果。
2026-03-20 cs.AI cs.LG
Enforcing Policy Feasibility Constraints through Differentiable Projection for Energy Optimization
Carnegie Mellon University（卡内基梅隆大学）；University of Colorado, Boulder（科罗拉多大学博尔德分校）
虽然强化学习（RL）在能源系统控制中越来越受欢迎，但由于学习策略的动作可能不满足功能要求或对底层物理系统不可行，因此其实际应用受到限制。在这项工作中，我们提出了投影可行性（PROF），一种在神经策略中执行凸操作约束的方法。具体来说，我们在基于神经网络的策略中加入了一个可微投影层，以强制执行所有学习到的动作都是可行的。然后，我们通过在这个可微投影层中传播梯度来端到端地更新策略，使策略认识到操作约束。我们证明了我们的方法在两个应用程序：节能建筑的操作和逆变器控制。在建筑物的操作设置中，我们表明，PROF保持热舒适性的要求，同时提高能源效率的4%，超过国家的最先进的方法。在逆变器控制设置中，PROF完全满足IEEE 37总线馈线系统的电压约束，因为它学会了在其安全设置范围内尽可能少地削减可再生能源。
2021-05-19 cs.LG cs.SY eess.SY
Min-Max Optimization without Gradients: Convergence and Applications to Adversarial ML
MIT-IBM Watson AI Lab, IBM Research（IBM研究中心MIT-IBM沃森人工智能实验室）；Thomas J. Watson Research Center, IBM Research（IBM研究中心托马斯·J·沃森研究中心）；University of Minnesota（明尼苏达大学）；Tsinghua University（清华大学）；Northeastern University（东北大学）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；MIT（麻省理工学院）
在本文中，我们研究的问题约束鲁棒（最小-最大）优化在黑盒设置，所需的优化器不能访问的梯度的目标函数，但可以查询其值。我们提出了一个原则性的优化框架，将零阶（ZO）梯度估计与交替投影随机梯度下降-上升方法相结合，前者只需要少量的函数查询，后者只需要一步下降/上升更新。我们表明，所提出的框架，简称为ZO-Min-Max，具有次线性收敛速度在温和的条件下，并优雅地与问题的大小规模。从应用方面来看，我们探索了对抗性机器学习（ML）中黑盒最小-最大优化与黑盒规避和中毒攻击之间有希望的联系。我们对这些用例的经验评估证明了我们的方法的有效性及其可扩展性，禁止使用最近的黑盒求解器。
2020-06-17 cs.LG math.OC stat.ML
Distributionally Robust Policy Learning via Adversarial Environment Generation
Princeton University（普林斯顿大学）
我们的目标是训练能够很好地推广到未知环境的控制策略。受分布式鲁棒优化（DRO）框架的启发，我们提出了DRAGEN -分布式鲁棒策略学习通过对抗性生成的增强-迭代提高鲁棒性的政策，以现实的分布偏移通过生成对抗性的环境。其关键思想是学习环境的生成模型，其潜变量捕获环境中的成本预测和现实变化。我们执行DRO相对于Wasserstein球周围的环境的经验分布通过生成现实的对抗性环境，通过梯度上升的潜在空间。我们在模拟中展示了强大的分布外（OoD）泛化，用于（i）用板载视觉摆动钟摆和（ii）抓住逼真的3D物体。硬件上的抓取实验表明，与域随机化相比，sim 2 real具有更好的性能。
2022-07-07 cs.LG cs.RO
Projected gradient methods for nonconvex and stochastic smooth optimization: new complexities and auto-conditioned stepsizes
School of Industrial and Systems Engineering, Georgia Institute of Technology（工业与系统工程学院，佐治亚理工学院）；Department of Mathematical Sciences, Rensselaer Polytechnic Institute（数学科学系，伦塞拉尔理工学院）
本文提出了一种新型投影梯度法，用于在凸紧致集上最小化非凸光滑函数，通过自适应步长策略实现最优迭代复杂性，同时在随机环境下提出新的收敛界。
2026-05-14 cs.LG math.OC stat.ML
Imitation Learning of Stabilizing Policies for Nonlinear Systems
Department of Aerospace Engineering, University of Bristol（布里斯托尔大学航空航天工程系）
最近，人们对保证产生关于已知系统的稳定控制律的模仿学习方法产生了兴趣。在这一领域的工作通常考虑线性系和控制器，稳定模仿学习的形式是一个双凸最优化问题。在本文中，它表明，同样的方法开发的线性系和控制器可以很容易地扩展到多项式系统和控制器使用平方和技术。提出了投影梯度下降算法和乘子交替方向法算法作为解决稳定化模仿学习问题的算法，并通过数值实验说明了它们的性能。
2021-09-22 cs.LG math.OC
Gradient Methods for Submodular Maximization
University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加州大学）；Yale University（耶鲁大学）
在本文中，我们研究的问题，最大化的连续次模函数，自然出现在许多学习应用，如涉及效用函数的主动学习和传感，矩阵逼近和网络推理。尽管这些函数明显缺乏凸性，但我们证明了随机投影梯度方法可以为凸约束的连续次模函数最大化提供强逼近保证。更具体地说，我们证明了单调连续DR-次模函数，所有不动点的投影梯度上升提供了一个因素$1/2$近似的全球最大值。我们还研究了随机梯度和镜像方法，并表明，$\mathcal{O}(1/ε^2)$迭代后，这些方法达到的解决方案，达到预期的目标值超过$(\frac{\text{OPT}}{2}-ε)$。我们的结果的一个直接应用是最大化的次模函数，定义随机，即次模函数被定义为一个家庭的次模函数与未知的分布的期望。我们将展示如何随机梯度方法自然非常适合这种设置，导致一个因素$1/2$近似时，函数是单调的。特别是，它使我们能够近似最大化离散的，单调的子模块优化问题，通过投影梯度下降的连续松弛，直接连接的离散和连续域。最后，对真实数据的实验表明，与其他连续基线相比，我们的投影梯度方法始终实现最佳效用，同时在计算工作量方面保持竞争力。
2017-08-15 cs.LG math.OC
Provably Learning Nash Policies in Constrained Markov Potential Games
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对安全多智能体强化学习中约束马尔可夫博弈难求解的问题，提出约束马尔可夫势博弈框架及坐标上升算法CA-CMPG，证明其在表格有限场景下收敛到Nash策略并给出首个未知场景的样本复杂度界。
2023-06-13 cs.GT cs.LG cs.MA
Boosting Gradient Ascent for Continuous DR-submodular Maximization
University of Chinese Academy of Sciences（中国科学院大学）；City University of Hong Kong（香港城市大学）；ByteDance（字节跳动）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对PGA在连续DR-submodular最大化中近似比不紧致的问题，提出基于non-oblivious search的boosting技术，通过构造辅助函数将近似保证提升至最优，并在理论和实验中验证了其有效性与可扩展性。
2024-07-24 cs.AI cs.LG math.OC
On Imitation Learning of Linear Control Policies: Enforcing Stability and Robustness Constraints via LMI Conditions
Coordinated Science Laboratory (CSL)（协调科学实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
当应用模仿学习技术，以适应从专家演示的政策，可以利用事先的稳定性/鲁棒性假设的专家的政策，并将这种控制理论的先验知识明确的学习过程。本文将线性策略的模仿学习问题转化为一个有约束的最优化问题，并提出了在学习过程中加强稳定性和鲁棒性约束的有效方法。具体地说，我们可以保证闭环稳定性和鲁棒性提出线性矩阵不等式（LMI）约束的拟合政策。然后，投影梯度下降法和乘子的交替方向法（ADMM）方法可以应用于解决由此产生的约束策略拟合问题。最后，我们提供了数值结果来证明我们的方法在产生各种稳定性和鲁棒性保证的线性政策的有效性。
2021-03-24 cs.LG cs.SY eess.SY
Riemannian Stochastic Optimization for Sufficient Dimension Reduction
Laboratoire des Signaux et Systèmes (L2S), CentraleSupélec, Université Paris-Saclay, Gif-sur-Yvette, France（信号与系统实验室（L2S），中央超导电子研究所，巴黎-萨克雷大学，吉夫-sur-伊夫特，法国）
提出一种基于黎曼流形随机梯度上升的算法SMAVE，通过将充分降维问题转化为Stiefel流形上的光滑最大化，实现高效的低维子空间恢复。
2026-05-29 cs.LG stat.ML
Grounding Large Language Models as Generalizable Policies in Network Control
Bytedance（字节跳动）；Shenzhen International Graduate School（深圳国际研究生院）；Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Department of Computer Science and Technology（计算机科学与技术系）
本文提出Trailblazer框架，利用大语言模型实现跨任务和环境的通用网络策略，通过网络对齐和策略协作机制提升效率与泛化能力。
2026-08-13 cs.LG
PURGE: Projected Unlearning via Retain-Guided Erasure
BITS Pilani, Pilani Campus, India（印度比斯帕利尼学院）
提出一种基于持续学习与机器遗忘对偶性的遗忘算法PURGE，利用梯度投影约束保留损失，并通过多层表示擦除和保留混淆目标实现隐私与效用的平衡。
2026-06-02 cs.AI cs.CR cs.LG
Joint Policy Search for Multi-agent Collaboration with Imperfect Information
Facebook AI Research（脸书人工智能研究院）
在信息不完全的情况下，学习多智能体协作的联合策略仍然是一个根本性的挑战。而对于两人零和博弈，坐标上升方法（每次优化一个代理的策略，例如，自博弈）在有保证的情况下工作，在多智能体合作环境中，它们经常收敛到次优纳什均衡。另一方面，由于政策之间的复杂相互作用（例如，上游更新影响下游状态可达性）。在本文中，我们证明了全局变化的博弈值可以分解为本地化的每个信息集的政策变化，与一个新的术语命名为政策变化密度。在此基础上，我们提出了联合策略搜索（JPS），迭代地提高不完全信息博弈中协作代理的联合策略，而无需重新评估整个博弈。在多智能体协作表格游戏中，JPS被证明永远不会恶化性能，并且可以改善单边方法（例如CFR）提供的解决方案，优于为协作策略学习设计的算法（例如BAD）。此外，对于现实世界的游戏，JPS有一个在线形式，自然与梯度更新链接。我们测试它的合同桥，一个4人的信息游戏，其中一个团队的$2$合作，以对抗其他。在投标阶段，参与者通过有限的信息渠道依次投标以找到一个好的合同。基于一个强大的基线代理，投标竞争性桥梁纯粹通过域不可知的自我发挥，JPS改善了团队球员的合作，并优于WBridge 5，一个冠军获奖软件，通过$+0.63$ IMP（国际匹配点）每板超过1000场比赛，大大优于以前的SoTA（$+0.41$ IMP/b）在双假人评估。
2020-12-06 cs.AI cs.GT cs.LG
Stochastic Submodular Maximization: The Case of Coverage Functions
ETH Zurich（苏黎世联邦理工学院）；University of Pennsylvania（宾夕法尼亚大学）
连续目标的随机优化是现代机器学习的核心。然而，许多重要的问题是离散的性质，往往涉及子模块的目标。我们试图释放随机连续优化的力量，即随机梯度下降及其变种，这样的离散问题。我们首先介绍了随机次模块优化问题，其中需要优化的次模块目标，这是作为一个期望。我们的模型捕捉了离散目标作为经验风险出现的情况（例如，在基于样本的聚类的情况下），或者作为显式随机模型给出（例如，在社交网络中影响力最大化的情况下）。通过利用公共扩张线性作用于子模函数类，我们在连续域中采用投影随机梯度上升及其变体，并进行舍入以获得离散解。我们专注于丰富和广泛使用的家庭加权覆盖函数。我们表明，我们的方法产生的解决方案，保证匹配的最佳近似保证，同时减少了几个数量级的计算成本，我们证明经验。
2017-11-05 cs.DM cs.LG stat.ML
