Trajectory First: A Curriculum for Discovering Diverse Policies
TU Berlin（柏林技术大学）；Robotics Institute（机器人研究所）
本文提出一种两阶段课程，通过轨迹先验生成多样化高奖励行为，再蒸馏为反应式策略，提升任务性能与行为多样性。
2026-08-14 cs.LG cs.RO
Beyond Worst-case Attacks: Robust RL with Adaptive Defense via Non-dominated Policies
University of Maryland, College Park（马里兰大学学院公园分校）；J.P. Morgan AI Research（摩根大通人工智能研究院）
本文针对强化学习测试时对抗攻击问题，提出通过训练时迭代发现非支配策略构建有限策略类，实现超越最坏情况攻击的自适应鲁棒防御，并在 Mujoco 上验证了其优越性。
2024-02-20 cs.LG
Option Encoder: A Framework for Discovering a Policy Basis in Reinforcement Learning
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Robert Bosch Centre for Data Science and AI（罗伯特·博世数据科学与人工智能中心）；University of Pennsylvania（宾夕法尼亚大学）
选项发现和技能获取框架是分层组织的强化学习代理的功能不可或缺的。然而，这种技术通常会产生大量的选项或技能，这些选项或技能可以通过过滤掉任何冗余信息来简洁地表示。这样的减少可以减少所需的计算，同时也提高了目标任务的性能。为了压缩一系列选项策略，我们试图找到一个策略基础，准确地捕捉所有选项的集合。在这项工作中，我们提出了Option Encoder，一个基于自动编码器的框架，具有智能约束的权重，有助于发现基础策略的集合。政策基础可以在一个适当的分级组织框架中作为原始技能集的代理。我们证明了我们的方法的有效性，收集的网格世界和高维获取达到机器人操作任务通过评估获得的政策基础上的一组下游任务。
2020-07-03 cs.AI cs.LG stat.ML
Solving Common-Payoff Games with Approximate Policy Iteration
DeepMind
为了使人工智能学习系统在现实世界中具有广泛的适用性，重要的是它们能够分散操作。不幸的是，分散控制是困难的--即使是ε-最优联合策略的计算也是一个NEXP完全问题。然而，最近重新发现的见解-一个团队的代理人可以通过共同的知识协调-已经产生了能够在小型共同收益游戏中找到最佳联合策略的算法。贝叶斯动作解码器（BAD）利用这种洞察力和深度强化学习来扩展到像双人Hanabi这样的游戏。然而，它所使用的近似方法阻止了它发现最优联合策略，即使在足够小的游戏中也无法找到最优解。这项工作提出了CAPI，一种新的算法，它像BAD一样，将常识与深度强化学习相结合。然而，与BAD不同，CAPI优先考虑发现最佳联合策略的倾向。虽然这一选择排除了CAPI从规模的游戏，如Hanabi，实证结果表明，在游戏的CAPI规模，它是能够发现最佳的联合政策，即使其他现代多智能体强化学习算法无法做到这一点。代码可在https://github.com/ssokota/capi上获得。
2021-01-11 cs.AI cs.LG
Discovering Interpretable Multi-Parameter Control Policies for Evolutionary Algorithms Using Deep Reinforcement Learning
University of St Andrews（圣安德鲁大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学信息科学实验室）
针对进化算法多参数控制缺乏可解释策略的问题，提出深度强化学习结合动作空间分解、奖励平移和长期折扣的方法，蒸馏出符号控制策略，在OneMax问题上超越现有基线。
2026-06-08 cs.LG cs.NE
Discovering Diverse Multi-Agent Strategic Behavior via Reward Randomization
UC Berkeley（加州大学伯克利分校）；UCSD（加利福尼亚大学圣地亚哥分校）；CMU（卡内基梅隆大学）；University of Washington（华盛顿大学）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Peking University（北京大学）
我们提出了一个简单的，通用的和有效的技术，奖励随机化发现复杂的多智能体游戏中的不同的战略政策。将奖励随机化和策略梯度相结合，提出了一种新的策略优化算法--奖励随机策略梯度（RPG）。RPG是能够发现多个独特的人类可解释的战略，在具有挑战性的时间信任困境，包括网格世界的游戏和现实世界的游戏www.example.com，其中存在多个均衡，但标准的多代理策略梯度算法总是收敛到一个固定的一个次优的回报为每个球员，即使使用国家的最先进的探索技术。此外，通过RPG中的一组不同策略，我们可以（1）通过微调该组中的最佳策略来获得更高的收益;（2）通过使用这组策略作为其训练对手来获得自适应代理。源代码和示例视频可以在我们的网站上找到：www.example.com。
2021-03-12 cs.AI cs.LG
Physics-model-guided Worst-case Sampling for Safe Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Wayne State University（韦恩州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出物理模型引导的最坏情况采样策略，并将其集成至Phy-DRL框架，以解决DRL训练中忽略安全关键极端场景的问题，显著提升了采样效率与策略鲁棒性。
2024-12-17 cs.AI cs.LG cs.RO
Bring Your Own (Non-Robust) Algorithm to Solve Robust MDPs by Estimating The Worst Kernel
Technion（以色列理工学院）；NVIDIA Research（英伟达研究院）
提出EWoK方法，通过估计最差转移核模拟最差场景，可叠加于任意非鲁棒RL算法上，实现高维RMDP鲁棒策略的高效学习。
2024-02-12 cs.LG
Policy Gradient for Rectangular Robust Markov Decision Processes
Technion（以色列理工学院）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；NVIDIA Research（英伟达研究院）
针对矩形鲁棒 MDP，本文提出 RPG，通过最差占用测度闭式解与鲁棒 Q 值估计获得显式鲁棒梯度，并以非鲁棒方法相同的时间复杂度降低训练计算负担。
2023-12-11 cs.AI cs.LG
Learning impartial policies for sequential counterfactual explanations using Deep Reinforcement Learning
Freie Universität Berlin（柏林自由大学）；Universität der Bundeswehr München（慕尼黑联邦国防军大学）
本文针对序列反事实解释中强化学习策略存在动作偏置的问题，提出利用分类器输出概率设计更具信息量的奖励函数，以学习更公正的策略。
2023-11-01 cs.AI cs.LG
Nonstationary Stochastic Multiarmed Bandits: UCB Policies and Minimax Regret
Michigan State University（密歇根州立大学）
我们研究了非平稳随机多臂强盗（MAB）问题，其中与每个手臂相关联的奖励的分布被假定为是时变的，并且期望奖励的总变化受到变化预算的影响。一个策略的遗憾是由使用该策略和使用一个预言机获得的预期累积回报的差异定义的，该预言机选择了每次具有最大平均回报的手臂。我们的最坏情况下的遗憾，这是一组满足变化预算的奖励分布序列的遗憾的上确界方面所提出的政策的性能。我们用三种不同的方法，即周期重置、滑动观察窗和折扣因子，扩展了基于置信上限（UCB）的策略，并证明了它们对于极大极小后悔是序最优的，即，任何政策所能达到的最低限度的最坏情况下的遗憾。我们还放松了奖励分布的亚高斯假设，并开发了鲁棒版本的建议政策，可以处理重尾奖励分布，并保持其性能保证。
2021-01-22 cs.LG
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络，已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而，观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换（即对抗性扰动）引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中，我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上，而且在深层神经策略领域中更丰富，并且可以通过更自然的方式在黑盒环境中找到。此外，我们发现，与通过最先进的对抗训练技术学习的策略相比，香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性，我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG
SymLight: Exploring Interpretable and Deployable Symbolic Policies for Traffic Signal Control
Centre for Data Science and Artificial Intelligence（数据科学与人工智能中心）；School of Engineering and Computer Science（工程与计算机科学学院）
SymLight提出基于蒙特卡洛树搜索的符号化优先级函数搜索框架，通过简洁表示和概率结构展开策略，在保持优异性能的同时生成可解释且可部署的交通信号控制策略。
2025-11-08 cs.AI cs.LG
Discovering Diverse Athletic Jumping Strategies
Simon Fraser University（西蒙弗雷泽大学）；University of British Columbia（不列颠哥伦比亚大学）
我们提出了一个框架，使不同的和自然的运动策略，如跳高运动技能的发现。这些策略被实现为基于物理的角色的控制策略。给定任务目标和初始角色配置，物理模拟和深度强化学习（DRL）的结合为自动控制策略训练提供了合适的起点。为了方便真实人体运动的学习，我们提出了一个姿态变分自编码器（P-VAE），以约束的自然姿态的子空间的行动。与运动模仿方法相比，通过样本高效的贝叶斯多样性搜索（BDS）算法探索初始字符状态，可以自然地产生各种各样的新策略。优化的第二阶段鼓励新的策略，可以进一步丰富所发现的独特策略。我们的方法允许发现不同的和新颖的策略，如跳高和障碍物跳跃运动，没有运动的例子和奖励工程比以前的工作。
2021-05-02 cs.GR cs.LG cs.RO
Max-Min Off-Policy Actor-Critic Method Focusing on Worst-Case Robustness to Model Misspecification
University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所人工智能研究中心）
在强化学习领域，由于在现实世界中进行策略训练的成本和风险较高，因此在仿真环境中训练策略并将其转移到相应的现实环境中。然而，仿真环境并不能完美地模仿真实世界的环境，导致模型的错误设定。多项研究报告称，在现实环境中，政策绩效显著恶化。在这项研究中，我们专注于涉及一个模拟环境的不确定性参数和它们的可能值，称为不确定性参数集的设置方案。其目的是在不确定性参数集上优化最坏情况下的性能，以保证在相应的现实环境中的性能。为了获得优化策略，我们提出了一种称为最大-最小双延迟深度确定性策略梯度算法（M2 TD 3）的非策略行为者-评论家方法，该算法使用同步梯度上升下降方法解决了最大-最小优化问题。在多关节接触动力学（MuJoCo）环境中的实验表明，该方法表现出优于几个基线方法的最坏情况下的性能。
2023-01-11 cs.AI cs.LG
ARMOR: A Model-based Framework for Improving Arbitrary Baseline Policies with Offline Data
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
我们提出了一个新的基于模型的离线强化学习框架，称为离线强化学习的对抗模型（ARMOR），它可以鲁棒地学习策略，以改进任意基线策略，而不管数据覆盖率如何。基于相对悲观的概念，ARMOR被设计为在面对不确定性时，最坏情况下的相对性能进行优化。在理论上，我们证明了ARMOR学习策略在任何可接受的超参数下都不会降低基线策略的性能，并且当超参数调得很好且基线策略得到数据支持时，可以学习在数据覆盖范围内与最佳策略竞争.这种强大的策略改进属性使ARMOR特别适合构建真实世界的学习系统，因为在实践中，在考虑学习带来的任何好处之前，确保性能不下降是必不可少的。
2022-11-08 cs.AI cs.LG
Discovering User-Interpretable Capabilities of Black-Box Planning Agents
Arizona State University（亚利桑那州立大学）
已经开发了几种方法来回答用户关于AI行为的特定问题，并根据原始的可执行操作来评估其核心功能。然而，为用户总结人工智能智能体的广泛能力是一个相对较新的问题。本文提出了一种从头开始发现一套高级“能力”的算法，一个具有任意内部规划算法/策略的AI系统可以执行。它以用户可解释的方式计算描述这些功能的适用性和效果的条件。从一组用户可解释的状态属性，一个人工智能智能体，和一个模拟器，代理可以与交互，我们的算法返回一组高层次的能力与他们的参数化描述。几个基于游戏的场景的实证评估表明，这种方法有效地学习各种类型的人工智能智能体在确定性，完全可观察的设置的描述。用户研究表明，这样的描述比代理的原始动作更容易理解和推理。
2022-05-30 cs.AI
Hierarchical Reinforcement Learning By Discovering Intrinsic Options
University of Southern California（南加州大学）；Horizon Robotics（地平线机器人）
我们提出了一种分层强化学习方法HIDIO，它可以以自我监督的方式学习任务不可知的选项，同时联合学习利用它们来解决稀疏奖励任务。与当前的分层强化学习方法不同，这种方法倾向于制定达到目标的低级别任务或预先定义特定的低级别策略，HIDIO鼓励独立于手头任务的低级别选项学习，需要很少的假设或关于任务结构的很少知识。这些选项通过以选项子轨迹为条件的内在熵最小化目标来学习。学习的选项是多样的和任务不可知的。在稀疏奖励机器人操作和导航任务的实验中，HIDIO比常规RL基线和两种最先进的分层RL方法实现了更高的成功率和更高的样本效率。
2022-08-08 cs.LG
Safe on Average, Unsafe in the Tail: When Is the Episodic-Cost Tail Controllable?
Iowa State University（爱荷华州立大学）
本研究用CVaR_0.1衡量剧集成本尾部，识别平均安全但尾部不安全的策略，并探究在保持回报的同时控制尾部违规的可行性。
2026-10-08 cs.AI cs.LG
AutoQD: Automatic Discovery of Diverse Behaviors with Quality-Diversity Optimization
University of Southern California（南加州大学）；Archimedes AI
AutoQD通过自动生成行为描述符，利用随机傅里叶特征近似MMD，实现无需预定义描述符的多样化策略发现。
2026-03-04 cs.AI cs.LG cs.NE
Planning in Hierarchical Reinforcement Learning: Guarantees for Using Local Policies
Google Research（谷歌研究院）
我们考虑一个层次化强化学习的设置，其中的奖励是一个组件的总和。对于每个组件，我们都给出了一个最大化它的策略，我们的目标是从各个策略中组合一个最大化组件总和的策略。我们提供了理论上的保证，组装这样的政策在确定性的MDP与收藏奖励。我们的方法建立在制定这个问题作为一个旅行推销员问题的折扣奖励。我们专注于本地解决方案，即，仅使用来自当前状态的信息的策略;因此，它们易于实现并且不需要大量的计算资源。我们提出了三个本地的随机政策，并证明他们保证更好的性能比任何确定性的本地政策在最坏的情况下，实验结果表明，他们也表现得更好的平均。
2020-01-03 cs.AI cs.DS cs.LG
Machine Learning aided Crop Yield Optimization
Johns Hopkins University/Applied Physics Lab（约翰斯·霍普金斯大学应用物理实验室）
我们提供了一个带有OpenAI Gym接口的作物模拟环境，并应用现代深度强化学习（DRL）算法来优化产量。我们的经验表明，DRL算法可能有助于发现新的政策和方法，以帮助优化作物产量，同时最大限度地减少限制因素，如水和肥料的使用。我们建议，这种混合植物建模和数据驱动的方法，用于发现优化作物产量的新策略，可能有助于解决由于人口膨胀和气候变化而即将到来的全球粮食需求。
2021-11-01 cs.LG
Defense Against Reward Poisoning Attacks in Reinforcement Learning
MPI-SWS（马克斯·普朗克软件系统研究所）
研究了强化学习中奖励中毒攻击的防御策略。作为一个威胁模型，我们考虑攻击，最小限度地改变奖励，使攻击者的目标策略唯一最优下中毒的奖励，与最优差距指定的攻击参数。我们的目标是设计代理，对这种攻击的最坏情况下的效用w.r.t.真实的、未中毒的奖励，同时在中毒的奖励下计算他们的策略。我们提出了一个优化框架，用于获得最佳的防御策略，无论是当攻击参数是已知的和未知的。此外，我们表明，防御政策的建议的优化问题的解决方案具有可证明的性能保证。特别是，我们提供了以下界限相对于真实的，未中毒的，奖励：a）防御策略的预期回报的下限，以及b）这些防御策略与攻击者的目标策略相比是次优的上限。最后，我们通过说明我们的正式结果背后的直觉，并表明导出的界限是非平凡的。
2021-06-20 cs.AI cs.LG
A Unified and Constrained View of Regularization-Based Robust Reinforcement Learning
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Khalifa University（哈利法大学）；Concordia University（康考迪亚大学）
本文统一了基于正则化的鲁棒强化学习方法，推导出性能差距上界，并将鲁棒训练转化为约束优化问题，通过联合更新拉格朗日乘子自动调整正则化权重，在连续控制任务上验证了理论分析。
2026-10-15 cs.LG
Robust Finite-Memory Policy Gradients for Hidden-Model POMDPs
Radboud University Nijmegen（奈克梅根雷达堡大学）；Brno University of Technology（布拉格技术大学）；Ruhr-University Bochum（波恩鲁尔大学）
针对隐模型POMDPs（HM-POMDPs）中策略对环境扰动鲁棒性不足的问题，结合演绎形式验证技术与子梯度上升优化，提出鲁棒有限记忆策略梯度方法，提升策略鲁棒性与泛化性并实现大规模扩展。
2025-08-20 cs.AI cs.LG
Best-Effort Policies for Robust Markov Decision Processes
Department of Computer Science, University of Oxford（牛津大学计算机科学系）
针对鲁棒马尔可夫决策过程中多个最坏情形等价的最优鲁棒策略选择问题，提出最优鲁棒尽力策略准则，证明其存在性并给出低开销计算算法，通过数值实验验证了方法可行性。
2025-11-19 cs.AI cs.LO
Reinforcement Learning for Optimization of COVID-19 Mitigation policies
Sony AI（索尼人工智能）；Sapienza University of Rome（罗马大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
二零二零年，COVID-19病毒导致历史上最严重的全球大流行病之一。因此，世界各国政府都面临着保护公众健康的挑战，同时尽最大可能保持经济运行。流行病学模型提供了对这些类型疾病传播的深入了解，并预测可能的干预政策的效果。然而，迄今为止，即使是最受数据驱动的干预政策也依赖于统计学。在本文中，我们研究了如何使用强化学习（RL）来优化缓解政策，最大限度地减少经济影响，而不压倒医院的能力。我们的主要贡献是（1）一种新的基于代理的流行病模拟器，与传统的模型不同，它能够模拟社区中特定位置的人之间的细粒度交互;（2）一种基于RL的方法，用于优化该模拟器中的细粒度缓解策略。我们的研究结果验证了整体模拟器的行为和现实条件下的学习策略。
2020-10-20 cs.AI cs.CY cs.LG
A Simple and Optimal Policy Design with Safety against Heavy-Tailed Risk for Stochastic Bandits
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）
本研究提出一种随机多臂老虎机策略，在期望遗憾上达到最坏情况最优，同时保证遗憾分布的轻尾风险，并扩展到线性老虎机设置。
2024-07-22 cs.LG math.ST stat.ML
The Sliding Regret in Stochastic Bandits: Discriminating Index and Randomized Policies
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
本文提出滑动遗憾概念以度量单次运行中伪遗憾的平滑性，证明随机化方法（如 Thompson Sampling、MED）具有最优滑动遗憾，而 UCB 类指数策略的滑动遗憾和平均起伏均为次优。
2023-11-30 cs.LG cs.SY eess.SY
Minimax-Bayes Reinforcement Learning
University of Oslo（奥斯陆大学）；University of Neuchatel（纳沙泰尔大学）；Zenseact；Chalmers University of Technology（查尔姆斯理工大学）
虽然贝叶斯决策理论框架为不确定性下的决策问题提供了一个优雅的解决方案，但一个问题是如何适当地选择先验分布。一个想法是采用最坏情况先验。然而，这并不像在简单的统计估计问题中那样容易在顺序决策中指定。本文研究（有时是近似的）最小最大贝叶斯解决方案的各种强化学习问题，以深入了解相应的先验和政策的属性。我们发现，虽然最坏情况下的先验依赖于设置，相应的极大极小策略比那些假设一个标准的（即统一的）先验更强大。
2023-02-21 cs.LG stat.ML
Discovering hierarchies using Imitation Learning from hierarchy aware policies
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
允许代理表现出时间高阶行为的学习选项已被证明在增加探索，降低样本复杂性和各种传输场景中是有用的。深度期权发现（DDO）是一种生成算法，它直接从专家轨迹中学习分层策略和期权。我们进行定性和定量分析的选择推断DDO在不同的领域。为此，我们提出了不同的价值度量，如期权终止条件，铰链价值函数误差和KL-分歧的距离度量来比较不同的方法。分析期权的终止条件和期权运行的时间步数，可以发现期权提前终止。我们建议的修改，可以很容易地纳入和简化的问题，较短的选项和崩溃的选项相同的模式。
2019-08-05 cs.AI cs.LG
Counting to Explore and Generalize in Text-based Games
Microsoft Research（微软研究院）
我们提出了一个经常性的RL代理与情节探索机制，有助于发现良好的政策，在基于文本的游戏环境。我们在一组不同难度的基于文本的游戏中显示出了有希望的结果，其目标是收集位于房间链末端的硬币。与以前的基于文本的RL方法相比，我们观察到我们的代理学习策略，这些策略可以推广到更难的看不见的游戏。
2019-03-07 cs.CL cs.LG
Percentile Criterion Optimization in Offline Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of New Hampshire（新罕布什尔大学）
针对离线强化学习中百分位准则非凸、贝叶斯可信区域导致策略过度保守的问题，提出基于Value-at-Risk的动态规划算法，无需显式构建模糊集即可获得更不保守的鲁棒策略。
2024-04-07 cs.AI cs.LG
Robust Multi-Agent Reinforcement Learning by Mutual Information Regularization
针对多智能体强化学习中现有鲁棒方法计算量大、鲁棒性不足的问题，提出无需对手的互信息正则化方法MIR3，通过最大化鲁棒性下界提升鲁棒性，在星际争霸II、机器人群控制及真实部署中均优于基线。
2024-05-21 cs.AI cs.LG
Investigating Vulnerabilities of Deep Neural Policies
KTH Royal Institute of Technology（瑞典皇家理工学院）
基于深度神经网络的强化学习策略很容易受到对其输入的不可感知的对抗性扰动的影响，这与神经网络图像分类器的方式大致相同。最近的工作提出了几种方法来提高深度强化学习代理对对抗性扰动的鲁棒性，这些方法基于在存在这些不可感知的扰动的情况下进行训练（即对抗性训练）。在本文中，我们研究了对抗性训练对智能体学习神经策略的影响。特别是，我们遵循两种不同的并行方法来研究基于最坏情况分布偏移和特征敏感性的深度神经策略的对抗性训练的结果。对于第一种方法，我们比较了对抗训练和香草训练神经策略计算的最小扰动的傅立叶谱。通过OpenAI Atari环境中的实验，我们表明，针对对抗训练策略计算的最小扰动更集中在傅立叶域中的较低频率上，这表明这些策略对低频扰动具有更高的敏感性。对于第二种方法，我们提出了一种新的方法来测量深度神经策略的特征敏感性，并比较了最先进的对抗训练的深度神经策略和香草训练的深度神经策略中的这些特征敏感性差异。我们相信，我们的研究结果可以成为理解对抗性训练与神经策略的不同鲁棒性概念之间关系的第一步。
2021-08-30 cs.AI cs.CV cs.LG
TCRL: Temporal-Coupled Adversarial Training for Robust Constrained Reinforcement Learning in Worst-Case Scenarios
Northeastern University（东北大学）；Zhejiang University（浙江大学）；Aalborg University（奥胡斯大学）
TCRL通过引入时序耦合对抗训练框架，解决传统方法在处理时序耦合扰动时的不足，提升约束强化学习在最坏情况下的鲁棒性。
2026-02-13 cs.LG
Options Discovery with Budgeted Reinforcement Learning
Sorbonne Universités（索邦大学）；UPMC Univ Paris 06（巴黎第六大学）
我们考虑的问题，学习层次策略的强化学习能够发现选项，一个选项对应于一组原始动作的子策略。在过去十年中提出了不同的模式，这些模式通常依赖于一套预先确定的备选方案。我们专门解决的问题，自动发现决策过程中的选项。我们描述了一种新的学习模型，称为期权神经网络（BONN）能够发现基于预算的学习目标的选项。BONN模型在不同的经典RL问题上进行了评估，展示了定量和定性的有趣结果。
2017-02-22 cs.AI cs.LG
Regularized Policies are Reward Robust
The Australian National University（澳大利亚国立大学）；Data61（Data61研究所）；Microsoft Research Cambridge（微软剑桥研究院）
强化学习（RL）中的策略的熵正则化是一种常用的启发式方法，以确保学习的策略在过拟合到局部最优策略之前充分探索状态空间。使用熵的主要动机是为了探索和消除最优策略的歧义;然而，理论上的影响并不完全清楚。在这项工作中，我们研究了更一般的正则化RL目标，并使用Fenchel对偶;我们推导出对偶问题，其形式为对抗性奖励问题。特别地，我们发现，由正则化目标找到的最优策略正是最坏情况对抗性奖励下强化学习问题的最优策略。我们的结果使我们能够重新解释流行的熵正则化方案作为一种形式的鲁棒性。此外，由于我们的结果的一般性，我们适用于其他现有的正则化计划。因此，我们的研究结果深入了解了政策正规化的影响，并加深了我们对探索的理解，通过强大的奖励。
2021-01-18 cs.LG stat.ML
Attacking and Defending Deep Reinforcement Learning Policies
最近的研究表明，深度强化学习（DRL）策略容易受到对抗攻击的攻击，这引起了人们对DRL在安全关键系统中应用的担忧。本文从鲁棒优化的角度出发，采用原则性的方法研究了DRL策略对对抗攻击的鲁棒性。在鲁棒优化的框架下，通过最小化策略的期望收益给出最优的对抗攻击，相应地，通过提高策略的最坏情况性能来实现良好的防御机制。考虑到攻击者通常无法访问训练环境，我们提出了一种贪婪攻击算法，该算法试图在不与环境交互的情况下最小化策略的预期收益，以及一种防御算法，该算法以最大-最小形式进行对抗性训练。在Atari游戏环境下的实验表明，与现有攻击算法相比，该攻击算法更有效，策略回报率更低;与现有防御算法相比，该防御算法对一系列对抗攻击（包括本文提出的攻击算法）具有更强的鲁棒性。
2022-05-16 cs.CR cs.LG
Multi-Objective Approaches to Markov Decision Processes with Uncertain Transition Parameters
TU Dortmund（多特蒙德工业大学）；Saarland University（萨尔大学）
马尔可夫决策过程（MDP）是随机系统性能分析和优化的一个流行模型。MDP随机行为的参数是从系统的经验观察中估计的;它们的值并不精确。文献中存在不同类型的不确定的，不精确的或有界的转移率或概率和奖励的MDP。通常，对具有不确定性的模型的分析相当于寻找最稳健的政策，这意味着目标是生成具有最大性能下限（或者对称地，成本最低上限）的政策。然而，对冲不太可能出现的最坏情况可能会导致其他情况下的损失。一般来说，人们感兴趣的是在所有情况下表现良好的政策，从而导致决策的多目标观点。在本文中，我们考虑的政策，预期折扣奖励措施的MDP与不确定参数。特别是，该方法是针对有界参数MDP（BMDP）定义的[8]。在这种设置中，最坏的，最好的和平均情况下的性能的政策同时进行分析，这产生了一个多场景多目标优化问题。本文提出并评价了在价值向量空间中计算纯帕累托最优策略的方法。
2017-10-20 cs.AI cs.GT
Smoothing Policy Iteration for Zero-sum Markov Games
Tsinghua University（清华大学）；University of Science and Technology Beijing（北京科技大学）
零和马尔可夫博弈是研究多智能体系统和鲁棒控制的有效框架，它通过构造极小极大问题来求解均衡策略。目前，该公式在表格设置下得到了很好的研究，其中最大值算子被主要且精确地求解以计算最坏情况的价值函数。然而，扩展这些方法来处理复杂的任务并不简单，因为在大规模动作空间上找到最大值通常很麻烦。本文提出了平滑策略迭代（SPI）算法来近似求解零和MG，其中最大值算子被加权LogSumExp（WLSE）函数所取代，以获得近似最优的均衡策略.特别地，对抗策略被用作权函数，以实现动作空间上的有效采样。我们还证明了SPI的收敛性，并基于压缩映射定理分析了其在$\infty -$范数下的逼近误差。此外，我们提出了一个基于模型的算法称为平滑对抗演员评论家（SaAC）通过扩展SPI与函数近似。该方法利用采样轨迹估计WLSE函数的目标值，构造均方误差对价值函数进行优化，并采用梯度-上升-下降法对主、对抗策略进行联合优化。此外，我们将重新参数化技术在基于模型的梯度反向传播，以防止梯度消失，由于采样的随机政策。我们验证我们的算法在表格和函数近似设置。实验结果表明，SPI能以较高的精度逼近最坏情况下的价值函数，SaAC能稳定训练过程，大幅度提高对抗鲁棒性。
2022-12-03 cs.LG
Adversarial Latent-State Training for Robust Policies in Partially Observable Domains
Constrained Image-Synthesis Lab（受限图像合成实验室）
本文提出对抗性潜在状态训练方法，通过理论分析和实验验证，提升了部分可观测域中策略的鲁棒性，特别是在处理潜在分布偏移问题时表现出色。
2026-08-11 cs.AI cs.LG stat.ML
Optimization of Activity Batching Policies in Business Processes
University of Tartu（塔尔图大学）
本文提出基于干预启发式的帕累托优化方法，用于发现业务流程中在等待时间、处理工作量和成本之间取得最优权衡的活动批处理策略，并通过仿真与爬山法、模拟退火和强化学习等元启发式结合进行迭代优化。
2025-07-21 cs.AI
Algorithms for Deciding the Safety of States in Fully Observable Non-deterministic Problems: Technical Report
针对学习策略在非确定性环境中缺乏安全保证的问题，提出策略迭代算法iPI，结合TarjanSafe的最佳运行时间和多项式最坏情况复杂度，实验验证其性能优势。
2026-06-29 cs.AI
Explicit Explore, Exploit, or Escape ($E^4$): near-optimal safety-constrained reinforcement learning in polynomial time
University of Southampton（南安普顿大学）
在强化学习（RL）中，智能体必须探索一个初始未知的环境，以学习所需的行为。当RL代理部署在真实世界环境中时，安全性是首要考虑的问题。约束马尔可夫决策过程（CMDPs）可以提供长期的安全约束，但是，代理可能会违反约束，努力探索其环境。本文提出了一种基于模型的强化学习算法，称为显式探索，利用，或逃逸（$E^{4}$），它扩展了显式探索或利用（$E^{3}$）算法的一个强大的CMDP设置。$E^4$明确地分离了利用、探索和逃逸CMDR，从而允许有针对性的策略来改进已知状态、发现未知状态以及安全地返回到已知状态。$E^4$根据一组与部署环境的经验观察一致的CMDP模型，对最坏情况下的CMDP稳健地优化这些策略。理论结果表明，$E^4$发现一个接近最优的约束满足政策在多项式时间，同时满足整个学习过程中的安全约束。然后，我们讨论$E^4$作为一个实用的算法框架，包括鲁棒约束离线优化算法，未知状态的过渡动态的不确定性集的设计，以及如何进一步利用经验观察和先验知识放松一些最坏情况下的假设理论。
2022-06-23 cs.AI cs.LG cs.RO
Discovering Causality for Efficient Cooperation in Multi-Agent Environments
Institute for Digital Technologies（数字技术研究所）；Loughborough University London（拉夫堡大学伦敦校区）
本文研究多智能体强化学习中的懒惰智能体问题，利用因果关系估计改进信用分配，并采用摊销因果发现自动检测因果，以惩罚懒惰智能体，提升团队及个体性能。
2023-06-20 cs.AI cs.LG cs.MA
AED: Automatic Discovery of Effective and Diverse Vulnerabilities for Autonomous Driving Policy with Large Language Models
AED 利用大语言模型自动发现自动驾驶策略的有效且多样的漏洞，提升漏洞发现的多样性和有效性。
2025-11-30 cs.AI cs.CR cs.LG
Constraint-Generation Policy Optimization (CGPO): Nonlinear Programming for Policy Optimization in Mixed Discrete-Continuous MDPs
University of Toronto（多伦多大学）；Ben Gurion University of the Negev（内盖夫本古里安大学）
本文提出CGPO框架，将混合离散-连续MDP中的策略优化转化为对抗式约束生成的双层混合整数非线性规划，可给出误差、最优性差距与高概率性能保证，并支持反事实诊断。
2025-03-14 cs.LG cs.RO cs.SC
Robust exploration in linear quadratic reinforcement learning
Uppsala University（乌普萨拉大学）；KTH（瑞典皇家理工学院）
研究了未知线性动力系统的学习控制策略问题，以最小化二次型费用函数。我们提出了一种基于凸优化的方法，该方法稳健地完成了这一任务：即，我们最小化最坏情况下的成本，考虑到系统的不确定性，给定的观测数据。该方法平衡开发和探索，以这样的方式激励系统，以减少最坏情况下的成本最敏感的模型参数的不确定性。数值模拟和应用程序的硬件在环伺服机构证明了这种方法，与替代方法中观察到的可观的性能和鲁棒性增益。
2019-06-04 cs.LG math.OC stat.ML
User-Oriented Robust Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）
近年来，提高策略在不同环境下的鲁棒性引起了强化学习（RL）界越来越多的关注。现有的鲁棒强化学习方法主要是通过优化策略在最坏情况下的性能来实现最大最小鲁棒性。然而，在实践中，使用RL策略的用户可能会在不同的环境中对其性能有不同的偏好。显然，上述最大-最小鲁棒性通常过于保守，无法满足用户偏好。因此，本文将用户偏好融入鲁棒强化学习的策略学习中，提出了一种面向用户的鲁棒强化学习（User-Oriented Robust RL，UOR-RL）框架。具体来说，我们定义了一个新的面向用户的鲁棒性（UOR）RL度量，根据用户的喜好分配不同的权重的环境和推广的最大-最小鲁棒性度量。为了优化UOR度量，我们分别针对具有或不具有先验已知环境分布的场景开发了两种不同的UOR-RL训练算法。从理论上讲，我们证明了我们的UOR-RL训练算法收敛到接近最优的策略，即使不准确或完全没有关于环境分布的知识。此外，我们在4个MuJoCo任务中进行了广泛的实验评估。实验结果表明，UOR-RL在平均和最坏情况下的性能指标下与最先进的基线相当，更重要的是在UOR指标下建立了新的最先进的性能。
2022-12-10 cs.LG
Discovering Effective Policies for Land-Use Planning with Neuroevolution
Cognizant AI Labs；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Ludwig-Maximilians-Universität（路德维希-马克西米利安大学）；Open Climate Fix（开放气候修复）；Cognizant Technology Solutions
该研究通过神经进化方法，结合代理模型与进化搜索，在Project Resilience平台上实现了针对不同区域的有效土地利用规划策略发现，可生成碳影响与土地变化量权衡的Pareto前沿，为土地规划提供概念验证工具。
2025-04-18 cs.AI cs.LG cs.NE
Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning
ETH（苏黎世联邦理工学院）
在现实世界的任务中，强化学习（RL）代理经常会遇到在训练期间不存在的情况。为了确保可靠的性能，RL代理需要表现出对最坏情况的鲁棒性。强大的RL框架通过代理和对手之间的最坏情况优化来解决这一挑战。以前的鲁棒RL算法要么是样本效率低，缺乏鲁棒性保证，要么不能扩展到大问题。我们提出了鲁棒幻觉上置信RL（RH-UCRL）算法来可证明地解决这个问题，同时获得接近最佳的样本复杂度保证。RH-UCRL是一种基于基于模型的强化学习（MBRL）算法，它能有效区分认知和任意的不确定性，并在策略学习过程中有效探索代理和对手的决策空间。我们通过神经网络集成模型以及神经网络策略将RH-UCRL扩展到复杂任务。在实验中，我们证明了RH-UCRL在各种对抗环境中优于其他强大的深度RL算法。
2021-03-18 cs.AI cs.LG stat.ML
Benchmarking Smoothness and Reducing High-Frequency Oscillations in Continuous Control Policies
Inventec Corporation（英业达股份有限公司）
本文针对深度强化学习策略的高频振荡问题，系统比较损失正则化与架构方法，并提出混合方法，在多个仿真及真实机器人任务上实现控制平滑性提升26.8%且性能退化仅2.8%。
2024-10-22 cs.LG cs.RO
Robustifying Reinforcement Learning Policies with $\mathcal{L}_1$ Adaptive Control
由于动态变化的存在，在标称环境中训练的强化学习（RL）策略可能在新的/扰动的环境中失败。现有的鲁棒方法试图通过鲁棒或对抗训练来获得针对所有设想的动态变化场景的固定策略。这些方法可能会导致保守的性能，由于强调最坏的情况下，往往涉及繁琐的修改训练环境。我们提出了一种方法来robustifying一个预先训练的非鲁棒RL政策与$\mathcal{L}_1$自适应控制。利用$\mathcal{L}_1$控制律在动态变化的快速估计和主动补偿中的能力，我们的方法可以显着提高在标准中训练的RL策略的鲁棒性（即，非鲁棒的）方式，无论是在模拟器中还是在现实世界中。数值实验验证了该方法的有效性。
2022-03-09 cs.LG cs.SY eess.SY
