DISCOVER: Automated Curricula for Sparse-Reward Reinforcement Learning
ETH Zürich, Switzerland(苏黎世联邦理工学院,瑞士);Max Planck Institute for Intelligent Systems, Germany(智能系统马克斯·普朗克研究所,德国)
本文提出 DISCOVER,通过从现有 RL 算法中提取方向感并自动选择面向目标任务的探索性目标,解决高维超长时域稀疏奖励任务的探索难题,并给出理论界与高维实验验证。
2025-10-20 cs.AI cs.LG cs.RO
Where to Start, How to Move: Analyzing Curricula under GRPO for Long-Horizon LLM Agents
Graduate School of Data Science, Seoul National University(首尔大学数据科学研究生院);Department of Computer Science and Engineering, Konkuk University(建国大学计算机科学与工程系)
该研究针对长视野LLM智能体的GRPO算法,探究初始位置、交接单元等课程设置对任务完成的影响,发现引导式起步及基于结果的工具调用选择可提升任务成功率,明确了课程设置的关键选择维度。
2026-10-15 cs.CL cs.LG
Curricula for Learning Robust Policies with Factored State Representations in Changing Environments
University of Bath(巴斯大学)
本文研究因子化状态表示下课程设计对强化学习策略鲁棒性的影响,实验证明三种简单课程(如仅改变最高遗憾变量)可显著提升鲁棒性,为复杂环境提供实用指导。
2024-09-19 cs.AI cs.LG
Birdie: Advancing State Space Models with Reward-Driven Objectives and Curricula
George Mason University(乔治梅森大学);Stanford University(斯坦福大学);Liquid AI;Archimedes AI
针对状态空间模型长程上下文内检索能力弱的问题,提出不改动架构的训练流程Birdie,结合双向处理、动态预训练目标与强化学习,显著提升检索密集型任务性能,缩小与Transformers的差距并保持计算效率。
2025-02-21 cs.AI cs.CL cs.LG
A Probabilistic Interpretation of Self-Paced Learning with Applications to Reinforcement Learning
TU Darmstadt(达姆施塔特工业大学);Aalto University(阿尔托大学)
在整个机器学习中,课程的使用已经显示出强大的经验潜力,可以通过避免训练目标的局部最优来改善从数据中学习。对于强化学习(RL),课程特别有趣,因为由于探索-利用权衡,底层优化具有很强的陷入局部最优的倾向。最近,一些自动生成RL课程的方法已被证明可以提高性能,同时与手动设计的课程相比,需要更少的专业知识。然而,这些方法很少从理论的角度进行研究,阻碍了对其机制的深入理解。在本文中,我们提出了一种方法,在RL的自动课程生成具有明确的理论基础。更准确地说,我们正式的著名的自定进度的学习范式诱导分布在训练任务,任务的复杂性和目标之间的权衡,以匹配所需的任务分布。实验表明,在这种诱导分布上进行训练有助于避免RL算法在不同任务中的局部最优解,这些任务具有无信息奖励和具有挑战性的探索要求。
2021-09-02 cs.LG
Robust Adversarial Reinforcement Learning via Bounded Rationality Curricula
TU Darmstadt(达姆施塔特工业大学);Hessian Center for Artificial Intelligence (Hessian.ai)(黑森人工智能中心);German Research Center for AI (DFKI)(德国人工智能研究中心);University of Magdeburg(马格德堡大学);JLU Gießen(吉森大学);University of Würzburg(维尔茨堡大学)
针对对抗强化学习中鞍点优化困难的问题,论文提出 QARL,利用熵正则化与 QRE 的联系,以课程方式逐步提升对手理性,并在 MuJoCo 任务中取得更优性能与鲁棒性。
2023-11-03 cs.LG
MAESTRO: Multi-Agent Environment Shaping through Task and Reward Optimization
Department of Mechanical and Industrial Engineering(机械与工业工程系);University of Toronto(多伦多大学)
MAESTRO通过任务和奖励优化提升多智能体强化学习的环境塑造能力,结合LLM生成课程和奖励函数,提高性能和稳定性。
2025-12-10 cs.AI cs.LG
Predictive Safety Curricula for Robust Legged Locomotion
ANYbotics AG(ANYbotics公司)
针对腿式机器人运动策略中罕见但严重的失败,提出预测性安全课程(PSC),利用学得的未来安全成本预测来分配训练经验,在崎岖地形和生产系统中显著提高可靠性并减少碰撞。
2026-09-30 cs.AI cs.LG cs.RO
Evolving Curricula with Regret-Based Environment Design
Meta AI;University of Oxford(牛津大学);UCL(伦敦大学学院);UC Berkeley(加州大学伯克利分校)
本文提出ACCEL,将演化式关卡编辑与基于遗憾的环境设计结合,在智能体能力边界上持续生成由简到繁的课程,并在多样环境中取得显著实证增益。
2023-09-30 cs.LG
Unsupervised Curricula for Visual Meta-Reinforcement Learning
UC Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
原则上,Meta强化学习算法利用许多任务的经验来学习快速强化学习(RL)策略,这些策略可以转移到类似的任务中。然而,目前的元RL方法依赖于手动定义的训练任务分布,手工制作这些任务分布可能具有挑战性且耗时。“有用的”预训练任务可以在无监督的情况下发现吗?我们开发了一个无监督的算法,诱导自适应元训练任务分布,即自动课程,通过在视觉环境中建模无监督的交互。任务分布由元学习者轨迹分布的参数密度模型支撑。我们制定无监督元RL作为潜在的任务变量和元学习者的数据分布之间的信息最大化,并描述了一个实际的实例,它交替最近的经验整合到任务分布和元学习的更新任务。重复该过程导致迭代重组,使得课程随着元学习者的数据分布偏移而适应。特别是,我们展示了视觉表示的判别聚类如何支持具有像素观测的域中的自动级别任务获取和探索,避免了替代品的陷阱。在基于视觉的导航和操作领域的实验中,我们证明了该算法允许无监督元学习转移到由手工制作的奖励函数指定的下游任务,并作为测试任务分布的更有效的监督元学习的预训练。
2019-12-09 cs.AI cs.LG
LearningFlow: Automated Policy Learning Workflow for Urban Driving with Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
本文提出 LearningFlow,通过多个 LLM 智能体协作自动生成训练课程与奖励函数,减少人工设计并提升样本效率,在 CARLA 中验证了其性能、泛化与算法适应性。
2025-01-09 cs.AI cs.LG cs.RO
Multi-Agent Curricula and Emergent Implicit Signaling
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
紧急通信已经朝着从头开始学习通信的方向迈进,但主要集中在类似人类语言的协议上。在自然界中,多智能体合作产生了广泛的通信,不同的结构和复杂性。在这项工作中,我们认识到存在于自然界中的通信的全部频谱,并建议研究低层次的通信。具体来说,我们研究紧急隐式信号的背景下,分散的多智能体学习困难,稀疏的奖励环境。然而,在这种环境中学习协调是具有挑战性的。我们提出了一个基于速度驱动的策略,结合:(一)基于速度的环境塑造,量身定制的多智能体团队的技能水平;和(二)行为课程,帮助代理学习成功的单智能体行为的先驱学习多智能体行为。追踪-规避实验表明,我们的方法可以学习有效的协调,显著优于复杂的分析和学习策略。我们的方法完成的追求,逃避任务,即使追求者以逃避者的速度的一半移动,而最高性能的基线失败的逃避者的速度的80%。此外,我们通过基于位置的社会影响来研究隐性信号在协调中的使用。我们发现,用我们的策略训练的追踪者交换的信息(以比特为单位)是基线方法的两倍多,这表明我们的方法已经学会了,并且在很大程度上依赖于隐式信号的交换。
2022-02-06 cs.AI cs.LG cs.MA
CurricuLLM: Automatic Task Curricula Design for Learning Complex Robot Skills using Large Language Models
University of California Berkeley(加州大学伯克利分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Apple(苹果公司)
针对强化学习中课程设计需领域知识和人工干预的问题,提出CurricuLLM,利用大型语言模型的规划与编程能力自动设计任务课程,在多机器人环境中实现复杂技能高效学习并通过仿真与实体验证。
2025-04-14 cs.LG cs.RO cs.SY
Automating Curriculum Learning for Reinforcement Learning using a Skill-Based Bayesian Network
Naval Research Laboratory(海军研究实验室);Brown University(布朗大学);University of Maryland(马里兰大学)
针对强化学习中自动生成课程的难题,提出技能-环境贝叶斯网络SEBN建模技能、目标与环境特征的概率关系,结合预期改进度加权任务的算法,在三类环境中表现优于基准。
2025-02-21 cs.AI cs.LG
Reasoning Steps as Curriculum: Using Depth of Thought as a Difficulty Signal for Tuning LLMs
Chungnam National University, Department of Computer Science & Engineering(Chungnam国立大学计算机科学与工程系)
本文提出以思维深度(DoT)作为难度信号,按由浅入深顺序训练大语言模型,并验证其优于传统课程,推动可解释的推理课程学习。
2025-08-13 cs.LG
HARVE: Hacking-Aware Reward-Head Vector Editing for Robust Reward Models
Carnegie Mellon University(卡内基梅隆大学);University of Virginia(弗吉尼亚大学);Harvard University(哈佛大学);Stanford University(斯坦福大学);University of Michigan(密歇根大学);New Jersey Institute of Technology(新泽西理工学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对奖励模型易受奖励黑客攻击的问题,提出无需训练的奖励头编辑方法HARVE,通过移除与黑客相关子空间对齐的奖励头向量分量,提升鲁棒性并保持通用能力。
2026-06-02 cs.LG
Robust Optimization for Mitigating Reward Hacking with Correlated Proxies
Department of Computer Science(计算机科学系)
本文提出通过鲁棒策略优化方法应对奖励黑客问题,基于r相关性代理奖励空间,改进代理优化并提升鲁棒性与透明度。
2026-04-13 cs.LG
Improving Regret Approximation for Unsupervised Dynamic Environment Generation
University of Oxford(牛津大学)
本文提出DEGen和MNA方法,用于提升无监督动态环境生成的regret近似效果,以提高环境规模下的泛化能力。
2026-01-21 cs.LG
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习为决策和控制提供了一个强大而通用的框架,但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要,但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取,但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中,我们提出了adverserial逆强化学习(AIRL),一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数,即使在训练过程中看到的环境发生重大变化的情况下,我们也能够学习策略。我们的实验表明,AIRL大大优于以前的方法,在这些传输设置。
2018-08-13 cs.LG
Generating Automatic Curricula via Self-Supervised Active Domain Randomization
Mila(米拉);Université de Montréal(蒙特利尔大学);Element AI(元素人工智能公司);CIFAR AI Chair(加拿大高级研究院人工智能讲席)
目标导向的强化学习(RL)传统上认为智能体与环境交互,规定与完成某个目标成比例的真实价值奖励给智能体。目标导向的强化学习在样本效率方面有很大的提高,这是因为通过提出目标可以很容易地重用或生成新的经验。一种方法,自我游戏,允许代理通过交替设置和完成目标来与自己"玩",创建一个学习课程,通过该课程,代理可以学习逐步完成更困难的目标。然而,自我游戏仅限于目标课程学习或在单一环境中逐步学习更难的目标。最近关于机器人代理的工作表明,在训练期间改变环境(例如域随机化)可以导致更鲁棒的传输。因此,我们扩展了自我发挥的框架,共同学习的目标和环境课程,导致学习最富有成效的域随机化策略与自我发挥的方法。我们的方法,自我监督主动域随机化(SS-ADR),生成一个耦合的目标任务课程,代理学习通过逐步更困难的任务和环境变化。通过鼓励代理尝试其当前能力之外的任务,SS-ADR构建了一个域随机化课程,可以在各种sim2real传输任务上实现最先进的结果。我们的研究结果表明,一个共同发展的环境难度的课程,在每个环境中设定的目标的难度提供了实际的好处,在目标导向的任务测试。
2020-10-26 cs.AI cs.LG cs.RO
Embedding Synthetic Off-Policy Experience for Autonomous Driving via Zero-Shot Curricula
Waymo, LLC(威莫有限责任公司)
基于ML的运动规划是一种很有前途的方法,产生代理,表现出复杂的行为,并自动适应新的环境。在自动驾驶的背景下,通常平等地对待所有可用的训练数据。然而,这种方法产生的代理在安全关键的设置中不能稳健地执行,这是一个无法通过简单地向训练集添加更多数据来解决的问题-我们表明,仅使用10%的数据子集训练的代理与在整个数据集上训练的代理一样好。我们提出了一种方法,根据从部署在公共道路上的自动驾驶汽车车队收集的数据来预测驾驶情况的固有难度。然后,我们证明,这个难度分数可以用在一个zero-shot转移生成课程的模仿学习为基础的规划代理。与在整个无偏训练数据集上进行训练相比,我们发现,在闭环评估中,优先考虑困难的驾驶场景既减少了15%的碰撞,又增加了14%的路线遵守,而所有这些都只使用了10%的训练数据。
2022-12-02 cs.AI cs.LG cs.RO
Factored Causal Representation Learning for Robust Reward Modeling in RLHF
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团);University of California San Diego(加州大学圣地亚哥分校);Mohamed bin Zayed University of Artificial Intelligence(莫莫德·本·扎耶德人工智能大学)
本文提出因式分解表示学习框架,通过分离因果因素与非因果因素提升奖励模型鲁棒性,有效缓解奖励黑客问题。
2026-05-16 cs.LG
Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models
UC Berkeley(加州大学伯克利分校);Transmute AI;ICSI(国际计算机科学研究所);LBNL(劳伦斯伯克利国家实验室)
研究揭示了过程奖励模型在对抗性攻击下的脆弱性,指出其更像流畅性检测器而非推理验证器,并提出PRM-BiasBench用于评估模型鲁棒性。
2026-02-20 cs.LG
Vector Bellman Theory for Multichain Robust Average-Reward Markov Decision Processes
University of Central Florida(中佛罗里达大学)
本文提出多链鲁棒平均奖励MDP的向量贝尔曼理论,通过增益-偏差系统求解状态依赖的最优鲁棒奖励,并设计近似移位Halpern算法实现有限收敛。
2026-11-13 cs.LG
Robust Thompson Sampling Algorithms Against Reward Poisoning Attacks
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学)
针对奖励投毒下 Thompson sampling 无法获得真实后验的问题,本文用抗操纵伪后验构建随机与上下文线性 bandit 鲁棒算法,并证明其在任意攻击下具有近最优遗憾。
2024-10-25 cs.LG
Robust Post-Training for Generative Recommenders: Why Exponential Reward-Weighted SFT Outperforms RLHF
本文提出指数奖励加权SFT方法,通过直接优化观测奖励,有效解决生成推荐系统中的鲁棒性训练问题,理论和实验证实其在噪声环境下的优越性能。
2026-03-10 cs.LG
Maneuver Decision-Making For Autonomous Air Combat Through Curriculum Learning And Reinforcement Learning With Sparse Rewards
Aeronautics Engineering College, Air Force Engineering University(空军工程大学航空工程学院)
强化学习是解决决策问题的有效方法。研究基于强化学习的自主空战机动决策方法是一个有意义和价值的方向。然而,当使用强化学习来解决具有稀疏奖励的决策问题时,如空战机动决策,需要花费太多的训练时间,并且训练后的智能体的性能可能不令人满意。为了解决这些问题,提出了基于课程学习的方法。首先,设计了空战机动决策的三种课程:角度课程、远程课程和混合课程。将这些课程分别用于训练空战智能体,并与原无课程训练方法进行了比较。训练结果表明,角度课程可以提高训练的速度和稳定性,提高Agent的性能;距离课程可以提高Agent训练的速度和稳定性;混合课程会使Agent陷入局部最优,对训练有负面影响。仿真结果表明,经过训练,智能体能够处理目标来自不同方向的情况,机动决策结果符合导弹的特点。
2023-02-12 cs.AI cs.LG
Solving Non-Rectangular Reward-Robust MDPs via Frequency Regularization
Technion - Israel Institute of Technology(以色列理工学院);NVIDIA Research(英伟达研究院);IMT Atlantique(大西洋国立高等矿业电信学校)
研究耦合奖励RMDPs,通过策略访问频率正则化建立与非矩形奖励RMDPs的联系,提出收敛的策略梯度方法,实验证明其鲁棒性且行为更少保守。
2024-02-12 cs.LG
Robust Reward Alignment via Hypothesis Space Batch Cutting
Arizona State University(亚利桑那州立大学);Shanghai Jiao Tong University(上海交通大学)
针对人类偏好中存在未知错误导致鲁棒性不足的问题,提出基于假设空间批量切割的奖励对齐方法,通过保守切割机制保证对错误偏好的可证明鲁棒性,并在模型预测控制任务中显著优于现有方法。
2025-05-28 cs.LG
Reward-Preserving Attacks For Robust Reinforcement Learning
本文提出保留奖励的攻击方法,通过动态调整对抗强度,提升强化学习在广泛扰动范围内的鲁棒性和性能。
2026-01-29 cs.LG
Maneuver Decision-Making Through Automatic Curriculum Reinforcement Learning Without Handcrafted Reward functions
Aeronautics Engineering College, Air Force Engineering University(空军工程大学航空工程学院)
针对无人作战飞机自主空战机动决策问题,提出一种无需手工奖励函数的自动课程强化学习方法,按初始状态难度由易到难安排子任务,并验证其有效性与可解释性。
2023-07-12 cs.AI cs.LG cs.RO
Curriculum Generation under Structured Parametric Environments for Robust Navigation Policies
Cornell University(康奈尔大学)
本文针对结构化参数环境提出重参数化课程生成框架,结合分布偏移正则化,在OpenAI Gym的两类连续控制环境中,显著优于多种基线方法,提升了导航策略的鲁棒性。
2026-08-11 cs.LG cs.RO
Variational Automatic Curriculum Learning for Sparse-Reward Cooperative Multi-Agent Problems
Tsinghua University(清华大学);University of Science and Technology Beijing(北京科技大学);Stanford University(斯坦福大学);Shanghai Qi Zhi Institute(上海期智研究院)
本文提出VACL变分自动课程学习算法,通过任务扩展与实体推进生成由易到难的多智能体训练课程,在百级智能体稀疏奖励协作任务中取得高覆盖率并复现复杂策略。
2021-12-22 cs.LG cs.MA
Unicorn: Continual Learning with a Universal, Off-policy Agent
DeepMind(深度思维);Technion Israel Institute of Technology(以色列理工学院);University of Michigan(密歇根大学)
一些现实世界的领域最好描述为一个单一的任务,但对其他人来说,这种观点是有限的。相反,一些任务的复杂性会随着智能体的能力而不断增长。在持续学习中,也称为终身学习,没有明确的任务界限或课程。随着学习代理变得越来越强大,持续学习仍然是阻碍快速进步的前沿领域之一。为了测试持续学习的能力,我们考虑了一个具有挑战性的3D域,其中包含一系列隐含的任务和稀疏的奖励。我们提出了一种新的代理架构称为独角兽,它表现出强大的持续学习,并优于几个基线代理建议域。代理实现这一点,联合表示和学习多个政策有效地,使用并行离策略学习设置。
2018-07-03 cs.LG
Co-Evolving Complexity: An Adversarial Framework for Automatic MARL Curricula
Department of Computer Science University of Wisconsin-Madison(计算机科学系 明尼苏达大学)
提出将环境生成构建为对抗博弈的协同演化框架,通过攻击者与多智能体防守方共同进化,自动生成无限且自适应的挑战课程,有效扩展环境复杂性并驱动智能体涌现复杂鲁棒的协作策略。
2025-11-04 cs.AI cs.LG cs.MA
Robust Reward Modeling via Causal Rubrics
Google DeepMind(谷歌DeepMind);McGill University(麦吉尔大学);MILA - Quebec AI Institute(MILA - 魁北克人工智能研究所)
提出Crome框架,通过因果增强和中性增强训练奖励模型,缓解奖励黑客攻击,在RewardBench等基准上显著提升准确率。
2025-06-19 cs.LG
PEARL: Zero-shot Cross-task Preference Alignment and Robust Reward Learning for Robotic Manipulation
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);King’s College London(伦敦国王学院);Beijing Institute for General AI(北京通用人工智能研究院);Shanghai Jiao Tong University(上海交通大学)
提出PEARL框架,通过CPA利用最优传输实现零样本跨任务偏好迁移,并结合RRL进行鲁棒奖励学习,在缺乏人类偏好时显著提升机器人操作策略性能。
2024-06-05 cs.LG
Reward-Conditioned Reinforcement Learning
University of Warsaw(华沙大学);Nomagic;UC Berkeley, Amazon FAR(伯克利大学,亚马逊FAR)
本文提出基于奖励的强化学习(RCRL),通过在收集经验时使用单一名义目标,使智能体在不额外交互的情况下暴露于多种奖励目标,从而提高样本效率并支持零样本行为调整。
2026-11-13 cs.LG
Robust Average-Reward Markov Decision Processes
University at Buffalo, The State University of New York(纽约州立大学布法罗分校);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Central Florida(中佛罗里达大学);Air Force Research Laboratory(空军研究实验室)
在鲁棒马尔可夫决策过程(MDP)中,转移核中的不确定性是通过找到一个策略来解决的,该策略在MDP的不确定性集合上优化最坏情况下的性能。虽然大部分的文献都集中在折扣MDPs,强大的平均回报MDPs仍然在很大程度上未被探索。在本文中,我们专注于鲁棒平均奖励MDP,其目标是找到一个政策,优化最坏情况下的平均奖励的不确定性集。我们首先采用一种方法,使用折扣MDP近似平均奖励MDP。证明了当折扣因子$γ$趋于$1$时,鲁棒折扣价值函数收敛于鲁棒平均报酬,并且当$γ$较大时,鲁棒折扣MDP的任何最优策略也是鲁棒平均报酬的最优策略.我们进一步设计了一个鲁棒的动态规划方法,并从理论上证明了它的收敛性。然后,我们直接研究鲁棒平均报酬MDP,而不使用折扣MDP作为中间步骤。我们推导了鲁棒平均报酬MDP的鲁棒Bellman方程,证明了最优策略可以从其解导出,并进一步设计了一个鲁棒相对值迭代算法,该算法可证明地找到其解,或等价地,找到最优鲁棒策略.
2023-03-01 cs.AI cs.LG
Robust Policy Gradient against Strong Data Corruption
University of Wisconsin--Madison(威斯康星大学麦迪逊分校);Cornell University(康奈尔大学)
研究了对抗性腐败下的鲁棒强化学习问题。我们的攻击模型假设一个\textit{adaptive}对手可以任意破坏奖励和过渡在每一步的情节,最多$ε$ -分数的学习情节。我们的攻击模型是严格强于那些考虑在以前的作品。我们的第一个结果表明,没有算法可以找到一个更好的比$O(ε)$ -最优策略下,我们的攻击模型。接下来,我们表明,令人惊讶的自然策略梯度(NPG)方法保留了自然的鲁棒性,如果奖励腐败是有界的,可以找到一个$O(\sqrtε)$最优的政策。因此,我们开发了一个过滤的策略梯度(FPG)算法,甚至可以容忍无限的奖励腐败,并可以找到一个$O(ε^{1/4})$最优的政策。我们强调,FPG是第一个可以实现一个有意义的学习保证时,一个恒定的分数的情节被损坏。补充的理论结果,我们表明,神经实现的FPG实现强大的鲁棒学习性能的MuJoCo连续控制基准。
2021-06-08 cs.LG
CROP: Certifying Robust Policies for Reinforcement Learning through Functional Smoothing
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Washington University in St. Louis(圣路易斯华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
随着强化学习(RL)取得巨大成功,甚至被应用于自动驾驶汽车等安全关键领域,人们已经进行了一系列实证研究,以提高其对对抗攻击的鲁棒性。然而,如何证明其鲁棒性与理论保证仍然是一个挑战。在本文中,我们提出了第一个统一的框架CROP(认证RL的鲁棒政策),提供行动和奖励水平的鲁棒性认证。特别是,我们提出了两个鲁棒性认证标准:每状态动作的鲁棒性和累积奖励的下限。然后,我们开发了一个本地平滑算法的政策来自Q函数,以保证沿轨迹采取的行动的鲁棒性,我们还开发了一个全球平滑算法,用于证明有限时域累积奖励的下限,以及一种新的本地平滑算法进行自适应搜索,以获得更严格的奖励认证。从经验上讲,我们应用CROP来评估几种现有的经验鲁棒RL算法,包括对抗训练和不同的鲁棒正则化,在四个环境中(两个代表性的Atari游戏,高速公路和CartPole)。此外,通过评估这些算法对对抗攻击,我们证明了我们的认证往往是紧。所有实验结果可在网站https://crop-leaderboard.github.io上获得。
2022-03-16 cs.LG
Robust Multi-Agent Bandits with Heavy-Tailed Rewards and Information Asymmetry
该研究针对重尾奖励和信息不对称的多智能体多臂老虎机问题,为三种信息不对称场景开发鲁棒分散式算法,通过实验验证了理论结果并阐明相关权衡。
2026-08-12 cs.AI cs.LG
Bellman Optimality of Average-Reward Robust Markov Decision Processes with a Constant Gain
本文研究了鲁棒马尔可夫决策过程中的平均奖励问题,通过分析常增益设置,探讨了鲁棒贝尔曼方程的解存在性及其与最优平均奖励的关系,为长期平均标准下的鲁棒动态决策提供了理论基础。
2026-10-21 cs.LG math.OC
Circuit-Aware Reward Training: A Mechanistic Framework for Longtail Robustness in RLHF
ENS, Université PSL, EHESS, CNRS(高等科学研究所、巴黎国立大学、EHESS、国家科学研究中心)
针对RLHF奖励模型在长尾场景下的系统性失败,本文提出机制可解释性框架识别罕见事件神经电路,并给出CART方法以指导数据增强、正则化与集成,从而提升长尾鲁棒性。
2025-09-29 cs.AI cs.LG
Learning Curricula in Open-Ended Worlds
本文提出无监督环境设计(UED)方法,在智能体能力前沿自动生成开放式环境课程,并通过理论与实验证明其可显著提升强化学习智能体的鲁棒性与泛化能力。
2023-12-08 cs.AI cs.LG
Model-Free Robust Average-Reward Reinforcement Learning
University at Buffalo(布法罗大学);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Central Florida(中佛罗里达大学);Air Force Research Laboratory(空军研究实验室)
本文研究无模型设定下的鲁棒平均奖励MDPs,理论刻画了鲁棒平均奖励Bellman方程解的结构,提出并证明了鲁棒RVI TD和鲁棒RVI Q-learning两种算法的收敛性,并给出多种不确定性集示例。
2023-05-17 cs.AI cs.LG
Robustness in the Face of Partial Identifiability in Reward Learning
Politecnico di Milano(米兰理工学院)
本文提出了一个通用的奖励学习(ReL)框架,用于量化部分可识别性导致的性能下降,并开发了鲁棒算法Rob-ReL,通过最大化可行集中最坏情况奖励的性能来应对可识别性问题,同时提供了理论保证和概念验证实验。
2025-09-15 cs.LG stat.ML
Multi-Modal, Multi-Environment Machine Teaching for Robust Reward Learning
研究自主智能体在多环境下奖励学习问题,提出分层机器教学算法,先选信息丰富环境,再查询低成本反馈,实验表明该方法比统一教学基线有更低遗憾值和更强泛化能力,凸显多环境多模态教学对稳健奖励学习的重要性。
2026-07-10 cs.AI cs.LG
Robust In-Context Reinforcement Learning Under Reward Poisoning Attacks
Department of Computing Science, University of Alberta, Edmonton, Canada.(阿尔伯塔大学计算机科学系,加拿大埃德蒙顿);Alberta Machine Intelligence Institute (Amii), Edmonton, Canada.(阿尔伯塔机器智能研究所(Amii),加拿大埃德蒙顿)
针对奖励投毒攻击,提出对抗训练框架AT-DPT,通过同时训练攻击者和DPT模型,显著提升上下文强化学习在赌博机环境下的鲁棒性,并泛化到MDP等复杂场景。
2026-06-05 cs.CR cs.LG
Regularized Policies are Reward Robust
The Australian National University(澳大利亚国立大学);Data61(Data61研究所);Microsoft Research Cambridge(微软剑桥研究院)
强化学习(RL)中的策略的熵正则化是一种常用的启发式方法,以确保学习的策略在过拟合到局部最优策略之前充分探索状态空间。使用熵的主要动机是为了探索和消除最优策略的歧义;然而,理论上的影响并不完全清楚。在这项工作中,我们研究了更一般的正则化RL目标,并使用Fenchel对偶;我们推导出对偶问题,其形式为对抗性奖励问题。特别地,我们发现,由正则化目标找到的最优策略正是最坏情况对抗性奖励下强化学习问题的最优策略。我们的结果使我们能够重新解释流行的熵正则化方案作为一种形式的鲁棒性。此外,由于我们的结果的一般性,我们适用于其他现有的正则化计划。因此,我们的研究结果深入了解了政策正规化的影响,并加深了我们对探索的理解,通过强大的奖励。
2021-01-18 cs.LG stat.ML
In-Context Reward Adaptation for Robust Preference Modeling
Northwestern University(西北大学);Meta Superintelligence Labs(Meta超智能实验室)
提出基于Transformer的上下文奖励自适应框架,通过少量偏好示例和人类反应时间辅助信号,在线建模多样且未见的人类偏好,实现鲁棒的偏好建模和分布偏移适应。
2026-05-28 cs.AI cs.LG
Catoni Contextual Bandits are Robust to Heavy-tailed Rewards
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);OpenAI;Google(谷歌);Google Research(谷歌研究院)
本文利用Catoni稳健估计量设计上下文赌博机算法,在重尾奖励下实现仅依赖方差、对奖励范围呈对数依赖的遗憾界,并证明其最优性。
2025-02-04 cs.LG stat.ML
Evaluating Robustness of Reward Models for Mathematical Reasoning
Yonsei University(延世大学)
针对RewardBench数学子集评估不可靠的问题,本文提出新的奖励模型评估设计并构建RewardMATH基准,可更准确衡量数学推理奖励模型鲁棒性及奖励过度优化风险。
2024-10-02 cs.AI cs.CL cs.LG
Finite-Sample Analysis of Policy Evaluation for Robust Average Reward Reinforcement Learning
Purdue University(普渡大学);Indian Institute of Technology Kanpur(印度理工学院坎普尔)
本文提出了一种基于多级蒙特卡洛技术的鲁棒策略评估方法,实现了最优样本复杂度,解决了鲁棒平均奖励强化学习中的样本复杂度问题。
2025-12-09 cs.LG stat.ML