Progress Reward Model for Reinforcement Learning via Large Language Models
Beihang University（北京航空航天大学）
本研究提出PRM4RL框架，整合LLM的任务规划与进展奖励机制，在机器人控制任务上优于现有LLM规划及奖励方法，实现了更优的强化学习性能。
2026-10-16 cs.AI
FlowR2A: Learning Reward-to-Action Distribution for Multimodal Driving Planning
The University of Hong Kong（香港大学）；Changan Automobile（长安汽车）
提出FlowR2A，通过流匹配解码器学习奖励条件动作分布，统一了基于评分和基于锚点的方法，实现密集监督与动态生成，在NAVSIM基准上取得最优结果。
2026-06-24 cs.AI
Aligning Agents via Planning: A Benchmark for Trajectory-Level Reward Modeling
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；AMAP, Alibaba Group（阿里集团AMAP）
本文提出Plan-RewardBench，用于评估奖励模型在复杂工具使用场景中区分优选与干扰代理轨迹的能力，揭示了代理级奖励建模在长周期轨迹上的挑战。
2026-05-11 cs.AI
Planner-Centric Reinforcement Learning for Deep Research with Structure-Aware Reward
National University of Singapore（新加坡国立大学）
提出DecomposeR框架，通过将研究计划表示为有向无环图（DAG）并采用两阶段强化学习（规划器RL和回答器RL），实现显式结构化规划与细粒度奖励分配，在长文本基准上提升5.1-8.0分。
2026-05-29 cs.AI
Driving Style Encoder: Situational Reward Adaptation for General-Purpose Planning in Automated Driving
Volkswagen AG（大众汽车公司）；Technische Universität Darmstadt（达姆施塔特工业大学）
自动驾驶的通用规划算法结合了任务、行为和局部运动规划。这种规划算法将环境和驾驶运动学的特征映射到复杂的奖励函数中。为了实现这一目标，规划专家通常依赖于线性奖励函数。这些奖励函数的规范和调优是一个繁琐的过程，需要大量的经验。此外，手动设计的线性奖励函数不能在不同的驾驶情况下推广。在这项工作中，我们提出了一种基于逆强化学习的深度学习方法，该方法可以生成依赖于情境的奖励函数。我们的神经网络提供了一个基于模型预测控制的规划器的采样驾驶策略的特征和动作之间的映射，并预测即将到来的规划周期的奖励函数。在我们的评估中，我们将深度网络预测的奖励函数的驱动风格与聚类和线性奖励函数进行了比较。我们提出的深度学习方法优于集群线性奖励函数，并且与具有有关情况的先验知识的线性奖励函数相当。
2020-09-13 cs.AI cs.LG cs.RO
Extending MONA in Camera Dropbox: Reproduction, Learned Approval, and Design Implications for Reward-Hacking Mitigation
Independent Researcher（独立研究者）
该研究通过扩展MONA方法，验证了学习批准在缓解奖励黑客中的有效性，并探讨了其设计影响。
2026-03-31 cs.AI
Compact and Efficient Encodings for Planning in Factored State and Action Spaces with Learned Binarized Neural Network Transition Models
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在本文中，我们利用二进制神经网络（BNN）的效率，学习复杂的状态转换模型的规划域与离散化的因子状态和动作空间。为了直接利用这种过渡结构的规划，我们提出了两个新的编译的学习因子规划问题与BNN的基础上减少加权部分最大布尔可满足性（FD-SAT-Plan+）以及二进制线性规划（FD-BLP-Plan+）。从理论上讲，我们表明，我们的基于SAT的双向神经元激活编码是渐近最紧凑的编码相对于当前的文献，并支持单位传播（UP）-一个重要的属性，促进效率SAT求解器。在实验中，我们验证了我们的双向神经元激活编码的计算效率相比，现有的神经元激活编码，并展示了学习复杂的过渡模型与BNN的能力。我们测试了FD-SAT-Plan+和FD-BLP-Plan+在学习因子规划问题上的运行时效率，结果表明FD-SAT-Plan+随着BNN大小和复杂性的增加而扩展得更好。最后，我们提出了一个有限时间增量约束生成算法的基础上广义地标约束，以提高规划精度，我们的编码，通过模拟或现实世界的互动。
2020-03-06 cs.AI
Planning-Augmented Sampling with Early Guidance for High-Reward Discovery
University of Science（科学大学）；Shanghai AI Laboratory, Shanghai, China（上海人工智能实验室）
本文提出一种规划增强的采样框架，通过结合蒙特卡洛树搜索和可控软贪婪机制，提升高回报发现的速度和样本质量，同时保持多样性。
2026-02-01 cs.AI cs.LG
Disentangled Planning and Control in Vision Based Robotics via Reward Machines
Robotics at Google（谷歌机器人部门）
在这项工作中，我们使用奖励机器（DQRM）来增强深度Q学习代理，以提高机器人任务学习基于视觉的策略的速度，并克服DQN的一些限制，这些限制阻止它收敛到高质量的策略。奖励机（reward machine，RM）是一种有限状态机，它将任务分解为离散的规划图，并为智能体配备奖励函数以引导其完成任务。奖励机既可用于奖励塑造，也可用于通知策略它当前处于什么抽象状态。抽象状态是当前状态的高级简化，根据任务相关特征定义。这两个监督信号的奖励塑造和知识的当前抽象状态来自奖励机互补，都可以用来提高政策的性能，如几个基于视觉的机器人拾取和放置任务。特别是对于基于视觉的机器人应用，构建一个奖励机器通常比尝试获得一个策略来学习没有这种结构的任务更容易。
2020-12-28 cs.AI cs.RO
On Sequential Fault-Intolerant Process Planning
Hasso-Plattner-Institute, University of Potsdam（波茨坦大学哈索·普拉特纳研究所）
本文提出序贯故障不容忍过程规划问题，并针对未知成功概率的多阶段决策设计了可证明紧致的在线算法，利用多臂老虎机平衡探索与利用，实验表明专用算法优于通用算法。
2025-02-07 cs.AI
Solving Multi-Objective MDP with Lexicographic Preference: An application to stochastic planning with multiple quantile objective
Georgia Institute of Technology（佐治亚理工学院）
在马尔可夫决策过程（MDP）的大多数常见设置中，代理基于（折扣）奖励总和的期望来评估策略。然而在许多应用中，该准则从两个角度看可能并不适用：第一，在风险规避情形下，累积报酬的期望值不够稳健，这是累积报酬分布严重偏斜的情况;另一个问题是许多应用在评估策略时自然地考虑几个目标，例如，在自动驾驶中，当选择适当的决策时，代理需要平衡速度和安全性。在本文中，我们考虑评估一个策略的基础上的一系列的分位数，它诱导的一组目标状态，我们的想法是将原来的问题转化为一个多目标MDP问题的字典偏好自然定义。对于寻找最优策略的计算，我们提出了一个算法\textbf{FLMDP}，它可以解决一般的多目标MDP与字典式奖励偏好。
2017-05-10 cs.AI
Reinforcement Learning for Classical Planning: Viewing Heuristics as Dense Reward Generators
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
强化学习（RL）的最新进展使得人们对将RL应用于经典规划域或将经典规划方法应用于某些复杂RL域的兴趣越来越大。然而，在经典规划中发现的基于长期目标的问题导致RL的回报稀疏，使得直接应用效率低下。在本文中，我们提出利用领域独立的启发式函数通常用于经典规划文献中，以提高RL的样本效率。这些经典算法充当密集奖励生成器，以缓解稀疏奖励问题，并使我们的RL代理能够学习特定于域的价值函数作为这些算法的残差，使学习更容易。正确应用这种技术需要整合RL中使用的折扣度量和物流中使用的非折扣度量。我们实现的价值函数使用神经逻辑机，一个神经网络架构接地一阶逻辑输入设计。我们在几个经典的规划域上证明，与稀疏奖励RL相比，使用RL的经典算法可以获得良好的样本效率。我们进一步表明，我们学到的价值函数推广到新的问题实例在同一领域。
2022-03-07 cs.AI cs.LG
Existence and Finiteness Conditions for Risk-Sensitive Planning: Results and Conjectures
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Southern California（南加利福尼亚大学）
具有风险敏感规划目标的决策理论规划对于构建自主智能体或决策支持系统具有重要意义。然而，这条研究路线在很大程度上被人工智能和运筹学界所忽视，因为具有风险敏感规划目标的规划比具有风险中性规划目标的规划更复杂。为了弥补这种情况，我们推导出的条件，保证最佳的预期效用的总计划执行奖励存在和有限的完全可观察的马尔可夫决策过程模型的非线性效用函数。在具有正报酬和负报酬的马尔可夫决策过程模型中，我们的大多数结果只适用于平稳策略，但我们猜想它们可以推广到非平稳策略。
2012-07-04 cs.AI
Explicit-risk-aware Path Planning with Reward Maximization
Texas A&M University（得克萨斯农工大学）；Department of Computer Science and Engineering, Texas A&M University（得克萨斯农工大学计算机科学与工程系）
本文开发了一种路径规划器，该路径规划器最小化风险（例如，运动执行），同时最大化累积奖励（例如，传感器视点的质量）由非结构化或受限环境中的视觉辅助或跟踪场景激发。在这些场景中，机器人在向目标移动时应保持最佳视点。然而，在非结构化或受限的环境中，某些路径可能会增加碰撞的风险，因此存在风险和回报之间的权衡。传统的状态相关风险或概率不确定性建模不考虑路径级风险或难以获得。该风险-回报计划器明确地将风险表示为运动计划的函数，即，路径。该规划器无需手动分配风险对规划器造成的负面影响，而是采用预先建立的视点质量地图，并同时规划目标位置和通往目标位置的路径，以便在最小化风险的同时最大化沿着整个路径的总体回报。给出了精确算法和近似算法，并在一个实际的绳系飞行器上进行了求解。除了视觉辅助问题，该框架还提供了一个新的规划范式，以解决动态风险和缺乏子结构最优性的最小风险规划，并平衡回报和风险之间的权衡。
2019-03-07 cs.AI cs.RO
What Can Learned Intrinsic Rewards Capture?
University of Michigan（密歇根大学）；DeepMind
一个强化学习代理的目标是行为，以便最大化一个合适的状态标量函数的总和：奖励。这些奖励通常是给定的，不可变的。在本文中，我们考虑的命题，奖励函数本身可以是一个很好的轨迹学习知识。为了研究这一点，我们提出了一个可扩展的元梯度框架，用于在多个生命周期的经验中学习有用的内在奖励函数。通过几个概念验证实验，我们证明了将长期探索和开发的知识学习和捕获到奖励函数中是可行的。此外，我们表明，不同于政策转移方法，捕捉“如何”代理应该表现，学习奖励功能可以概括为其他类型的代理和动态环境的变化，捕捉“什么”代理应该努力做。
2020-08-21 cs.AI cs.LG
Dynamics-Aware Comparison of Learned Reward Functions
Toyota Research Institute (TRI)（丰田研究院（TRI））；University of California, Berkeley（加州大学伯克利分校）
学习奖励函数的能力在现实世界中部署智能代理方面发挥着重要作用。然而，比较奖励函数，例如作为评估奖励学习方法的一种手段，提出了一个挑战。奖励函数通常通过考虑优化策略的行为来进行比较，但这种方法将奖励函数中的缺陷与用于优化它的策略搜索算法的缺陷混为一谈。为了解决这一挑战，Gleave et al.（2020）提出了等价策略不变比较（EPIC）距离。EPIC避免了策略优化，但这样做需要在转换时计算奖励值，这在系统动态下可能是不可能的。这对于学习的奖励函数来说是有问题的，因为它需要在训练分布之外对它们进行评估，导致不准确的奖励值，我们发现这会使EPIC在比较奖励时无效。为了解决这个问题，我们提出了动态感知奖励距离（DARD），一个新的奖励伪度量。DARD使用环境的近似转换模型将奖励函数转换为允许比较的形式，该比较对于奖励塑造是不变的，同时仅在接近其训练分布的转换上评估奖励函数。在模拟物理域的实验表明，DARD使可靠的奖励比较没有政策优化，是显着更具有预测性比基线方法的下游政策性能时，处理学习的奖励功能。
2022-01-25 cs.AI cs.LG
Online Planning for Constrained POMDPs with Continuous Spaces through Dual Ascent
Stanford University（斯坦福大学）
约束部分可观测马尔可夫决策过程（CPOMDP）不是通过对不期望的行为进行惩罚来增加奖励，而是通过施加不可侵犯的硬约束值预算来安全地进行计划。以前的工作执行在线规划CPOMDPs只适用于离散的行动和观察空间。在这项工作中，我们提出了在线CPOMDP规划连续状态，动作和观测空间的算法，结合双上升逐步扩大。我们经验比较我们提出的算法的有效性，连续CPOMDPs模型玩具和现实世界的安全关键问题。此外，我们比较使用在线求解连续无约束POMDPs的规模化成本约束到奖励，并调查乐观的成本传播的影响。
2022-12-23 cs.AI
Agent-RewardBench: Towards a Unified Benchmark for Reward Modeling across Perception, Planning, and Safety in Real-World Multimodal Agents
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）
提出Agent-RewardBench基准，通过多维度真实场景、步骤级奖励评估和严格质量控制，评估多模态大模型在智能体任务中的奖励建模能力，发现现有先进模型表现有限，亟需专门训练。
2025-06-26 cs.AI cs.CL
Learning and Planning in Average-Reward Markov Decision Processes
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；DeepMind（深度思维）
我们介绍了平均回报MDP的学习和规划算法，包括1）第一个通用的证明收敛的无参考状态的偏离策略无模型控制算法，2）第一个证明收敛的偏离策略无模型预测算法，3）第一个离策略学习算法，收敛到实际的价值函数，而不是价值函数加上一个偏移。我们所有的算法都是基于使用时间差误差，而不是传统的错误时，更新的平均奖励的估计。我们的证明技术是Abounadi，Bertsekas和Borkar（2001）的一个轻微的概括。在实验中的一个控制器的控制任务，我们展示了一些困难时，可能会出现依赖于参考状态的方法，并认为我们的新算法可以显着更容易使用。
2021-06-28 cs.AI cs.LG
On The Fragility of Learned Reward Functions
University of Toronto（多伦多大学）；University of Cambridge（剑桥大学）；University of California, Berkeley（加州大学伯克利分校）
奖励函数是出了名的难以确定，尤其是对于具有复杂目标的任务。奖励学习方法试图从人类的反馈和偏好中推断出奖励功能。之前关于奖励学习的工作主要集中在与奖励函数一起训练的政策的性能上。然而，这种做法可能无法检测到无法从头开始训练新策略的学习奖励，因此无法捕获预期行为。我们的工作重点是展示和研究这些再学习失败的原因在基于偏好的奖励学习领域。我们在表格和连续控制环境中的实验表明，再学习失败的严重程度可能对奖励模型设计和轨迹数据集组成的变化敏感。根据我们的研究结果，我们强调需要更多的再培训为基础的评估文献。
2023-01-09 cs.AI cs.LG
Beyond Policy Optimization: A Data Curation Flywheel for Sparse-Reward Long-Horizon Planning
Department of Mechanical Engineering, National University of Singapore（新加坡国立大学机械工程系）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；School of Computing, National University of Singapore（新加坡国立大学计算机科学学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
本文提出BPO框架，通过自改进的数据飞轮开发鲁棒推理模型，解决多轮代理规划中稀疏奖励长周期问题，实现高效推理和显著的token效率。
2026-05-16 cs.AI cs.RO
Deep Reinforcement Learning with a Stage Incentive Mechanism of Dense Reward for Robotic Trajectory Planning
Huazhong University of Science and Technology（华中科技大学）；South East University（东南大学）；Central Queensland University（中央昆士兰大学）
(This工作已提交给IEEE可能出版。版权可能会在不通知的情况下转让，之后可能无法再访问此版本。为了提高基于深度强化学习（DRL）的机器人操作器轨迹规划方法在随机工作环境中的效率，提出了三种稠密奖励函数。这些奖励不同于传统的稀疏奖励。首先，通过对距离和方向约束进行建模，提出了一种姿态奖励函数，以加快学习过程，获得更合理的轨迹，减少探索的盲目性。其次，提出了一种步幅奖励函数，通过对关节约束的距离和运动距离进行建模来提高学习过程的稳定性。最后，为了进一步提高学习效率，我们从人类行为的认知过程中得到启发，提出了一种阶段激励机制，包括硬阶段激励奖励函数和软阶段激励奖励函数。大量的实验表明，软阶段激励奖励函数能够提高收敛速度高达46.9%的国家的最先进的DRL方法。收敛平均奖励的增加百分比为4.4 - 15.5%，标准差的减少百分比为21.9 - 63.2%。在评估实验中，机器人操作器的轨迹规划成功率达到99.6%。
2021-05-23 cs.AI cs.LG cs.RO
Explaining Learned Reward Functions with Counterfactual Trajectories
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Delft University of Technology（代尔夫特理工大学）
提出反事实轨迹解释（CTEs）及蒙特卡洛生成算法，通过对比原始与反事实轨迹解释强化学习奖励函数，提升代理人类模型对奖励的预测与泛化能力。
2024-10-15 cs.AI cs.LG
Learning Latent State Spaces for Planning through Reward Prediction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Preferred Networks America, Inc.（Preferred Networks美国公司）；Preferred Networks Inc（Preferred Networks公司）
基于模型的强化学习方法通常通过旨在重建和预测原始观测来学习高维状态空间的模型。然而，从无模型强化学习中汲取灵感，我们提出直接从奖励中学习潜在动力学模型。在这项工作中，我们引入了一个基于模型的规划框架，它学习潜在的奖励预测模型，然后在潜在的状态空间中进行规划。潜在的表示是专门从多步奖励预测，我们证明是唯一必要的信息，成功的规划。有了这个框架，我们能够受益于简洁的无模型表示，同时仍然享受基于模型的算法的数据效率。我们展示了我们的框架中的多钟摆和多猎豹环境中，几个pumerums或猎豹的代理，但其中只有一个产生奖励。在这些环境中，重要的是代理构建一个简洁的潜在表示过滤掉不相关的意见。我们发现，我们的方法可以在存在不相关信息的情况下成功学习准确的潜在奖励预测模型，而现有的基于模型的方法则会失败。在学习的潜在状态空间中的规划显示出比无模型和基于模型的基线更强的性能和高样本效率。
2019-12-09 cs.AI cs.LG stat.ML
PHIRL: Aligning Learned Rewards with Task Progress for Inverse Reinforcement Learning
PHIRL提出一种联合演示与进度反馈的逆强化学习框架，通过四维对齐学习稳健奖励，在少量标注下显著提升机器人任务回报与成功率。
2026-09-29 cs.AI cs.RO
Efficient Multi-Modal Planning with Reward-Guided Preference Optimization for Autonomous Driving
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
提出EMPlan，一种结合稀疏锚点与偏移细化模块的高效多模态轨迹规划方法，通过奖励引导微调提升安全性，在NAVSIM基准上实现精度与效率的平衡。
2026-10-01 cs.AI cs.RO
TripScore: Aligning LLMs for Real-World Travel Planning via Expert-Calibrated Reward
Trip.com Group（Trip.com集团）；Chongqing University（重庆大学）；Stanford University（斯坦福大学）
TripScore是一个基于真实用户日志和专家校准的旅行规划评估框架，通过分层可行性门控与统一奖励，发现强化学习微调（如GRPO）在相同基础模型下优于其他方法。
2026-09-18 cs.AI cs.CL
Deep Learning for Reward Design to Improve Monte Carlo Tree Search in ATARI Games
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
事实证明，蒙特卡罗树搜索（MCTS）方法在规划顺序决策问题（例如围棋和视频游戏）方面非常强大，但当规划深度和采样轨迹有限或奖励稀疏时，它们的性能可能会很差。我们提出了一个自适应的PGRD（策略梯度奖励设计）学习奖励奖金函数，以改善UCT（MCTS算法）。与以前的PGRD应用程序中，奖励奖金函数的空间被限制为手工编码的状态-动作-功能的线性函数不同，我们使用PGRD与多层卷积神经网络，以自动学习原始感知的功能，以及适应非线性奖励奖金函数参数。我们还采用了一个方差减少梯度的方法来改善PGRD的性能。与没有奖励奖金的UCT相比，新方法提高了UCT在多个ATARI游戏上的性能。以这种方式将PGRD和深度学习结合起来，应该会使MCTS算法的适应性奖励比以前更加广泛和实用。
2016-04-24 cs.AI
Scaling Autonomous Agents via Automatic Reward Modeling And Planning
MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；UMass Amherst（马萨诸塞大学阿默斯特分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出一种无需人工标注、从环境交互中自动构建三元组并训练奖励模型的框架，用于评估LLM智能体轨迹并辅助规划，在多个基准上验证了有效性与泛化性。
2025-02-17 cs.AI
Enter the Void - Planning to Seek Entropy When Reward is Scarce
Department of Computer Science University of Exeter（计算机科学系埃克塞特大学）
本文提出了一种基于世界模型的分层规划方法，在奖励稀缺时主动寻找信息丰富的状态，提升样本效率，应用于Dreamer时在迷宫任务中效率提升50%。
2025-12-18 cs.AI
ADAPT: Audio-Depth Action Planning with Transition-Aware Rewards for Lights-Out Industrial Navigation
University of California, Irvine（加利福尼亚大学欧文分校）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Purdue University Northwest（西北普渡大学）；Michigan State University（密歇根州立大学）；Dartmouth College（达特茅斯学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Notre Dame（圣母大学）
该研究针对无照明工业导航场景，提出音频-深度动作规划框架ADAPT，引入转换感知奖励塑造TARS，在DarkNav-Bench基准上的未见场景中取得90.6%（清洁条件）和60.0%（局部噪声）的导航成功率，优于基线模型。
2026-10-14 cs.AI
Proxy Reward Internalization and Mechanistic Exploitation: A Learned Precursor to Reward Hacking and Its Generalization
UC Davis（加州大学戴维斯分校）；Virginia Tech（弗吉尼亚理工大学）
提出PRIME概念，通过思维链监控、直接探针和激活级概念向量测量，发现PRIME在持续奖励黑客前分阶段出现，且直接探针得分可预测后续黑客爆发，跨检查点跟踪域外失调。
2026-06-08 cs.AI cs.LG
Incremental learning abstract discrete planning domains and mappings to continuous perceptions
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
大多数关于规划和学习的作品，例如，通过（基于模型的）强化学习进行的规划基于两个主要假设：（i）规划域的状态集合是固定的;（ii）来自真实世界的观察与状态之间的映射被隐含地假设或离线学习，并且它不是规划域的一部分。因此，重点是学习状态之间的转换。在本文中，我们放弃了这样的假设。我们提供了一个正式的框架，其中（i）代理可以动态地学习新的状态的规划域;（ii）抽象状态和感知之间的映射，从现实世界中，连续变量表示，是规划域的一部分;（iii）这样的映射是学习和更新沿“生命”的代理。我们定义了一个算法，交错规划，代理和学习，并允许代理更新规划域取决于它有多信任模型w.r.t.通过执行行动学到的新经验。我们定义了一个措施的规划域和现实世界之间的一致性感知的代理。我们测试我们的方法表明，代理学习越来越连贯的模型，系统可以扩展到处理模型的顺序$10^6$状态。
2018-11-26 cs.AI
Simplified Belief-Dependent Reward MCTS Planning with Guaranteed Tree Consistency
Technion - Israel Institute of Technology（以色列理工学院）
部分可观测马尔可夫决策过程（POMDP）是众所周知的难以解决。最先进的在线求解器利用蒙特卡罗树搜索（MCTS）的思想。这些求解器快速收敛到信念树的最有希望的分支，避免了次优部分。这些算法中的大多数被设计为利用直接访问状态奖励，并假设信念依赖的奖励只不过是对状态奖励的期望。因此，它们不适用于更普遍和更基本的信念依赖性奖励设置。这种奖励的一个例子是使用信念的一组加权粒子近似的微分熵。这样的信息论奖励引入了显著的计算负担。在本文中，我们嵌入的范式简化MCTS算法。特别是，我们提出了简化的信息理论粒子滤波树（SITH-PFT），一种新的变体的MCTS算法，考虑信息理论的奖励，但避免了需要完全计算它们。我们取代了昂贵的计算信息理论的奖励与自适应的上限和下限。这些界限易于计算，并且仅根据算法的要求而收紧。至关重要的是，我们保证了与MCTS完全相同的信念树和解决方案，MCTS明确计算了原始的信息理论奖励。我们的方法是一般性的;也就是说，可以容易地插入任何收敛到回报界限的算法，以实现实质上的加速而没有任何性能损失。
2021-05-29 cs.AI cs.RO
Contextual Pre-planning on Reward Machine Abstractions for Enhanced Transfer in Deep Reinforcement Learning
Technion – Israel Institute of Technology（以色列理工学院）；McGill University（麦吉尔大学）；University of Edinburgh（爱丁堡大学）
本文提出利用奖励机抽象为深度强化学习智能体提供可跨任务共享的最优转移符号表示，通过上下文预规划增强少样本迁移和样本效率。
2024-02-21 cs.AI cs.LG
Monte Carlo Information-Oriented Planning
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学与应用实验室）；École Normale Supérieure de Lyon（里昂高等师范学校）
在这篇文章中，我们讨论如何解决信息收集问题表示为rho-POMDPs，部分可观察马尔可夫决策过程（POMDPs）的扩展，其奖励rho取决于信念状态。用于求解POMDPs的基于点的方法已经扩展到当其奖励rho在B中是凸的或当其是Lipschitz连续的时，将rho-POMDPs作为信念MDPs来求解。在本文中，我们建立在POMCP算法提出了一个蒙特卡罗树搜索的rho-POMDP，旨在有效的在线规划，可用于任何rho函数。由于信念依赖的奖励，需要适应（i）一次传播多个状态，以及（ii）防止价值估计的偏差。当ρ连续时，给出了ε-最优值的渐近收敛性证明。实验进行分析的算法在手，并表明他们优于近视的方法。
2021-03-21 cs.AI
Macro-FF: Improving AI Planning with Automatically Learned Macro-Operators
University of Alberta（阿尔伯塔大学）
尽管人工智能规划最近取得了进展，但许多基准对当前的规划者来说仍然具有挑战性。在许多领域，规划器的性能可以大大提高发现和利用信息的域结构，没有明确编码在初始PDDL制定。在本文中，我们提出并比较了两种自动化的方法，学习相关的信息，从以前的经验在一个领域，并用它来解决新的问题的情况。我们的方法有一个共同的四步战略。首先，分析域并提取结构信息，然后基于先前发现的结构生成宏操作符。过滤和排序过程选择最有用的宏操作符。最后，选定的宏用于加快将来的搜索。我们在第四届国际规划竞赛IPC-4中成功地使用了这种方法。我们的系统，宏FF，扩展霍夫曼国家的最先进的规划FF 2.3支持两种宏操作，并与工程增强。我们证明了我们的想法的有效性，从国际规划比赛的基准。我们的研究结果表明，在这些复杂的领域，结构信息可以推断的搜索工作大大减少。
2011-09-09 cs.AI
Orienteering Problem with Uncertain Time-Varying Rewards: Framework and Benchmark for Everyday Service Robotics
针对日常服务机器人的带不确定时变奖励的定向越野问题，本文提出相关框架与基准，采用三种不同规划器并验证了长时域在线适应规划的有效性。
2026-08-20 cs.AI cs.RO
Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning
Carnegie Mellon University（卡内基梅隆大学）；University of California Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）
模仿学习的目标是通过演示模仿专家的行为，而不需要获得明确的奖励信号。一种流行的方法通过逆强化学习（IRL）推断（未知）奖励函数，然后通过强化学习（RL）最大化该奖励函数。然而，通过这些方法学习的策略在实践中非常脆弱，即使由于复合误差引起的小的测试时间扰动也会迅速恶化。我们提出了模仿与规划在测试时（植入），一个新的元算法模仿学习，利用决策时规划，以纠正任何基础模仿政策的复合错误。与现有方法相比，我们在决策时保留了模仿策略和奖励模型，从而受益于这两个组件的学习信号。从经验上讲，我们证明了植入显着优于基准模仿学习方法的标准控制环境和擅长zero-shot泛化时，受到挑战性的扰动测试时间动态。
2022-04-18 cs.AI cs.LG
Learning and Tuning Meta-heuristics in Plan Space Planning
IIT Madras（印度理工学院马德拉斯分校）
近年来，规划界已经观察到，用于学习启发式函数的技术已经在性能上产生了改进。一种方法是使用离线学习来以依赖于域的方式从现有算法中学习预测模型。这些学习的模型被部署为新的启发式函数。反过来，学习的模型可以使用独立于域的纠错方法在线调整，以进一步增强其信息量。在线调优方法独立于域，但特定于实例，并有助于在规划过程中提高单个实例的性能。因此，它在更大的问题中更有效。在本文中，我们提到两种方法适用于偏序因果链接（POCL）规划，也被称为计划空间规划。首先，我们努力提高性能的POCL规划器的监督学习的算法。其次，我们讨论了POCL框架中的在线误差最小化方法，以最大限度地减少与离线学习模型相关的步进误差，从而提高其信息量。我们的评估表明，学习方法的规划器的性能超过标准的基准，特别是对于较大的问题。
2016-04-24 cs.AI
Solving Relational MDPs with Exogenous Events and Additive Rewards
Cycorp Inc.（Cycorp公司）；Tufts University（塔夫茨大学）；Oregon State University（俄勒冈州立大学）
我们形式化一个简单而自然的子类服务域的关系规划问题，以对象为中心，独立的外源事件和附加奖励捕获，例如，库存控制问题。针对这一子类，我们提出了一个新的符号规划算法，这是第一个算法，具有明确的性能保证关系MDP与外源事件。特别是，在某些技术条件下，我们的规划算法提供了一个单调的最优价值函数的下限。为了支持该算法，我们提出了新的评估和减少技术的广义一阶决策图，一个知识表示的实值函数关系世界状态。我们的规划算法使用一组焦点状态，作为训练集，简化和近似的符号解决方案，因此可以看到执行学习规划。初步的实验评估证明了我们的方法的有效性。
2013-06-27 cs.AI cs.LG
Reinforced Imitative Trajectory Planning for Urban Automated Driving
本文提出一种结合强化学习与模仿学习的多步轨迹规划方法，引入基于Transformer的贝叶斯奖励函数和混合驱动框架，在nuPlan数据集上显著优于基线并媲美最先进方法。
2025-07-16 cs.AI cs.RO
Driving with Style: Inverse Reinforcement Learning in General-Purpose Planning for Automated Driving
Volkswagen AG（大众汽车公司）；Technische Universität Darmstadt（达姆施塔特工业大学）
行为和运动规划在自动驾驶中起着重要的作用。传统上，行为规划器用预定义的行为指示局部运动规划器。由于城市环境中场景的高度复杂性，可能会发生不可预测的情况，其中行为规划者无法匹配预定义的行为模板。最近，已经引入了通用规划器，其结合了行为和局部运动规划。这些通用规划器允许给定单个奖励函数的行为感知运动规划。然而，出现了两个挑战：首先，该函数必须将复杂的特征空间映射到奖励。其次，奖励功能必须由专家手动调整。手动调整此奖励函数成为一项繁琐的任务。在本文中，我们提出了一种方法，依赖于人类驾驶示范自动调整奖励功能。该研究为基于最大熵逆强化学习的通用规划者驾驶风格优化提供了重要的思路。我们评估我们的方法的基础上学习和演示的政策之间的期望值差异。此外，我们比较了人类驱动的轨迹与我们的计划器的最优策略下学习和专家调整的奖励函数的相似性。我们的实验表明，我们能够学习奖励函数超过手动专家调整的水平，没有事先的领域知识。
2020-09-12 cs.AI cs.LG cs.RO
Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research (IR), A * STAR（新加坡资讯通信研究院（A*STAR））；Salesforce Research（Salesforce研究院）
针对LLM推理中的幻觉、规划搜索高延迟及人工标注成本高的问题，提出通过收集轨迹并基于合成过程奖励进行DPO来学习基于规划的推理，其7B模型在逻辑推理基准上超越了GPT-3.5-Turbo。
2024-10-15 cs.AI cs.CL
PlanGAN: Model-based Planning With Sparse Rewards and Multiple Goals
Warwick Manufacturing Group（华威制造集团）；University of Warwick（华威大学）
稀疏奖励学习仍然是强化学习（RL）中的一个重大挑战，特别是当目标是训练能够实现多个不同目标的策略时。到目前为止，处理多目标，稀疏奖励环境的最成功的方法是无模型RL算法。在这项工作中，我们提出了PlanGAN，一个基于模型的算法，专门设计用于解决多目标任务的环境与稀疏奖励。我们的方法建立在这样一个事实上，即代理收集的任何经验轨迹都包含有关如何实现该轨迹期间观察到的目标的有用信息。我们用它来训练一个条件生成模型（GANs）的集合，以生成合理的轨迹，将代理从当前状态引导到指定的目标。然后，我们将这些想象的轨迹结合到一个新的规划算法中，以尽可能有效地实现预期的目标。PlanGAN的性能已经在许多机器人导航/操作任务上进行了测试，并与一系列无模型强化学习基线进行了比较，包括后见之明经验重放。我们的研究表明，PlanGAN可以实现相当的性能，同时具有大约4-8倍的样本效率。
2020-06-01 cs.AI cs.LG stat.ML
Variance-Based Rewards for Approximate Bayesian Reinforcement Learning
University of Michigan（密歇根大学）
探索-利用困境是强化学习（RL）的核心挑战之一。贝叶斯强化学习通过以环境先验分布的形式为智能体提供信息来解决这个难题;然而，完全贝叶斯规划是棘手的。使用平均MDP进行规划是贝叶斯规划的一种常见近视近似。我们推导出一种新的奖励奖金，这是一个功能的后验分布的环境，当添加到奖励计划与平均MDP，结果在一个代理，有效地探索。虽然我们的方法是类似于现有的方法，当给定一个无信息或非结构化的先验，与现有的方法不同，我们的方法可以利用结构化的先验。我们证明了我们的方法导致多项式样本的复杂性，并实证证明了其在结构化探索任务中的优势。
2012-03-15 cs.AI cs.LG stat.ML
On the Generalization Gap in LLM Planning: Tests and Verifier-Reward RL
Department of Informatics, Bioengineering, Robotics and Systems Engineering, University of Genoa（信息学、生物工程、机器人学和系统工程系，热那亚大学）；AIKO S.r.l.（AIKO公司）
本研究发现微调LLM在规划任务中存在显著的泛化差距，通过三种诊断干预揭示模型依赖领域特定模式而非可转移能力。
2026-01-20 cs.AI cs.LG
Deceptive Reinforcement Learning for Privacy-Preserving Planning
The University of Melbourne（墨尔本大学）
在本文中，我们研究了欺骗性强化学习的问题，以保护奖励函数的隐私。强化学习是根据探索行为获得的奖励来寻找行为策略的问题。强化学习的一个关键要素是奖励函数，它决定了给予多少奖励（负或正）以及何时给予。然而，在某些情况下，我们可能希望将奖励函数保持私有;也就是说，使观察者难以确定所使用的奖励函数。我们定义了隐私保护强化学习的问题，并提出了两个解决这个问题的模型。这些模型是基于伪装--一种“隐藏真相”的欺骗形式。我们通过计算和人类行为实验来评估我们的模型。结果表明，由此产生的政策确实是欺骗性的，参与者可以确定真正的奖励功能不可靠的诚实代理。
2021-02-05 cs.AI cs.LG cs.MA
Quantifying Differences in Reward Functions
DeepMind
对于许多任务来说，奖励函数无法进行内省，或者过于复杂而无法在程序上指定，因此必须从用户数据中学习。先前的工作已经通过评估针对学习奖励优化的策略来评估学习奖励函数。然而，该方法不能区分未能反映用户偏好的学习奖励函数和未能优化学习奖励的策略优化过程。此外，这种方法只能告诉我们评估环境中的行为，但即使在稍微不同的部署环境中，奖励也可能激励非常不同的行为。为了解决这些问题，我们引入了等价策略不变比较（EPIC）距离来直接量化两个奖励函数之间的差异，而无需策略优化步骤。我们证明了EPIC是不变的等价类的回报函数，总是导致相同的最优策略。此外，我们发现EPIC可以有效地近似，是更强大的覆盖分布的选择比基线。最后，我们表明，EPIC距离界限的遗憾，即使在不同的过渡动态的最佳政策，我们实证证实，它预测政策培训的成功。我们的源代码可以在https://github.com/HumanCompatibleAI/evaluating-rewards上找到。
2021-03-17 cs.AI cs.LG stat.ML
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
向强化学习（RL）代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈，即教师在两个行为片段之间的偏好，来学习基于人类偏好的更灵活的奖励模型。然而，反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题，因为定制的人类反馈非常昂贵。为了处理这个问题，以前的方法主要集中在改进查询选择和策略初始化。与此同时，最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励，通过测量的基础上学习奖励的新颖性。具体来说，我们利用学习奖励模型的集合之间的不一致。我们的直觉是，学习奖励模型中的分歧反映了定制的人类反馈的不确定性，可能对探索有用。我们的实验表明，与其他现有的测量状态访问新颖性的探索方法相比，来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
Multi-Objective Planning with Contextual Lexicographic Reward Preferences
Oregon State University（俄勒冈州立大学）
提出CLMDP框架，支持根据上下文动态调整字典序目标偏好，采用贝叶斯方法从专家轨迹推断状态-上下文映射，并将各目标顺序策略融合为单一无环上下文感知策略，在仿真和移动机器人上验证有效。
2025-11-03 cs.AI cs.RO cs.SY
Planning from Pixels in Atari with Learned Symbolic Representations
Technical University of Denmark（丹麦技术大学）
基于宽度的规划方法已被证明在Atari 2600域中使用像素输入产生最先进的性能。RolloutIW是一种成功的方法，它用B-PROST布尔特性集表示状态。RolloutIW的增强版本$π$ -IW表明，对于基于宽度的搜索，学习的特性可以与手工制作的特性相竞争。在本文中，我们利用变分自编码器（VAE）直接从像素中学习功能的原则性方式，没有监督。经过训练的VAE的推理模型从像素中提取布尔特征，RolloutIW使用这些特征进行规划。由此产生的组合优于原来的RolloutIW和雅达利2600上的人类专业游戏，并大大减少了功能集的大小。
2021-03-15 cs.AI cs.LG
Planning with affordances: Integrating learned affordance models and symbolic planning
Oregon State University（俄勒冈州立大学）
本文提出将学习到的物体可供性模型与符号规划相结合，使智能体在AI2-Thor等环境中无需重新定义动作集合即可规划并执行多步骤操作任务。
2025-02-04 cs.AI cs.RO
Continuous Control for Searching and Planning with a Learned Model
Iowa State University（爱荷华州立大学）；Ecole Centrale de Nantes（南特中央理工学院）
具有规划能力的决策代理在国际象棋、将棋和围棋等具有挑战性的领域取得了巨大的成功。为了将规划能力推广到更一般的任务，其中环境动态对代理不可用，研究人员提出了MuZero算法，该算法可以通过与环境的交互来学习动态模型。在本文中，我们提供了一种方法和必要的理论结果，以扩大MuZero算法更广义的环境与连续的行动空间。通过在两个相对低维的MuJoCo环境中的数值结果，我们表明该算法优于软演员-评论家（SAC）算法，这是一种最先进的无模型深度强化学习算法。
2020-06-22 cs.AI cs.LG
