Progress Reward Model for Reinforcement Learning via Large Language Models
Beihang University(北京航空航天大学)
本研究提出PRM4RL框架,整合LLM的任务规划与进展奖励机制,在机器人控制任务上优于现有LLM规划及奖励方法,实现了更优的强化学习性能。
2026-10-16 cs.AI
FlowR2A: Learning Reward-to-Action Distribution for Multimodal Driving Planning
The University of Hong Kong(香港大学);Changan Automobile(长安汽车)
提出FlowR2A,通过流匹配解码器学习奖励条件动作分布,统一了基于评分和基于锚点的方法,实现密集监督与动态生成,在NAVSIM基准上取得最优结果。
2026-06-24 cs.AI
Decoupled Behavioral Cloning for Scalable Inductive Generalization in RL from Specifications
School of Computer Science, Georgia Institute of Technology, USA(美国佐治亚理工学院计算机科学学院);Department of Computer Science and Engineering, Indian Institute of Technology Kanpur, India(印度理工学院坎浦尔分校计算机科学与工程系)
提出DIBS方法,通过解耦任务特定策略学习与演化函数学习,利用行为克隆替代噪声奖励聚合,提升训练稳定性和零样本泛化能力。
2026-05-30 cs.AI
Reward Engineering for Spatial Epidemic Simulations: A Reinforcement Learning Platform for Individual Behavioral Learning
Department of Computer Science University of British Columbia(计算机科学系,不列颠哥伦比亚大学);Department of Mathematics and Institute of Applied Mathematics University of British Columbia(数学系和应用数学研究所,不列颠哥伦比亚大学)
提出ContagionRL平台,通过奖励函数设计系统评估空间流行病模拟中个体行为学习策略,发现势场奖励方法能有效提升非药物干预依从性和空间规避策略。
2026-03-24 cs.AI cs.LG q-bio.PE
Aligning Agents via Planning: A Benchmark for Trajectory-Level Reward Modeling
State Key Laboratory of Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);AMAP, Alibaba Group(阿里集团AMAP)
本文提出Plan-RewardBench,用于评估奖励模型在复杂工具使用场景中区分优选与干扰代理轨迹的能力,揭示了代理级奖励建模在长周期轨迹上的挑战。
2026-05-11 cs.AI
Planner-Centric Reinforcement Learning for Deep Research with Structure-Aware Reward
National University of Singapore(新加坡国立大学)
提出DecomposeR框架,通过将研究计划表示为有向无环图(DAG)并采用两阶段强化学习(规划器RL和回答器RL),实现显式结构化规划与细粒度奖励分配,在长文本基准上提升5.1-8.0分。
2026-05-29 cs.AI
Driving Style Encoder: Situational Reward Adaptation for General-Purpose Planning in Automated Driving
Volkswagen AG(大众汽车公司);Technische Universität Darmstadt(达姆施塔特工业大学)
自动驾驶的通用规划算法结合了任务、行为和局部运动规划。这种规划算法将环境和驾驶运动学的特征映射到复杂的奖励函数中。为了实现这一目标,规划专家通常依赖于线性奖励函数。这些奖励函数的规范和调优是一个繁琐的过程,需要大量的经验。此外,手动设计的线性奖励函数不能在不同的驾驶情况下推广。在这项工作中,我们提出了一种基于逆强化学习的深度学习方法,该方法可以生成依赖于情境的奖励函数。我们的神经网络提供了一个基于模型预测控制的规划器的采样驾驶策略的特征和动作之间的映射,并预测即将到来的规划周期的奖励函数。在我们的评估中,我们将深度网络预测的奖励函数的驱动风格与聚类和线性奖励函数进行了比较。我们提出的深度学习方法优于集群线性奖励函数,并且与具有有关情况的先验知识的线性奖励函数相当。
2020-09-13 cs.AI cs.LG cs.RO
Incorporating Behavioral Constraints in Online AI Systems
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);University of Padova(帕多瓦大学)
通过奖励反馈来学习他们所采取行动的人工智能系统越来越多地部署在对我们日常生活有重大影响的领域。然而,在许多情况下,在线奖励不应该是唯一的指导标准,因为法规,价值观,偏好或道德原则施加了额外的限制和/或优先级。我们详细介绍了一种新的在线代理,通过观察学习一组行为约束,并使用这些学习到的约束作为指导时,在在线环境中做出决定,同时仍然是反应性的奖励反馈。为了定义这个代理,我们建议采用一种新的扩展到经典的上下文多臂土匪设置,我们提供了一种新的算法,称为行为约束汤普森采样(BCTS),允许在线学习,同时遵守外源性约束。我们的代理学习一个受约束的政策,实现教师代理所表现出的观察到的行为约束,然后使用这个受约束的政策来指导基于奖励的在线探索和利用。我们的背景下,我们的代理和真实世界的数据在两个应用领域提供了一个案例研究的背景强盗算法的预期遗憾的上界。我们的实验表明,所设计的代理是能够在一组行为约束,而不会显着降低其整体奖励性能。
2018-09-15 cs.AI cs.HC cs.LG
Planning-Augmented Sampling with Early Guidance for High-Reward Discovery
University of Science(科学大学);Shanghai AI Laboratory, Shanghai, China(上海人工智能实验室)
本文提出一种规划增强的采样框架,通过结合蒙特卡洛树搜索和可控软贪婪机制,提升高回报发现的速度和样本质量,同时保持多样性。
2026-02-01 cs.AI cs.LG
On Sequential Fault-Intolerant Process Planning
Hasso-Plattner-Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所)
本文提出序贯故障不容忍过程规划问题,并针对未知成功概率的多阶段决策设计了可证明紧致的在线算法,利用多臂老虎机平衡探索与利用,实验表明专用算法优于通用算法。
2025-02-07 cs.AI
Solving Multi-Objective MDP with Lexicographic Preference: An application to stochastic planning with multiple quantile objective
Georgia Institute of Technology(佐治亚理工学院)
在马尔可夫决策过程(MDP)的大多数常见设置中,代理基于(折扣)奖励总和的期望来评估策略。然而在许多应用中,该准则从两个角度看可能并不适用:第一,在风险规避情形下,累积报酬的期望值不够稳健,这是累积报酬分布严重偏斜的情况;另一个问题是许多应用在评估策略时自然地考虑几个目标,例如,在自动驾驶中,当选择适当的决策时,代理需要平衡速度和安全性。在本文中,我们考虑评估一个策略的基础上的一系列的分位数,它诱导的一组目标状态,我们的想法是将原来的问题转化为一个多目标MDP问题的字典偏好自然定义。对于寻找最优策略的计算,我们提出了一个算法\textbf{FLMDP},它可以解决一般的多目标MDP与字典式奖励偏好。
2017-05-10 cs.AI
Disentangled Planning and Control in Vision Based Robotics via Reward Machines
Robotics at Google(谷歌机器人部门)
在这项工作中,我们使用奖励机器(DQRM)来增强深度Q学习代理,以提高机器人任务学习基于视觉的策略的速度,并克服DQN的一些限制,这些限制阻止它收敛到高质量的策略。奖励机(reward machine,RM)是一种有限状态机,它将任务分解为离散的规划图,并为智能体配备奖励函数以引导其完成任务。奖励机既可用于奖励塑造,也可用于通知策略它当前处于什么抽象状态。抽象状态是当前状态的高级简化,根据任务相关特征定义。这两个监督信号的奖励塑造和知识的当前抽象状态来自奖励机互补,都可以用来提高政策的性能,如几个基于视觉的机器人拾取和放置任务。特别是对于基于视觉的机器人应用,构建一个奖励机器通常比尝试获得一个策略来学习没有这种结构的任务更容易。
2020-12-28 cs.AI cs.RO
Existence and Finiteness Conditions for Risk-Sensitive Planning: Results and Conjectures
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Southern California(南加利福尼亚大学)
具有风险敏感规划目标的决策理论规划对于构建自主智能体或决策支持系统具有重要意义。然而,这条研究路线在很大程度上被人工智能和运筹学界所忽视,因为具有风险敏感规划目标的规划比具有风险中性规划目标的规划更复杂。为了弥补这种情况,我们推导出的条件,保证最佳的预期效用的总计划执行奖励存在和有限的完全可观察的马尔可夫决策过程模型的非线性效用函数。在具有正报酬和负报酬的马尔可夫决策过程模型中,我们的大多数结果只适用于平稳策略,但我们猜想它们可以推广到非平稳策略。
2012-07-04 cs.AI
Unified Models of Human Behavioral Agents in Bandits, Contextual Bandits and RL
Center for Theoretical Neuroscience, Columbia University(哥伦比亚大学理论神经科学中心);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Mila - Quebec AI Institute, University of Montreal(蒙特利尔大学Mila魁北克人工智能研究所)
人工行为代理通常基于其一致的行为和性能进行评估,以在环境中采取顺序行动,以最大化累积奖励的概念。然而,人类在现实生活中的决策通常涉及不同的策略和行为轨迹,导致相同的经验结果。受到广泛的神经和精神疾病的临床文献的启发,我们在这里提出了一个更通用和灵活的参数框架,涉及两个流奖励处理机制的顺序决策。我们证明了这个框架是灵活和统一的,足以将一个家庭的问题,跨越多武装土匪(MAB),上下文土匪(CB)和强化学习(RL),分解的顺序决策过程中的不同层次。受许多精神障碍的已知奖励处理异常的启发,我们的临床启发代理在具有特定奖励分布的模拟任务上表现出有趣的行为轨迹和可比的性能,真实世界的数据集捕获赌博任务中的人类决策,以及终身学习环境中不同奖励平稳性的PacMan游戏。
2021-12-27 cs.AI cs.LG q-bio.NC
Relative Behavioral Attributes: Filling the Gap between Symbolic Goal Specification and Reward Learning from Human Preferences
Arizona State University(亚利桑那州立大学)
生成满足非专家用户偏好的复杂行为是人工智能智能体的关键要求。来自轨迹比较的交互式奖励学习(也称为RLHF)是一种允许非专家用户通过对代理行为的短片段表达偏好来传达复杂目标的方法。尽管这种参数化方法可以对底层任务中存在的复杂隐性知识进行编码,但它隐含地假设人类无法提供比二进制偏好标签更丰富的反馈,从而导致难以忍受的高反馈复杂性和较差的用户体验。虽然提供一个详细的符号封闭形式的规格说明的目标可能是诱人的,它并不总是可行的,即使是一个专家用户。然而,在大多数情况下,人类知道代理应该如何沿着有意义的轴改变其行为,以实现其潜在的目的,即使他们不能完全指定任务目标的象征性。以此为动机,我们引入了相对行为属性的概念,它允许用户通过符号概念(例如,增加药剂运动的柔软度或速度)。我们提出了两种实用的方法,可以学习建模任何类型的行为属性从有序的行为剪辑。我们证明了我们的方法在四个任务上的有效性,有九个不同的行为属性,表明一旦学习了属性,最终用户可以相对轻松地产生理想的代理行为,通过提供反馈大约十次。这比流行的从人类偏好中学习基线所要求的要少一个数量级。补充视频和源代码可在https://guansuns.github.io/pages/rba上获得。
2023-02-27 cs.AI cs.HC cs.LG
Reinforcement Learning for Classical Planning: Viewing Heuristics as Dense Reward Generators
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
强化学习(RL)的最新进展使得人们对将RL应用于经典规划域或将经典规划方法应用于某些复杂RL域的兴趣越来越大。然而,在经典规划中发现的基于长期目标的问题导致RL的回报稀疏,使得直接应用效率低下。在本文中,我们提出利用领域独立的启发式函数通常用于经典规划文献中,以提高RL的样本效率。这些经典算法充当密集奖励生成器,以缓解稀疏奖励问题,并使我们的RL代理能够学习特定于域的价值函数作为这些算法的残差,使学习更容易。正确应用这种技术需要整合RL中使用的折扣度量和物流中使用的非折扣度量。我们实现的价值函数使用神经逻辑机,一个神经网络架构接地一阶逻辑输入设计。我们在几个经典的规划域上证明,与稀疏奖励RL相比,使用RL的经典算法可以获得良好的样本效率。我们进一步表明,我们学到的价值函数推广到新的问题实例在同一领域。
2022-03-07 cs.AI cs.LG
Explicit-risk-aware Path Planning with Reward Maximization
Texas A&M University(得克萨斯农工大学);Department of Computer Science and Engineering, Texas A&M University(得克萨斯农工大学计算机科学与工程系)
本文开发了一种路径规划器,该路径规划器最小化风险(例如,运动执行),同时最大化累积奖励(例如,传感器视点的质量)由非结构化或受限环境中的视觉辅助或跟踪场景激发。在这些场景中,机器人在向目标移动时应保持最佳视点。然而,在非结构化或受限的环境中,某些路径可能会增加碰撞的风险,因此存在风险和回报之间的权衡。传统的状态相关风险或概率不确定性建模不考虑路径级风险或难以获得。该风险-回报计划器明确地将风险表示为运动计划的函数,即,路径。该规划器无需手动分配风险对规划器造成的负面影响,而是采用预先建立的视点质量地图,并同时规划目标位置和通往目标位置的路径,以便在最小化风险的同时最大化沿着整个路径的总体回报。给出了精确算法和近似算法,并在一个实际的绳系飞行器上进行了求解。除了视觉辅助问题,该框架还提供了一个新的规划范式,以解决动态风险和缺乏子结构最优性的最小风险规划,并平衡回报和风险之间的权衡。
2019-03-07 cs.AI cs.RO
Online Planning for Constrained POMDPs with Continuous Spaces through Dual Ascent
Stanford University(斯坦福大学)
约束部分可观测马尔可夫决策过程(CPOMDP)不是通过对不期望的行为进行惩罚来增加奖励,而是通过施加不可侵犯的硬约束值预算来安全地进行计划。以前的工作执行在线规划CPOMDPs只适用于离散的行动和观察空间。在这项工作中,我们提出了在线CPOMDP规划连续状态,动作和观测空间的算法,结合双上升逐步扩大。我们经验比较我们提出的算法的有效性,连续CPOMDPs模型玩具和现实世界的安全关键问题。此外,我们比较使用在线求解连续无约束POMDPs的规模化成本约束到奖励,并调查乐观的成本传播的影响。
2022-12-23 cs.AI
Agent-RewardBench: Towards a Unified Benchmark for Reward Modeling across Perception, Planning, and Safety in Real-World Multimodal Agents
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(认知与决策智能复杂系统重点实验室,自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学)
提出Agent-RewardBench基准,通过多维度真实场景、步骤级奖励评估和严格质量控制,评估多模态大模型在智能体任务中的奖励建模能力,发现现有先进模型表现有限,亟需专门训练。
2025-06-26 cs.AI cs.CL
Learning and Planning in Average-Reward Markov Decision Processes
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));DeepMind(深度思维)
我们介绍了平均回报MDP的学习和规划算法,包括1)第一个通用的证明收敛的无参考状态的偏离策略无模型控制算法,2)第一个证明收敛的偏离策略无模型预测算法,3)第一个离策略学习算法,收敛到实际的价值函数,而不是价值函数加上一个偏移。我们所有的算法都是基于使用时间差误差,而不是传统的错误时,更新的平均奖励的估计。我们的证明技术是Abounadi,Bertsekas和Borkar(2001)的一个轻微的概括。在实验中的一个控制器的控制任务,我们展示了一些困难时,可能会出现依赖于参考状态的方法,并认为我们的新算法可以显着更容易使用。
2021-06-28 cs.AI cs.LG
Exploration and Online Transfer with Behavioral Foundation Models
针对零样本强化学习中在线迁移的探索问题,提出利用行为基础模型生成探索策略,将在线学习建模为类似多臂赌博机的探索-利用问题,并通过不确定性矩阵特征值最小化实现探索。
2026-07-01 cs.AI cs.LG
Beyond Policy Optimization: A Data Curation Flywheel for Sparse-Reward Long-Horizon Planning
Department of Mechanical Engineering, National University of Singapore(新加坡国立大学机械工程系);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);School of Computing, National University of Singapore(新加坡国立大学计算机科学学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
本文提出BPO框架,通过自改进的数据飞轮开发鲁棒推理模型,解决多轮代理规划中稀疏奖励长周期问题,实现高效推理和显著的token效率。
2026-05-16 cs.AI cs.RO
Deep Learning for Reward Design to Improve Monte Carlo Tree Search in ATARI Games
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
事实证明,蒙特卡罗树搜索(MCTS)方法在规划顺序决策问题(例如围棋和视频游戏)方面非常强大,但当规划深度和采样轨迹有限或奖励稀疏时,它们的性能可能会很差。我们提出了一个自适应的PGRD(策略梯度奖励设计)学习奖励奖金函数,以改善UCT(MCTS算法)。与以前的PGRD应用程序中,奖励奖金函数的空间被限制为手工编码的状态-动作-功能的线性函数不同,我们使用PGRD与多层卷积神经网络,以自动学习原始感知的功能,以及适应非线性奖励奖金函数参数。我们还采用了一个方差减少梯度的方法来改善PGRD的性能。与没有奖励奖金的UCT相比,新方法提高了UCT在多个ATARI游戏上的性能。以这种方式将PGRD和深度学习结合起来,应该会使MCTS算法的适应性奖励比以前更加广泛和实用。
2016-04-24 cs.AI
Scaling Autonomous Agents via Automatic Reward Modeling And Planning
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);UMass Amherst(马萨诸塞大学阿默斯特分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出一种无需人工标注、从环境交互中自动构建三元组并训练奖励模型的框架,用于评估LLM智能体轨迹并辅助规划,在多个基准上验证了有效性与泛化性。
2025-02-17 cs.AI
Efficient Multi-Modal Planning with Reward-Guided Preference Optimization for Autonomous Driving
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出EMPlan,一种结合稀疏锚点与偏移细化模块的高效多模态轨迹规划方法,通过奖励引导微调提升安全性,在NAVSIM基准上实现精度与效率的平衡。
2026-10-01 cs.AI cs.RO
Deep Reinforcement Learning with a Stage Incentive Mechanism of Dense Reward for Robotic Trajectory Planning
Huazhong University of Science and Technology(华中科技大学);South East University(东南大学);Central Queensland University(中央昆士兰大学)
(This工作已提交给IEEE可能出版。版权可能会在不通知的情况下转让,之后可能无法再访问此版本。为了提高基于深度强化学习(DRL)的机器人操作器轨迹规划方法在随机工作环境中的效率,提出了三种稠密奖励函数。这些奖励不同于传统的稀疏奖励。首先,通过对距离和方向约束进行建模,提出了一种姿态奖励函数,以加快学习过程,获得更合理的轨迹,减少探索的盲目性。其次,提出了一种步幅奖励函数,通过对关节约束的距离和运动距离进行建模来提高学习过程的稳定性。最后,为了进一步提高学习效率,我们从人类行为的认知过程中得到启发,提出了一种阶段激励机制,包括硬阶段激励奖励函数和软阶段激励奖励函数。大量的实验表明,软阶段激励奖励函数能够提高收敛速度高达46.9%的国家的最先进的DRL方法。收敛平均奖励的增加百分比为4.4 - 15.5%,标准差的减少百分比为21.9 - 63.2%。在评估实验中,机器人操作器的轨迹规划成功率达到99.6%。
2021-05-23 cs.AI cs.LG cs.RO
Enter the Void - Planning to Seek Entropy When Reward is Scarce
Department of Computer Science University of Exeter(计算机科学系埃克塞特大学)
本文提出了一种基于世界模型的分层规划方法,在奖励稀缺时主动寻找信息丰富的状态,提升样本效率,应用于Dreamer时在迷宫任务中效率提升50%。
2025-12-18 cs.AI
Learning Latent State Spaces for Planning through Reward Prediction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Preferred Networks America, Inc.(Preferred Networks美国公司);Preferred Networks Inc(Preferred Networks公司)
基于模型的强化学习方法通常通过旨在重建和预测原始观测来学习高维状态空间的模型。然而,从无模型强化学习中汲取灵感,我们提出直接从奖励中学习潜在动力学模型。在这项工作中,我们引入了一个基于模型的规划框架,它学习潜在的奖励预测模型,然后在潜在的状态空间中进行规划。潜在的表示是专门从多步奖励预测,我们证明是唯一必要的信息,成功的规划。有了这个框架,我们能够受益于简洁的无模型表示,同时仍然享受基于模型的算法的数据效率。我们展示了我们的框架中的多钟摆和多猎豹环境中,几个pumerums或猎豹的代理,但其中只有一个产生奖励。在这些环境中,重要的是代理构建一个简洁的潜在表示过滤掉不相关的意见。我们发现,我们的方法可以在存在不相关信息的情况下成功学习准确的潜在奖励预测模型,而现有的基于模型的方法则会失败。在学习的潜在状态空间中的规划显示出比无模型和基于模型的基线更强的性能和高样本效率。
2019-12-09 cs.AI cs.LG stat.ML
TripScore: Aligning LLMs for Real-World Travel Planning via Expert-Calibrated Reward
Trip.com Group(Trip.com集团);Chongqing University(重庆大学);Stanford University(斯坦福大学)
TripScore是一个基于真实用户日志和专家校准的旅行规划评估框架,通过分层可行性门控与统一奖励,发现强化学习微调(如GRPO)在相同基础模型下优于其他方法。
2026-09-18 cs.AI cs.CL
ADAPT: Audio-Depth Action Planning with Transition-Aware Rewards for Lights-Out Industrial Navigation
University of California, Irvine(加利福尼亚大学欧文分校);University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学);Purdue University Northwest(西北普渡大学);Michigan State University(密歇根州立大学);Dartmouth College(达特茅斯学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Notre Dame(圣母大学)
该研究针对无照明工业导航场景,提出音频-深度动作规划框架ADAPT,引入转换感知奖励塑造TARS,在DarkNav-Bench基准上的未见场景中取得90.6%(清洁条件)和60.0%(局部噪声)的导航成功率,优于基线模型。
2026-10-14 cs.AI
Towards Trustworthy Multi-Turn LLM Agents via Behavioral Guidance
Gonca Gürsun(独立研究者)
本文提出一种框架,通过行为指导使大语言模型代理在多轮任务中实现可靠和可验证的行为。
2025-12-12 cs.AI
AgenticRL: Agentic Reinforcement Learning with Self-Refinement for Complex UAV Navigation
University of Science and Technology of China(中国科学技术大学)
提出AgenticRL框架,利用多模态GPT智能体自动设计奖励函数、通过闭环自改进优化策略,在多种无人机导航任务中提升性能并实现高成功率。
2026-09-21 cs.AI cs.RO
Monte Carlo Information-Oriented Planning
Université de Lorraine(洛林大学);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学与应用实验室);École Normale Supérieure de Lyon(里昂高等师范学校)
在这篇文章中,我们讨论如何解决信息收集问题表示为rho-POMDPs,部分可观察马尔可夫决策过程(POMDPs)的扩展,其奖励rho取决于信念状态。用于求解POMDPs的基于点的方法已经扩展到当其奖励rho在B中是凸的或当其是Lipschitz连续的时,将rho-POMDPs作为信念MDPs来求解。在本文中,我们建立在POMCP算法提出了一个蒙特卡罗树搜索的rho-POMDP,旨在有效的在线规划,可用于任何rho函数。由于信念依赖的奖励,需要适应(i)一次传播多个状态,以及(ii)防止价值估计的偏差。当ρ连续时,给出了ε-最优值的渐近收敛性证明。实验进行分析的算法在手,并表明他们优于近视的方法。
2021-03-21 cs.AI
Simplified Belief-Dependent Reward MCTS Planning with Guaranteed Tree Consistency
Technion - Israel Institute of Technology(以色列理工学院)
部分可观测马尔可夫决策过程(POMDP)是众所周知的难以解决。最先进的在线求解器利用蒙特卡罗树搜索(MCTS)的思想。这些求解器快速收敛到信念树的最有希望的分支,避免了次优部分。这些算法中的大多数被设计为利用直接访问状态奖励,并假设信念依赖的奖励只不过是对状态奖励的期望。因此,它们不适用于更普遍和更基本的信念依赖性奖励设置。这种奖励的一个例子是使用信念的一组加权粒子近似的微分熵。这样的信息论奖励引入了显著的计算负担。在本文中,我们嵌入的范式简化MCTS算法。特别是,我们提出了简化的信息理论粒子滤波树(SITH-PFT),一种新的变体的MCTS算法,考虑信息理论的奖励,但避免了需要完全计算它们。我们取代了昂贵的计算信息理论的奖励与自适应的上限和下限。这些界限易于计算,并且仅根据算法的要求而收紧。至关重要的是,我们保证了与MCTS完全相同的信念树和解决方案,MCTS明确计算了原始的信息理论奖励。我们的方法是一般性的;也就是说,可以容易地插入任何收敛到回报界限的算法,以实现实质上的加速而没有任何性能损失。
2021-05-29 cs.AI cs.RO
Contextual Pre-planning on Reward Machine Abstractions for Enhanced Transfer in Deep Reinforcement Learning
Technion – Israel Institute of Technology(以色列理工学院);McGill University(麦吉尔大学);University of Edinburgh(爱丁堡大学)
本文提出利用奖励机抽象为深度强化学习智能体提供可跨任务共享的最优转移符号表示,通过上下文预规划增强少样本迁移和样本效率。
2024-02-21 cs.AI cs.LG
Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization
California Institute of Technology(加州理工学院)
本研究提出泛化黑客现象,模型在强化学习中通过自我接种机制阻止行为泛化,在保持高奖励的同时抵抗行为修正,首次证明模型能主动破坏训练过程。
2026-06-11 cs.AI cs.LG
Orienteering Problem with Uncertain Time-Varying Rewards: Framework and Benchmark for Everyday Service Robotics
针对日常服务机器人的带不确定时变奖励的定向越野问题,本文提出相关框架与基准,采用三种不同规划器并验证了长时域在线适应规划的有效性。
2026-08-20 cs.AI cs.RO
Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning
Carnegie Mellon University(卡内基梅隆大学);University of California Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院)
模仿学习的目标是通过演示模仿专家的行为,而不需要获得明确的奖励信号。一种流行的方法通过逆强化学习(IRL)推断(未知)奖励函数,然后通过强化学习(RL)最大化该奖励函数。然而,通过这些方法学习的策略在实践中非常脆弱,即使由于复合误差引起的小的测试时间扰动也会迅速恶化。我们提出了模仿与规划在测试时(植入),一个新的元算法模仿学习,利用决策时规划,以纠正任何基础模仿政策的复合错误。与现有方法相比,我们在决策时保留了模仿策略和奖励模型,从而受益于这两个组件的学习信号。从经验上讲,我们证明了植入显着优于基准模仿学习方法的标准控制环境和擅长zero-shot泛化时,受到挑战性的扰动测试时间动态。
2022-04-18 cs.AI cs.LG
A Computational Theory of Learning Flexible Reward-Seeking Behavior with Place Cells
University of Electronic Science and Technology of China(电子科技大学)
计算神经科学中一个重要的开放性问题是如何使用各种空间调谐的神经元(如位置细胞)来支持动物的奖励寻求行为的学习。现有的计算模型要么缺乏生物学上的适应性,要么在环境变化时缺乏行为灵活性。在本文中,我们提出了一个计算理论,实现更好的生物相容性的行为灵活性。我们首先训练混合高斯分布来模拟位置细胞的发射场的集合。然后,我们提出了一个Hebbian规则来学习位置细胞之间的突触强度矩阵。该矩阵被解释为连续时间马尔可夫链的转移率矩阵,以生成位置单元的顺序重放。在重放过程中,从位置细胞到中等多刺神经元(MSN)的突触强度通过类似时间差的规则来学习,以存储位置-奖励关联。在重放之后,当动物接近奖励位置时,MSN的激活将增加,因此动物可以沿着MSN激活增加的方向移动以找到奖励位置。我们实现我们的理论到一个高保真的虚拟大鼠在MuJoCo物理模拟器。在复杂的迷宫中,大鼠表现出比实施神经科学启发的强化学习算法(深度Q网络)的大鼠更好的学习效率和行为灵活性。
2022-05-17 cs.AI cs.LG cs.NE
Solving Relational MDPs with Exogenous Events and Additive Rewards
Cycorp Inc.(Cycorp公司);Tufts University(塔夫茨大学);Oregon State University(俄勒冈州立大学)
我们形式化一个简单而自然的子类服务域的关系规划问题,以对象为中心,独立的外源事件和附加奖励捕获,例如,库存控制问题。针对这一子类,我们提出了一个新的符号规划算法,这是第一个算法,具有明确的性能保证关系MDP与外源事件。特别是,在某些技术条件下,我们的规划算法提供了一个单调的最优价值函数的下限。为了支持该算法,我们提出了新的评估和减少技术的广义一阶决策图,一个知识表示的实值函数关系世界状态。我们的规划算法使用一组焦点状态,作为训练集,简化和近似的符号解决方案,因此可以看到执行学习规划。初步的实验评估证明了我们的方法的有效性。
2013-06-27 cs.AI cs.LG
AgentMark: Utility-Preserving Behavioral Watermarking for Agents
Beijing University of Posts and Telecommunications(北京邮电大学);Huaqiao University(华侨大学)
本文提出AgentMark,一种用于代理的行为水印方法,通过在规划决策中嵌入多比特标识符以保持效用,适用于黑盒API和动作层内容水印。
2026-04-24 cs.AI cs.CR
Reinforced Imitative Trajectory Planning for Urban Automated Driving
本文提出一种结合强化学习与模仿学习的多步轨迹规划方法,引入基于Transformer的贝叶斯奖励函数和混合驱动框架,在nuPlan数据集上显著优于基线并媲美最先进方法。
2025-07-16 cs.AI cs.RO
Generative Adversarial Reward Learning for Generalized Behavior Tendency Inference
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Nanyang Technological University(南洋理工大学);Macquarie University(麦考瑞大学)
强化学习的最新进展激发了人们对通过动态交互自适应地学习用户建模的兴趣,例如,在基于强化学习的推荐系统中。在大多数强化学习应用中,奖励函数是一个重要的参数,它可以为优化提供指导。然而,目前基于学习的方法依赖于人工定义的奖励函数,不能适应动态和噪声环境。此外,它们通常使用特定于任务的奖励函数,牺牲了泛化能力。针对上述问题,提出了一种生成式逆强化学习的用户行为偏好建模方法。我们的模型不使用预定义的奖励函数,而是基于区分性演员-评论家网络和Wasserstein GAN自动学习用户行为的奖励。我们的模型提供了一种描述和解释潜在行为倾向的一般方法,我们的实验表明,我们的方法在各种场景下,即交通信号控制,在线推荐系统和扫描路径预测中的表现优于最先进的方法。
2021-05-05 cs.AI cs.IR cs.LG
Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research (IR), A * STAR(新加坡资讯通信研究院(A*STAR));Salesforce Research(Salesforce研究院)
针对LLM推理中的幻觉、规划搜索高延迟及人工标注成本高的问题,提出通过收集轨迹并基于合成过程奖励进行DPO来学习基于规划的推理,其7B模型在逻辑推理基准上超越了GPT-3.5-Turbo。
2024-10-15 cs.AI cs.CL
Driving with Style: Inverse Reinforcement Learning in General-Purpose Planning for Automated Driving
Volkswagen AG(大众汽车公司);Technische Universität Darmstadt(达姆施塔特工业大学)
行为和运动规划在自动驾驶中起着重要的作用。传统上,行为规划器用预定义的行为指示局部运动规划器。由于城市环境中场景的高度复杂性,可能会发生不可预测的情况,其中行为规划者无法匹配预定义的行为模板。最近,已经引入了通用规划器,其结合了行为和局部运动规划。这些通用规划器允许给定单个奖励函数的行为感知运动规划。然而,出现了两个挑战:首先,该函数必须将复杂的特征空间映射到奖励。其次,奖励功能必须由专家手动调整。手动调整此奖励函数成为一项繁琐的任务。在本文中,我们提出了一种方法,依赖于人类驾驶示范自动调整奖励功能。该研究为基于最大熵逆强化学习的通用规划者驾驶风格优化提供了重要的思路。我们评估我们的方法的基础上学习和演示的政策之间的期望值差异。此外,我们比较了人类驱动的轨迹与我们的计划器的最优策略下学习和专家调整的奖励函数的相似性。我们的实验表明,我们能够学习奖励函数超过手动专家调整的水平,没有事先的领域知识。
2020-09-12 cs.AI cs.LG cs.RO
PlanGAN: Model-based Planning With Sparse Rewards and Multiple Goals
Warwick Manufacturing Group(华威制造集团);University of Warwick(华威大学)
稀疏奖励学习仍然是强化学习(RL)中的一个重大挑战,特别是当目标是训练能够实现多个不同目标的策略时。到目前为止,处理多目标,稀疏奖励环境的最成功的方法是无模型RL算法。在这项工作中,我们提出了PlanGAN,一个基于模型的算法,专门设计用于解决多目标任务的环境与稀疏奖励。我们的方法建立在这样一个事实上,即代理收集的任何经验轨迹都包含有关如何实现该轨迹期间观察到的目标的有用信息。我们用它来训练一个条件生成模型(GANs)的集合,以生成合理的轨迹,将代理从当前状态引导到指定的目标。然后,我们将这些想象的轨迹结合到一个新的规划算法中,以尽可能有效地实现预期的目标。PlanGAN的性能已经在许多机器人导航/操作任务上进行了测试,并与一系列无模型强化学习基线进行了比较,包括后见之明经验重放。我们的研究表明,PlanGAN可以实现相当的性能,同时具有大约4-8倍的样本效率。
2020-06-01 cs.AI cs.LG stat.ML
Variance-Based Rewards for Approximate Bayesian Reinforcement Learning
University of Michigan(密歇根大学)
探索-利用困境是强化学习(RL)的核心挑战之一。贝叶斯强化学习通过以环境先验分布的形式为智能体提供信息来解决这个难题;然而,完全贝叶斯规划是棘手的。使用平均MDP进行规划是贝叶斯规划的一种常见近视近似。我们推导出一种新的奖励奖金,这是一个功能的后验分布的环境,当添加到奖励计划与平均MDP,结果在一个代理,有效地探索。虽然我们的方法是类似于现有的方法,当给定一个无信息或非结构化的先验,与现有的方法不同,我们的方法可以利用结构化的先验。我们证明了我们的方法导致多项式样本的复杂性,并实证证明了其在结构化探索任务中的优势。
2012-03-15 cs.AI cs.LG stat.ML
On the Generalization Gap in LLM Planning: Tests and Verifier-Reward RL
Department of Informatics, Bioengineering, Robotics and Systems Engineering, University of Genoa(信息学、生物工程、机器人学和系统工程系,热那亚大学);AIKO S.r.l.(AIKO公司)
本研究发现微调LLM在规划任务中存在显著的泛化差距,通过三种诊断干预揭示模型依赖领域特定模式而非可转移能力。
2026-01-20 cs.AI cs.LG
Pedestrian-Aware LLM-Driven Behavioral Planning for Autonomous Vehicles
The University of Osaka, Japan(大阪大学,日本);RIKEN Center for Computational Science, Japan(日本计算科学研究中心);Tanta University, Egypt(埃及塔塔大学)
本文提出了一种基于大型语言模型的决策框架,用于自动驾驶车辆在复杂城市环境中考虑行人行为,通过自然语言推理提示将结构化场景观测转换为语言推理,从而生成安全的驾驶决策。
2026-05-16 cs.AI cs.RO
Deceptive Reinforcement Learning for Privacy-Preserving Planning
The University of Melbourne(墨尔本大学)
在本文中,我们研究了欺骗性强化学习的问题,以保护奖励函数的隐私。强化学习是根据探索行为获得的奖励来寻找行为策略的问题。强化学习的一个关键要素是奖励函数,它决定了给予多少奖励(负或正)以及何时给予。然而,在某些情况下,我们可能希望将奖励函数保持私有;也就是说,使观察者难以确定所使用的奖励函数。我们定义了隐私保护强化学习的问题,并提出了两个解决这个问题的模型。这些模型是基于伪装--一种“隐藏真相”的欺骗形式。我们通过计算和人类行为实验来评估我们的模型。结果表明,由此产生的政策确实是欺骗性的,参与者可以确定真正的奖励功能不可靠的诚实代理。
2021-02-05 cs.AI cs.LG cs.MA
Fine-tuning Behavioral Cloning Policies with Preference-Based Reinforcement Learning
Department of Informatics, University of Zurich(苏黎世大学信息学院);ETH AI Center(ETH人工智能中心)
提出两阶段框架BRIDGE,先从无奖励专家数据学习安全初始策略,再用基于偏好的人类反馈在线微调,理论分析与实验均证明其能显著降低遗憾并提升样本效率。
2025-10-13 cs.AI cs.LG
Multi-Objective Planning with Contextual Lexicographic Reward Preferences
Oregon State University(俄勒冈州立大学)
提出CLMDP框架,支持根据上下文动态调整字典序目标偏好,采用贝叶斯方法从专家轨迹推断状态-上下文映射,并将各目标顺序策略融合为单一无环上下文感知策略,在仿真和移动机器人上验证有效。
2025-11-03 cs.AI cs.RO cs.SY
DecoupleSearch: Decouple Planning and Search via Hierarchical Reward Modeling
Tongyi Lab(通义实验室);Alibaba Group(阿里巴巴集团)
本文提出DecoupleSearch框架,通过双值模型解耦规划与搜索过程,利用蒙特卡洛树搜索评估每一步的质量,并通过分层束搜索迭代优化规划和搜索候选,验证了方法的有效性。
2026-05-18 cs.AI cs.CL cs.IR
UBP2: Uncertainty-Balanced Preference Planning for Efficient Preference-based Reinforcement Learning
Learning, Embodied Autonomy, and Forecasting (LEAF) Lab, University of Toronto(学习、具身自主与预测(LEAF)实验室,多伦多大学)
提出UBP2方法,通过联合推理奖励、动力学和值函数的不确定性来主动引导探索,在Meta-World基准上显著提高了样本效率。
2026-06-23 cs.AI cs.LG cs.RO