Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California(南加州大学);Google Brain(谷歌大脑)
原则上,强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能,使它们能够在现实世界的复杂性和多样性中发挥作用。然而,训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是,多个机器人可以相互分享经验,从而共同学习策略。在这项工作中,我们探索分布式和异步策略学习作为一种手段,以实现泛化和提高训练时间的挑战性,现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索,并使用它来展示集体策略学习基于视觉的开门任务,使用四个机器人。我们表明,它实现了更好的泛化,利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
World Models via Policy-Guided Trajectory Diffusion
提出非自回归的世界模型PolyGRAD,利用策略动作分布梯度引导扩散模型单次生成完整on-policy轨迹,有效控制误差累积并降低计算需求,在MuJoCo上实现了高性能的想象中强化学习策略训练。
2024-03-27 cs.AI cs.LG
DGPO: Discovering Multiple Strategies with Diversity-Guided Policy Optimization
Carnegie Mellon University(卡内基梅隆大学);Paradigm Inc.(第四范式公司);Tsinghua University(清华大学);Microsoft Research(微软研究院)
本文提出DGPO算法,通过基于信息论多样性目标的内在奖励和约束优化,在单次运行中利用共享策略网络高效发现多种多样化策略,在获得可比奖励的同时提升了策略多样性与样本效率。
2024-01-05 cs.AI cs.LG
Optimal Control-Based Baseline for Guided Exploration in Policy Gradient Methods
School of Computing Science, Simon Fraser University(西蒙菲莎大学计算科学学院);University of Melbourne(墨尔本大学)
本文提出一种基于最优控制值函数的基线,用于深度强化学习策略梯度方法,在策略学习中提供引导探索,并在机器人稀疏奖励任务中验证其有效性。
2024-11-06 cs.AI cs.LG cs.RO
LLM-Guided Reinforcement Learning: Addressing Training Bottlenecks through Policy Modulation
Lehigh University(理海大学)
本文提出一种大语言模型引导的策略调制框架,通过LLM识别关键状态、提供动作建议并分配隐式奖励,无需额外训练或人工干预,在标准RL基准上超越最先进基线,有效解决训练瓶颈。
2025-05-27 cs.AI cs.LG
A Policy-Guided Imitation Approach for Offline Reinforcement Learning
JD Technology(京东科技);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
提出策略引导离线RL方法POR,将策略分解为引导策略与执行策略,以监督解耦方式训练,实现状态组合性与分布外泛化,在D4RL基准上达到SOTA。
2023-04-05 cs.AI cs.LG
Trust Region-Guided Proximal Policy Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
近端策略优化(PPO)是最受欢迎的深度强化学习(RL)方法之一,在各种具有挑战性的任务中实现了最先进的性能。然而,作为一种无模型强化学习方法,PPO的成功在很大程度上依赖于其探索性策略搜索的有效性。本文对PPO的探索行为进行了深入分析,指出PPO容易遭受探索不足的风险,尤其是在初始化不良的情况下,可能导致训练失败或陷入不良局部最优。为了解决这些问题,我们提出了一种新的策略优化方法,命名为信任区域引导的PPO(TRGPPO),自适应调整信任区域内的裁剪范围。我们正式表明,这种方法不仅提高了信任区域内的探索能力,但享有更好的性能界相比,原来的PPO以及。大量的实验验证了该方法的优越性。
2019-11-08 cs.AI cs.LG stat.ML
CUP: Critic-Guided Policy Reuse
Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学)
重用以前的策略的能力是人类智能的一个重要方面。为了实现高效的策略重用,深度强化学习(DRL)代理需要决定何时重用以及重用哪些源策略。以前的方法通过向底层算法引入额外的组件来解决这个问题,例如源策略上的分层高级策略,或者源策略对目标任务的价值函数的估计。然而,训练这些组件会导致优化的非平稳性或沉重的采样成本,显着削弱了转移的有效性。为了解决这个问题,我们提出了一种新的策略重用算法称为Critic-gUided Policy reuse(CUP),它避免了训练任何额外的组件,并有效地重用源策略。CUP利用评论家,一个共同的组成部分,在演员-评论家的方法,评估和选择源政策。在每个状态下,CUP选择比当前目标策略具有最大一步改进的源策略,并形成指导策略。理论上保证了引导策略是对当前目标策略的单调改进。然后对目标策略进行正则化,以模仿指导策略进行有效的策略搜索。实验结果表明,CUP实现了有效的传输,并显着优于基线算法。
2022-10-15 cs.AI
Robust Driving Policy Learning with Guided Meta Reinforcement Learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);Stanford University(斯坦福大学);Honda Research Institute USA(美国本田研究所)
针对深度强化学习驾驶策略易过拟合固定社会车辆行为的问题,提出用引导元强化学习训练社会车辆元策略,再用其提升自车策略鲁棒性,在无管制T路口实现了对分布外社会车辆行为的良好泛化。
2023-07-19 cs.AI cs.CV cs.LG
Guided Dialog Policy Learning without Adversarial Learning in the Loop
University of Amsterdam(阿姆斯特丹大学);Amazon(亚马逊);Microsoft Research(微软研究院)
强化学习(RL)方法已经成为训练高效和有效的对话策略的流行选择。然而,这些方法遭受稀疏和不稳定的奖励信号返回的用户模拟器只有当对话结束。此外,奖励信号是由人类专家手动设计的,这需要领域知识。最近,已经提出了许多对抗学习方法来学习奖励函数以及对话策略。然而,为了在运行中交替地更新对话策略和奖励模型,我们限于基于策略梯度的算法,例如REINFORCE和PPO。此外,对话代理和奖励模型的交替训练很容易陷入局部最优或导致模式坍塌。为了克服上述问题,我们建议将对抗训练分解为两个步骤。首先,我们用辅助对话生成器训练策略学习器,然后将导出的奖励模型结合到通用RL方法中以指导对话策略学习。这种方法适用于on-policy和off-policy RL方法。基于我们广泛的实验,我们可以得出这样的结论:(1)实现了显着的任务成功率使用的政策和政策外RL方法;(2)有潜力将知识从现有的领域转移到一个新的领域。
2020-09-16 cs.AI cs.LG
Guided Policy Optimization under Partial Observability
School of Advanced Manufacturing and Robotics, Peking University(北京大学先进制造与机器人学院);School of Computer Science, Peking University(北京大学计算机科学学院)
本文提出GPO框架,通过联合训练指导器和学习器,在部分可观察环境中实现与直接RL相当的最优性能,有效解决现有方法的局限性。
2026-03-13 cs.AI cs.LG cs.RO
Guided Policy Search for Parameterized Skills using Adverbs
Brown University(布朗大学)
我们提出了一种方法,使用副词短语调整技能参数,通过学习副词技能的背景。这些接地允许代理使用由人类提供的副词反馈来直接更新技能策略,其方式类似于传统的本地策略搜索方法。我们表明,我们的方法可以作为这些政策搜索方法的替代品时,密集的奖励环境是不可用的,但人类的语言反馈。我们证明了改进的样本效率在两个实验中的现代政策搜索方法。
2021-10-23 cs.AI cs.CL cs.HC
Guided Policy Exploration for Markov Decision Processes using an Uncertainty-Based Value-of-Information Criterion
University of Florida(佛罗里达大学);United States Naval Surface Warfare Center PCD(美国海军水面作战中心巴拿马城分部)
在具有许多动作-状态对的环境中进行强化学习具有挑战性。争论的焦点是彻底搜索政策空间所需的事件数量。大多数传统的算法以随机的方式解决这个搜索问题。这可能会在早期培训阶段留下大部分未访问的策略空间。在本文中,我们提出了一个基于不确定性的,信息理论的方法进行引导随机搜索,更有效地覆盖政策空间。我们的方法是基于信息的价值,一个标准,提供了预期的成本和搜索过程的粒度之间的最佳权衡。信息的价值产生了一个随机的例程,用于在学习过程中选择动作,可以以从粗到细的方式探索策略空间。我们增加了这个标准与状态转换的不确定性因素,引导搜索过程到以前未探索的区域的政策空间。
2018-02-05 cs.AI
Analytic Energy-Guided Policy Optimization for Offline Reinforcement Learning
Jilin University(吉林大学)
针对离线强化学习中扩散模型中间能量难以估计的问题,提出解析能量引导策略优化(AEPO),通过闭式解与神经网络逼近对数期望,在D4RL基准上超越多种基线方法。
2025-05-03 cs.AI cs.LG
Offline Model-Based Optimization via Policy-Guided Gradient Search
School of EECS, Washington State University(华盛顿州立大学电气工程与计算机科学学院)
本文将离线优化重构为离线强化学习问题,提出策略引导梯度搜索,使搜索策略直接从离线数据学习,并可与现有代理模型结合显著提升性能。
2024-05-08 cs.AI cs.LG
Adaptive Advantage-Guided Policy Regularization for Offline Reinforcement Learning
National University of Defense Technology(国防科技大学);Shanghai Institute of Microsystem and Information Technology(上海微系统与信息技术研究所);Chinese Academy of Sciences(中国科学院);Delft University of Technology(代尔夫特理工大学)
针对离线强化学习中分布外问题导致现有策略正则化方法过度保守的缺陷,提出结合VAE的自适应优势引导策略正则化方法A2PR,理论上保障策略提升,在D4RL等基准上取得最优性能。
2024-07-15 cs.AI cs.LG cs.RO
Saliency-Guided Representation with Consistency Policy Learning for Visual Unsupervised Reinforcement Learning
SKL-MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所复杂系统管理与控制国家重点实验室);Pengcheng Laboratory(鹏城实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出SRCP框架,通过显著性引导动态任务和一致性策略提升视觉无监督强化学习的零样本泛化能力,改进了传统SR方法在高维视觉环境中的表现。
2026-04-07 cs.AI cs.CV
Guided Uncertainty-Aware Policy Optimization: Combining Learning and Model-Based Strategies for Sample-Efficient Policy Learning
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校);Nvidia(英伟达);University of Toronto(多伦多大学);University of Sydney(悉尼大学);University of Washington(华盛顿大学)
传统的机器人方法依赖于精确的环境模型,如何执行任务的详细描述,以及强大的感知系统来跟踪当前状态。另一方面,强化学习方法可以直接从原始感官输入操作,只有一个奖励信号来描述任务,但样本效率极低且脆弱。在这项工作中,我们将基于模型的方法的优势与基于学习的方法的灵活性相结合,以获得一种通用方法,该方法能够克服机器人感知/驱动管道中的不准确性,同时需要与环境的最小交互。这是通过利用不确定性估计将空间划分为给定的基于模型的政策可靠的区域和可能存在缺陷或定义不明确的区域来实现的。在这些不确定的地区,我们表明,本地学习的政策可以直接与原始的感官输入。我们测试我们的算法,引导不确定性感知策略优化(GUAPO),在现实世界中的机器人执行钉插入。视频可在https://sites.google.com/view/guapo-rl上获得
2020-05-26 cs.AI cs.LG cs.RO
Learning Robust Manipulation Skills with Guided Policy Search via Generative Motor Reflexes
RWTH Aachen University(亚琛工业大学)
引导策略搜索使机器人能够有效地学习复杂操作任务的控制策略。其中,控制策略被表示为基于状态导出机器人动作的高维神经网络。然而,由于指导策略搜索中的真实世界轨迹样本数量很少,因此所得到的神经网络仅在真实世界交互所探索的轨迹分布的邻域中是鲁棒的。在本文中,我们提出了一种新的策略表示称为生成运动反射,这是能够在更广泛的状态空间生成强大的行动相比,以前的方法。与先前的状态动作策略相比,生成性运动反射将状态映射到状态依赖运动反射的参数,然后用于导出动作。鲁棒性是通过对许多状态产生类似的运动反射来实现的。我们评估所提出的方法在模拟和现实世界的操作任务,包括接触丰富的钉孔任务。使用这些评估任务,我们表明,表示为生成运动反射的政策导致强大的操作技能,也探索轨迹分布之外,与以前的方法相比,训练需求更少。
2019-02-19 cs.AI cs.RO
Threat-guided Policy-aware Scene Perturbation for Safe Autonomous Driving with Online Reinforcement Learning
Yinwang Intelligent Technology Co., Ltd(银网智能科技有限公司)
本文提出TPSP方法,通过策略感知场景编码器与威胁引导优化策略,提升在线RL安全自动驾驶的学习效率,在NAVSIM v2数据集上用约400万公里模拟数据实现出色安全性能。
2026-08-12 cs.AI
GoldenStart: Q-Guided Priors and Entropy Control for Distilling Flow Policies
本文提出GoldenStart方法,通过Q引导先验和显式熵控制,改进流匹配策略的生成起点和探索能力,实现在连续控制任务中高效且具有探索性的策略。
2026-03-15 cs.AI cs.LG
XAI-Guided Fourier Domain Generalisation for Pure-Simulation Sim-to-Real Deep Reinforcement Learning
City St George’s, University of London(伦敦城市圣乔治大学)
针对纯仿真模拟到真实深度强化学习的性能退化问题,提出XFD框架,通过XAI引导傅里叶域干预构建鲁棒视觉域,实验显示其在行驶距离、奖励及未见过地图上表现优于基线。
2026-10-14 cs.AI cs.CV
Q-Learning for Continuous Actions with Cross-Entropy Guided Policies
Samsung Research(三星研究院);Princeton University(普林斯顿大学)
非策略强化学习(RL)是许多问题领域的一种重要方法,例如机器人,其中收集数据的成本很高,因此策略方法很难处理。将Q学习应用于连续值动作域的标准方法涉及迭代地对Q函数进行采样以找到好的动作(例如通过爬山),或者通过与Q函数同时学习策略网络(例如DDPG)。这两种方法都在稳定性、速度和准确性之间进行权衡。我们提出了一种新的方法,称为交叉熵指导政策,或CGP,从这两类技术的灵感。CGP旨在将迭代采样策略的稳定性和性能与策略网络的低计算成本相结合。我们的方法使用交叉熵方法(CEM)使用迭代采样来训练Q函数,同时训练策略网络来模仿CEM的采样行为。我们证明,我们的方法是更稳定的训练比国家的最先进的政策网络的方法,同时保持等效的推理时间计算成本,并实现有竞争力的总回报的标准基准。
2019-07-01 cs.AI
DNAct: Diffusion Guided Multi-Task 3D Policy Learning
UC San Diego(加州大学圣迭戈分校)
本文提出语言条件化多任务3D策略框架DNAct,结合神经渲染预训练与扩散训练,仅用少量演示即可提升策略泛化性,成功率超现有NeRF类方法30%以上。
2024-03-08 cs.AI cs.CV cs.RO
Tree-OPO: Off-policy Monte Carlo Tree-Guided Advantage Optimization for Multistep Reasoning
Technical University of Munich(慕尼黑工业大学);Huawei R&D Munich(华为慕尼黑研发中心);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
Tree-OPO通过引入分阶段优势估计框架,利用MCTS生成轨迹优化策略学习,提升数学推理任务的准确性与样本效率。
2025-12-21 cs.AI cs.CL cs.LG
Diffusion-Guided Uncertainty-Aware Delayed Policy Optimization
The Key Laboratory of Smart Manufacturing in Energy Chemical Process, Ministry of Education, East China University of Science and Technology, Shanghai, China(能源化工过程智能制造重点实验室,教育部,东华大学,上海,中国);The School of Mathematics, East China University of Science and Technology, Shanghai, China(东华大学数学学院,上海,中国)
针对现实环境强化学习因延迟反馈性能严重下降问题,提出DUPO方法。用扩散模型明确延迟状态与当前状态关系,利用差异估计加权延迟策略,实验表明该方法优于现有方法。
2026-07-07 cs.AI
Sampling Efficient Deep Reinforcement Learning through Preference-Guided Stochastic Exploration
Nanyang Technological University(南洋理工大学)
由深度Q网络(DQN)算法解决的大量实际工作表明,随机策略尽管简单,但却是最常用的探索方法。然而,大多数现有的随机探索方法要么探索新的行动,无论Q值或不可避免地引入偏差到学习过程中耦合的采样与Q值。在本文中,我们提出了一种新的偏好引导的$ε$贪婪探索算法,可以有效地学习动作分布符合景观的Q值DQN,而不引入额外的偏见。具体来说,我们设计了一个双架构,由两个分支组成,其中一个是DQN的副本,即Q分支。另一个分支,我们称之为偏好分支,学习DQN隐式遵循的动作偏好。我们从理论上证明了政策改进定理适用于偏好引导的$ε$ -贪婪政策,并通过实验表明,推断出的动作偏好分布与相应的Q值的景观一致。因此,偏好引导的$ε$贪婪探索激励DQN代理采取不同的动作,即,具有较大Q值的动作可以被更频繁地采样,而具有较小Q值的动作仍然有机会被探索,从而鼓励探索。我们评估所提出的方法与四个著名的DQN变种在九个不同的环境。大量的结果证实了我们所提出的方法在性能和收敛速度方面的优越性。索引术语-偏好引导的探索,随机策略,数据效率,深度强化学习,深度Q学习。
2022-06-20 cs.AI cs.LG cs.RO
Guided Exploration with Proximal Policy Optimization using a Single Demonstration
Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚研究与高等教育机构)
通过探索解决稀疏奖励任务是深度强化学习的主要挑战之一,特别是在三维,部分可观察的环境中。重要的是,本文提出的算法使用单个人类演示来解决难以探索的问题。我们训练一个结合示范和自己的经验来解决可变初始条件的问题的代理。我们采用这种思想,并将其与近端策略优化(PPO)。智能体能够通过重放自己过去的轨迹来提高性能,并根据获得的奖励和轨迹的最大值对它们进行优先级排序,从而解决更困难的问题。我们将该算法的不同变体与动物AI奥运会环境中的一组硬探索任务的行为克隆进行了比较。据我们所知,在三维环境中学习一项具有可比难度的任务之前,从未考虑过只使用一个人类演示。
2021-06-16 cs.AI
STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent Hunyuan(腾讯 Hunyuan)
针对GRPO等RL算法中策略熵崩溃问题,提出STARE方法,通过惊讶度分位数识别熵关键令牌并重加权其优势,结合目标熵闭环门控稳定熵,在1.5B-32B模型和多种任务上实现稳定训练,AIME24/25准确率提升4%-8%。
2026-06-18 cs.AI cs.CL cs.LG
AutoCedar: An Agentic Framework for Verifier-Guided Access Control Policy Synthesis
研究针对大语言模型将自然语言需求转化为访问控制代码存在的问题,构建验证器引导系统AutoCedar,先转化需求为可检查目标,再合成Cedar策略,通过分解意图原子等实现端到端策略编写,在多任务和案例中表现良好。
2026-11-17 cs.AI cs.CR cs.SE
Keep Policy Gradient in Charge: Sibling-Guided Credit Distillation for Long-Horizon Tool-Use Agents
Amazon Web Services(亚马逊云服务)
针对长程工具使用强化学习中轨迹级优势信号稀疏的问题,提出兄弟引导信用蒸馏(SGCD),通过动态采样成功与失败轨迹、外部LLM对比生成逐步信用参考,实现密集信用分配,在AppWorld和τ³-airline任务上显著提升性能。
2026-07-15 cs.AI cs.CL cs.LG
fg-expo: Frontier-guided exploration-prioritized policy optimization via adaptive kl and gaussian curriculum
OPPO AI Center(OPPO人工智能中心)
本文提出FG-ExPO算法,通过自适应KL缩放和高斯课程采样提升策略优化效率,实验表明其在数学推理任务中性能显著优于GRPO。
2026-05-12 cs.AI cs.CL cs.LG
Test-Time Self-Evolving GUI Visual Grounding via Reflection-Guided On-Policy Self-Distillation
针对现有GUI视觉定位模型部署后难适配未见界面且无法反思失败探索的问题,提出测试时自演进框架,结合MLLM反思器、反思引导的在线策略自蒸馏等方法,在六个基准上平均提升7.4%准确率,完善了GUI智能体自演进能力。
2026-08-12 cs.AI cs.CL cs.CV
Guided Meta-Policy Search
University of California, Berkeley(加州大学伯克利分校)
强化学习(RL)算法在复杂任务上已经展示了有希望的结果,但由于它们从头开始学习,因此通常需要不切实际的样本数量。Meta-RL旨在通过利用以前任务的经验来解决这一挑战,以便更快地解决新任务。然而,在实践中,这些算法在元训练过程中通常也需要大量的策略经验,这使得它们在许多问题中不切实际。为此,我们建议以联邦的方式学习强化学习过程,其中各个非策略学习者可以解决各个元训练任务,然后将这些解决方案合并到单个元学习者中。由于中央元学习者通过模仿单个任务的解决方案来学习,因此它可以适应标准的元RL问题设置或混合设置,其中一些或所有任务都提供了示例演示。前者的结果是一种方法,可以在元训练期间利用为先前任务学习的策略,而无需大量的策略数据,而后者在演示很容易提供的情况下特别有用。在许多连续控制元RL问题,我们证明了元RL样本效率的显着改善相比,以前的工作,以及扩展到域的视觉观察的能力。
2020-10-27 cs.AI cs.LG cs.RO
Appraisal-Guided Proximal Policy Optimization: Modeling Psychological Disorders in Dynamic Grid World
TKM College of Engineering(TKM工程学院)
本研究提出基于评价理论的AG-PPO算法,在动态网格世界中通过奖励塑造策略模拟焦虑症和强迫症等心理障碍,验证了该方法在泛化能力和症状评估上优于标准PPO。
2024-07-29 cs.AI
Safe Driving via Expert Guided Policy Optimization
SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学);Centre for Perceptual and Interactive Intelligence(感知与交互智能中心)
在学习驾驶等常见技能时,初学者通常会有领域专家支持,以确保学习过程的安全。我们制定这样的学习计划下专家在回路强化学习,其中监护人被引入,以保障探索的学习代理。监护人在不确定的环境中进行充分探索的同时,在危险的情况下进行干预,并展示正确的行动,以避免潜在的事故。因此,ERL使探索和专家的部分演示作为两个训练源。在此基础上,提出了一种新的专家引导策略优化(EGPO)方法,该方法将监护人集成到强化学习的循环中。监护人是由一个专家的政策,以产生示范和开关功能,以决定何时进行干预。特别是,约束优化技术被用来解决琐碎的解决方案,代理人故意表现得危险,欺骗专家接管。离线RL技术进一步用于从专家生成的部分演示中学习。安全驾驶实验表明,我们的方法实现了优越的训练和测试时的安全性,优于基线的样本效率有很大的利润,并保留了在测试时看不见的环境的推广。演示视频和源代码可在https://decisionforce.github.io/EGPO/上获得
2021-10-30 cs.AI cs.RO
SG-WAM: Self-Guided World Modeling in Geometry-Aware Policy Space
SG-WAM是自引导的几何感知世界动作模型框架,通过策略衍生空间联合优化动态预测等,在LIBERO等数据集上实现高成功率,性能优于基线。
2026-09-09 cs.CV cs.RO
PGPO: Potential-Guided Policy Optimization for Multi-Turn Agentic Tasks
Fudan University(复旦大学);Zuoyebang Education Technology(作业帮教育科技);BEDI Cloud(贝迪云)
针对多轮智能体任务中基于组的RL信用分配粗糙问题,提出PGPO方法,通过估计状态潜在值推导动作优势实现跨轨迹信用传播,在ALFWorld和WebShop上性能优于相关方法,且训练开销低。
2026-09-03 cs.AI
Active Object Perceiver: Recognition-guided Policy Learning for Object Searching on Mobile Robots
Arizona State University(亚利桑那州立大学);Adobe Systems, Inc.(奥多比系统公司);Aibee
我们研究的问题,学习的导航策略的机器人积极寻找感兴趣的对象在室内环境中,仅仅从它的视觉输入。虽然场景驱动的视觉导航已经得到了广泛的研究,以前的努力学习导航策略的机器人找到对象是有限的。这个问题通常比目标场景查找更具挑战性,因为目标对象在视图中可以非常小,并且可以处于任意姿势。我们从主动感知者的角度来处理这个问题,并提出了一个新的框架,该框架集成了基于深度神经网络的对象识别模块和基于深度强化学习的动作预测机制。为了验证我们的方法,我们在仿真数据集(AI 2-THOR)和具有物理机器人的真实环境中进行了实验。我们进一步提出了一个新的衰减奖励函数来学习特定于对象搜索任务的控制策略。实验结果验证了该方法的有效性,在平均轨迹长度和成功率方面均优于竞争方法。
2018-07-30 cs.AI cs.RO
Diverse Video Generation with Determinantal Point Process-Guided Policy Optimization
Virginia Tech(弗吉尼亚理工大学)
本文提出DPP-GRPO框架,结合DPP和GRPO理论,通过显式奖励提升视频生成的多样性,同时保持高质量和提示一致性。
2025-11-25 cs.CV
PRISMA: Reinforcement Learning Guided Two-Stage Policy Optimization in Multi-Agent Architecture for Open-Domain Multi-Hop Question Answering
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);The University of Western Australia(西澳大学);Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
PRISMA通过两阶段组相对策略优化,结合推理引导协作,解决多跳问答中的检索崩溃和学习不稳定问题,实现高性能和稳定部署。
2026-01-09 cs.AI
Milestone-Guided Policy Learning for Long-Horizon Language Agents
Zhejiang University(浙江大学);Baidu Inc.(百度公司)
本文提出BEACON框架,通过任务的组合结构实现精准信用分配,提升长周期语言代理的训练效果,在多个基准测试中优于现有方法。
2026-05-07 cs.AI cs.CL
STITCH-OPE: Trajectory Stitching with Guided Diffusion for Off-Policy Evaluation
Department of Computer Science, University of Toronto(多伦多大学计算机科学系);University of Toronto Robotics Institute(多伦多大学机器人研究所);Toyota Research Institute(丰田研究院);Vector Institute(向量研究所)
STITCH-OPE通过引导扩散生成长周期轨迹,有效降低OPE中的方差,提升在高维空间中的评估性能。
2026-08-28 cs.LG cs.RO
Teacher-Guided Policy Optimization for On-Policy Reasoning Distillation under Large Policy Divergence
School of Computer Science and Engineering, Northeastern University, China(东北大学计算机科学与工程学院);Tsinghua University(清华大学);Meituan(美团);Meta AI;NiuTrans Research, Shenyang, China(新译研究院,沈阳,中国)
针对在线蒸馏中教师与学生策略差异大时反向KL监督失效的问题,提出教师引导策略优化(TGPO),通过教师直接指导学生上下文的token级生成并结合RLVR奖励,在推理基准上优于现有方法。
2026-11-10 cs.AI cs.LG
Policy-Guided Heuristic Search with Guarantees
DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
使用策略和启发式函数来引导搜索在对抗性问题中非常有效,正如AlphaGo及其后继者所证明的那样,它们基于PUCT搜索算法。虽然PUCT也可以用来解决单智能体确定性问题,但它缺乏对搜索工作的保证,并且在实践中计算效率低下。将A* 算法与学习的启发式函数相结合往往在这些领域中工作得更好,但A* 及其变体不使用策略。此外,使用A* 的目的是找到最小成本的解决方案,而我们则寻求最小化搜索损失(例如,搜索步骤的数量)。LevinTS由策略指导,并提供与策略质量相关的搜索步骤数量的保证,但它不使用启发式函数。在这项工作中,我们介绍了政策指导的启发式搜索(PHS),一种新的搜索算法,使用一个启发式函数和一个政策,并有理论保证的搜索损失,涉及的启发式和政策的质量。我们经验表明,从商业游戏“见证人”的PHS,使快速学习的政策和启发式功能,并与A*,加权A*,贪婪的最佳优先搜索,LevinTS和PUCT的问题解决的数量和搜索时间在所有三个域测试方面相比毫不逊色的滑块难题,推箱子,和一个难题。
2021-03-21 cs.AI cs.LG
Guided Policy Search as Approximate Mirror Descent
University of Washington(华盛顿大学)
引导策略搜索算法可用于优化复杂的非线性策略,如深度神经网络,而无需直接计算高维参数空间中的策略梯度。相反,这些方法使用监督学习来训练策略以模仿“教师”算法,例如轨迹优化器或以轨迹为中心的强化学习方法。引导策略搜索方法通过构造提供了渐近局部收敛保证,但不清楚在有限的迭代次数内策略改进了多少。我们表明,指导政策搜索算法可以被解释为一个近似的变形镜像下降,在约束流形上的投影是不准确的。我们推导出一种新的指导策略搜索算法,该算法更简单,并在简化的凸和线性设置中提供了吸引人的改进和收敛保证,并表明在更一般的非线性设置中,投影步骤中的误差可以有界。我们提供了几个模拟机器人导航和操作任务的实证结果,表明我们的方法是稳定的,并实现了类似或更好的性能相比,以前的指导政策搜索方法,具有更简单的制定和更少的超参数。
2016-07-15 cs.LG cs.RO
OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning
UNC Chapel Hill(UNC夏洛特山分校)
提出OGLS-SD框架,通过结果奖励校准教师对数几率,解决在线自蒸馏中师生响应模式不匹配导致的训练不稳定问题,提升数学推理性能。
2026-05-29 cs.AI cs.LG
Learning to Score Behaviors for Guided Policy Optimization
UC Berkeley(加州大学伯克利分校);University of Oxford(牛津大学);Columbia University(哥伦比亚大学);NYU(纽约大学);Google Brain Robotics(谷歌大脑机器人团队)
我们引入了一种新的方法来比较强化学习政策,使用Wasserstein距离(WD)在一个新定义的潜在行为空间。我们表明,通过利用WD的双重制定,我们可以学习分数函数的政策行为,反过来可以用来引导政策优化(或远离)(非)所需的行为。结合平滑WD,对偶公式使我们能够设计出有效的算法,通过WD正则化器采取随机梯度下降步骤。我们将这些正则化到两个新的政策算法,行为引导的策略梯度和行为引导的演化策略,我们证明可以在各种具有挑战性的环境中优于现有的方法。我们还提供了一个开源的demo。
2020-03-04 cs.LG stat.ML
Investigating Robot Control Policy Learning for Autonomous X-ray-guided Spine Procedures
Johns Hopkins University(约翰霍普金斯大学);Technical University of Munich(慕尼黑技术大学);Johns Hopkins School of Medicine(约翰霍普金斯医学院)
本文研究基于模仿学习的机器人控制策略在稀疏输入(双平面X光)下进行椎体成形术中的可行性,通过模拟环境训练策略实现基于视觉的套管针迭代对齐,首次尝试成功率达68.5%,并展示了向复杂解剖结构和真实X光的迁移能力,但存在入口点精度不足等局限。
2026-05-22 cs.AI cs.CV cs.LG
Guided Dialog Policy Learning: Reward Estimation for Multi-Domain Task-Oriented Dialog
Tsinghua University(清华大学)
对话策略决定了面向任务的对话系统的响应内容和响应方式,对有效的对话起着至关重要的作用。许多研究应用强化学习来学习具有奖励功能的对话策略,这需要精心设计和预先指定的用户目标。随着跨多个领域处理复杂目标的需求不断增长,这种手动设计的奖励功能无法负担处理现实世界任务的复杂性。为此,我们提出了引导对话策略学习,这是一种基于对抗性逆强化学习的新型算法,用于多领域面向任务的对话中的联合奖励估计和策略优化。所提出的方法估计奖励信号,并推断用户的目标,在对话会话。奖励估计器评估状态-动作对,以便它可以在每个对话回合指导对话策略。在多域对话数据集上的大量实验表明,由学习的奖励函数指导的对话策略比最先进的基线实现了显着更高的任务成功率。
2019-08-28 cs.CL cs.LG
StepCAD: Mesh-to-CAD Code Generation via LLM Policy and Geometry-Guided Search
Massachusetts Institute of Technology(麻省理工学院)
StepCAD提出一种结合状态条件CAD策略与IoU引导树搜索的生成优化方法,从网格恢复可执行CAD程序,并引入含150万程序的数据集,在重建基准上实现最高87.2%的相对IoU提升。
2026-10-06 cs.CV cs.LG
Policy4OOD: A Knowledge-Guided World Model for Policy Intervention Simulation against the Opioid Overdose Crisis
University of Notre Dame, South Bend, USA(南达科他大学)
提出Policy4OOD,一种知识引导的时空世界模型,通过联合编码政策知识图谱、空间依赖和时间序列,实现政策干预的预测、反事实推理和优化,并在2019-2024年美国州级数据上验证了其有效性。
2026-06-23 cs.AI cs.LG cs.SI
OPERA: Offline Policy-guided Expert Routing and Adaptation for Universal Biomedical Image Analysis
University of Washington(华盛顿大学);Delft University of Technology(代尔夫特理工大学);Xiamen University(厦门大学)
研究针对生物医学图像分析中分布变化阻碍模型部署的问题,提出OPERA多智能体集成框架,通过离线策略学习专家权重分配,结合多种机制协调智能体,经多数据集评估,有效提升性能与校准质量,为可部署生物医学AI提供实用路径。
2026-07-29 cs.AI cs.CV cs.LG
Physics-Guided Policy Optimization with Self-Distillation
Amazon(亚马逊)
针对自蒸馏策略优化中固定步长导致训练不稳定的问题,提出受粘性流体动力学启发的物理引导策略优化(PGPO),通过互信息估计动态调整步长,在Science-QA数据集上提升性能并保持训练稳定性。
2026-06-02 cs.AI cs.LG