Sample-efficient Nonstationary Policy Evaluation for Contextual Bandits
Microsoft Research(微软研究院);Yahoo! Labs(雅虎实验室)
我们提出并证明了一个新的离线策略评估器的探索学习设置,这是优于以前的评估器的属性。特别是,它同时正确地结合了重要性加权,双稳健评估和非平稳政策评估方法的技术。此外,我们的方法允许通过仔细控制偏差方差权衡来生成更长的历史,并通过结合目标策略的随机性信息来进一步降低方差。综合和现实世界的探索学习问题的经验证据表明,新的评估成功地统一了以前的方法,并使用信息的数量级更有效。
2012-10-16 cs.LG stat.ML
Graph Convolutional Policy Network for Goal-Directed Molecular Graph Generation
Stanford University(斯坦福大学)
生成新的图结构,优化给定的目标,同时遵守一些给定的基本规则是化学,生物学和社会科学研究的基础。这在分子图生成任务中尤为重要,其目标是发现具有所需性质(如药物相似性和合成可及性)的新分子,同时遵守化学价等物理定律。然而,设计模型以找到优化所需性质的分子,同时结合高度复杂和不可微的规则仍然是一项具有挑战性的任务。在这里,我们提出了图卷积策略网络(GCPN),一个通用的基于图卷积网络的模型,用于通过强化学习生成目标有向图。该模型经过训练,通过策略梯度优化特定领域的奖励和对抗损失,并在包含特定领域规则的环境中发挥作用。实验结果表明,GCPN可以实现61%的改进,在最先进的基线化学性质优化,同时类似于已知的分子,并实现184%的改进的约束性质优化任务。
2019-02-25 cs.AI cs.LG stat.ML
PAC-Bayesian Policy Evaluation for Reinforcement Learning
McGill University(麦吉尔大学);University of Alberta(阿尔伯塔大学)
贝叶斯先验提供了一种紧凑而通用的方法,将领域知识纳入许多学习任务。然而,贝叶斯分析和推理的正确性在很大程度上取决于这些先验的准确性和正确性。PAC-Bayesian方法通过提供与先验分布的正确性无关的界限来克服这个问题。针对具有函数逼近的批量强化学习问题,给出了PAC-Bayesian第一界。我们展示了如何使用此界限在迁移学习场景中执行模型选择。我们的实证结果证实,PAC贝叶斯政策评估是能够利用先验分布时,他们是翔实的,不像标准的贝叶斯RL方法,忽略他们时,他们是误导。
2012-02-14 cs.LG stat.ML
One Policy is Enough: Parallel Exploration with a Single Policy is Near-Optimal for Reward-Free Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The University of Chicago(芝加哥大学);Stanford University(斯坦福大学);Google Research(谷歌研究院)
虽然并行性在强化学习(RL)中得到了广泛的应用,但并行探索的量化效果在理论上还没有得到很好的理解。我们研究了在线性马尔可夫决策过程(MDP)和两人零和马尔可夫博弈(MG)中简单并行探索无奖励RL的好处。与现有的文献,它侧重于鼓励代理人探索一套不同的政策的方法,我们表明,使用一个单一的政策,以指导所有代理人的探索是足够的,以获得几乎线性的加速在所有情况下相比,他们的完全顺序对应。此外,我们证明了这个简单的过程是近极大极小最优的奖励自由设置的线性MDPs。从实践的角度来看,我们的论文表明,单个策略对于在探索阶段纳入并行性来说是足够的,并且可以证明是接近最佳的。
2023-03-01 cs.LG stat.ML
Expediting Reinforcement Learning by Incorporating Knowledge About Temporal Causality in the Environment
TU Dortmund University Research Center Trustworthy Data Science(图宾根大学可信数据科学与安全研究中心)
本文提出将基于时序逻辑的因果图融入奖励形式体系,以加速强化学习策略学习并支持任务规范迁移,并提供了收敛性理论证明和实验验证。
2025-10-17 cs.AI cs.LG
Recurrent Predictive State Policy Networks
Carnegie Mellon University(卡内基梅隆大学);Instituto Superior Técnico(高等技术研究所);University of Washington(华盛顿大学)
我们介绍了循环预测状态策略(RPSP)网络,这是一种循环架构,可以在部分可观察环境中从预测状态表示中获得见解,从而进行强化学习。预测状态策略网络由一个递归过滤器和一个反应策略组成,递归过滤器跟踪关于环境状态的信念,反应策略直接将信念映射到行动,以最大化累积奖励。递归滤波器利用预测状态表示(PSR)(Rosencrantz和Gordon,2004; Sun等人,2016年)通过建模预测状态-预测未来观测的分布,以历史和未来行动为条件。这种表示产生了丰富的一类统计上一致的算法(Hefny等人,2018)来初始化递归滤波器。预测状态充当信念状态的等价表示。因此,RPSP网络的策略组件可以是纯反应性的,简化了训练,同时仍然允许最佳行为。此外,我们还在训练过程中使用PSR解释,将预测误差纳入损失函数。整个网络(递归滤波器和反应策略)仍然是可微的,可以使用基于梯度的方法进行训练。我们使用基于奖励的策略梯度(Williams,1992)和基于预测误差的梯度下降的组合来优化我们的策略。我们展示了RPSP网络在部分可观测性下对OpenAI Gym的一组机器人控制任务的有效性。我们的经验表明,RPSP网络表现良好的存储器保存网络,如GRU,以及有限的内存模型相比,是整体性能最好的方法。
2018-03-05 cs.AI cs.LG stat.ML
Adversarial Driving Behavior Generation Incorporating Human Risk Cognition for Autonomous Vehicle Evaluation
本文提出一种结合累积前景理论与强化学习的框架,生成背景车辆对抗行为以评估自动驾驶车辆,并在硬件在环平台上验证其有效性。
2023-10-14 cs.AI cs.GT cs.LG
Incorporating Human Flexibility through Reward Preferences in Human-AI Teaming
Arizona State University(亚利桑那州立大学)
首次将基于偏好的强化学习扩展至多智能体人机团队,提出人机PbRL合作博弈与人类灵活性概念,并通过实验证明指定编排可作为未来PbRL性能的上限。
2024-09-24 cs.AI cs.LG cs.MA
Transductive Off-policy Proximal Policy Optimization
Peking University(北京大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Tsinghua University(清华大学)
本文提出转导式离策略PPO(ToPPO),通过理论下界与高效优化机制扩展PPO以利用离策略数据,并在六个任务上验证其优异性能。
2026-10-14 cs.LG
Factored Policy Gradients: Leveraging Structure for Efficient Learning in MOMDPs
J. P. Morgan AI Research(摩根大通人工智能研究院)
策略梯度方法可以解决复杂的任务,但往往失败时,行动空间的维数或目标的多样性变得非常大。这部分是因为基于分数的梯度估计器的方差是二次缩放的。在本文中,我们解决这个问题,通过一个因素基线,利用独立结构编码在一个新的行动目标的影响网络。因子化的策略梯度(FPGs),这如下,提供了一个共同的框架,用于分析关键国家的最先进的算法,概括传统的策略梯度,并产生一个原则性的方式,将先验知识的问题域的生成过程。我们提供了一个分析建议的估计,并确定在何种条件下,方差减少。FPGs的算法方面进行了讨论,包括最佳的政策因式分解,其特征在于最小biclique覆盖,以及不正确地指定网络的偏差方差权衡的影响。最后,我们证明了我们的算法在大规模的土匪和交通路口的问题上的性能优势,后者提供了一个新的贡献,在空间近似的形式。
2021-11-23 cs.AI cs.LG cs.MA
Fractional Policy Gradients: Reinforcement Learning with Long-Term Memory
Department of Computer Engineering, Zeal College of Engineering and Research(计算机工程系,Zeal工程与研究学院)
本文提出分数阶策略梯度(FPG)框架,利用Caputo分数阶导数建模状态转移间的幂律长程相关性,通过高效递归计算实现恒定时间与内存开销,在保持收敛的同时显著降低方差并提升样本效率。
2025-06-29 cs.LG stat.ML
Incorporating Relational Background Knowledge into Reinforcement Learning via Differentiable Inductive Logic Programming
Georgia Institute of Technology(佐治亚理工学院)
关系强化学习(RRL)可以提供各种理想的功能。最重要的是,它允许将专家知识融入学习中,因此与标准的深度强化学习相比,它可以实现更快的学习和更好的泛化。然而,大多数现有的RRL方法要么不能结合专家背景知识(例如,以显式谓词语言的形式)或者不能直接从诸如图像的非关系数据学习。在本文中,我们提出了一种新的深度RRL的基础上可微归纳逻辑程序设计(ILP),可以有效地学习关系信息的图像和目前的状态的环境作为一阶逻辑谓词。此外,它可以采用专家背景知识,并使用适当的谓词将其纳入学习问题。可区分的ILP允许用于在RRL中学习策略的整个框架的端到端优化。我们使用BoxWorld,GridWorld以及CLEVR数据集的关系推理等环境来展示这种新型RRL框架的有效性。
2020-03-23 cs.LG stat.ML
Learning in complex action spaces without policy gradients
Riot Games;Spotify;Google;DeepMind
本研究针对复杂动作空间中策略梯度与动作价值方法性能差异的问题,提出三项可迁移通用原则并构建QMLE框架,在不使用策略梯度的前提下实现了与现有最优方法相当的性能与计算成本。
2025-09-01 cs.AI cs.LG stat.ML
Robust Reinforcement Learning for Continuous Control with Model Misspecification
DeepMind(DeepMind(深度思维));Google(谷歌)
我们提供了一个框架,将鲁棒性-扰动的过渡动态,我们称之为模型误指定-到连续控制强化学习(RL)算法。我们特别关注将鲁棒性纳入最先进的连续控制RL算法,称为最大后验策略优化(MPO)。我们通过学习一个优化最坏情况下预期收益目标的策略来实现这一目标,并推导出相应的鲁棒熵正则化Bellman收缩算子。此外,我们引入了一个保守性较低,软鲁棒,熵正则化的目标与相应的贝尔曼算子。我们表明,强大的和软强大的政策,优于他们的非强大的同行在9个Mujoco域环境扰动。此外,我们在一个高维的,模拟的,灵巧的机器人手上显示出改进的鲁棒性能。最后,我们提出了多个调查实验,提供了更深入的了解鲁棒性框架。这包括对另一连续控制RL算法的适应以及从离线数据学习不确定性集。性能视频可以在https://sites.google.com/view/robust-rl上找到。
2020-02-11 cs.AI cs.LG stat.ML
Teaching Precommitted Agents: Model-Free Policy Evaluation and Control in Quasi-Hyperbolic Discounted MDPs
Department of Computer Science and Automation, Indian Institute of Science(计算机科学与自动化系,印度科学研究院)
本文针对拟双曲折扣MDP中的预承诺智能体,首次证明最优策略可简化为一步非平稳形式,并设计了首个具有收敛保证的无模型策略评估与Q学习算法。
2025-09-07 cs.AI cs.LG
Incorporating Behavioral Constraints in Online AI Systems
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);University of Padova(帕多瓦大学)
通过奖励反馈来学习他们所采取行动的人工智能系统越来越多地部署在对我们日常生活有重大影响的领域。然而,在许多情况下,在线奖励不应该是唯一的指导标准,因为法规,价值观,偏好或道德原则施加了额外的限制和/或优先级。我们详细介绍了一种新的在线代理,通过观察学习一组行为约束,并使用这些学习到的约束作为指导时,在在线环境中做出决定,同时仍然是反应性的奖励反馈。为了定义这个代理,我们建议采用一种新的扩展到经典的上下文多臂土匪设置,我们提供了一种新的算法,称为行为约束汤普森采样(BCTS),允许在线学习,同时遵守外源性约束。我们的代理学习一个受约束的政策,实现教师代理所表现出的观察到的行为约束,然后使用这个受约束的政策来指导基于奖励的在线探索和利用。我们的背景下,我们的代理和真实世界的数据在两个应用领域提供了一个案例研究的背景强盗算法的预期遗憾的上界。我们的实验表明,所设计的代理是能够在一组行为约束,而不会显着降低其整体奖励性能。
2018-09-15 cs.AI cs.HC cs.LG
A Unified Framework for Rethinking Policy Divergence Measures in GRPO
本文提出了一种统一的裁剪框架,通过KL3估计器改进GRPO,提升训练稳定性和性能。
2026-02-07 cs.AI cs.LG
Federated Offline Policy Optimization with Dual Regularization
Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学);Zhongguancun Laboratory(中关村实验室)
本文提出离线联邦策略优化算法DRPO,通过双重正则化应对离线FRL中的双层分布偏移,使智能体无需环境交互即可协作学习,并确保每轮联邦学习中的严格策略改进。
2024-05-29 cs.AI cs.LG
Beyond On-Policy Exploration: Integrating External Policy Rollouts for Reinforcement Learning in Diffusion Language Models
Seoul National University(首尔大学);Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔大学人工智能交叉项目);Artificial Intelligence Institute, Seoul National University(首尔大学人工智能研究院);Department of Intelligence and Information, Seoul National University(首尔大学智能与信息系)
该研究针对扩散大语言模型强化学习中在线策略 rollout 稀缺的问题,提出 ERILS 方法整合外部策略 rollout,在数独等任务上显著提升性能,验证了 rollout 构建与奖励处理的重要性。
2026-09-18 cs.LG
Scalable Safety-Critical Policy Evaluation with Accelerated Rare Event Sampling
Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学);Morgan Stanley Machine Learning Research(摩根士丹利机器学习研究部);Tongji University(同济大学)
评估罕见但高风险的事件是获得可靠的强化学习策略的主要挑战之一,特别是在大型或无限的状态/动作空间中,其中有限的可扩展性要求大量的测试迭代。另一方面,在安全关键系统中,有偏见或不准确的策略评估可能会在部署过程中导致意外的灾难性故障。本文提出了加速策略评估(APE)方法,该方法同时发现马尔可夫决策过程中的罕见事件,并估计罕见事件的概率。APE方法将环境性质视为对抗性代理,并通过自适应重要性采样向零方差采样分布学习以用于策略评估。此外,APE是可扩展的大型离散或连续空间,通过将函数逼近。我们研究了APE在表格环境下的收敛性。我们的实证研究表明,APE可以估计罕见事件的概率与较小的偏差,而只使用数量级比基线少的样本在多智能体和单智能体环境。
2022-10-02 cs.AI cs.LG
Per-decision Multi-step Temporal Difference Learning with Control Variates
University of Alberta(阿尔伯塔大学)
多步时间差(TD)学习是强化学习中的一种重要方法,因为它将单步TD学习与蒙特卡罗方法相结合,使得中间算法可以优于任何极端。它们解决了依赖当前估计(可能很差)和将更长的采样奖励序列纳入更新之间的偏差-方差权衡。特别是在非策略设置中,代理的目标是学习与生成其行为的策略不同的策略,更新中的方差可能会导致学习随着估计中使用的采样奖励数量的增加而发散。在本文中,我们介绍了前决策控制变量的多步TD算法,并比较他们与现有的方法。我们的研究结果表明,包括控制变量可以大大提高性能的政策和关闭多步时间差学习任务。
2018-07-05 cs.AI cs.LG stat.ML
Dual Action Policy for Robust Sim-to-Real Reinforcement Learning
Nanyang Technological University(南洋理工大学);Continental Automotive(大陆汽车)
本文提出 Dual Action Policy (DAP) 方法,通过单一策略预测两组动作分别用于最大化仿真奖励和域适应,并结合基于不确定性的探索,有效解决了强化学习 sim-to-real 转换中的动力学不匹配问题,提升了智能体鲁棒性。
2024-10-16 cs.AI cs.LG cs.RO
Advantage-Weighted Regression: Simple and Scalable Off-Policy Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
在本文中,我们的目标是开发一个简单的和可扩展的强化学习算法,使用标准的监督学习方法作为子程序。我们的目标是一个算法,只利用简单和收敛的最大似然损失函数,同时也能够利用政策外的数据。我们提出的方法,我们称之为加权回归(AWR),由两个标准的监督学习步骤:一个回归到目标值的价值函数,另一个回归到加权目标行动的政策。该方法简单而通用,可以适应连续和离散的动作,并且可以在标准监督学习方法之上仅用几行代码实现。我们提供了一个理论上的动机AWR和分析其属性时,将关闭政策的数据从经验重放。我们在一套标准的OpenAI Gym基准测试任务上评估了AWR,并表明与许多成熟的最先进的RL算法相比,它实现了具有竞争力的性能。AWR还能够在从纯静态数据集学习时获得比大多数非策略算法更有效的策略,而无需额外的环境交互。此外,我们证明了我们的算法具有高度复杂的模拟字符的挑战性的连续控制任务。
2019-10-07 cs.LG stat.ML
APC-RL: Exceeding Data-Driven Behavior Priors with Adaptive Policy Composition
Department of Computer Science Örebro University(计算机科学系 Örebro大学)
APC-RL通过自适应策略组合方法,有效整合稀疏、次优或不一致的演示数据,提升强化学习的效率与鲁棒性。
2026-01-27 cs.AI cs.LG
One-Way Policy Optimization for Self-Evolving LLMs
Shenzhen Graduate School, Peking University(北京大学深圳研究生院);Dartmouth College(达特茅斯学院);Alibaba(阿里巴巴)
本文提出单向策略优化方法,通过解耦优化方向与更新幅度,解决传统方法中验证器奖励稀疏导致的训练不稳定问题,实现大语言模型的持续自演化。
2026-05-21 cs.AI cs.LG
FDPP: Fine-tune Diffusion Policy with Human Preference
UC Berkeley(加州大学伯克利分校);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
针对模仿学习难以适配新偏好与环境变化的问题,提出FDPP方法,通过偏好学习获得奖励函数,结合RL与KL正则化微调扩散策略,实现策略定制且不损失原有性能。
2025-01-14 cs.LG cs.RO
A Comedy of Estimators: On KL Regularization in RL Training of LLMs
McGill University(麦吉尔大学);LawZero(法零);LLNL(劳伦斯利弗莫尔国家实验室);University of Edinburgh(爱丁堡大学);CIFAR AI Chair(CIFAR人工智能主席);CIFAR Fellow
本文研究了在LLM训练中使用KL正则化的估计器方法,分析了不同配置对训练稳定性及下游性能的影响,发现偏导数估计器可能导致训练不稳定,而无偏导数估计器能提升模型在领域内外任务的表现。
2026-08-27 cs.AI cs.LG
Going Beyond Heuristics by Imposing Policy Improvement as a Constraint
National Taiwan University(台湾大学);Massachusetts Institute of Technology(麻省理工学院)
针对启发式奖励在强化学习中难以平衡的问题,提出HEPO框架,将策略改进作为约束,有效利用启发式并缓解奖励黑客,在标准基准上表现优越,且能减少人工设计奖励的负担。
2025-07-07 cs.AI cs.LG
Dual Alignment Maximin Optimization for Offline Model-based RL
UCAS(中国科学院大学)
针对离线基于模型的RL中模型偏差与策略不一致问题,本文提出DAMO极大极小演员-评论家框架,通过双重保守价值估计与策略改进对齐,实现模型-环境及合成-离线数据一致,并在基准任务上取得竞争力性能。
2025-09-30 cs.AI cs.LG
Hybrid Group Relative Policy Optimization: A Multi-Sample Approach to Enhancing Policy Optimization
Collins Aerospace(柯林斯航空航天公司)
本文提出Hybrid GRPO框架,通过结合经验多样本动作采样与自举价值估计来改进PPO和GRPO,在提升样本效率与学习稳定性的同时缓解方差放大问题,并展示其在LLM与真实世界智能体决策中的潜在应用。
2025-01-30 cs.AI cs.LG
Safety-guaranteed Reinforcement Learning based on Multi-class Support Vector Machine
Purdue University(普渡大学)
一些工作已经解决了在强化学习(RL)框架中加入约束的问题,但是大多数工作只能保证软约束的满足。在这项工作中,我们解决的问题,满足硬状态约束的无模型RL设置与确定性系统动力学。该算法是针对离散的状态和动作空间开发的,并利用多类支持向量机(SVM)来表示策略。将状态约束纳入SVM优化框架中,以获得用于确定策略参数的解析解。这个最终的政策收敛到一个解决方案,这是保证满足的约束。此外,所提出的配方坚持Q学习框架,因此,也保证收敛到最优解。该算法是证明了多个例子的问题。
2020-06-12 cs.AI cs.LG
UCPO: Uncertainty-Aware Policy Optimization
针对现有强化学习范式在不确定性奖励下存在的优势偏差和过度自信问题,提出三元优势解耦和动态不确定性奖励调整机制,显著提升模型在知识边界外的可靠性。
2026-05-26 cs.AI cs.LG
SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data
Media Integration and Communication Center – University of Florence(媒体集成与通信中心——佛罗伦萨大学);SEED – Electronic Arts(SEED——电子艺界)
本文提出SOPE算法,通过使用与演员对齐的离策略策略评估(OPE)信号作为自动早停机制,动态控制离线训练阶段的长度,从而在连续控制任务中提高基线性能并减少计算资源消耗。
2026-05-20 cs.AI cs.LG
SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization
Technical University of Munich(慕尼黑工业大学);Peking University(北京大学);BIGAI(北京通用人工智能研究院);King's College London(伦敦国王学院);Tongji University(同济大学);University College London(伦敦大学学院)
针对现有CMDP拉格朗日方法误判不安全行为、乘子学习不稳定的问题,本文提出SCPO算法,用安全评判器取消违规所得奖励,并从理论和实验上验证其可自动平衡安全性与回报。
2023-11-01 cs.AI cs.LG
On Proximal Policy Optimization's Heavy-tailed Gradients
Carnegie Mellon University(卡内基梅隆大学)
诸如近端策略优化(PPO)的现代策略梯度算法依赖于包括损失裁剪和梯度裁剪的一系列算法来确保成功的学习。这些统计学让人想起稳健统计学的技术,通常用于异常值丰富(“重尾”)制度的估计。在本文中,我们提出了一个详细的实证研究,以表征PPO代理奖励函数的梯度的重尾性质。我们证明了梯度,特别是演员网络,表现出明显的重尾性,并且随着代理的策略偏离行为策略(即,随着代理进一步偏离策略)。进一步的研究表明,似然比和替代奖励的优势是观察到的重尾的主要来源。然后,我们强调由于梯度的重尾性质而产生的问题。在这种情况下,我们研究了标准PPO裁剪算法的效果,证明这些技巧主要用于抵消梯度中的重尾。因此,出于动机,我们建议将Gestival,一个高维的鲁棒估计,PPO作为替代三个裁剪技巧。尽管需要更少的超参数调整,我们的方法匹配的性能PPO(与所有的动力学启用)电池的MuJoCo连续控制任务。
2021-07-13 cs.LG cs.RO stat.ML
On the Approximation and Convergence of Distributional Policy Gradient Algorithms for Risk-Sensitive Reinforcement Learning
The Ohio State University(俄亥俄州立大学);University of Michigan(密歇根大学)
本文提出一种针对风险敏感分布式强化学习的新策略梯度方法,提供概率测度梯度的解析形式,设计CDPG算法并证明其有限支撑最优性与有限迭代收敛性,实验验证了风险敏感设置的优越性。
2026-09-30 cs.AI cs.LG math.OC
Policy Mirror Descent Inherently Explores Action Space
Georgia Institute of Technology(佐治亚理工学院)
在线策略梯度方法在有限状态和动作空间上解决一般的强化学习问题时,假设在动作空间中进行显式探索是必不可少的,以避免样本复杂性的急剧下降。在本文中,我们首次建立了一个$\tilde{\mathcal{O}}(1/ε^2)$样本复杂性的在线策略梯度方法,而不纳入任何探索策略。基本的发展包括两个新的政策评估运营商和一个新的分析随机政策镜像下降法(SPMD)。带有第一个评估算子的SPMD,称为基于值的估计,适合Kullback-Leibler发散。假设生成策略的状态空间上的马尔可夫链与非递减的最小访问测度一致混合,得到了一个与动作空间大小线性相关的$\tilde{\mathcal{O}}(1/ε^2)$样本复杂度.具有第二评估算子的SPMD,即截断策略蒙特卡罗(TOMC),获得$\tilde{\mathcal{O}}(\mathcal{H}_{\mathcal{D}}/ε^2)$样本复杂度,其中$\mathcal{H}_{\mathcal{D}}$温和地取决于有效范围和具有适当选择的Bregman发散的动作空间的大小(例如,Tsallis分歧)。带有TOMC的SPMD也表现出更强的收敛特性,因为它以高概率而不是期望控制最优性间隙。与显式探索相比,这些新的策略梯度方法可以防止在搜索最优策略时重复执行潜在的高风险操作。
2023-03-21 cs.AI cs.LG math.OC
Strongly-polynomial time and validation analysis of policy gradient methods
H. Milton Stewart School of Industrial & Systems Engineering(赫尔曼·米勒工业与系统工程学院)
本文提出优势间隙函数作为终止准则,证明策略梯度方法能在强多项式时间内解决MDP,并提供验证方法。
2026-03-21 cs.AI cs.DS cs.LG
Balancing policy constraint and ensemble size in uncertainty-based offline reinforcement learning
Warwick Medical School, University of Warwick(华威大学华威医学院);WMG, University of Warwick(华威大学华威制造集团);Department of Statistics, University of Warwick(华威大学统计系);Alan Turing Institute(艾伦·图灵研究所)
离线强化学习代理从固定的数据集中寻求最优策略。由于环境相互作用被禁止,智能体面临着重大挑战,即防止价值估计中的错误加剧并随后导致学习过程崩溃。使用集成的不确定性估计通过惩罚高方差值估计来补偿这一点,允许代理基于数据驱动的动作来学习鲁棒的策略。然而,需要大的合奏,以促进足够的惩罚结果在显着的计算开销。在这项工作中,我们研究的作用,政策约束作为一种机制,用于调节不确定性,以及相应的平衡水平的约束和合奏大小。通过将行为克隆纳入政策更新,我们的经验表明,足够的惩罚可以实现一个小得多的合奏大小,大大减少计算需求,同时保留最先进的性能基准任务。此外,我们展示了这样的方法可以促进稳定的在线微调,允许持续的政策改善,同时避免严重的性能下降。
2023-03-26 cs.LG
Value Improved Actor Critic Algorithms
Delft University of Technology(代尔夫特理工大学);University of Southern Denmark(南部丹麦大学);Department of Intelligent Systems(智能系统系)
本文提出一种解耦策略与批评者评估策略的Actor-Critic算法,通过价值改进提升性能,适用于不同环境且计算成本低。
2026-01-16 cs.AI cs.LG
ROCM: RLHF on consistency models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出ROCM框架,通过直接奖励优化和$f$-散度分布正则化将RLHF应用于一致性模型,实现高效稳定的单步生成训练,在自动指标和人类评估中优于或媲美策略梯度方法。
2025-03-08 cs.AI cs.LG
Efficient Multi-Task Reinforcement Learning with Cross-Task Policy Guidance
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Tsinghua University(清华大学);Tencent AI Lab(腾讯AI实验室)
提出跨任务策略引导框架CTPG,通过引导策略选择行为策略生成优质轨迹,并设计两种门控机制,显著提升多任务强化学习在操作与运动基准上的性能。
2025-07-09 cs.AI cs.LG
MENTOR: Guiding Hierarchical Reinforcement Learning with Human Feedback and Dynamic Distance Constraint
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Southeast University-Monash University Joint Graduate School, Southeast University(东南大学-莫纳什大学联合研究生院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院)
针对分层强化学习在稀疏奖励复杂任务中难以确定合适子目标的问题,提出结合人类反馈和动态距离约束的MENTOR框架,通过高层融入人类反馈、低层双策略解耦及动态调整子目标空间,用少量反馈实现任务性能显著提升。
2024-11-27 cs.AI cs.HC cs.LG
Proximal Policy Optimization for Tracking Control Exploiting Future Reference Information
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);IAV GmbH(IAV有限公司)
近年来,强化学习(RL)在控制工程中得到了越来越多的关注。特别是策略梯度方法被广泛应用。在这项工作中,我们提高了跟踪性能的近端策略优化(PPO)的任意参考信号,将未来的参考值的信息。扩展的演员和评论家考虑到未来的参考价值的参数的两个变种。在第一个变体中,全局未来引用值被添加到参数中。对于第二种变体,引入了一种新的适用于无模型强化学习的具有未来参考值的残差空间。我们的方法进行评估对一个简单的驱动训练模型的PI控制器。我们希望我们的方法比以前的方法更好地推广到任意参考,指向RL控制真实系统的适用性。
2021-07-20 cs.LG cs.RO cs.SY
COMBO: Conservative Offline Model-Based Policy Optimization
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
基于模型的算法从记录的经验中学习动态模型,并在学习的模型下执行某种悲观规划,已经成为离线强化学习(离线RL)的一种有前途的范例。然而,这种基于模型的算法的实际变体依赖于显式的不确定性量化来合并悲观主义。使用复杂模型(如深度神经网络)进行不确定性估计可能很困难且不可靠。我们通过开发一种新的基于模型的离线RL算法COMBO克服了这一限制,该算法在学习模型下通过推出生成的支持状态-动作元组上正则化价值函数。这导致对不支持状态-动作元组的价值函数的保守估计,而不需要显式的不确定性估计。我们从理论上表明,我们的方法优化了真正的政策价值的下限,这个界限比以前的方法更紧,我们的方法满足离线设置的政策改善保证。通过实验,我们发现COMBO在广泛研究的离线RL基准测试(包括基于图像的任务)上的表现与之前的离线无模型和基于模型的方法一样好或更好。
2022-01-27 cs.AI cs.LG cs.RO
Neetyabhas: A Framework for Uncertainty-Aware Public Policy Optimization in Rational Agent-Based Models
ThoughtWorks
提出一种集成流行病测量和政策执行不确定性的分层强化学习框架,通过模拟个体行为与政策干预的交互,有效管理疫情并降低影响。
2026-06-03 cs.AI cs.LG cs.SI
Representation Matters: Offline Pretraining for Sequential Decision Making
Google Research(谷歌研究院)
最近监督学习方法在越来越大的离线数据集上的成功激发了人们对强化学习(RL)领域的兴趣,以研究相同的范式是否可以转化为RL算法。这个研究领域被称为离线RL,主要集中在离线策略优化上,旨在完全从离线数据中找到回报最大化的策略。在本文中,我们考虑了一种稍微不同的方法,将离线数据纳入顺序决策。我们的目标是回答这样一个问题,即应用于离线数据集的无监督目标能够学习状态表示,从而提高下游任务的性能,这些下游任务是否是在线RL,专家演示的模仿学习,甚至是基于同一离线数据集的离线策略优化?通过利用标准离线RL数据集进行的各种实验,我们发现使用具有无监督学习目标的预训练可以显着提高策略学习算法的性能,否则这些算法本身的性能就很一般。广泛的消融进一步提供了对这些无监督目标的组成部分的了解-例如,奖励预测、连续或离散表示、预训练或微调--是最重要的,以及在哪些环境中。
2021-02-11 cs.AI cs.LG
T2SPO: Trajectory-to-Step Policy Optimization for Agentic Reinforcement Learning
State Key Laboratory of Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);ByteDance(字节跳动)
提出T2SPO方法,利用成功轨迹提供步骤级反馈,通过TabPFN估计剩余距离辅助信用分配,在ALFWorld和WebShop上提升智能体任务成功率。
2026-10-02 cs.AI cs.LG
Online Policy Evaluation for MDPs with Dynamic UBSR Measures
GERAD & Department of Decision Sciences, HEC Montréal(GERAD与蒙特利尔高等商学院决策科学系)
研究在具有动态UBSR测度的MDPs中进行策略评估,提出UBSR-TD算法及变体,通过纳入损失函数使现有算法可适应动态UBSR设置,经实验验证了方法有效性。
2026-07-28 cs.LG math.OC
In-Context Learning as Implicit Policy Gradient
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
研究大语言模型上下文学习现象,证明分数条件上下文学习与策略梯度优化有结构对应,通过自注意力机制等进行分析推导,经多模型实验验证,表明大语言模型能利用分数信息优化输出分布,注意力权重与示例分数相关。
2026-07-28 cs.AI cs.CL cs.LG
Think Outside the Policy: In-Context Steered Policy Optimization
National Key Laboratory for Multimedia Information Processing(国家多媒体信息处理重点实验室);School of Computer Science(计算机学院);LLM Department(大模型部门);Tencent(腾讯)
本文提出ICPO框架,利用大推理模型的上下文学习能力,通过混合策略GRPO和隐式专家强制扩展探索范围,提升RLVR在数学推理任务中的性能和稳定性。
2026-04-15 cs.LG
Reparameterized Policy Learning for Multimodal Trajectory Optimization
UC San Diego(加州大学圣地亚哥分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);UMass Amherst(马萨诸塞大学阿默斯特分校)
针对高维连续动作空间强化学习的高斯策略参数化局限,提出将策略建模为最优轨迹生成模型的框架,推导变分界目标,并提出RPG方法,在多类任务中性能优于现有方法。
2023-07-20 cs.LG
Incorporating Recurrent Reinforcement Learning into Model Predictive Control for Adaptive Control in Autonomous Driving
University of Freiburg(弗赖堡大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR))
针对MPC依赖精确动力学模型且静态参数难以应对扰动的问题,本文提出MPC-RRL,将控制建模为POMDP并用循环强化学习持续自适应模型参数,在CARLA中验证了鲁棒性。
2023-04-27 cs.AI cs.LG cs.RO
Concept Learning for Interpretable Multi-Agent Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
多智能体机器人系统越来越多地在接近人类的真实世界环境中运行,但在很大程度上由具有不可理解的深层神经网络表示的策略模型控制。我们介绍了一种方法,将可解释的概念,从一个领域的专家通过多智能体强化学习训练的模型,通过要求模型首先预测这些概念,然后利用它们进行决策。这允许专家在运行时根据这些高级概念对所得到的概念策略模型进行推理,以及干预和纠正错误预测以提高性能。我们发现,这产生了改进的可解释性和训练稳定性,有利于政策性能和样本效率在模拟和现实世界的合作竞争多智能体游戏。
2023-02-23 cs.AI cs.LG cs.RO