Adaptive Policy Transfer in Reinforcement Learning
Coordinated Sciences Laboratory, University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
有效和强大的策略传输仍然是强化学习在现实机器人中可行的关键挑战。通过热初始化、模仿或在具有随机实例的大量代理上交互的策略转移已被普遍应用于解决各种强化学习任务。然而,这似乎与生物世界中技能转移的方式相去甚远:人类和动物能够在类似任务之间快速适应学到的行为,并在遇到新情况时学习新技能。在这里,我们试图回答这个问题:学习结合适应和探索会导致更有效地转移领域之间的政策?我们引入了一个原则性的机制,可以“自适应学习”,即适应源策略学习解决具有显著的过渡差异和不确定性的目标任务。我们表明,所提出的方法学会无缝地结合学习适应和探索,并导致一个强大的政策转移算法,显着降低样本的复杂性,在相关任务之间的技能转移。
2021-05-10 cs.AI cs.LG
PAnDR: Fast Adaptation to New Environments from Offline Experiences via Decoupling Policy and Environment Representations
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Northwestern Polytechnical University(西北工业大学)
深度强化学习(Deep Reinforcement Learning,DRL)是解决许多复杂决策问题的有效方法。然而,众所周知的弱点,在环境之间的泛化,阻止DRL代理在现实世界中的广泛应用。虽然最近已经取得了进展,大多数先前的作品假设足够的在线互动的培训环境,这在实际情况下可能是昂贵的。为此,我们专注于离线训练在线适应设置,其中代理首先从具有不同动态的环境中收集的离线经验中学习,然后在具有新动态的环境中执行在线策略适应。在本文中,我们提出了政策适应与解耦表示(PAnDR)的快速政策适应。在离线训练阶段,环境表示和策略表示分别通过对比学习和策略恢复来学习。通过互信息优化进一步细化表示,使其更加解耦和完整。利用学习的表示,策略动态价值函数(PDVF)[Raileanu等人,2020]网络被训练以近似来自离线体验的策略和环境的不同组合的值。在在线适应阶段,从新环境中收集的少量经验中推断出环境背景,通过相对于PDVF的梯度上升来优化策略。我们的实验表明,PAnDR优于现有的算法在几个代表性的政策适应问题。
2022-05-30 cs.AI cs.LG
Adaptive Group Policy Optimization: Towards Stable Training and Token-Efficient Reasoning
HPC-AI Tech(HPC-AI技术)
针对 GRPO 在推理型 LLM 强化学习训练中的零方差、波动和令牌低效问题,本文提出带自适应损失函数的 AGPO,实现更稳定训练、更优性能及更少推理令牌。
2025-09-29 cs.CL
Proximal Policy Optimization with Adaptive Exploration
提出axPPO算法,依据智能体近期表现动态调节探索幅度,以改善强化学习中的探索-利用权衡,并在学习效率上优于标准PPO。
2024-05-07 cs.AI cs.LG
Reinforcement Learning with Curriculum-inspired Adaptive Direct Policy Guidance for Truck Dispatching
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对露天矿卡车调度中强化学习依赖复杂奖励工程的问题,提出课程启发的自适应直接策略指导方法,通过时间增量调整PPO并采用最短处理时间教师策略引导探索,在OpenMines中实现10%性能提升和更快收敛,增强了对奖励设计的鲁棒性。
2025-02-28 cs.AI cs.LG
BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping
Fudan University(复旦大学);Shanghai Qiji Zhifeng Co., Ltd.(上海奇绩智峰有限公司);Shanghai Innovation Institute(上海创新研究院)
针对大语言模型离策略强化学习中熵降、优化不稳定的问题,提出带自适应裁剪的平衡策略优化方法BAPO,动态调整裁剪边界平衡正负贡献、保留熵,在多场景及AIME基准上实现更优性能。
2025-10-21 cs.AI cs.CL cs.LG
An Adaptive Clipping Approach for Proximal Policy Optimization
Victoria University of Wellington(惠灵顿维多利亚大学)
最近,近端策略优化(PPO)算法已经被提出作为用于有效的强化学习的一阶优化方法。虽然PPO的灵感来自证明信任域策略优化(TRPO)的相同学习理论,但PPO通过从采样数据执行多个时期的\emph{clipped policy optimization}来大大简化算法设计并提高数据效率。虽然PPO中的削波代表了一种用于高效和可靠的策略更新的重要新机制,但它可能无法根据每个采样状态的重要性自适应地提高学习性能。为了解决这个问题,本文提出了一个新的代理学习目标具有自适应裁剪机制,使我们能够开发一种新的算法,称为PPO- $λ$。PPO- $λ$根据自适应策略改进的理论目标反复优化策略。同时,通过PPO- $λ$中超参数$λ$的裁剪和自适应控制,可以有效地防止破坏性的大策略更新,确保高学习可靠性。PPO- $λ$享有与PPO相同的简单高效设计。经验上的几个雅达利游戏玩任务和基准控制任务,PPO- $λ$也取得了明显优于PPO的性能。
2018-04-17 cs.AI cs.LG stat.ML
Warp: Structured Output-Space Adaptation for Frozen Robot Policies
University of Sydney(悉尼大学);NVIDIA(英伟达)
针对残差强化学习在动力学偏移下无法调整分布形状的问题,提出Warp RL方法,通过可逆状态条件变换重塑基础策略的动作分布,在ManiSkill3任务和真实机器人插销任务中优于残差校正。
2026-11-05 cs.LG cs.RO
Meta-Reinforcement Learning with Universal Policy Adaptation: Provable Near-Optimality under All-task Optimum Comparator
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种用于元强化学习的双层优化框架BO-MRL,通过一次数据收集实现多步策略优化以学习元先验,并提供了期望最优性差距上界的理论分析与实证验证。
2024-10-13 cs.LG
Adapting to Changes in Agent Behavior via Finite-Depth Policy Sensitivity
George Mason University(乔治梅森大学)
本文提出有限深度策略敏感性框架,通过近似策略Hessian和混合导数估计智能体行为变化的影响,在追逃博弈中实现更优的估计精度与策略适应,并提升零样本回报和微调效果。
2026-10-07 cs.LG
Fast Adaptation via Policy-Dynamics Value Functions
New York University(纽约大学);Facebook AI Research(Facebook AI研究院)
标准RL算法假设固定的环境动态,并需要大量的交互来适应新环境。我们引入了策略动态价值函数(PD-VF),这是一种新的方法,用于快速适应与以前在训练中看到的动态不同的动态。PD-VF明确估计了政策和环境空间中的累积回报。传统RL策略的集合用于收集训练环境的经验,从中可以学习策略和环境的嵌入。然后,训练以两个嵌入为条件的价值函数。在测试时,几个动作就足以推断环境嵌入,从而通过最大化学习到的价值函数(不需要额外的环境交互)来选择策略。我们表明,我们的方法可以快速适应一组MuJoCo域上的新动态。代码可在https://github.com/rraileanu/policy-dynamics-value-functions获得。
2020-07-06 cs.AI cs.LG
Adapt Once, Thrive with Updates: Transferable Parameter-Efficient Fine-Tuning on Evolving Base Models
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);School of Electronic, Electrical and Communication Engineering, UCAS(北京理工大学电子电气与通信工程学院)
针对基础模型更新导致旧 PEFT 模块性能下降的问题,本文提出 Trans-PEFT,利用 Attention 模式较稳定而 FFN 知识易变的发现提升模块可迁移性,并在 7 个模型、12 个数据集上验证其免重调优势。
2025-06-07 cs.CL
Offline Policy Evaluation for Reinforcement Learning with Adaptively Collected Data
UC Santa Barbara(圣巴巴拉大学)
本文针对自适应收集数据的表格 MDP 离线策略评估问题,为 TMIS 估计器建立高概率实例相关误差界,并恢复极小极大最优离线学习,通过仿真验证理论结果。
2024-05-01 cs.AI cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题,提出REFIT方法,通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性,在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Live in the Moment: Learning Dynamics Model Adapted to Evolving Policy
University of Maryland, College Park(马里兰大学帕克分校);Tsinghua University(清华大学)
针对基于模型的强化学习中策略演化导致状态-动作分布偏移的问题,提出Policy-adapted Dynamics Model Learning (PDML)方法,通过动态调整历史策略混合分布使动力学模型持续适应演化策略,显著提升了样本效率和渐近性能。
2023-06-26 cs.LG
Centralized Adaptive Sampling for Reliable Co-Training of Independent Multi-Agent Policies
本文提出CoSER方法,通过协调动作选择减少联合采样误差,提升多智能体强化学习中策略梯度算法的收敛可靠性。
2026-05-13 cs.LG
Test-Time Policy Adaptation for Enhanced Multi-Turn Interactions with LLMs
Shenzhen University(深圳大学);Hong Kong University of Science(香港科学大学);Guangdong Laboratory of Artificial Intelligence(广东人工智能与数字经济实验室);University of Science(科学技术大学);Carleton University(卡尔顿大学)
本研究提出测试时策略适应方法,通过用户反馈优化多轮交互策略,提升LLM在长时间对话中的表现。
2026-10-27 cs.CL
Adaptive Doubly Robust Estimator from Non-stationary Logging Policy under a Convergence of Average Probability
Cyberagent, Inc.(Cyberagent公司)
自适应实验,包括有效的平均处理效应估计和多臂强盗算法,在各种应用中,如社会实验,临床试验和在线广告优化,已经获得了关注。本文考虑从自适应实验中获得的样本估计动作的平均结果。在因果推断中,行为的平均结果具有决定性的作用,估计是一项基本任务,其中平均处理效应估计和政策外价值估计是其变体。在自适应实验中,选择动作(日志策略)的概率可以根据过去的观察结果顺序更新。由于这种日志记录策略取决于过去的观察结果,样本通常不是独立且同分布(i.i.d.)的,使得开发渐近正态估计量变得困难。解决这个问题的一个典型方法是假设日志记录策略收敛于一个时不变函数。然而,这种假设在各种应用中是有限制的,例如当日志记录策略在某些时间段波动或变为零时。为了减轻这一限制,我们提出了另一个假设,平均日志政策收敛到一个时不变的函数,并显示双鲁棒(DR)估计的渐近正态性。在此假设下,日志记录策略本身可以波动,或者对于某些操作为零。我们还展示了经验性质的模拟。
2021-03-23 cs.LG econ.EM stat.ME
QUATRO: Query-Adaptive Trust Region Policy Optimization for LLM Fine-tuning
Seoul National University(首尔国立大学);Ewha Woman University(成均馆大学);Geogia Institute of Technology(佐治亚理工学院)
QUATRO通过原则性优化直接施加信任区域约束,实现稳定且可控的LLM微调,提升训练稳定性与熵控制。
2026-09-18 cs.LG
Adaptive Temporal-Difference Learning for Policy Evaluation with Per-State Uncertainty Estimates
DeepMind(深度思维);Google Research(谷歌研究院);Universitat Pompeu Fabra(庞培法布拉大学)
我们考虑的核心学习问题的政策价值函数近似从一批轨迹数据,并专注于各种问题的时间差分(TD)学习和蒙特卡洛(MC)政策评估。已知这两种方法可实现互补的偏差-方差权衡特性,其中TD倾向于实现较低的方差但可能较高的偏差。在本文中,我们认为,较大的偏差TD可以是一个结果的放大局部近似误差。我们解决这个问题,提出了一种算法,自适应切换TD和MC在每个状态,从而减轻传播的错误。我们的方法是基于学习的置信区间,检测偏差的TD估计。我们在各种政策评估任务中证明,这种简单的自适应算法在事后看来与最佳方法具有竞争力,这表明学习的置信区间是一种强大的技术,用于调整政策评估,以数据驱动的方式使用TD或MC回报。
2019-06-19 cs.AI cs.LG stat.ML
Bayes-Adaptive Deep Model-Based Policy Optimisation
Technical University of Munich(慕尼黑工业大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
我们引入了一种贝叶斯(深度)基于模型的强化学习方法(RoMBRL),该方法可以捕获模型的不确定性,以实现样本有效的策略优化。我们建议制定基于模型的政策优化问题作为贝叶斯自适应马尔可夫决策过程(BAMDP)。RoMBRL通过深度贝叶斯神经网络的置信分布来维护模型的不确定性,该深度贝叶斯神经网络的样本是通过随机梯度哈密顿蒙特卡罗生成的。不确定性通过由采样模型和基于历史的策略控制的模拟来传播。由于信念是在访问历史中编码的,我们提出了一个基于历史的策略网络,可以进行端到端的训练,以概括整个历史空间,并将使用经常性的信任区域策略优化进行训练。我们表明,RoMBRL优于现有的方法在许多具有挑战性的控制基准任务的样本复杂性和任务性能。本文的源代码也可在https://github.com/thobotics/RoMBRL上公开获得。
2021-01-04 cs.LG cs.RO
Hierarchical Prompt Decision Transformer: Improving Few-Shot Policy Generalization with Global and Adaptive Guidance
University of Virginia(弗吉尼亚大学);Amazon(亚马逊公司)
针对决策Transformer少样本泛化中静态提示缺乏上下文针对性的问题,提出带检索增强的分层提示方法,通过全局与自适应两层软令牌实现动态引导,在7项基准任务上优于所有基线。
2024-12-13 cs.LG
Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Microsoft Research(微软研究院)
在线学习算法被设计成即使在它们的输入由对手生成时也能学习。在线算法学习能力的广泛接受的正式定义是博弈论中的后悔概念。我们认为,后悔的标准定义变得不够,如果对手被允许适应在线算法的行动。我们定义的替代概念的政策遗憾,试图提供一个更有意义的方式来衡量一个在线算法的性能对自适应对手。集中在网上的强盗设置,我们表明,没有强盗算法可以保证一个次线性的政策后悔对自适应对手与无限的记忆。另一方面,如果对手的记忆是有界的,我们提出了一个一般的技术,转换成一个算法的次线性策略遗憾界的任何强盗算法与次线性遗憾界。我们将这一结果扩展到后悔的其他变体,如转换后悔,内部后悔和交换后悔。
2012-06-27 cs.LG stat.ML
Policy Learning with Adaptively Collected Data
Stanford University(斯坦福大学);University of Chicago(芝加哥大学);New York University(纽约大学)
从历史数据中学习最佳策略可以在各种应用中实现个性化,包括医疗保健,数字推荐和在线教育。越来越多的政策学习文献集中在数据收集规则在整个实验过程中保持固定的设置。然而,自适应数据收集在实践中变得越来越普遍,来自两个主要来源:1)从旨在提高推理效率的自适应实验中收集的数据; 2)从生产系统中收集的数据,这些生产系统逐渐发展操作策略以随着时间的推移提高性能(例如上下文强盗)。然而,自适应性使事后最优策略识别变得复杂,因为样本是依赖的,并且每种治疗可能无法对每种类型的个体进行足够的观察。在本文中,我们进行了初步的研究探讨,以解决学习的最佳策略与自适应收集的数据的挑战。我们提出了一种基于广义增广逆倾向加权(AIPW)估计的算法,该算法对标准AIPW估计的元素进行非均匀重新加权,以控制最坏情况下的估计方差。我们建立了一个有限样本的遗憾上限为我们的算法,并补充它的遗憾下限,量化的基本困难的政策学习与自适应数据。当配备了最好的加权方案,我们的算法实现最小最大率最佳遗憾保证,即使减少探索。最后,我们证明了我们的算法的有效性,使用合成数据和公共基准数据集。
2022-11-16 cs.LG econ.EM stat.ML
Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning
University of Science and Technology Beijing(北京科技大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出ASPC框架,通过动态平衡强化学习与行为克隆,解决在线强化学习中策略约束规模差异带来的超参数调优问题,实验表明其在多个数据集上表现优异且计算开销低。
2026-04-29 cs.LG
Knowledge Infused Policy Gradients for Adaptive Pandemic Control
Artificial Intelligence Institute, University of South Carolina(南卡罗来纳大学人工智能研究所)
COVID-19对各国的影响因其政策实施而异。有效的政策需要考虑到公共信息和对新知识的适应性。为了解COVID-19而建立的流行病学模型很少能为政策制定者提供适应性流行病控制(APC)的能力。需要克服的核心挑战包括:(a)无法处理大流行时间轴上不同促成特征的高度非同质性;(b)缺乏能够适应性地纳入公共卫生专家知识的方法;(c)能够在提出政策时理解决策过程的透明模型。在这项工作中,我们采取的早期步骤,以解决这些挑战,使用知识注入策略梯度(KIPG)的方法。关于知识灌输的先前工作不处理在疾病信息和指南中必须遵守的不同形式的知识的软和硬强加。此外,该模型不参加非同质性的特征计数,表现为部分可观察性通知的政策。此外,可解释结构是在学习后提取的,而不是学习APC所需的可解释模型。为此,我们介绍了一个数学框架KIPG方法,可以(a)诱导相关的特征计数在世界的多关系特征,(b)处理潜在的非齐次计数作为隐藏变量,是线性组合的核聚合的功能,(b)注入知识作为功能约束的原则性方式。本研究建立了硬、软约束的理论,并通过实验进行了模拟。与知识密集型基线相比,我们展示了快速样本对新知识的有效适应性和学到的政策的可解释性,特别是在大流行的背景下。
2021-02-11 cs.AI cs.LG
A General Highly Accurate Online Planning Method Integrating Large Language Models into Nested Rollout Policy Adaptation for Dialogue Tasks
本文提出NRPA-GD方法,利用大语言模型实现无需训练的对话策略规划,通过嵌套回滚策略适应在目标导向对话任务中取得优异表现。
2025-11-17 cs.AI cs.CL
Uncertainty-Aware Policy Optimization: A Robust, Adaptive Trust Region Approach
Boston University(波士顿大学)
为了使强化学习技术在现实世界的决策过程中发挥作用,它们必须能够从有限的数据中产生强大的性能。深度策略优化方法在复杂任务上取得了令人印象深刻的结果,但它们在现实世界中的应用仍然有限,因为它们通常需要大量数据才能成功。当与小样本量相结合时,这些方法可能会导致不稳定的学习,因为它们依赖于基于高维样本的估计。在这项工作中,我们开发的技术来控制这些估计所引入的不确定性。我们利用这些技术提出了一种深度策略优化方法,旨在即使在数据稀缺的情况下也能产生稳定的性能。由此产生的算法,不确定性感知的信任域策略优化,生成强大的策略更新,以适应整个学习过程中存在的不确定性水平。
2020-12-19 cs.AI cs.LG stat.ML
Offline-Boosted Actor-Critic: Adaptively Blending Optimal Historical Behaviors in Deep Off-Policy RL
Tsinghua University(清华大学);University of Hamburg(汉堡大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院)
针对离策略RL未充分利用replay buffer信息的问题,提出无模型在线RL框架OBAC,通过价值比较识别更优离线策略作为自适应约束来增强在线学习,在53个任务上展现出卓越的样本效率和性能。
2024-05-28 cs.AI cs.LG
Adaptive Estimator Selection for Off-Policy Evaluation
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
我们开发了一个通用的数据驱动的方法,估计选择在政策外的政策评估设置。我们建立了一个强大的性能保证的方法,表明它是有竞争力的Oracle估计,一个常数因子。通过对上下文强盗和强化学习的深入案例研究,我们证明了该方法的通用性和适用性。我们还进行了全面的实验,证明了我们的方法的经验有效性,并与相关方法进行比较。在这两个案例研究中,我们的方法与现有的方法相比毫不逊色。
2020-08-24 cs.LG math.ST stat.ML
Offline Policy Evaluation as a decision support tool for designing Adaptive Experiments
本研究提出利用离线策略评估与暖启动模拟相结合的方法,基于历史A/B测试数据评估自适应策略的部署价值,并验证其在异质性存在时优于固定分配。研究通过合成实验和开放基准验证了方法的有效性,为自适应实验的决策提供了实用工具。
2026-09-28 cs.LG
UP-NRPA: User Portrait based Nested Rollout Policy Adaptation for Planning with Large Language Models in Goal-oriented Dialogue Systems
School of Artificial Intelligence, Anhui University(安徽大学人工智能学院);Anhui Provincial Key Laboratory of Security Artificial Intelligence, Anhui University(安徽大学安徽省安全人工智能重点实验室);Pengcheng Laboratory(鹏城实验室)
提出 UP-NRPA 在线框架,利用大语言模型和用户画像实时自适应调整对话策略,无需离线强化学习,在协作与非协作对话基准中实现 100% 任务成功率,谈判任务销售列表比提升 56.41%。
2026-06-15 cs.AI cs.CL
Path Integral Policy Improvement with Covariance Matrix Adaptation
INRIA Bordeaux Sud-Ouest(法国国家信息与自动化研究所波尔多西南分部);CNRS(法国国家科学研究中心)
最近,强化学习的重点是通过优化参数化策略来解决连续状态和动作问题。PI 2是这种方法的一个最近的例子。它结合了随机最优控制的第一原理与统计估计理论的工具。在本文中,我们认为PI 2作为更广泛的家庭的方法,共享的概念,概率加权平均迭代更新参数,以优化成本函数的一员。我们比较PI 2的其他成员相同的家庭-交叉熵方法和CMAES -在概念层面和性能。比较建议推导出一种新的算法,我们称之为PI 2-CMA的“路径积分策略改进与协方差矩阵自适应”。PI 2-CMA的主要优点是它可以自动确定勘探噪声的大小。
2012-06-18 cs.LG
Model-based Multi-agent Policy Optimization with Adaptive Opponent-wise Rollouts
Shanghai Jiao Tong University(上海交通大学)
研究了多智能体强化学习(MARL)中基于模型的方法。在MARL模型中定义了动态样本复杂度和对手样本复杂度,并对收益差异上界进行了理论分析。为了在整个学习过程中降低样本复杂度,降低上界,我们提出了一种新的分散的基于模型的MARL方法,称为自适应对手明智的推出策略优化(AORPO)。在AORPO中,每个代理建立其多代理环境模型,包括一个动力学模型和多个对手模型,并训练其政策与自适应顺应性明智的推出。在合理的假设下,我们进一步证明了AORPO的理论收敛性。竞争和合作任务的实验表明,AORPO可以实现改进的样本效率与比较的MARL方法的渐近性能。
2022-03-16 cs.AI cs.LG cs.MA
Enhancing Policy Gradient with the Polyak Step-Size Adaption
Stellantis(斯泰兰蒂斯集团);Télécom Paris(巴黎电信学院)
针对强化学习中策略梯度算法对步长超参数敏感的问题,本文引入无需先验知识的Polyak自适应步长,解决了f*未知等适配问题,实验验证其能加快收敛、得到更稳定的策略。
2024-04-11 cs.LG
CAB: Continuous Adaptive Blending Estimator for Policy Evaluation and Learning
Cornell University(康奈尔大学);Cornell TRIPODS Center for Data Science(康奈尔大学TRIPODS数据科学中心)
使用记录的上下文强盗反馈执行离线A/B测试和离策略学习的能力在包括推荐系统、搜索引擎、广告投放和个性化医疗保健的广泛应用中是高度期望的。离线A/B测试和离策略学习都需要一个反事实估计器,用于评估如果使用某个新策略而不是日志策略,该策略将如何执行。在本文中,我们确定了一个家庭的反事实估计,其中包括大多数这样的估计提出的日期。我们的分析,这个家庭确定了一个新的估计-连续自适应混合(CAB)-享有许多有利的理论和实践性质。特别地,它可以比修剪的逆倾向分数(IPS)加权和直接方法基本上更少地偏置,并且它可以具有比双重稳健和IPS估计更少的方差。此外,它是次可微的,因此它可以用于学习,不像最小估计量。实验结果表明,CAB提供了良好的评估精度和学习性能优于其他反事实估计。
2019-08-28 cs.LG stat.ML
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology(以色列理工学院)
信赖域策略优化(TRPO)是强化学习(RL)中一种流行的、经验上成功的策略搜索算法。然而,TRPO一直被认为是一个启发式算法的启发式保守策略迭代(CPI)。我们表明,TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO,在规划设置中,我们可以访问模型和整个状态空间。然后,我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是,自适应缩放机制使我们能够分析TRPO正则化的MDPs,我们证明了快速的$\tilde O(1/N)$,很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation
Princeton University(普林斯顿大学)
我们介绍了一种新的算法,多目标强化学习(MORL)与线性偏好,使Few-Shot适应新的任务的目标。在MORL中,目标是学习多个竞争目标的策略,这些目标的相对重要性(偏好)对代理来说是未知的。虽然这简化了对标量奖励设计的依赖,但政策的预期回报可能会随着偏好的变化而发生显着变化,这使得学习单个模型以在不同偏好条件下产生最优政策变得具有挑战性。我们提出了一个广义版本的贝尔曼方程学习一个单一的参数表示的所有可能的偏好空间的最优策略。在初始学习阶段之后,我们的代理可以在任何给定的偏好下执行最优策略,或者用很少的样本自动推断出潜在的偏好。在四个不同领域的实验证明了我们的方法的有效性。
2019-11-06 cs.AI cs.LG
Adaptive Trade-Offs in Off-Policy Learning
DeepMind
文献中存在各种各样的离策略学习算法,并且在该领域继续取得新的突破,提高理论理解并产生最先进的强化学习算法。在本文中,我们采取统一的观点,这个空间的算法,并考虑他们的权衡的三个基本数量:更新方差,定点偏差,收缩率。这导致了现有方法的新视角,也自然产生了新的算法,离政策的评估和控制。我们开发了一种这样的算法,C-跟踪,证明它能够更有效地使这些权衡比现有的方法在使用中,它可以扩展到产生最先进的性能在大规模的环境中。
2020-07-30 cs.LG stat.ML
Safe Deep Policy Adaptation
Carnegie Mellon University(卡内基梅隆大学)
提出SafeDPA框架,通过联合学习自适应策略和动力学模型,结合CBF安全过滤器,解决动态环境中RL策略适应与安全部署问题,在安全率和任务性能上显著优于基线方法。
2024-04-28 cs.AI cs.LG cs.RO
Adaptive Learning of Design Strategies over Non-Hierarchical Multi-Fidelity Models via Policy Alignment
Carnegie Mellon University(卡内基梅隆大学)
提出多保真强化学习框架ALPHA,通过策略对齐自适应利用非分层异构低保真模型学习高保真策略,消除了模型调度需求并展现出更优收敛性。
2024-11-16 cs.AI cs.LG
Adaptive Pseudo-Siamese Policy Network for Temporal Knowledge Prediction
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
时态知识预测是近年来日益受到关注的事件预警中的一项重要任务,其目的是利用时态知识图谱上的相关历史事实对未来事实进行预测。在这项预测任务中有两个主要困难。首先,从历史事实的角度,如何对事实的演化模式进行建模,从而准确预测查询。第二,从查询的角度,如何在一个统一的框架中处理查询包含可见和不可见实体的两种情况。针对这两个问题,提出了一种基于强化学习的自适应伪连体策略网络,用于时态知识预测。具体来说,我们设计的政策网络在我们的模型作为一个伪连体政策网络,由两个子政策网络。在子策略网络I中,代理沿着实体关系路径搜索查询的答案,以捕获静态演化模式。在子策略网络II中,Agent沿着关系时间路径搜索查询的答案,以处理不可见实体。此外,我们开发了一个时间关系编码器来捕获时间演化模式。最后,我们设计了一个门控机制来自适应地整合两个子策略网络的结果,以帮助代理专注于目的答案。为了评估我们的模型性能,我们在四个基准数据集上进行了链接预测,实验结果表明,与现有方法相比,我们的方法获得了相当的性能。
2022-04-26 cs.AI cs.LG
Constraint-Adaptive Policy Switching for Offline Safe Reinforcement Learning
Washington State University(华盛顿州立大学);University of Minnesota(明尼苏达大学);Oregon State University(俄勒冈州立大学)
提出约束自适应策略切换(CAPS)框架,通过在训练时学习多个不同奖励与成本权衡的策略,并在测试时根据当前成本约束动态切换策略,解决了离线安全强化学习中无需重训即可适应变化安全约束的挑战。
2025-05-27 cs.AI cs.LG
Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning
Preferred Networks, Inc.(Preferred Networks 公司)
为了让机器人执行关键任务,它们必须能够快速适应环境的变化以及受伤和/或其他身体变化。深度强化学习已被证明在训练机器人控制策略以在复杂环境中操作方面是成功的。然而,现有方法通常仅采用单个策略。这可能会限制适应性,因为大规模的环境修改可能需要与学习环境完全不同的行为。为了解决这个问题,我们提出了基于地图的多策略强化学习(MMPRL),其目的是搜索和存储编码不同行为特征的多个策略,同时在环境变化之前最大化期望奖励。由于这些政策,这是存储到一个多维的离散地图,根据其行为特征,适应可以在合理的时间内进行,而无需重新训练的机器人。可以使用贝叶斯优化从地图中调用适当的预训练策略。我们的实验表明,MMPRL使机器人能够快速适应大的变化,而不需要任何关于可能发生的伤害类型的先验知识。学习行为的一个亮点可以在这里找到:https://youtu.be/QwInbilXNOE。
2017-10-18 cs.AI cs.LG cs.RO
ProMP: Proximal Meta-Policy Search
UC Berkeley(加州大学伯克利分校);KIT(卡尔斯鲁厄理工学院);Karlsruhe Inst. of Technology (KIT)(卡尔斯鲁厄理工学院)
Meta-强化学习(Meta-RL)中的信用分配仍然知之甚少。现有的方法要么忽略了信用分配的预适应行为或实现它的天真。这导致元训练过程中样本效率低下以及任务识别策略无效。对基于梯度的元强化学习中的信用分配进行了理论分析。在所获得的见解的基础上,我们开发了一种新的元学习算法,克服了不良信用分配和以前的困难,估计Meta策略梯度的问题。通过控制元策略搜索过程中预适应策略和适应策略的统计距离,该算法赋予元学习高效、稳定的性能。我们的方法带来了卓越的预适应策略行为,并在样本效率、挂钟时间和渐进性能方面始终优于之前的Meta-RL算法。
2022-02-11 cs.LG stat.ML
ADARL: Adaptive Low-Rank Structures for Robust Policy Learning under Uncertainty
Texas A&M University(德克萨斯大学);University of Minnesota(明尼苏达大学);Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Northeastern University(东北大学)
针对鲁棒强化学习计算昂贵且策略保守的问题,提出自适应秩表示(AdaRL)双层优化框架,通过动态调整策略秩平衡偏差-方差,在MuJoCo基准上超越现有方法并收敛至任务内在秩。
2025-10-13 cs.LG stat.ML
Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
New York University(纽约大学)
本文研究了具有加性和乘性噪声的连续时间线性随机系统的自适应最优平稳控制问题。基于策略迭代,提出了一种新的非策略强化学习算法--基于乐观最小二乘的策略迭代算法,该算法能够从初始容许控制策略出发,直接从输入/状态数据中迭代找到自适应最优平稳控制问题的近优策略,而无需显式地识别任何系统矩阵.在较弱的条件下,证明了所提出的基于最小二乘的策略迭代算法的解以概率1收敛到最优解的一个小邻域内。通过对三级倒立摆系统的仿真,验证了该算法的可行性和有效性。
2021-12-05 cs.LG cs.SY eess.SY
Adaptive Policy Synchronization for Scalable Reinforcement Learning
MIT Lincoln Laboratory(MIT林肯实验室)
针对分布式强化学习中环境执行僵化与策略同步开销问题,本文提出保留 Gymnasium API 的 ClusterEnv 及 APS 机制,在保持性能的同时减少通信开销。
2025-10-17 cs.AI cs.LG
Adaptive Approximate Policy Iteration
Deepmind(深度思维)
无模型强化学习算法结合价值函数逼近在各种应用领域取得了令人印象深刻的性能。然而,这种算法的理论理解是有限的,现有的结果主要集中在情节或折扣马尔可夫决策过程(MDP)。在这项工作中,我们提出了自适应近似策略迭代(AAPI),学习计划,享有$\tilde{O}(T^{2/3})$遗憾界的未折扣,持续学习一致遍历MDPs。这是一个改进的最佳现有界的$\tilde{O}(T^{3/4})$的平均回报的情况下,函数近似。我们的算法和分析依赖于在线学习技术,其中价值函数被视为损失。主要的技术新颖性是使用依赖于数据的自适应学习率,再加上所谓的乐观预测即将发生的损失。除了理论上的保证,我们证明了我们的方法的优势,经验上的几个环境。
2021-02-11 cs.LG stat.ML
PPO-CMA: Proximal Policy Optimization with Covariance Matrix Adaptation
Aalto University(阿尔托大学);NVIDIA(英伟达)
近端策略优化(PPO)是一种非常流行的无模型强化学习(RL)方法。然而,我们观察到,在连续的动作空间中,PPO会过早地缩小探索方差,这会导致进展缓慢,并可能使算法容易陷入局部最优。从CMA-ES,一个黑盒进化优化方法的鲁棒性,在类似的情况下设计的灵感,我们提出了PPO-CMA,一个近端策略优化的方法,自适应地扩大探索方差,以加快进度。PPO只有很小的变化,我们的算法大大提高了性能在Roboschool连续控制基准。我们的研究结果还表明,与PPO相反,PPO-CMA对超参数的选择明显不敏感,允许人们在复杂的运动优化任务中使用它,而不需要繁琐的调整。
2020-11-03 cs.LG stat.ML
Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning
Netflix(奈飞);Université Paris Descartes(巴黎笛卡尔大学);Cornell University(康奈尔大学);University of California, Berkeley(加州大学伯克利分校)
经验风险最小化(ERM)是机器学习的主力,无论是用于分类和回归还是用于离线策略学习,但当我们使用自适应收集的数据时,其模型不可知的保证可能会失败,例如运行上下文强盗算法的结果。我们研究了一个通用的重要性抽样加权ERM算法,使用自适应收集的数据,以最小化损失函数的平均假设类,并提供第一种泛化保证和快速收敛速度。我们的研究结果是基于一个新的最大不等式,仔细利用重要性抽样结构,以获得正确的依赖于数据中的勘探率的利率。对于回归,我们提供了利用平方误差损失的强凸性的快速速率。对于政策学习,我们提供了速率最优的遗憾保证,关闭现有文献中的一个开放的差距,每当勘探衰减到零,是土匪收集的数据的情况下。实证研究验证了我们的理论。
2021-06-03 cs.LG math.ST stat.ML
Linear Representation Meta-Reinforcement Learning for Instant Adaptation
University of California, Berkeley(加州大学伯克利分校)
本文介绍了快速线性化自适应策略(FLAP),这是一种新的Meta强化学习(元RL)方法,能够很好地外推到分布外的任务,而不需要重用训练数据,并且在测试过程中只需要少量样本就可以几乎立即适应。FLAP建立在学习策略的共享线性表示的思想之上,以便在适应新任务时,预测一组线性权重就足够了。一个单独的适配器网络与策略同时训练,这样在适配过程中,我们可以直接使用适配器网络来预测这些线性权重,而不是通过梯度下降来更新元策略,例如在MAML等现有的元RL方法中,以获得新策略。单独的前馈网络的应用不仅显著加快了自适应运行时间,而且还非常好地推广到以前的Meta-RL方法无法推广的非常不同的任务。在标准连续控制元RL基准测试上的实验表明,与现有方法相比,FLAP在分布外任务上表现出更强的性能,平均回报率高达两倍,自适应运行速度高达8倍。
2021-01-12 cs.AI cs.LG stat.ML
Sub-policy Adaptation for Hierarchical Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
分层强化学习是解决具有稀疏回报的长期决策问题的一种很有前途的方法。不幸的是,大多数方法仍然将较低级别的技能获取过程与控制新任务中技能的较高级别的训练解耦。保持技能不变可能会导致转移设置中的显着次优。在这项工作中,我们提出了一种新的算法来发现一组技能,并不断调整它们,即使在训练新任务时也是如此。我们的主要贡献有两方面。首先,我们推导出一个新的分层策略梯度与公正的潜在依赖的基线,我们引入分层近端策略优化(HiPPO),一个有效的策略方法,训练各级的层次结构。其次,我们提出了一种训练时间抽象的方法,提高了所获得的技能对环境变化的鲁棒性。代码和结果可在sites.google.com/view/hippo-rl上获得
2020-05-13 cs.AI cs.LG cs.NE
QPPG: Quantum-Preconditioned Policy Gradient for Link Adaptation in Rayleigh Fading Channels
African Institute for Mathematical Sciences(非洲数学科学研究所);Stanford University(斯坦福大学);Olabisi Onabanjo University(奥拉比·奥纳班乔大学);University of Glasgow(格拉斯哥大学)
本文提出量子预条件策略梯度算法,通过信息 Fisher 基于预条件稳定和加速策略更新,提升无线通信中动态衰落环境下的链路自适应性能,实现更快收敛、更高的吞吐量和更低的发射功率。
2025-10-22 cs.LG cs.SY eess.SY