Proximal Policy Optimization with Adaptive Exploration
提出axPPO算法,依据智能体近期表现动态调节探索幅度,以改善强化学习中的探索-利用权衡,并在学习效率上优于标准PPO。
2024-05-07 cs.AI cs.LG
Implicit Deep Adaptive Design: Policy-Based Experimental Design without Likelihoods
University of Oxford(牛津大学);University of Edinburgh(爱丁堡大学)
我们引入了隐式深度自适应设计(iDAD),这是一种使用隐式模型实时执行自适应实验的新方法。iDAD通过预先学习设计策略网络来分摊贝叶斯最优试验设计(BOED)的成本,然后可以在试验时快速部署。iDAD网络可以在模拟可微样本的任何模型上进行训练,而不像以前的设计策略工作需要封闭形式的可能性和条件独立的实验。在部署时,iDAD允许在毫秒内做出设计决策,而传统的BOED方法在实验过程中需要大量的计算。我们说明了iDAD的适用性的一些实验,并表明,它提供了一个快速和有效的机制进行自适应设计与隐式模型。
2021-11-03 cs.AI cs.LG stat.CO
Uncertainty-Aware Policy Optimization: A Robust, Adaptive Trust Region Approach
Boston University(波士顿大学)
为了使强化学习技术在现实世界的决策过程中发挥作用,它们必须能够从有限的数据中产生强大的性能。深度策略优化方法在复杂任务上取得了令人印象深刻的结果,但它们在现实世界中的应用仍然有限,因为它们通常需要大量数据才能成功。当与小样本量相结合时,这些方法可能会导致不稳定的学习,因为它们依赖于基于高维样本的估计。在这项工作中,我们开发的技术来控制这些估计所引入的不确定性。我们利用这些技术提出了一种深度策略优化方法,旨在即使在数据稀缺的情况下也能产生稳定的性能。由此产生的算法,不确定性感知的信任域策略优化,生成强大的策略更新,以适应整个学习过程中存在的不确定性水平。
2020-12-19 cs.AI cs.LG stat.ML
Offline Policy Evaluation for Reinforcement Learning with Adaptively Collected Data
UC Santa Barbara(圣巴巴拉大学)
本文针对自适应收集数据的表格 MDP 离线策略评估问题,为 TMIS 估计器建立高概率实例相关误差界,并恢复极小极大最优离线学习,通过仿真验证理论结果。
2024-05-01 cs.AI cs.LG
Reinforcement Learning with Curriculum-inspired Adaptive Direct Policy Guidance for Truck Dispatching
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对露天矿卡车调度中强化学习依赖复杂奖励工程的问题,提出课程启发的自适应直接策略指导方法,通过时间增量调整PPO并采用最短处理时间教师策略引导探索,在OpenMines中实现10%性能提升和更快收敛,增强了对奖励设计的鲁棒性。
2025-02-28 cs.AI cs.LG
Efficient Deep Reinforcement Learning via Adaptive Policy Transfer
Tianjin University(天津大学);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室);Nanjing University(南京大学);Fuxi AI Lab in Netease(网易伏羲人工智能实验室);JD Digits(京东数字科技)
迁移学习(TL)通过利用相关任务的过去学习策略中的先验知识,在加速强化学习(RL)方面显示出巨大的潜力。现有的迁移方法要么显式地计算任务之间的相似性,要么选择适当的源策略来为目标任务提供指导性的探索。然而,如何直接优化目标策略,通过交替利用知识,从适当的源策略,而不显式地测量的相似性是目前缺少的。在本文中,我们提出了一种新的策略转移框架(PTF),以加速RL利用这一思想。我们的框架学习什么时候,哪一个源策略是最好的目标策略重用,什么时候终止它通过建模多策略传输的选项学习问题。PTF可以很容易地与现有的深度RL方法相结合。实验结果表明,它显着加快了学习过程,并超越了国家的最先进的政策转移方法的学习效率和最终性能在离散和连续的行动空间。
2020-05-25 cs.AI cs.LG stat.ML
Hindsight-Anchored Policy Optimization: Learning Through Hindsight with Thompson Sampling-Inspired Adaptive Gating
Amazon(亚马逊)
本文提出HAPO策略优化方法,通过合成成功注入机制和 Thompson 采样启发的门控机制,解决稀疏奖励下策略优化的分布偏置问题,实现渐近一致性。
2026-09-15 cs.AI cs.CL cs.LG
Model-based Multi-agent Policy Optimization with Adaptive Opponent-wise Rollouts
Shanghai Jiao Tong University(上海交通大学)
研究了多智能体强化学习(MARL)中基于模型的方法。在MARL模型中定义了动态样本复杂度和对手样本复杂度,并对收益差异上界进行了理论分析。为了在整个学习过程中降低样本复杂度,降低上界,我们提出了一种新的分散的基于模型的MARL方法,称为自适应对手明智的推出策略优化(AORPO)。在AORPO中,每个代理建立其多代理环境模型,包括一个动力学模型和多个对手模型,并训练其政策与自适应顺应性明智的推出。在合理的假设下,我们进一步证明了AORPO的理论收敛性。竞争和合作任务的实验表明,AORPO可以实现改进的样本效率与比较的MARL方法的渐近性能。
2022-03-16 cs.AI cs.LG cs.MA
Online Bandit Learning against an Adaptive Adversary: from Regret to Policy Regret
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Microsoft Research(微软研究院)
在线学习算法被设计成即使在它们的输入由对手生成时也能学习。在线算法学习能力的广泛接受的正式定义是博弈论中的后悔概念。我们认为,后悔的标准定义变得不够,如果对手被允许适应在线算法的行动。我们定义的替代概念的政策遗憾,试图提供一个更有意义的方式来衡量一个在线算法的性能对自适应对手。集中在网上的强盗设置,我们表明,没有强盗算法可以保证一个次线性的政策后悔对自适应对手与无限的记忆。另一方面,如果对手的记忆是有界的,我们提出了一个一般的技术,转换成一个算法的次线性策略遗憾界的任何强盗算法与次线性遗憾界。我们将这一结果扩展到后悔的其他变体,如转换后悔,内部后悔和交换后悔。
2012-06-27 cs.LG stat.ML
Adaptive Estimator Selection for Off-Policy Evaluation
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
我们开发了一个通用的数据驱动的方法,估计选择在政策外的政策评估设置。我们建立了一个强大的性能保证的方法,表明它是有竞争力的Oracle估计,一个常数因子。通过对上下文强盗和强化学习的深入案例研究,我们证明了该方法的通用性和适用性。我们还进行了全面的实验,证明了我们的方法的经验有效性,并与相关方法进行比较。在这两个案例研究中,我们的方法与现有的方法相比毫不逊色。
2020-08-24 cs.LG math.ST stat.ML
Offline-Boosted Actor-Critic: Adaptively Blending Optimal Historical Behaviors in Deep Off-Policy RL
Tsinghua University(清华大学);University of Hamburg(汉堡大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院)
针对离策略RL未充分利用replay buffer信息的问题,提出无模型在线RL框架OBAC,通过价值比较识别更优离线策略作为自适应约束来增强在线学习,在53个任务上展现出卓越的样本效率和性能。
2024-05-28 cs.AI cs.LG
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology(以色列理工学院)
信赖域策略优化(TRPO)是强化学习(RL)中一种流行的、经验上成功的策略搜索算法。然而,TRPO一直被认为是一个启发式算法的启发式保守策略迭代(CPI)。我们表明,TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO,在规划设置中,我们可以访问模型和整个状态空间。然后,我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是,自适应缩放机制使我们能够分析TRPO正则化的MDPs,我们证明了快速的$\tilde O(1/N)$,很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
Adaptive Learning of Design Strategies over Non-Hierarchical Multi-Fidelity Models via Policy Alignment
Carnegie Mellon University(卡内基梅隆大学)
提出多保真强化学习框架ALPHA,通过策略对齐自适应利用非分层异构低保真模型学习高保真策略,消除了模型调度需求并展现出更优收敛性。
2024-11-16 cs.AI cs.LG
CAB: Continuous Adaptive Blending Estimator for Policy Evaluation and Learning
Cornell University(康奈尔大学);Cornell TRIPODS Center for Data Science(康奈尔大学TRIPODS数据科学中心)
使用记录的上下文强盗反馈执行离线A/B测试和离策略学习的能力在包括推荐系统、搜索引擎、广告投放和个性化医疗保健的广泛应用中是高度期望的。离线A/B测试和离策略学习都需要一个反事实估计器,用于评估如果使用某个新策略而不是日志策略,该策略将如何执行。在本文中,我们确定了一个家庭的反事实估计,其中包括大多数这样的估计提出的日期。我们的分析,这个家庭确定了一个新的估计-连续自适应混合(CAB)-享有许多有利的理论和实践性质。特别地,它可以比修剪的逆倾向分数(IPS)加权和直接方法基本上更少地偏置,并且它可以具有比双重稳健和IPS估计更少的方差。此外,它是次可微的,因此它可以用于学习,不像最小估计量。实验结果表明,CAB提供了良好的评估精度和学习性能优于其他反事实估计。
2019-08-28 cs.LG stat.ML
Adaptive Trade-Offs in Off-Policy Learning
DeepMind
文献中存在各种各样的离策略学习算法,并且在该领域继续取得新的突破,提高理论理解并产生最先进的强化学习算法。在本文中,我们采取统一的观点,这个空间的算法,并考虑他们的权衡的三个基本数量:更新方差,定点偏差,收缩率。这导致了现有方法的新视角,也自然产生了新的算法,离政策的评估和控制。我们开发了一种这样的算法,C-跟踪,证明它能够更有效地使这些权衡比现有的方法在使用中,它可以扩展到产生最先进的性能在大规模的环境中。
2020-07-30 cs.LG stat.ML
Adaptivity in Adaptive Submodularity
Google Research(谷歌研究院);Yale University(耶鲁大学)
自适应序贯决策是机器学习和人工智能的核心挑战之一。在这样的问题中,目标是设计一个交互式策略,该策略计划从有限的$n$动作集合中采取一个动作,给出一些部分观察。它已被证明,在许多应用程序,如主动学习,机器人,顺序实验设计,和主动检测,效用函数满足自适应子模块化,一个概念,推广的概念回报递减的政策。在本文中,我们重新审视权力的自适应最大化的自适应单调子模函数。我们提出了一个有效的半自适应政策,与$O(\log n \times\log k)$自适应轮的意见,可以实现一个几乎紧密的$1-1/e-ε$近似保证相对于一个最佳的政策,进行$k$行动在一个完全顺序的方式。为了补充我们的结果,我们还表明,这是不可能实现一个常数因子近似与$o(\log n)$自适应轮。我们还扩展我们的结果的情况下,自适应随机最小成本覆盖的目标是达到所需的效用$Q$与最便宜的政策。我们首先证明了著名的Golovin和Krause的工作的猜想表明,贪婪的政策实现了渐近紧对数近似保证,而不诉诸更强的适应性概念。然后,我们提出了一个半自适应的政策,提供了相同的保证,在多对数自适应轮通过类似的信息并行计划。我们的研究结果缩小了自适应子模块最大化的自适应差距的指数因子。
2020-07-27 cs.DS cs.LG stat.ML
Data Efficient Training for Reinforcement Learning with Adaptive Behavior Policy Sharing
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);Google Brain(谷歌大脑);DeepMind(深度思维);Google AI(谷歌人工智能)
深度强化学习(RL)被证明是模拟环境中决策的强大工具。然而,由于交互的昂贵性和部署时的预算限制,训练深度RL模型在现实世界的应用中具有挑战性,例如生产规模的医疗保健或推荐系统。数据效率低下的一个方面来自优化深度神经网络时昂贵的超参数调整。我们提出了自适应行为策略共享(ABPS),一个数据高效的训练算法,允许共享的经验收集的行为策略,是自适应地选择从一个池的代理训练与合奏的超参数。我们进一步扩展ABPS,通过将ABPS与基于人口的训练(ABPS-PBT)的适应版本混合,在训练过程中进化超参数。我们用多个Atari游戏进行实验,最多有16个超参数/架构设置。与传统的独立训练超参数调整相比,ABPS实现了卓越的整体性能,减少了前25%代理的方差,并且在最佳代理上具有相同的性能,尽管ABPS只需要与训练单个代理相同数量的环境交互。我们还表明,ABPS-PBT进一步提高了收敛速度,降低了方差。
2020-02-12 cs.AI cs.LG stat.ML
Adaptive Approximate Policy Iteration
Deepmind(深度思维)
无模型强化学习算法结合价值函数逼近在各种应用领域取得了令人印象深刻的性能。然而,这种算法的理论理解是有限的,现有的结果主要集中在情节或折扣马尔可夫决策过程(MDP)。在这项工作中,我们提出了自适应近似策略迭代(AAPI),学习计划,享有$\tilde{O}(T^{2/3})$遗憾界的未折扣,持续学习一致遍历MDPs。这是一个改进的最佳现有界的$\tilde{O}(T^{3/4})$的平均回报的情况下,函数近似。我们的算法和分析依赖于在线学习技术,其中价值函数被视为损失。主要的技术新颖性是使用依赖于数据的自适应学习率,再加上所谓的乐观预测即将发生的损失。除了理论上的保证,我们证明了我们的方法的优势,经验上的几个环境。
2021-02-11 cs.LG stat.ML
ADARL: Adaptive Low-Rank Structures for Robust Policy Learning under Uncertainty
Texas A&M University(德克萨斯大学);University of Minnesota(明尼苏达大学);Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Northeastern University(东北大学)
针对鲁棒强化学习计算昂贵且策略保守的问题,提出自适应秩表示(AdaRL)双层优化框架,通过动态调整策略秩平衡偏差-方差,在MuJoCo基准上超越现有方法并收敛至任务内在秩。
2025-10-13 cs.LG stat.ML
Adaptive Pseudo-Siamese Policy Network for Temporal Knowledge Prediction
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
时态知识预测是近年来日益受到关注的事件预警中的一项重要任务,其目的是利用时态知识图谱上的相关历史事实对未来事实进行预测。在这项预测任务中有两个主要困难。首先,从历史事实的角度,如何对事实的演化模式进行建模,从而准确预测查询。第二,从查询的角度,如何在一个统一的框架中处理查询包含可见和不可见实体的两种情况。针对这两个问题,提出了一种基于强化学习的自适应伪连体策略网络,用于时态知识预测。具体来说,我们设计的政策网络在我们的模型作为一个伪连体政策网络,由两个子政策网络。在子策略网络I中,代理沿着实体关系路径搜索查询的答案,以捕获静态演化模式。在子策略网络II中,Agent沿着关系时间路径搜索查询的答案,以处理不可见实体。此外,我们开发了一个时间关系编码器来捕获时间演化模式。最后,我们设计了一个门控机制来自适应地整合两个子策略网络的结果,以帮助代理专注于目的答案。为了评估我们的模型性能,我们在四个基准数据集上进行了链接预测,实验结果表明,与现有方法相比,我们的方法获得了相当的性能。
2022-04-26 cs.AI cs.LG
Adaptive Policy Synchronization for Scalable Reinforcement Learning
MIT Lincoln Laboratory(MIT林肯实验室)
针对分布式强化学习中环境执行僵化与策略同步开销问题,本文提出保留 Gymnasium API 的 ClusterEnv 及 APS 机制,在保持性能的同时减少通信开销。
2025-10-17 cs.AI cs.LG
Role-Adaptive Policy Optimization for Offline Reinforcement Learning
Hanyang University(汉阳大学)
针对离线强化学习中策略正则化角色耦合问题,提出角色自适应策略优化(RAPO),按价值学习与执行角色独立调整更新系数,在D4RL任务上超越TD3+BC和IQL基线。
2026-10-01 cs.LG
Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning
Netflix(奈飞);Université Paris Descartes(巴黎笛卡尔大学);Cornell University(康奈尔大学);University of California, Berkeley(加州大学伯克利分校)
经验风险最小化(ERM)是机器学习的主力,无论是用于分类和回归还是用于离线策略学习,但当我们使用自适应收集的数据时,其模型不可知的保证可能会失败,例如运行上下文强盗算法的结果。我们研究了一个通用的重要性抽样加权ERM算法,使用自适应收集的数据,以最小化损失函数的平均假设类,并提供第一种泛化保证和快速收敛速度。我们的研究结果是基于一个新的最大不等式,仔细利用重要性抽样结构,以获得正确的依赖于数据中的勘探率的利率。对于回归,我们提供了利用平方误差损失的强凸性的快速速率。对于政策学习,我们提供了速率最优的遗憾保证,关闭现有文献中的一个开放的差距,每当勘探衰减到零,是土匪收集的数据的情况下。实证研究验证了我们的理论。
2021-06-03 cs.LG math.ST stat.ML
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia(微软亚洲研究院)
传统的强化学习(RL)需要一个环境来收集新的数据,当在线交互成本高昂时,这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而,如果离线数据集的质量很差,它将产生不令人满意的性能。在本文中,我们考虑了一个离线到在线的设置,代理首先从离线数据集学习,然后在线训练,并提出了一个框架,称为自适应策略学习,有效地利用离线和在线数据。具体来说,我们显式地考虑在线和离线数据之间的差异,并相应地应用自适应更新方案,即,离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后,我们对流行的连续控制任务进行了大量的实验,结果表明,即使在离线数据集质量较差的情况下,我们的算法也能以较高的样本效率学习专家策略,例如,随机数据集。
2023-03-14 cs.AI cs.LG
Knowledge Infused Policy Gradients for Adaptive Pandemic Control
Artificial Intelligence Institute, University of South Carolina(南卡罗来纳大学人工智能研究所)
COVID-19对各国的影响因其政策实施而异。有效的政策需要考虑到公共信息和对新知识的适应性。为了解COVID-19而建立的流行病学模型很少能为政策制定者提供适应性流行病控制(APC)的能力。需要克服的核心挑战包括:(a)无法处理大流行时间轴上不同促成特征的高度非同质性;(b)缺乏能够适应性地纳入公共卫生专家知识的方法;(c)能够在提出政策时理解决策过程的透明模型。在这项工作中,我们采取的早期步骤,以解决这些挑战,使用知识注入策略梯度(KIPG)的方法。关于知识灌输的先前工作不处理在疾病信息和指南中必须遵守的不同形式的知识的软和硬强加。此外,该模型不参加非同质性的特征计数,表现为部分可观察性通知的政策。此外,可解释结构是在学习后提取的,而不是学习APC所需的可解释模型。为此,我们介绍了一个数学框架KIPG方法,可以(a)诱导相关的特征计数在世界的多关系特征,(b)处理潜在的非齐次计数作为隐藏变量,是线性组合的核聚合的功能,(b)注入知识作为功能约束的原则性方式。本研究建立了硬、软约束的理论,并通过实验进行了模拟。与知识密集型基线相比,我们展示了快速样本对新知识的有效适应性和学到的政策的可解释性,特别是在大流行的背景下。
2021-02-11 cs.AI cs.LG
Adaptive Policy Transfer in Reinforcement Learning
Coordinated Sciences Laboratory, University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
有效和强大的策略传输仍然是强化学习在现实机器人中可行的关键挑战。通过热初始化、模仿或在具有随机实例的大量代理上交互的策略转移已被普遍应用于解决各种强化学习任务。然而,这似乎与生物世界中技能转移的方式相去甚远:人类和动物能够在类似任务之间快速适应学到的行为,并在遇到新情况时学习新技能。在这里,我们试图回答这个问题:学习结合适应和探索会导致更有效地转移领域之间的政策?我们引入了一个原则性的机制,可以“自适应学习”,即适应源策略学习解决具有显著的过渡差异和不确定性的目标任务。我们表明,所提出的方法学会无缝地结合学习适应和探索,并导致一个强大的政策转移算法,显着降低样本的复杂性,在相关任务之间的技能转移。
2021-05-10 cs.AI cs.LG
Optimal and Adaptive Off-policy Evaluation in Contextual Bandits
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
我们研究了在情境强盗模型下的非策略评估问题-利用一个目标策略收集的数据来估计另一个策略的价值。我们认为一般(不可知)设置没有访问一致的奖励模型,并建立一个最小最大下限的均方误差(MSE)。的界限是匹配常数的逆倾向评分(IPS)和双稳健(DR)估计。这突出了不可知背景设置的困难,与多武装匪徒和上下文匪徒相比,可以访问一致的奖励模型,其中IPS是次优的。然后,我们提出了一种新的估计器,它可以使用现有的奖励模型(不一定是一致的),以实现更好的偏差-方差权衡比IPS和DR。我们证明了其MSE的上限,并证明了它的好处,经验上的不同收集的数据集,往往优于以前的工作的数量级。
2017-11-11 cs.LG stat.ML
Temperature as a Meta-Policy: Adaptive Temperature in LLM Reinforcement Learning
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
TAMPO通过将温度控制转化为可学习的元策略,实现了LLM强化学习中的自适应探索,优于固定或启发式温度方法。
2026-02-12 cs.LG
Constraint-Adaptive Policy Switching for Offline Safe Reinforcement Learning
Washington State University(华盛顿州立大学);University of Minnesota(明尼苏达大学);Oregon State University(俄勒冈州立大学)
提出约束自适应策略切换(CAPS)框架,通过在训练时学习多个不同奖励与成本权衡的策略,并在测试时根据当前成本约束动态切换策略,解决了离线安全强化学习中无需重训即可适应变化安全约束的挑战。
2025-05-27 cs.AI cs.LG
APC-RL: Exceeding Data-Driven Behavior Priors with Adaptive Policy Composition
Department of Computer Science Örebro University(计算机科学系 Örebro大学)
APC-RL通过自适应策略组合方法,有效整合稀疏、次优或不一致的演示数据,提升强化学习的效率与鲁棒性。
2026-01-27 cs.AI cs.LG
Bayes-Adaptive Deep Model-Based Policy Optimisation
Technical University of Munich(慕尼黑工业大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
我们引入了一种贝叶斯(深度)基于模型的强化学习方法(RoMBRL),该方法可以捕获模型的不确定性,以实现样本有效的策略优化。我们建议制定基于模型的政策优化问题作为贝叶斯自适应马尔可夫决策过程(BAMDP)。RoMBRL通过深度贝叶斯神经网络的置信分布来维护模型的不确定性,该深度贝叶斯神经网络的样本是通过随机梯度哈密顿蒙特卡罗生成的。不确定性通过由采样模型和基于历史的策略控制的模拟来传播。由于信念是在访问历史中编码的,我们提出了一个基于历史的策略网络,可以进行端到端的训练,以概括整个历史空间,并将使用经常性的信任区域策略优化进行训练。我们表明,RoMBRL优于现有的方法在许多具有挑战性的控制基准任务的样本复杂性和任务性能。本文的源代码也可在https://github.com/thobotics/RoMBRL上公开获得。
2021-01-04 cs.LG cs.RO
Adaptive Experience Selection for Policy Gradient
Warwick Manufacturing Group (WMG), University of Warwick(华威大学华威制造集团(WMG));University of Warwick(华威大学);United Kingdom(英国(注意:英国是国家,非机构,这里可能是原文本中地址信息,按要求不提取))
策略梯度强化学习(RL)算法在连续控制等具有挑战性的学习任务中取得了令人印象深刻的性能,但受到高样本复杂度的影响。经验重放是一种常用的方法来提高样本效率,但梯度估计使用过去的轨迹通常有很高的方差。现有的经验重放采样策略,如均匀采样或优先经验重放,并没有明确地试图控制梯度估计的方差。在本文中,我们提出了一个在线学习算法,自适应经验选择(AES),自适应学习的经验采样分布,显式地最小化这个方差。使用遗憾最小化方法,AES迭代更新的经验抽样分布,以匹配的竞争对手分布的性能假设有最佳的方差。样本的非平稳性提出了一个动态的(即随时间变化)竞争对手的分布,提出了一个封闭的解决方案。我们证明,AES是一个低遗憾算法与合理的样本复杂度。从经验上讲,AES已经实现了深度确定性策略梯度和软演员评论算法,并在OpenAI Gym库的8个连续控制任务上进行了测试。我们的研究结果表明,AES导致显着提高性能相比,目前可用的经验采样策略的政策梯度。
2020-02-17 cs.LG cs.RO stat.ML
Technical Report: Adaptive Control for Linearizable Systems Using On-Policy Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
提出了一种基于离散时间无模型策略梯度参数更新规则的未知系统自适应学习反馈线性化跟踪控制器的框架。该方案优于标准模型参考自适应控制技术的主要优点是,它不需要学习的逆模型在所有时刻都是可逆的。这使得使用一般的函数逼近器近似的线性化控制器的系统,而不必担心奇异性。然而,这些算法的离散时间和随机性排除了直接应用标准的机器从自适应控制文献中提供确定性的稳定性证明系统。尽管如此,我们利用这些技术以及随机近似文献中的工具来证明,当满足一定的持续激励条件时,跟踪和参数误差很有可能集中在零附近。一个双摆的仿真例子证明了所提出的理论的实用性。1
2020-04-06 cs.LG math.DS math.OC
Let the Batch Decide, On- or Off-Policy: Effective Sample Size for RL Post-Training
Boson AI
本文提出一种自适应策略优化方法,通过动态调整策略更新的信任区域和下策略正则化强度,以提高强化学习在训练后对数据分布变化的鲁棒性。
2026-10-20 cs.AI cs.LG
Combining LLM decision and RL action selection to improve RL policy for adaptive interventions
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
该研究提出结合LLM与RL的混合方法,利用文本用户偏好通过LLM过滤RL动作选择以改进策略,构建仿真环境验证,提升了健康自适应干预的个性化效果。
2025-01-13 cs.AI cs.LG
BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping
Fudan University(复旦大学);Shanghai Qiji Zhifeng Co., Ltd.(上海奇绩智峰有限公司);Shanghai Innovation Institute(上海创新研究院)
针对大语言模型离策略强化学习中熵降、优化不稳定的问题,提出带自适应裁剪的平衡策略优化方法BAPO,动态调整裁剪边界平衡正负贡献、保留熵,在多场景及AIME基准上实现更优性能。
2025-10-21 cs.AI cs.CL cs.LG
Adaptive Layerwise Perturbation: Unifying Off-Policy Corrections for LLM RL
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
本文提出自适应分层扰动(ALP),通过在更新过程中向每一层的输入隐藏状态注入可控噪声,缓解策略退化和训练-推理不匹配问题,提升训练稳定性与探索能力。
2026-05-15 cs.AI cs.LG
QUATRO: Query-Adaptive Trust Region Policy Optimization for LLM Fine-tuning
Seoul National University(首尔国立大学);Ewha Woman University(成均馆大学);Geogia Institute of Technology(佐治亚理工学院)
QUATRO通过原则性优化直接施加信任区域约束,实现稳定且可控的LLM微调,提升训练稳定性与熵控制。
2026-09-18 cs.LG
Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
New York University(纽约大学)
本文研究了具有加性和乘性噪声的连续时间线性随机系统的自适应最优平稳控制问题。基于策略迭代,提出了一种新的非策略强化学习算法--基于乐观最小二乘的策略迭代算法,该算法能够从初始容许控制策略出发,直接从输入/状态数据中迭代找到自适应最优平稳控制问题的近优策略,而无需显式地识别任何系统矩阵.在较弱的条件下,证明了所提出的基于最小二乘的策略迭代算法的解以概率1收敛到最优解的一个小邻域内。通过对三级倒立摆系统的仿真,验证了该算法的可行性和有效性。
2021-12-05 cs.LG cs.SY eess.SY
Deep Reinforcement Learning for Adaptive Learning Systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学)
在本文中,我们制定的自适应学习问题-如何找到一个个性化的学习计划(称为政策),选择最合适的学习材料的基础上学习者的潜在特质-在自适应学习系统面临的马尔可夫决策过程(MDP)的问题。我们假设潜在特征是连续的,具有未知的过渡模型。我们应用了一种无模型的深度强化学习算法--深度Q-学习算法--它可以有效地从学习者学习过程的数据中找到最优的学习策略,而不需要知道学习者连续潜在特征的实际转换模型。为了有效地利用现有的数据,我们还开发了一个过渡模型估计,模拟学习者的学习过程中使用神经网络。转移模型估计器可以用于深度Q-学习算法中,使得它可以更有效地发现学习器的最优学习策略。数值仿真研究表明,该算法在寻找最优学习策略方面是非常有效的,特别是在过渡模型估计器的辅助下,它可以在使用少量学习器进行训练后找到最优学习策略。
2020-04-17 cs.LG stat.ML
Hierarchical Prompt Decision Transformer: Improving Few-Shot Policy Generalization with Global and Adaptive Guidance
University of Virginia(弗吉尼亚大学);Amazon(亚马逊公司)
针对决策Transformer少样本泛化中静态提示缺乏上下文针对性的问题,提出带检索增强的分层提示方法,通过全局与自适应两层软令牌实现动态引导,在7项基准任务上优于所有基线。
2024-12-13 cs.LG
Adaptive Advantage-Guided Policy Regularization for Offline Reinforcement Learning
National University of Defense Technology(国防科技大学);Shanghai Institute of Microsystem and Information Technology(上海微系统与信息技术研究所);Chinese Academy of Sciences(中国科学院);Delft University of Technology(代尔夫特理工大学)
针对离线强化学习中分布外问题导致现有策略正则化方法过度保守的缺陷,提出结合VAE的自适应优势引导策略正则化方法A2PR,理论上保障策略提升,在D4RL等基准上取得最优性能。
2024-07-15 cs.AI cs.LG cs.RO
Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning
University of Science and Technology Beijing(北京科技大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出ASPC框架,通过动态平衡强化学习与行为克隆,解决在线强化学习中策略约束规模差异带来的超参数调优问题,实验表明其在多个数据集上表现优异且计算开销低。
2026-04-29 cs.LG
Accurate Inference for Adaptive Linear Models
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院);Chicago Booth(芝加哥大学布斯商学院)
从自适应收集的数据计算的估计不像他们的非自适应兄弟。相反,收集策略的顺序依赖性可能导致严重的分布偏差,即使在无限数据限制下也会持续存在。我们开发了一个通用的方法-- $\mathbf{W}$ -去相关--用于将自适应线性回归估计的偏差转换为方差。该方法仅使用关于数据收集策略的粗粒度信息,并且不需要访问策略的倾向得分或精确知识。我们绑定有限样本的偏差和方差的$\mathbf{W}$估计和发展渐近正确的置信区间的基础上一个新的鞅中心极限定理。然后,我们证明了经验的好处,通用的$\mathbf{W}$ -去相关程序在两个不同的自适应数据设置:多臂强盗和自回归时间序列。
2020-01-02 cs.LG stat.ML
Offline Policy Evaluation as a decision support tool for designing Adaptive Experiments
本研究提出利用离线策略评估与暖启动模拟相结合的方法,基于历史A/B测试数据评估自适应策略的部署价值,并验证其在异质性存在时优于固定分配。研究通过合成实验和开放基准验证了方法的有效性,为自适应实验的决策提供了实用工具。
2026-09-28 cs.LG
Adaptive ABAC Policy Learning: A Reinforcement Learning Approach
University of Pittsburgh(匹兹堡大学)
随着计算系统的快速发展,对更有效和高效的访问控制(AC)方法的需求日益增加。最近,基于属性的访问控制(ABAC)的方法已被证明是有前途的,在满足这种新兴的复杂计算环境的AC需求。ABAC模型基于系统中实体的属性和授权策略向请求者授予访问权限,然而,其通用性和灵活性带来了较高的成本。此外,组织系统的复杂性增加以及对其资源的联合访问的需求使得AC实施和管理的任务更具挑战性。在本文中,我们提出了一个自适应ABAC策略学习的方法来自动化的授权管理任务。我们将ABAC策略学习建模为一个强化学习问题。特别是,我们提出了一个上下文强盗系统,其中授权引擎适应ABAC模型通过反馈控制循环,它依赖于与用户/系统管理员的交互,以接收他们的反馈,协助模型在授权决策。我们提出了四种初始化学习模型的方法和一种基于属性值层次的规划方法来加速学习过程。我们专注于为家庭物联网环境开发自适应ABAC策略学习模型作为运行示例。我们评估我们提出的方法在真实和合成数据。我们在评估中考虑完整和稀疏数据集。我们的实验结果表明,所提出的方法实现的性能是相当的监督学习的基础上,在许多情况下,甚至优于他们在一些情况下。
2021-05-18 cs.AI cs.CR cs.LG
AdaptiveSD A Stability-Aware, Runtime-Adaptive Speculative Decoding Framework with Multi-Policy Orchestration for CPU-Constrained LLM Inference
Department of Physics, Iran University of Science and Technology(伊朗科技大学物理系)
针对小量化GGUF语言模型在设备推理中面临的问题,提出AdaptiveSD框架,由四个组件协同工作,基于多关键指标评估,可确保模型在多种场景下稳健可靠执行。
2026-07-07 cs.LG
ATPO: Adaptive Tree Policy Optimization for Multi-Turn Medical Dialogue
University of Science and Technology of China(中国科学技术大学);Qwen Applications Business Group, Alibaba Group(阿里云应用业务部);Zhejiang University(浙江大学)
ATPO通过自适应树策略优化提升多轮医疗对话中的信息获取效率,有效解决不确定性问题,实验表明其在医疗对话任务中表现优异。
2026-02-10 cs.AI cs.LG
SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting
University of Science and Technology of China(中国科学技术大学);Meituan LongCat Interaction Team(美团 LongCat 交互团队);Nanjing University(南京大学);Fudan University(复旦大学);Huazhong University of Science and Technology(华中科技大学)
针对在线策略强化学习中奖励稀疏导致的信用分配难题,提出SCOPE框架,通过双路径自适应加权机制分别处理正确与错误轨迹,实现信号校准的蒸馏增强,在六个推理基准上平均提升11.42%的Avg@32和7.30%的Pass@32。
2026-05-30 cs.AI cs.CL cs.LG
Adapt to Thrive! Adaptive Power-Mean Policy Optimization for Improved LLM Reasoning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出自适应幂均策略优化方法,通过引入幂均目标和反馈自适应裁剪,提升大语言模型的推理性能,实验显示其在多个任务中表现优于现有方法。
2026-05-07 cs.CL cs.ET cs.LG
Difficulty-Adaptive Tree-Structured Policy Optimization for Expanding Reasoning Coverage in RLVR
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
针对RLVR中推理覆盖不足的问题,提出难度自适应句子熵引导树结构策略优化(DATPO),通过树搜索与多样性优势项扩展pass@k,在数学推理基准上取得更优性能。
2026-09-09 cs.AI cs.CL cs.LG
Dynamic Policy Induction for Adaptive Prompt Optimization: Bridging the Efficiency-Accuracy Gap via Lightweight Reinforcement Learning
University of California, Irvine School of Information & Computer Science(加州大学尔湾分校信息与计算机科学学院)
针对大语言模型静态提示策略存在的效率-精度权衡僵化问题,提出基于轻量级强化学习的提示策略网络PPN,通过单步MDP和资源感知奖励自适应选择推理策略,在算术任务上以更低token成本保持竞争力精度。
2025-09-28 cs.AI cs.CL cs.LG
Centralized Adaptive Sampling for Reliable Co-Training of Independent Multi-Agent Policies
本文提出CoSER方法,通过协调动作选择减少联合采样误差,提升多智能体强化学习中策略梯度算法的收敛可靠性。
2026-05-13 cs.LG
Horizon Adaptive Offline Policy Learning via Value Stitching
The University of Hong Kong(香港大学);Tsinghua University(清华大学)
提出VAST方法,通过递归、自适应地平线价值组合替代固定地平线备份,利用未来状态和地平线长度条件辅助价值函数与拼接策略,实现离线策略优化,在长时域任务中优于固定步长和生成价值基线。
2026-10-14 cs.LG cs.RO