Finite-Time Performance Bounds and Adaptive Learning Rate Selection for Two Time-Scale Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Arizona State University（亚利桑那州立大学）
我们研究了两种时间尺度线性随机近似算法，它们可以用来模拟著名的强化学习算法，如GTD，GTD 2和TDC。我们给出了学习率固定的情况下的有限时间性能界限。在获得这些界限的关键思想是使用李雅普诺夫函数的奇异摄动理论的线性微分方程。我们使用的界限设计一个自适应学习率计划，显着提高了收敛速度在我们的实验中已知的最佳多项式衰减规则，并可以用来潜在地提高性能的任何其他时间表，其中的学习率在预定的时刻改变。
2019-07-14 cs.AI cs.LG stat.ML
SIBRE: Self Improvement Based REwards for Adaptive Feedback in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
我们提出了一种通用的奖励塑造方法，用于提高强化学习（RL）的收敛速度，称为基于自我改进的奖励，或SIBRE。该方法被设计用于与任何现有的RL算法结合使用，并包括奖励改进代理自己的过去的表现。我们证明了SIBRE在与原RL算法相同的条件下按期望收敛。当原始奖励是弱歧视或稀疏时，重塑的奖励有助于区分策略。在几个知名的基准测试环境中使用不同的强化学习算法进行的实验表明，SIBRE更快、更稳定地收敛到最优策略。我们还进行了敏感性分析相对于超参数，与基线RL算法相比。
2020-12-21 cs.AI cs.LG stat.ML
From Crystallized Adaptivity to Fluid Adaptivity in Deep Reinforcement Learning -- Insights from Biological Systems on Adaptive Flexibility
Bielefeld University（比勒费尔德大学）；Leibniz Institute for Neurobiology（莱布尼茨神经生物学研究所）；Otto-von-Guericke University（奥托·冯·格里克大学）
机器学习算法的最新发展已经在人工智能研究的许多传统应用场景中带来了令人印象深刻的性能提升。在深度强化学习领域，深度学习功能架构与增量学习方案相结合，用于顺序任务，包括基于交互但通常延迟的反馈。尽管取得了令人印象深刻的成功，但现代机器学习方法，包括深度强化学习，在某些自然发生的场景中，与灵活适应的生物系统相比，仍然表现较弱。这种情况包括转移到与训练发生的环境不同的环境或动态变化的环境，这两种环境通常都是由生物系统通过我们在这里称之为“流体适应性”的能力来掌握的，以将其与行为出现的先前学习的慢得多的适应性（“结晶适应性”）形成对比。在这篇文章中，我们推导和讨论的研究策略，在生物系统中的流体适应性和神经元建模的分析的基础上，这可能有助于装备未来的人工智能系统的流体适应性的能力更类似于那些在一些生物智能系统。这种研究策略的一个关键组成部分是问题空间本身的动态化，以及通过适当设计的灵活交互模块来实现这种动态化。
2019-08-13 cs.AI cs.LG cs.RO
Adaptive Bases for Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑了使用函数逼近的强化学习问题，其中逼近基可以在与环境交互时动态地改变。这种方法的动机是最大化价值函数对所面临问题的适应性。三个错误被认为是：近似平方误差，贝尔曼残差，投影贝尔曼残差。提出了行动者-批评者框架下的算法，并证明其收敛。这种自适应的基础上的优势，在模拟中证明。
2010-05-02 cs.AI cs.LG
ADAPTER-RL: Adaptation of Any Agent using Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）
本文提出 ADAPTER-RL，通过在强化学习中集成适配器来提升 DRL 智能体对分布外任务的适应性，该方法兼容预训练网络与规则智能体，并在 nanoRTS 环境中验证了其训练效率与性能提升效果。
2023-11-20 cs.AI cs.LG
On Convergence Rate of Adaptive Multiscale Value Function Approximation For Reinforcement Learning
New York University（纽约大学）
在本文中，我们提出了一个通用的框架，设计一个自适应逼近方案的价值函数逼近强化学习，它引入了多尺度逼近。两个基本成分是多分辨率分析以及树近似。从简单的细化功能，多分辨率分析，使我们能够构建一个小波系统，从基函数的选择自适应，从而在一个树结构。此外，我们提出了我们的多尺度逼近的收敛速度，它不依赖于基函数的正则性。
2019-08-22 cs.LG stat.ML
Meta-Learning and Meta-Reinforcement Learning -- Tracing the Path towards DeepMind's Adaptive Agent
本文针对标准机器学习难以快速适配新任务的问题，通过形式化元学习与元强化学习框架，梳理相关里程碑算法，为理解DeepMind自适应智能体等通用方法整合核心概念。
2026-04-01 cs.AI cs.LG
Provably adaptive reinforcement learning in metric spaces
University of Massachusetts（马萨诸塞大学）；Microsoft Research（微软研究院）
我们研究强化学习在连续的状态和动作空间赋予一个度量。我们提供了对Sinclair，Banerjee和Yu（2019）算法变体的精细分析，并表明其遗憾与实例的\emph{zooming dimension}相关。这个参数，它起源于土匪文学，捕捉的大小子集的近最佳行动，总是小于覆盖维数在以前的分析。因此，我们的结果是度量空间中强化学习的第一个可证明的自适应保证。
2021-10-20 cs.LG stat.ML
A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University（延世大学）
深度强化学习（Deep Reinforcement Learning，DRL）旨在创建智能代理，这些智能代理可以学习在现实环境中有效地解决复杂问题。通常，两个学习目标：适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后，我们回顾了这些方法下的最新工作，并讨论了未来的研究方向，通过DRL算法的适应性和泛化能力可以提高，并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
Learning to Transfer Learn: Reinforcement Learning-Based Selection for Adaptive Transfer Learning
Google Cloud AI（谷歌云AI）；University of Technology Sydney（悉尼科技大学）
我们提出了一种新的自适应迁移学习框架，学习迁移学习（L2TL），通过仔细提取源数据集的相关信息来提高目标数据集的性能。我们的框架考虑了源和目标任务模型之间的共享权重的合作优化，并自适应地调整组成损失权重。权重的自适应是基于强化学习（RL）选择策略，以目标验证集上的性能度量为指导。我们证明了L2TL在八个数据集上的性能优于微调基线和其他自适应迁移学习方法。在小规模目标数据集和源数据集和目标数据集之间的显著标签不匹配的情况下，L2TL显示出特别大的好处。
2020-07-16 cs.AI cs.LG
Risk-Averse Bayes-Adaptive Reinforcement Learning
University of Oxford（牛津大学）
在这项工作中，我们解决风险规避贝叶斯自适应强化学习。我们提出的问题，优化的条件风险价值（CVaR）的贝叶斯自适应马尔可夫决策过程（MDP）的总收益。我们发现，在这种情况下，政策优化CVaR是风险厌恶的参数的不确定性，由于先验分布在MDP，和内部的不确定性，由于固有的随机性的MDP。我们将问题转化为一个两人随机博弈，并提出了一个基于蒙特卡罗树搜索和贝叶斯优化的近似算法。我们的实验表明，我们的方法显着优于基线方法解决这个问题。
2021-10-26 cs.AI cs.LG
Adaptive Policy Transfer in Reinforcement Learning
Coordinated Sciences Laboratory, University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
有效和强大的策略传输仍然是强化学习在现实机器人中可行的关键挑战。通过热初始化、模仿或在具有随机实例的大量代理上交互的策略转移已被普遍应用于解决各种强化学习任务。然而，这似乎与生物世界中技能转移的方式相去甚远：人类和动物能够在类似任务之间快速适应学到的行为，并在遇到新情况时学习新技能。在这里，我们试图回答这个问题：学习结合适应和探索会导致更有效地转移领域之间的政策？我们引入了一个原则性的机制，可以“自适应学习”，即适应源策略学习解决具有显著的过渡差异和不确定性的目标任务。我们表明，所提出的方法学会无缝地结合学习适应和探索，并导致一个强大的政策转移算法，显着降低样本的复杂性，在相关任务之间的技能转移。
2021-05-10 cs.AI cs.LG
Final Adaptation Reinforcement Learning for N-Player Games
TH Köln, University of Applied Sciences（科隆应用技术大学）
本文介绍了基于n元组的强化学习（RL）算法的游戏。我们提出了TD，SARSA和Q学习的新算法，这些算法可以在具有任意数量玩家的各种游戏中无缝工作。这是通过采取以玩家为中心的观点来实现的，其中每个玩家将他/她的奖励传播回前一轮。我们在所有这些算法中添加了一个名为最终适应RL（FARL）的新元素。我们的主要贡献是，FARL是在各种游戏中以玩家为中心的观点取得成功的至关重要的因素。我们报告了七个棋盘游戏的结果，其中包括1，2和3名球员，包括奥赛罗，ConnectFour和Hex。在大多数情况下，发现FARL是重要的学习一个近乎完美的播放策略。所有算法都可以在GitHub上的GBG框架中找到。
2021-11-29 cs.AI cs.LG cs.MA
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Nanyang Technological University（南洋理工大学）
Meta强化学习（MRL）使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中，我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习（MAML），并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络（GAN）。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG
Adaptive Reward-Poisoning Attacks against Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所（MPI-SWS））
在针对强化学习（RL）的奖励中毒攻击中，攻击者可以在每一步都将环境奖励$r_t$扰动为$r_t+δ_t$，目的是迫使RL代理学习恶意策略。我们分类这种攻击的无穷范数约束$δ_t$：我们提供了一个较低的阈值，低于该奖励中毒攻击是不可行的，RL被证明是安全的，我们提供了一个相应的上限阈值，高于该攻击是可行的。可行攻击可以进一步分类为非自适应攻击，其中$δ_t$仅取决于$(s_t,a_t, s_{t+1})$，或自适应攻击，其中$δ_t$进一步取决于RL代理在时间$t$的学习过程。非自适应攻击一直是先前工作的焦点。然而，我们表明，在温和的条件下，自适应攻击可以实现邪恶的政策在步骤多项式的状态空间大小$|S|$，而非自适应攻击需要指数步骤。我们提供了一个建设性的证明，一个快速自适应攻击策略达到多项式率。最后，我们表明，根据经验，攻击者可以使用最先进的深度RL技术找到有效的奖励中毒攻击。
2020-06-22 cs.AI cs.CR cs.LG
Adaptive Warm-Start MCTS in AlphaZero-like Deep Reinforcement Learning
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学高级计算机科学研究所）
AlphaZero在深度强化学习方面取得了令人印象深刻的表现，它利用了一种架构，将搜索和神经网络的训练结合在一起。许多研究人员正在寻找方法来复制和改善其他游戏/任务的结果。然而，该架构旨在从头开始学习，白板，接受自我游戏中的冷启动问题。最近，提出了一种用于蒙特卡罗树搜索的热启动增强方法，以改善自启动阶段。它采用一个固定的参数$I^\prime$来控制热启动长度。据报道，在小型棋盘游戏中的表现有所改善。在本文中，我们提出的结果与自适应开关方法。实验表明，我们的方法比固定的$I^\prime$，特别是“深”，战术，游戏（奥赛罗和连接四）。我们推测$I^\prime$的自适应值也受游戏大小的影响，并且平均而言，$I^\prime$将随着游戏大小而增加。我们得出结论，AlphaZero式深度强化学习受益于基于自适应推出的热启动，就像15年前快速行动价值估计对基于推出的强化学习所做的那样。
2021-05-13 cs.AI cs.LG
From Thermal Preference Prediction to Adaptive Thermal Intervention: A Reinforcement Learning Approach Using Physiological and Environmental Sensing
Nottingham Trent University（诺丁汉特伦特大学）；York University（约克大学）
针对传统HVAC系统无法捕捉个体生理变异性的问题，提出整合多模态感知与强化学习的两阶段个性化热舒适方法，助力开发更响应的建筑控制策略。
2026-08-24 cs.AI cs.LG
Adaptive Multi-Horizon Reinforcement Learning
研究在复杂环境中强化学习的决策问题，提出自适应多时间尺度方法，能自适应选择和组合时间范围，无需手动调折扣因子，实验证明该方法可提高参数效率及增强适应性。
2026-07-30 cs.AI cs.LG
Reinforcement Learning and Adaptive Sampling for Optimized DNN Compilation
University of California, San Diego（加州大学圣地亚哥分校）
以更短的编译时间实现更快的执行可以使神经网络进一步多样化和创新。然而，目前执行神经网络的范例要么依赖于手工优化的库，传统的编译算法，要么依赖于最近的模拟退火和遗传算法。我们的工作采取了一种独特的方法，将神经网络的编译器优化作为一个强化学习问题，其解决方案需要更少的步骤来收敛。这个解决方案被称为ReLeASE，它带有一个采样算法，该算法利用聚类将昂贵的样本（实际硬件测量）集中在代表性点上，包含整个子空间。我们的自适应采样不仅减少了样本的数量，而且还提高了样本的质量，以便在更短的时间内更好地探索。因此，实际硬件实验表明，具有自适应采样的强化学习在优化时间上比AutoTVM快4.45倍，同时还将现代深度网络的推理时间提高了5.6%。进一步的实验也证实了我们的自适应采样甚至可以将AutoTVM的模拟退火提高4.00倍。
2019-05-30 cs.LG stat.ML
Adaptive Traffic Control with Deep Reinforcement Learning: Towards State-of-the-art and Beyond
University of Washington（华盛顿大学）；NEC Laboratories America Inc.（NEC美国实验室公司）
在这项工作中，我们研究了自适应数据引导的交通规划和控制使用强化学习（RL）。我们从经典方法的简单使用转向深度RL社区的最先进方法。我们在我们的算法中嵌入了几种最新的技术，这些技术改进了原始的深度Q网络（DQN）的离散控制，并讨论了随后与流量相关的解释。我们提出了一种新的基于DQN的流量控制算法（称为TC-DQN+）作为快速，更可靠的交通决策的工具。我们引入了一种新的形式的奖励函数，进一步讨论使用说明性的例子与传统的交通控制方法的比较。
2020-07-21 cs.LG stat.ML
Curious Meta-Controller: Adaptive Alternation between Model-Based and Model-Free Control in Deep Reinforcement Learning
University of Hamburg（汉堡大学）
最近在连续控制的深度强化学习中取得的成功主要是无模型方法，与基于模型的方法不同，无模型方法在对复杂域中不可避免的世界动态和模型错误进行假设时不会受到代表性限制。然而，与基于模型的方法相比，它们需要大量的经验，而基于模型的方法通常更具样本效率。我们建议结合这两种方法的好处，提出一个综合的方法，称为好奇的元控制器。我们的方法交替自适应基于模型的和无模型的控制使用好奇心反馈的基础上学习的神经模型的学习进度的动态学习的潜在空间。我们证明，我们的方法可以显着提高样本效率，并实现近最佳性能的学习机器人达到和抓取任务，从原始像素输入在密集和稀疏的奖励设置。
2019-05-05 cs.AI cs.LG cs.RO
Adaptive Discretization for Episodic Reinforcement Learning in Metric Spaces
Cornell University（康奈尔大学）
我们提出了一个有效的算法无模型的情节强化学习大（潜在连续）的状态动作空间。我们的算法是基于一种新的$Q$的学习政策与自适应数据驱动的离散化。其核心思想是在历史轨迹中经常访问的区域中保持状态-动作空间的更精细分区，并且具有更高的收益估计。我们展示了我们的自适应分区如何利用最佳$Q$函数和联合空间的形状，而不牺牲最坏情况下的性能。特别是，我们恢复了连续的状态-动作空间，这还需要一个最佳的离散化作为输入，和/或访问模拟预言先前算法的遗憾保证。此外，实验证明了我们的算法如何自动适应问题的底层结构，从而产生更好的性能相比，并行和$Q$ -学习均匀离散化。
2019-10-31 cs.LG stat.ML
Adapting the Function Approximation Architecture in Online Reinforcement Learning
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
强化学习（RL）系统的性能取决于用于近似价值函数的计算架构。深度学习方法提供了优化技术和架构，用于从嘈杂的高维观测中近似非线性函数。然而，流行的优化技术并不是为严格的增量在线更新而设计的。标准架构也不是为先验未知结构的观测而设计的：例如，光传感器随机分散在空间中。本文提出了一种在线RL预测算法与自适应架构，有效地发现有用的非线性功能。该算法是在一个空间域与高维，随机观测进行评估。该算法优于非自适应基线架构，并接近给定边信道信息的架构的性能。这些结果是一个可扩展的RL算法更一般的问题，其中的观察结构是不可用的一步。
2021-06-17 cs.AI cs.LG
Adaptive Data Exploitation in Deep Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute of Technology（东方理工学院）
ADEPT框架通过多臂老虎机算法自适应管理采样数据，提升深度强化学习的数据效率和泛化能力，并在多个基准上实现高效优越性能。
2025-01-22 cs.AI cs.LG
Adaptive perturbation adversarial training: based on reinforcement learning
Yunnan University（云南大学）
对抗性训练已经成为防御对抗性样本的主要方法。然而，由于许多缺点，它很难实际应用。对抗训练的缺点之一是它会降低正常样本的识别准确率。提出了自适应扰动对抗训练来缓解这个问题。它使用接近决策边界但不跨越决策边界的边缘对抗样本进行对抗训练，在保持模型鲁棒性的同时提高了模型识别的准确率。然而，搜索边际对抗样本会带来额外的计算成本。提出了一种基于强化学习的边缘对抗样本发现方法，并将其与最新的快速对抗训练技术相结合，有效地加快了训练过程，降低了训练成本。
2021-08-30 cs.AI cs.LG
Goal Exploration via Adaptive Skill Distribution for Goal-Conditioned Reinforcement Learning
University of Manchester（曼彻斯特大学）
针对目标条件强化学习中的探索效率问题，提出GEASD框架，通过自适应技能分布优化局部熵，增强目标扩散，实验证明其优于均匀分布且具备泛化能力。
2024-04-19 cs.AI cs.LG
Efficient Adaptation of Reinforcement Learning Agents to Sudden Environmental Change
Georgia Institute of Technology（佐治亚理工学院）
针对深度强化学习在部署环境突变时难以高效适应且易遗忘先验知识的问题，本论文提出在线适应需具备优先探索采样和结构化知识选择性保留两项能力。
2025-05-15 cs.AI cs.LG
Adapting the Behavior of Reinforcement Learning Agents to Changing Action Spaces and Reward Functions
Trinity College Dublin（都柏林三一学院）
MORPHIN通过动态调整超参数和概念漂移检测，实现强化学习智能体在变化的奖励函数和动作空间中的自适应学习，提升收敛速度和学习效率。
2026-01-28 cs.AI cs.LG
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification（麦克斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦克斯特大学）
本文综述了非平稳环境下安全持续强化学习的最新方法，探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
Offline Reinforcement Learning with Adaptive Behavior Regularization
Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；University of Science and Technology of China（中国科学技术大学）；Beihang University（北京航空航天大学）
离线强化学习（RL）定义了一种样本高效的学习范式，其中从静态和先前收集的数据集学习策略，而无需与环境进行额外的交互。离线RL的主要障碍是评估分布外动作的价值所产生的估计误差。为了解决这个问题，大多数现有的离线RL方法试图获得一个策略，既“接近”包含在数据集中的行为，并充分改善它们，这需要在两个可能冲突的目标之间进行权衡。在本文中，我们提出了一种新的方法，我们称之为自适应行为正则化（ABR），以平衡这一关键的权衡。通过简单地利用基于样本的正则化，ABR使策略能够在克隆和改进用于生成数据集的策略之间自适应地调整其优化目标。在D4RL数据集上的评估中，广泛采用的离线强化学习的基准，ABR可以实现与现有的最先进的算法相比，改进或有竞争力的性能。
2022-11-15 cs.AI cs.LG
Efficient Symptom Inquiring and Diagnosis via Adaptive Alignment of Reinforcement Learning and Classification
Tsinghua University（清华大学）
医学自动诊断的目标是模仿人类医生在现实世界中的诊断过程，并通过与患者的交互来实现准确的诊断。该任务被制定为一系列的症状查询步骤和最终诊断的顺序决策问题。最近的研究已经分别研究了将强化学习用于症状查询和分类技术用于疾病诊断。然而，如何有效地将这两种程序结合起来的研究仍然缺乏。为了解决这个问题，我们设计了一个自适应机制，以调整强化学习和分类方法使用分布熵作为媒介。此外，我们创建了一个新的患者模拟数据集，以解决缺乏大规模评估基准的问题。该数据集是从MedlinePlus知识库中提取的，与现有数据集相比，包含了更多的疾病和更全面的症状和检查信息。实验结果表明，该方法在不同数据集上的性能优于目前三种最先进的方法，可以以更少的查询次数获得更高的医疗诊断准确率。
2022-06-05 cs.AI cs.LG
Variance-Adaptive Optimal Algorithm for Reinforcement Learning with Multinomial Logit Function Approximation
Chung-Ang University（Chung-Ang 大学）；Seoul National University（首尔国立大学）；Columbia University（哥伦比亚大学）
针对多项逻辑函数逼近的强化学习，提出一种计算高效的方差自适应算法，实现了实例级最优遗憾界，并通过实验验证其优于传统方法。
2026-05-27 cs.LG stat.ML
Adapting Double Q-Learning for Continuous Reinforcement Learning
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊登伯勒大学）
针对离策略强化学习中的高估偏差，本文提出一种双组件混合策略，由独立网络分别最大化和评估，在 MuJoCo 上取得接近 SOTA 的结果。
2023-09-25 cs.AI cs.LG
Reinforcement Learning for Adaptive Routing
强化学习是指根据环境反馈学习策略--将观察映射为行动。学习可以被看作是浏览一组策略，同时通过与环境的交互来尝试评估它们。我们提出了一个梯度上升算法的强化学习应用到一个复杂的域的数据包路由在网络通信，并比较该算法的性能与其他路由方法的基准问题。
2007-03-28 cs.AI cs.LG cs.NI
Sample-Efficiency in Multi-Batch Reinforcement Learning: The Need for Dimension-Dependent Adaptivity
Imperial College London（伦敦帝国学院）；University of Oxford（牛津大学）
本文理论分析多批量强化学习中样本效率与自适应性的关系，证明仅增加批次（K>1）不足以保证样本效率，并建立维度相关的批次下界，揭示自适应边界取决于问题维度。
2024-05-28 cs.AI cs.LG
Meta-Reinforcement Learning with Discrete World Models for Adaptive Load Balancing
Kennesaw State University（肯尼索州立大学）
本文提出将元强化学习与DreamerV3结合用于操作系统负载均衡，实现动态工作负载下的快速自适应，并在标准与自适应试验中优于A2C，同时具备抗灾难性遗忘能力。
2025-03-11 cs.AI cs.LG cs.OS
A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation
Princeton University（普林斯顿大学）
我们介绍了一种新的算法，多目标强化学习（MORL）与线性偏好，使Few-Shot适应新的任务的目标。在MORL中，目标是学习多个竞争目标的策略，这些目标的相对重要性（偏好）对代理来说是未知的。虽然这简化了对标量奖励设计的依赖，但政策的预期回报可能会随着偏好的变化而发生显着变化，这使得学习单个模型以在不同偏好条件下产生最优政策变得具有挑战性。我们提出了一个广义版本的贝尔曼方程学习一个单一的参数表示的所有可能的偏好空间的最优策略。在初始学习阶段之后，我们的代理可以在任何给定的偏好下执行最优策略，或者用很少的样本自动推断出潜在的偏好。在四个不同领域的实验证明了我们的方法的有效性。
2019-11-06 cs.AI cs.LG
Efficient Meta Reinforcement Learning for Preference-based Fast Adaptation
University of California, Los Angeles（加州大学洛杉矶分校）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Helixon Ltd.（Helixon有限公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
从几次试验中学习新的特定任务技能是人工智能面临的根本挑战。Meta强化学习（meta-RL）通过学习可转移的策略来解决这个问题，这些策略支持对看不见的任务的Few-Shot适应。尽管元强化学习最近取得了进展，但大多数现有方法都需要访问新任务的环境奖励函数来推断任务目标，这在许多实际应用中并不现实。为了弥合这一差距，我们研究了在人在回路强化学习的背景下的Few-Shot适应问题。我们开发了一种元RL算法，可以通过基于偏好的反馈实现快速策略自适应。智能体可以通过查询人类行为轨迹之间的偏好来适应新的任务，而不是使用每步的数字奖励。通过扩展技术从信息论，我们的方法可以设计查询序列，以最大限度地提高信息增益从人类的互动，同时容忍的固有错误的非专家的人类预言。在实验中，我们广泛地评估我们的方法，适应与噪声的甲骨文（ANOLE），在各种元RL基准任务，并展示了大幅改善基线算法的反馈效率和容错性。
2022-11-20 cs.AI cs.LG
Offline Policy Evaluation for Reinforcement Learning with Adaptively Collected Data
UC Santa Barbara（圣巴巴拉大学）
本文针对自适应收集数据的表格 MDP 离线策略评估问题，为 TMIS 估计器建立高概率实例相关误差界，并恢复极小极大最优离线学习，通过仿真验证理论结果。
2024-05-01 cs.AI cs.LG
Adaptive Correlation-Weighted Intrinsic Rewards for Reinforcement Learning
Institute for Artificial Intelligence（人工智能研究所）；VNU-University of Engineering and Technology（越南工程与技术大学）
ACWI通过自适应相关加权内在奖励机制提升稀疏奖励强化学习中的探索效率和样本效率。
2026-02-27 cs.AI cs.LG
Adaptive Discretization for Model-Based Reinforcement Learning
Cornell University（康奈尔大学）；Duke University（杜克大学）
我们引入自适应离散化技术，设计一个有效的基于模型的情节强化学习算法在大（潜在连续）的状态-动作空间。我们的算法是基于乐观的一步值迭代扩展，以保持自适应离散化的空间。从理论的角度来看，我们提供了最坏情况下的遗憾界限，我们的算法相比，最先进的基于模型的算法是有竞争力的。此外，我们的界限是通过一个模块化的证明技术，可以潜在地扩展到将额外的结构上的问题。从实现的角度来看，我们的算法具有更低的存储和计算需求，由于保持一个更有效的分区的状态和动作空间。我们通过几个典型的控制问题，这表明，我们的算法的经验表现明显优于固定的离散化方面的收敛速度更快，内存使用量更低的实验。有趣的是，我们根据经验观察到，虽然基于固定离散化模型的算法大大优于无模型算法，但这两者在自适应离散化方面的性能相当。
2020-10-23 cs.LG stat.ML
Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning
Preferred Networks, Inc.（Preferred Networks 公司）
为了让机器人执行关键任务，它们必须能够快速适应环境的变化以及受伤和/或其他身体变化。深度强化学习已被证明在训练机器人控制策略以在复杂环境中操作方面是成功的。然而，现有方法通常仅采用单个策略。这可能会限制适应性，因为大规模的环境修改可能需要与学习环境完全不同的行为。为了解决这个问题，我们提出了基于地图的多策略强化学习（MMPRL），其目的是搜索和存储编码不同行为特征的多个策略，同时在环境变化之前最大化期望奖励。由于这些政策，这是存储到一个多维的离散地图，根据其行为特征，适应可以在合理的时间内进行，而无需重新训练的机器人。可以使用贝叶斯优化从地图中调用适当的预训练策略。我们的实验表明，MMPRL使机器人能够快速适应大的变化，而不需要任何关于可能发生的伤害类型的先验知识。学习行为的一个亮点可以在这里找到：https://youtu.be/QwInbilXNOE。
2017-10-18 cs.AI cs.LG cs.RO
Towards Adapting Reinforcement Learning Agents to New Tasks: Insights from Q-Values
Arizona State University（亚利桑那州立大学）
该研究探究DQN的Q值特性与任务适配的关联，通过八种训练方式的对比实验及自动驾驶场景扩展验证，发现Q值估计越准确模型适配新任务越快，为样本高效的强化学习任务适配算法选择提供了洞见。
2024-07-14 cs.AI cs.LG
Adaptive PD Control using Deep Reinforcement Learning for Local-Remote Teleoperation with Stochastic Time Delays
University of Surrey（萨里大学）
本文提出一种基于模型的深度强化学习自适应PD控制方法，通过实时调整控制器参数补偿随机时延，在高达290ms延迟下稳定本地-远程遥操作系统，并优于Soft-Actor Critic等方法。
2023-09-20 cs.AI cs.LG
Explaining Reinforcement Learning Decisions in Self-adaptive Systems
针对强化学习策略透明度不足的问题，本文提出EARL库用于生成反事实解释，并在CitiBikes模拟中验证了其在实际自适应系统中的适用性。
2026-08-18 cs.AI cs.LG
Generalized Adaptive Transfer Network: Enhancing Transfer Learning in Reinforcement Learning Across Domains
Indian Institute of Technology, Madras, Tamil Nadu, India（印度理工学院马德拉斯分校，塔米尔纳德）
本文提出广义自适应迁移网络（GATN），通过领域无关表示、鲁棒性策略适配和高效迁移调度，解决强化学习跨领域迁移中的泛化、环境鲁棒性与计算效率问题，并在多个基准上验证其优越性。
2025-07-02 cs.AI cs.LG
Towards Evaluating Adaptivity of Model-Based Reinforcement Learning Methods
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Alberta（阿尔伯塔大学）；Universite de Montreal（蒙特利尔大学）；Microsoft（微软）；Ecole Polytechnique de Montreal（蒙特利尔高等理工学院）
近年来，越来越多的基于深度基于模型的强化学习（RL）方法被引入。对基于深度模型的RL的兴趣并不奇怪，因为它有许多潜在的好处，例如更高的样本效率和快速适应环境变化的潜力。然而，我们证明，使用最近推出的本地变化适应（LoCA）设置的改进版本，众所周知的基于模型的方法，如PlaNet和DreamerV2在适应当地环境变化的能力表现不佳。结合先前对另一种流行的基于模型的方法MuZero进行类似观察的工作，似乎出现了一种趋势，表明当前基于深度模型的方法具有严重的局限性。我们通过识别损害自适应行为的元素，并将这些元素与基于模型的深度强化学习中经常使用的底层技术联系起来，深入研究了这种糟糕性能的原因。我们经验验证这些见解的情况下，线性函数逼近表明，修改后的版本的线性Dyna实现有效的适应当地的变化。此外，我们提供了详细的见解的挑战，建立一个自适应的非线性模型为基础的方法，通过实验与非线性版本的Dyna。
2022-06-25 cs.AI cs.LG
Reinforcement Learning with Curriculum-inspired Adaptive Direct Policy Guidance for Truck Dispatching
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对露天矿卡车调度中强化学习依赖复杂奖励工程的问题，提出课程启发的自适应直接策略指导方法，通过时间增量调整PPO并采用最短处理时间教师策略引导探索，在OpenMines中实现10%性能提升和更快收敛，增强了对奖励设计的鲁棒性。
2025-02-28 cs.AI cs.LG
Adaptive Active Learning for Regression via Reinforcement Learning
本文提出基于强化学习的WiGS方法，通过动态调整探索与调查的平衡，提升回归任务中的主动学习效率和准确性。
2026-03-11 cs.LG stat.ML
Adaptive Action Duration with Contextual Bandits for Deep Reinforcement Learning in Dynamic Environments
Department of Information Technology, SRMIST（SRMIST信息科技系）；Indian Institute of Technology, Madras（印度理工学院Madras分校）
本文提出将上下文赌博机与深度Q网络结合，根据状态上下文自适应选择动作重复率，在Atari 2600游戏中显著优于静态持续时间基线，为游戏和机器人等实时应用提供了可扩展的解决方案。
2025-06-17 cs.AI cs.LG
Quantum Reinforcement Learning by Adaptive Non-local Observables
Brookhaven National Laboratory（布鲁赫斯国家实验室）；Seton Hall University（塞顿·胡尔大学）；Wells Fargo（摩根大通）；AI & ML Department（人工智能与机器学习部门）
针对变分量子电路受限于局部测量的问题，提出联合优化电路参数与多量子比特测量的 ANO-VQC，并在 DQN 和 A3C 中验证其性能优势。
2025-07-25 cs.AI cs.LG quant-ph
Adaptive Reinforcement Learning through Evolving Self-Modifying Neural Networks
George Mason University（乔治梅森大学）
在生物神经网络中看到的自适应学习能力，很大程度上是突触连接的在线可塑性变化所产生的自我修改行为的产物。当前的强化学习（RL）方法只能在特定时间间隔内进行反思后才能适应新的交互，从而阻止了在线自适应性的出现。最近的工作通过赋予人工神经网络神经调节的可塑性来解决这个问题，已经证明可以提高使用反向传播训练的简单RL任务的性能，但尚未扩展到更大的问题。在这里，我们研究了在一个具有挑战性的四足动物领域中的元学习问题，其中四足动物的每条腿都有可能变得不可用，需要代理通过继续与其余肢体运动来适应。结果表明，使用自修改塑性网络进化的代理更能够适应复杂的元学习学习任务，甚至优于使用基于梯度的算法更新的相同网络，同时花费更少的时间进行训练。
2020-05-22 cs.AI cs.LG cs.NE
Provably Efficient Reinforcement Learning for Online Adaptive Influence Maximization
Princeton University（普林斯顿大学）；LinkedIn（领英）；Penn State University（宾夕法尼亚州立大学）
在线影响力最大化是指在网络模型未知的情况下，通过选择少量种子节点，最大化内容在社交网络中的影响力传播。最近的研究遵循非自适应设置，其中在扩散过程开始之前选择种子节点，并且在扩散停止时更新网络参数。我们考虑一个自适应版本的内容相关的在线影响力最大化问题的种子节点被顺序激活的基础上实时反馈。在本文中，我们将该问题表示为线性扩散过程下的无限时域折扣MDP，并提出了一种基于基于模型的强化学习解决方案。我们的算法保持一个网络模型的估计，并自适应地选择种子用户，探索社会网络，同时提高最优策略的乐观。我们建立了算法的$\widetilde O(\sqrt{T})$后悔界。在合成网络上的实验结果验证了算法的有效性。
2022-06-29 cs.LG cs.SI stat.ML
AdaCuRL: Adaptive Curriculum Reinforcement Learning with Invalid Sample Mitigation and Historical Revisiting
针对强化学习训练混合难度样本时的梯度饥饿、策略退化等问题，提出自适应课程强化学习框架AdaCuRL，通过动态难度匹配、历史回顾等机制，在多推理基准上显著提升LLMs和MLLMs性能。
2025-11-12 cs.AI cs.CL cs.LG
