Importance Weighted Policy Learning and Adaptation
Google（谷歌）
利用先前经验快速解决新问题的能力是生物学习系统的标志，对人工系统也具有重要的实际意义。在Meta强化学习文献中，最近的许多工作都集中在优化学习过程本身的问题上。在本文中，我们研究了一种互补的方法，这是概念上简单，一般，模块化，并建立在最近的改进离策略学习。该框架的灵感来自于概率推理文献中的思想，并将鲁棒的离策略学习与行为先验或默认行为相结合，该行为约束解决方案的空间并作为探索的偏差;以及价值函数的表示，这两者都很容易从多任务场景中的许多训练任务中学习到。与Meta强化学习基线相比，我们的方法在坚持任务上实现了有竞争力的适应性能，并且可以扩展到复杂的稀疏奖励场景。
2021-06-04 cs.AI cs.LG stat.ML
PPO-CMA: Proximal Policy Optimization with Covariance Matrix Adaptation
Aalto University（阿尔托大学）；NVIDIA（英伟达）
近端策略优化（PPO）是一种非常流行的无模型强化学习（RL）方法。然而，我们观察到，在连续的动作空间中，PPO会过早地缩小探索方差，这会导致进展缓慢，并可能使算法容易陷入局部最优。从CMA-ES，一个黑盒进化优化方法的鲁棒性，在类似的情况下设计的灵感，我们提出了PPO-CMA，一个近端策略优化的方法，自适应地扩大探索方差，以加快进度。PPO只有很小的变化，我们的算法大大提高了性能在Roboschool连续控制基准。我们的研究结果还表明，与PPO相反，PPO-CMA对超参数的选择明显不敏感，允许人们在复杂的运动优化任务中使用它，而不需要繁琐的调整。
2020-11-03 cs.LG stat.ML
Linear Representation Meta-Reinforcement Learning for Instant Adaptation
University of California, Berkeley（加州大学伯克利分校）
本文介绍了快速线性化自适应策略（FLAP），这是一种新的Meta强化学习（元RL）方法，能够很好地外推到分布外的任务，而不需要重用训练数据，并且在测试过程中只需要少量样本就可以几乎立即适应。FLAP建立在学习策略的共享线性表示的思想之上，以便在适应新任务时，预测一组线性权重就足够了。一个单独的适配器网络与策略同时训练，这样在适配过程中，我们可以直接使用适配器网络来预测这些线性权重，而不是通过梯度下降来更新元策略，例如在MAML等现有的元RL方法中，以获得新策略。单独的前馈网络的应用不仅显著加快了自适应运行时间，而且还非常好地推广到以前的Meta-RL方法无法推广的非常不同的任务。在标准连续控制元RL基准测试上的实验表明，与现有方法相比，FLAP在分布外任务上表现出更强的性能，平均回报率高达两倍，自适应运行速度高达8倍。
2021-01-12 cs.AI cs.LG stat.ML
Safe Deep Policy Adaptation
Carnegie Mellon University（卡内基梅隆大学）
提出SafeDPA框架，通过联合学习自适应策略和动力学模型，结合CBF安全过滤器，解决动态环境中RL策略适应与安全部署问题，在安全率和任务性能上显著优于基线方法。
2024-04-28 cs.AI cs.LG cs.RO
Deployment-Efficient Reinforcement Learning via Model-Based Offline Optimization
The University of Tokyo（东京大学）；Google Research（谷歌研究院）
大多数强化学习（RL）算法假设对环境的在线访问，其中可以容易地将对策略的更新与使用该策略的经验收集交错。然而，在许多现实世界的应用中，如健康，教育，对话代理和机器人，部署新的数据收集策略的成本或潜在风险很高，以至于在学习期间多次更新数据收集策略可能会变得令人望而却步。有了这个观点，我们提出了一个新的部署效率的概念，测量不同的数据收集策略，在策略学习过程中使用的数量。我们观察到，天真地应用现有的无模型离线RL算法递归不会导致实际的部署效率和样本效率的算法。我们提出了一种新的基于模型的算法，行为正则化模型的ENERGY（BREMEN），可以有效地优化离线使用10-20倍的数据比以前的作品的政策。此外，BREMEN的递归应用能够实现令人印象深刻的部署效率，同时保持相同或更好的样本效率，在模拟机器人环境中从头开始学习成功的策略，只有5-10次部署，而标准RL基线的典型值为数百万。代码和预训练模型可在https://github.com/matsuolab/BREMEN上获得。
2020-06-23 cs.AI cs.LG stat.ML
A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation
Princeton University（普林斯顿大学）
我们介绍了一种新的算法，多目标强化学习（MORL）与线性偏好，使Few-Shot适应新的任务的目标。在MORL中，目标是学习多个竞争目标的策略，这些目标的相对重要性（偏好）对代理来说是未知的。虽然这简化了对标量奖励设计的依赖，但政策的预期回报可能会随着偏好的变化而发生显着变化，这使得学习单个模型以在不同偏好条件下产生最优政策变得具有挑战性。我们提出了一个广义版本的贝尔曼方程学习一个单一的参数表示的所有可能的偏好空间的最优策略。在初始学习阶段之后，我们的代理可以在任何给定的偏好下执行最优策略，或者用很少的样本自动推断出潜在的偏好。在四个不同领域的实验证明了我们的方法的有效性。
2019-11-06 cs.AI cs.LG
ProMP: Proximal Meta-Policy Search
UC Berkeley（加州大学伯克利分校）；KIT（卡尔斯鲁厄理工学院）；Karlsruhe Inst. of Technology (KIT)（卡尔斯鲁厄理工学院）
Meta-强化学习（Meta-RL）中的信用分配仍然知之甚少。现有的方法要么忽略了信用分配的预适应行为或实现它的天真。这导致元训练过程中样本效率低下以及任务识别策略无效。对基于梯度的元强化学习中的信用分配进行了理论分析。在所获得的见解的基础上，我们开发了一种新的元学习算法，克服了不良信用分配和以前的困难，估计Meta策略梯度的问题。通过控制元策略搜索过程中预适应策略和适应策略的统计距离，该算法赋予元学习高效、稳定的性能。我们的方法带来了卓越的预适应策略行为，并在样本效率、挂钟时间和渐进性能方面始终优于之前的Meta-RL算法。
2022-02-11 cs.LG stat.ML
Path Integral Policy Improvement with Covariance Matrix Adaptation
INRIA Bordeaux Sud-Ouest（法国国家信息与自动化研究所波尔多西南分部）；CNRS（法国国家科学研究中心）
最近，强化学习的重点是通过优化参数化策略来解决连续状态和动作问题。PI 2是这种方法的一个最近的例子。它结合了随机最优控制的第一原理与统计估计理论的工具。在本文中，我们认为PI 2作为更广泛的家庭的方法，共享的概念，概率加权平均迭代更新参数，以优化成本函数的一员。我们比较PI 2的其他成员相同的家庭-交叉熵方法和CMAES -在概念层面和性能。比较建议推导出一种新的算法，我们称之为PI 2-CMA的“路径积分策略改进与协方差矩阵自适应”。PI 2-CMA的主要优点是它可以自动确定勘探噪声的大小。
2012-06-18 cs.LG
Sub-policy Adaptation for Hierarchical Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
分层强化学习是解决具有稀疏回报的长期决策问题的一种很有前途的方法。不幸的是，大多数方法仍然将较低级别的技能获取过程与控制新任务中技能的较高级别的训练解耦。保持技能不变可能会导致转移设置中的显着次优。在这项工作中，我们提出了一种新的算法来发现一组技能，并不断调整它们，即使在训练新任务时也是如此。我们的主要贡献有两方面。首先，我们推导出一个新的分层策略梯度与公正的潜在依赖的基线，我们引入分层近端策略优化（HiPPO），一个有效的策略方法，训练各级的层次结构。其次，我们提出了一种训练时间抽象的方法，提高了所获得的技能对环境变化的鲁棒性。代码和结果可在sites.google.com/view/hippo-rl上获得
2020-05-13 cs.AI cs.LG cs.NE
ORPA: Online Residual Policy Adaptation for Robot Manipulation Control with Human Feedback
National Institute of AIST（日本国立AIST研究所）；Embodied AI Research Team（具身人工智能研究团队）
本研究提出ORPA框架，通过添加轻量反馈条件化模块实现机器人操控策略的在线残差适配，无需重训练即可纠正执行误差，在ALOHA平台的精度敏感操控任务上提升了成功率与扰动恢复能力。
2026-09-01 cs.AI cs.RO
QPPG: Quantum-Preconditioned Policy Gradient for Link Adaptation in Rayleigh Fading Channels
African Institute for Mathematical Sciences（非洲数学科学研究所）；Stanford University（斯坦福大学）；Olabisi Onabanjo University（奥拉比·奥纳班乔大学）；University of Glasgow（格拉斯哥大学）
本文提出量子预条件策略梯度算法，通过信息 Fisher 基于预条件稳定和加速策略更新，提升无线通信中动态衰落环境下的链路自适应性能，实现更快收敛、更高的吞吐量和更低的发射功率。
2025-10-22 cs.LG cs.SY eess.SY
EgoBridge: Domain Adaptation for Generalizable Imitation from Egocentric Human Data
Georgia Institute of Technology（佐治亚理工学院）
EgoBridge通过基于最优传输的领域自适应联合训练框架，对齐人类与机器人策略潜在空间，在真实操作任务中实现44%的成功率提升，并泛化到新场景。
2025-09-23 cs.CV cs.LG cs.RO
Policy Transfer via Kinematic Domain Randomization and Adaptation
Stanford University（斯坦福大学）；Google（谷歌）
将在物理模拟中训练的强化学习策略转移到真实的硬件仍然是一个挑战，被称为“模拟到真实”的差距。域随机化是一种简单而有效的技术，可以解决源域和目标域之间的动态差异，但其成功通常取决于算法和试错。在这项工作中，我们调查的影响，随机参数选择的政策可转移性在不同类型的域差异。与在动态参数随机化的同时仔细测量运动学参数的常见做法相反，我们发现，链路长度）通常优于动态随机化。基于这一发现，我们介绍了一种新的领域自适应算法，利用模拟运动参数的变化。我们的算法，多策略贝叶斯优化，训练的通用策略的虚拟运动参数的条件下，并有效地适应目标环境，使用有限数量的目标域推出。我们展示了我们的研究结果，在五个不同的目标环境，涵盖不同方面的域差异的模拟四足机器人。
2021-04-01 cs.LG cs.RO cs.SY
CueLearner: Bootstrapping and local policy adaptation from relative feedback
Autonomous Systems Lab, ETH Zurich, Switzerland（自主系统实验室，苏黎世联邦理工学院）；Robotics Systems Lab, ETH Zurich, Switzerland（机器人系统实验室，苏黎世联邦理工学院）
本文提出CueLearner方法，将相对反馈与离策略强化学习结合，通过引导探索提升样本效率，并能适应环境或用户偏好变化，在稀疏奖励任务和真实导航场景中验证了有效性。
2025-07-07 cs.LG cs.RO
Hyper-Decision Transformer for Efficient Online Policy Adaptation
Carnegie Mellon University（卡内基梅隆大学）；University of Montreal（蒙特利尔大学）；Mila（米拉人工智能研究所）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UMass Amherst（马萨诸塞大学阿默斯特分校）
本文提出超决策Transformer（HDT），通过超网络根据少量演示初始化适应模块，仅微调0.5%参数即可高效适应新任务，并在无专家动作设置下显著超越现有基线。
2023-04-17 cs.AI cs.CV cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题，提出REFIT方法，通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性，在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Fast Adaptation via Policy-Dynamics Value Functions
New York University（纽约大学）；Facebook AI Research（Facebook AI研究院）
标准RL算法假设固定的环境动态，并需要大量的交互来适应新环境。我们引入了策略动态价值函数（PD-VF），这是一种新的方法，用于快速适应与以前在训练中看到的动态不同的动态。PD-VF明确估计了政策和环境空间中的累积回报。传统RL策略的集合用于收集训练环境的经验，从中可以学习策略和环境的嵌入。然后，训练以两个嵌入为条件的价值函数。在测试时，几个动作就足以推断环境嵌入，从而通过最大化学习到的价值函数（不需要额外的环境交互）来选择策略。我们表明，我们的方法可以快速适应一组MuJoCo域上的新动态。代码可在https://github.com/rraileanu/policy-dynamics-value-functions获得。
2020-07-06 cs.AI cs.LG
DiWA: Diffusion Policy Adaptation with World Models
University of Freiburg（弗赖堡大学）；University of Technology Nuremberg（纽伦堡技术大学）
DiWA提出利用世界模型离线微调扩散策略，通过强化学习提升样本效率，在CALVIN基准上以少量交互实现八项任务性能提升。
2025-08-05 cs.CV cs.LG cs.RO
Self-Adaptive VLA for Robust Robot Deployment
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Genesis AI
提出自适应VLA训练后配方，利用自身轨迹作为上下文，通过上下文编码器和自适应层归一化，使策略在硬件变化下自我适应，恢复80%以上性能，提升部署鲁棒性。
2026-09-25 cs.CV cs.RO
MoVie: Visual Model-Based Policy Adaptation for View Generalization
Shanghai Qi Zhi Institute（上海期智研究院）；University of Electronic Science and Technology of China（电子科技大学）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；Shanghai AI Lab（上海人工智能实验室）
本文提出 MoVie，一种测试时、无奖励的视觉模型策略适配方法，以解决强化学习中的视角泛化问题，并在 DMControl、xArm 和 Adroit 的 18 项任务上取得显著提升。
2023-09-27 cs.CV cs.LG cs.RO
Few-shot model-based adaptation in noisy conditions
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；KU Leuven（鲁汶大学）
Few-Shot自适应是机器人仿真到真实传输背景下的一个具有挑战性的问题，需要安全和信息丰富的数据汇集。在物理系统中，域噪声可能会带来额外的挑战，这几乎存在于所有现实世界的应用中。在本文中，我们提出了执行Few-Shot适应的动态模型在噪声条件下使用不确定性感知卡尔曼滤波器为基础的神经网络架构。我们表明，所提出的方法，明确地解决域噪声，改善了Few-Shot自适应错误的黑盒适应LSTM基线，并在无模型的政策上的强化学习方法，试图学习一个适应性和信息的政策在同一时间。所提出的方法还允许通过分析模型在适应期间和适应之后的隐藏状态来进行系统分析。
2020-10-16 cs.LG cs.RO
A Geometric Perspective on Self-Supervised Policy Adaptation
University of Cambridge（剑桥大学）；Google（谷歌）；Google Research（谷歌研究院）
现实世界强化学习（RL）最具挑战性的方面之一是大量不可预测和不断变化的干扰，这些干扰可能会使智能体偏离其训练环境中的任务。虽然智能体可以从奖励信号中学习并忽略它们，但现实世界的复杂性可能会使奖励难以获得，或者充其量是非常稀疏。最近的一类自我监督方法已经表明，在具有挑战性的干扰下，无奖励适应是可能的。然而，以前的工作集中在一个短的一集适应设置。在本文中，我们考虑了一个长期的适应设置，更类似于现实世界的具体情况，并提出了一个几何角度的自我监督适应。我们经验性地描述了在这个适应过程中嵌入空间中发生的过程，揭示了它对性能的一些不良影响，并展示了如何消除它们。此外，我们从理论上研究了如何基于演员和演员免费代理可以进一步推广到目标环境，通过操纵演员和评论家功能所描述的流形的几何形状。
2020-11-14 cs.AI cs.LG
Transferable Reinforcement Learning via Probabilistic Latent Embeddings and Dynamic Policy Adaptation for Sim-to-Real Deployment
Lyles School of Civil and Construction Engineering, Purdue University, West Lafayette, USA（普渡大学土木与建设工程学院）；Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA（普渡大学埃尔莫尔家庭电气与计算机工程学院）
提出一种基于概率潜在嵌入和动态策略自适应的强化学习框架，通过元学习推断环境潜在表示并动态调整风险水平，实现安全高效的Sim2Real策略迁移。
2026-05-26 cs.AI cs.LG
Model-based Policy Optimization with Unsupervised Model Adaptation
Shanghai Jiao Tong University（上海交通大学）；D. E. Shaw & Co（D.E.肖公司）；Carnegie Mellon University（卡内基梅隆大学）
基于模型的强化学习方法学习具有从环境采样的真实数据的动力学模型，并利用它来生成模拟数据以导出代理。然而，由于模拟数据和真实数据之间的潜在分布不匹配，这可能导致性能下降。尽管有很多努力致力于减少这种分布不匹配，现有的方法无法解决它明确。在本文中，我们研究了如何弥合由于模型估计不准确而导致的真实数据和模拟数据之间的差距，以便更好地进行政策优化。首先，我们首先推导出预期收益的下界，这自然会通过对齐模拟和真实数据分布来激发边界最大化算法。为此，我们提出了一种新的基于模型的强化学习框架AMPO，它引入了无监督的模型自适应，以最小化来自真实和模拟数据的特征分布之间的积分概率度量（IPM）。用Wasserstein-1距离实例化我们的框架给出了一种实用的基于模型的方法。从经验上讲，我们的方法在一系列连续控制基准任务的样本效率方面实现了最先进的性能。
2020-10-28 cs.AI cs.LG stat.ML
Off-Dynamics Reinforcement Learning via Domain Adaptation and Reward Augmented Imitation
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Duke University（杜克大学）
提出DARAIL方法，结合领域适应与奖励增强模仿学习，解决动力学偏移下策略迁移问题，在基准环境中优于纯修改奖励等方法。
2024-11-15 cs.AI cs.LG cs.RO
SPoRt -- Safe Policy Ratio: Certified Training and Deployment of Task Policies in Model-Free RL
Oxford Robotics Institute, University of Oxford（牛津大学机器人研究所）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）
SPoRt提出基于安全基础策略的最大策略比率界限，结合场景方法与投影PPO，在无模型强化学习中实现可认证的安全训练与部署，并允许安全与性能间的权衡。
2025-06-23 cs.LG
CASCADE: Case-Based Continual Adaptation for Large Language Models During Deployment
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University（吉林大学知识驱动人机智能工程研究中心）；International Center of Future Science, Jilin University（吉林大学未来科学国际中心）；Department of Informatics, King’s College London（伦敦国王学院信息学院）；The Alan Turing Institute（艾伦·图灵研究所）；AI Centre, Department of Computer Science, UCL（UCL计算机科学系人工智能中心）
本文提出CASCADE框架，通过在部署期间持续学习提升LLM性能，实现20.9%的提升，并在多个领域任务中优于基线方法。
2026-05-05 cs.AI cs.CL cs.LG
Bellman-Certified Rounding for Sparse Policy Deployment in MDPs
针对MDP中稀疏策略部署，提出Bellman认证舍入方法，利用包络和加权曲率积分提供候选特定保证，显著提升认证覆盖率并降低界限与损失比。
2026-10-02 cs.LG
DCoPilot: Generative AI-Empowered Policy Adaptation for Dynamic Data Center Operations
NTU（国立新加坡大学）；Yunnan University（云南大学）
DCoPilot通过结合大型语言模型和超网络生成动态数据中心操作的控制策略，实现高效适应与稳定收敛。
2026-02-25 cs.AI cs.LG cs.SY
Test-Time Adaptation of Manipulation Policies Under Actuator Degradation
Arizona State University（亚利桑那州立大学）
针对执行器退化导致动作失真的问题，提出遥测感知动作修正（TeAR），利用机载遥测数据修正冻结策略的输出动作，在18个策略-任务对及物理机械臂上显著提升成功率。
2026-09-30 cs.RO
MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning
Princeton University（普林斯顿大学）
在诸如医疗保健、金融、机器人和推荐系统的许多当代应用中，用于数据汇集和在线学习的新策略的连续部署要么成本低要么不切实际。我们考虑一种介于纯离线强化学习（RL）和纯在线RL之间的设置，称为部署约束RL，其中用于数据采样的策略部署的数量是有限的。为了解决这个具有挑战性的任务，我们提出了一个新的算法学习框架，称为基于模型的不确定性正则化和样本有效批量优化（MUSBO）。我们的框架为每个部署发现新颖且高质量的样本，以实现高效的数据汇集。在每个离线训练会话中，我们通过量化收集的数据中的不确定性来引导策略更新。在高支持区域（低不确定性），我们通过采取积极的更新来鼓励我们的政策。在低支持区域（高不确定性），当政策引导到分布外区域时，我们通过估计的不确定性量化来降低权重。实验结果表明，MUSBO在部署受限的RL设置中实现了最先进的性能。
2021-06-03 cs.AI cs.LG
Gated Memory Policy: In-Context Memorization and Adaptation
Stanford University（斯坦福大学）
本文提出门控记忆策略，通过学习记忆回溯时机与内容，提升机器人操作任务中对历史信息的利用效率，实现在非马尔可夫任务中性能提升30.1%。
2026-08-05 cs.AI cs.RO
Cerebellar-Inspired Residual Control for Fault Recovery: From Inference-Time Adaptation to Structural Consolidation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Northwestern University（西北大学）
该研究提出了一种小脑启发的残差控制框架，通过在线纠正动作实现故障恢复，提升机器人在训练后扰动下的鲁棒性和性能。
2026-02-06 cs.LG cs.RO
Adapting Rapid Motor Adaptation for Bipedal Robots
University of California Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
腿运动的最新进展使四足动物能够在具有挑战性的地形上行走。然而，双足机器人本质上更不稳定，因此很难为它们设计行走控制器。在这项工作中，我们利用最新的进展，快速适应运动控制，并将其扩展到双足机器人。类似于现有的作品，我们从一个基本的政策，产生的行动，同时作为输入的估计extrinsics向量从适应模块。这个外部向量包含有关环境的信息，使步行控制器能够快速在线适应。然而，外部估计器可能是不完美的，这可能导致期望完美估计器的基本策略的性能较差。在本文中，我们提出了A-RMA（自适应RMA），它通过使用无模型RL对其进行微调，从而为不完美的外生估计量调整基本策略。我们证明，A-RMA优于一些基于RL的基线控制器和基于模型的控制器在仿真中，并显示zero-shot部署一个单一的A-RMA政策，使双足机器人，卡西，走在各种不同的情况下，在现实世界中超出了它在训练过程中看到的。视频和结果https://ashish-kmr.github.io/a-rma/
2022-09-06 cs.AI cs.CV cs.LG
Concept Drift Adaptation Using Self-Supervised and Reinforcement Learning In Android Malware Detection
Birzeit University（巴伊兹大学）；University of Central Florida（中央佛罗里达大学）
提出一个基于自监督学习和强化学习的框架，通过冻结编码器测量潜在漂移并轻量适配，同时利用PPO控制器在成本约束下选择维护动作，以应对Android恶意软件检测中的概念漂移。
2026-05-22 cs.AI cs.CR cs.LG
Cross-Domain Offline Policy Adaptation via Selective Transition Correction
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Tencent（腾讯）；City University of Hong Kong（香港城市大学）
本文提出STC算法，通过修正源域数据以匹配目标域动态，提升跨域离线策略适应性能。
2026-02-05 cs.LG
MRAC-RL: A Framework for On-Line Policy Adaptation Under Parametric Model Uncertainty
Massachusetts Institute of Technology（麻省理工学院）
强化学习（RL）算法已成功地用于开发动力系统的控制策略。对于许多这样的系统，这些策略是在模拟环境中训练的。由于模拟模型与真实系统动态之间的差异，RL训练的策略在部署到现实环境中时往往无法进行适当的泛化和适应。目前的研究在弥合这一模拟到真实的差距，主要集中在改进仿真设计和开发的改进和专门的RL算法的鲁棒控制政策的产生。本文应用自适应控制和系统辨识的原理，提出了模型参考自适应控制和强化学习（MRAC-RL）框架。我们提出了一套新的MRAC算法适用于广泛的线性和非线性系统，并推导出相关的控制律。MRAC-RL框架利用内环自适应控制器，允许模拟训练的外环策略在测试环境中有效地适应和操作，即使存在参数模型不确定性。我们证明了MRAC-RL方法在开发可应用于具有建模误差的系统的控制策略方面改进了最先进的RL算法。
2020-11-20 cs.LG cs.RO cs.SY
Auction-Based Online Policy Adaptation for Evolving Objectives
University of Pennsylvania（宾夕法尼亚大学）；IMDEA Software Institute（IMDEA软件研究所）
本文提出基于拍卖的模块化框架，通过自利局部策略和动态拍卖机制实现多目标强化学习中目标变化时的策略适应，证明了纳什均衡的存在性和有效性。
2026-05-10 cs.LG
Learning Speed Adaptation for Flight in Clutter
Institute of Cyber-Systems and Control, College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院 cyber-system 与控制研究所）；Huzhou Institute, Zhejiang University（浙江大学湖州研究院）
本研究针对未知杂乱环境下飞行器的速度自适应问题，提出结合基于模型轨迹生成与在线强化学习的分层规划框架，实现动态速度约束配置，在仿真和硬件实验中均验证了其在效率与安全性上的优势。
2024-07-10 cs.LG cs.RO
Using Reinforcement Learning to Integrate Subjective Wellbeing into Climate Adaptation Decision Making
Technical University of Denmark（丹麦技术大学）；University of Galway（戈尔韦大学）
针对气候变化下洪水扰乱流动性影响主观幸福感、气候适应决策复杂的问题，提出整合四大组件的多模块强化学习框架，为哥本哈根气候适应决策提供支持，助力探索评估政策路径以最大化长期幸福感。
2025-04-14 cs.LG
What Does It Take For A Generalist Robot Policy To Adapt Using Minimal Data?
Carnegie Mellon University（卡内基梅隆大学）
本文提出MiDAS算法，结合离线行为克隆与在线强化学习，实现机器人策略仅用1次演示即可完成任务适配，性能优于基线且能泛化，为机器人自主学习提供可行方案。
2026-10-23 cs.LG cs.RO
Inference-stage Adaptation-projection Strategy Adapts Diffusion Policy to Cross-manipulators Scenarios
Technical University of Munich（慕尼黑技术大学）；Nanjing University（南京大学）；Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）
提出一种推理阶段的适应-投影策略，通过将SE(3)空间训练的diffusion policy生成的轨迹投影到新硬件的运动学约束空间，实现零样本跨机械臂和动态任务的免重训练适应。
2025-09-15 cs.RO
Survival of the Fittest: Evolutionary Adaptation of Policies for Environmental Shifts
University of Southern California（南加州大学）
针对环境随机动态发生剧烈分布变化导致原RL策略失效的问题，提出受进化博弈论启发的ERPO自适应再训练算法，并证明其收敛性与实验优势。
2024-10-22 cs.AI cs.GT cs.LG
Improved Robustness and Safety for Pre-Adaptation of Meta Reinforcement Learning with Prior Regularization
University of Michigan（密歇根大学）；Ford Research and Advanced Engineering（福特研究与高级工程中心）
Meta强化学习（Meta-RL）最近取得了重大进展。特别是，开发了off-policy方法来提高Meta-RL技术的数据效率。\textit{Probabilistic embeddings for actor-critic RL}（PEARL）是解决多MDP适应问题的领先方法。许多现有的Meta-RL方法（包括PEARL）的一个主要缺点是，当第一次暴露给新任务时，它们没有明确考虑先前策略的安全性。安全对于许多现实世界的应用至关重要，包括现场机器人和自动驾驶汽车（AV）。在本文中，我们开发了PEARL PLUS（PEARL $^+$）算法，该算法优化了先前（预适应）的安全性和之后（适应后）的性能。在PEARL算法的基础上，我们提出的PEARL $^+$算法在奖励函数中引入了一个先验正则化项，并引入了一个新的Q-网络，用于在先验上下文假设下恢复状态-动作值，以提高对任务分布偏移的鲁棒性和训练网络首次暴露于新任务时的安全性。PEARL $^+$的性能进行了验证，通过解决三个安全关键问题的机器人和自动驾驶汽车，包括两个MuJoCo基准问题。仿真实验表明，与PEARL相比，该策略的安全性得到了显著提高，并且对任务分布偏移具有更强的鲁棒性。
2023-02-09 cs.LG
DADiff: Diffusion-Driven Cross-Domain Policy Adaptation for Reinforcement Learning
Arizona State University（亚利桑那州立大学）；University of Maryland, College Park（马里兰大学帕克分校）
研究强化学习中跨域策略适应问题，提出基于扩散的DADiff框架，利用源域和目标域生成轨迹差异估计动态不匹配，开发奖励修改和数据选择变体，实验表明该方法性能优于现有方法，有效解决动态不匹配。
2026-07-20 cs.AI cs.LG
Cross-Domain Policy Adaptation via Value-Guided Data Filtering
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）；Northwestern Polytechnical University（西北工业大学）；Fudan University（复旦大学）
针对强化学习中源域与目标域动力学不匹配的在线自适应问题，提出基于值一致性的VGDF算法，通过选择性共享源域数据，在运动学和形态学变化环境中取得优于现有方法的性能。
2023-10-13 cs.LG
Unified Policy Value Decomposition for Rapid Adaptation
Computational Neuroscience Unit, Istituto Superiore di Sanità（国家卫生研究院计算神经科学单位）；School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院）
本文提出一种统一的策略价值分解框架，通过共享低维系数向量实现快速任务适应。该方法结合了结构化价值基础和兼容策略基础，利用乘法门控机制在无需重新训练的情况下适应新任务。
2026-03-18 cs.LG q-bio.NC
Policy Resilience to Environment Poisoning Attacks on Reinforcement Learning
Nanyang Technological University（南洋理工大学）；ByteDance（字节跳动）
针对强化学习训练环境投毒攻击，本文提出结合联邦架构与元学习的知识共享韧性机制，通过准备、诊断和恢复三阶段高效恢复遭投毒策略的部署性能。
2023-04-24 cs.CR cs.LG
Residual Fault Adaptation for Dexterous In-Hand Manipulation Under Runtime Joint Faults
Hong Kong University of Science and Technology（香港科技大学）；Huazhong University of Science and Technology（华中科技大学）
针对灵巧手运行时关节故障，提出教师锚定的残余故障自适应框架，通过循环残差策略和故障注入域随机化训练，在仿真和真实机器人上提升操作性能并实现零样本部署。
2026-09-16 cs.RO
Bridging Policy and Real-World Dynamics: LLM-Augmented Rebalancing for Shared Micromobility Systems
本文提出AMPLIFY框架，通过结合LLM与基础策略，提升共享微出行系统在突发事件下的再平衡效率与收益。
2026-02-26 cs.AI cs.LG
CAPABLE: Capability-Aware Policy Adaptation via Behavioral Latent Encoding
University of Bremen（不来梅大学）；University of North Texas（北得克萨斯大学）；Toyota Motor North America（丰田北美汽车公司）
CAPABLE是结合自监督能力推理与残差强化学习的VLA策略自适应框架，在28个LIBERO任务中提升故障执行器成功率，可迁移至多关节及未见故障族，在Franka Panda上验证有效。
2026-10-09 cs.LG cs.RO cs.SY
TRAM: Test-Time Risk Adaptation with Mixture of Agents
UT Austin（得克萨斯大学）；University of Central Florida（中央佛罗里达大学）；MIT（麻省理工学院）；UMD（大学公园分校）
本文研究了在部署时无需更新的零更新适应问题，提出TRAM方法通过混合代理评估源策略的风险调整分数，以降低部署风险并保持奖励。
2026-11-10 cs.LG
Deconfounding Actor-Critic Network with Policy Adaptation for Dynamic Treatment Regimes
The Ohio State University（俄亥俄州立大学）；The Ohio State University Wexner Medical Center（俄亥俄州立大学韦克斯纳医学中心）
尽管在基础和临床研究方面做出了巨大努力，但针对危重患者的个性化通气策略仍然是一个重大挑战。近年来，电子健康记录（EHR）上的动态治疗方案（DTR）与强化学习（RL）引起了医疗保健行业和机器学习研究社区的兴趣。然而，由于混杂因素的存在，大多数学习的DTR策略可能是有偏见的。虽然非幸存者接受的一些治疗措施可能有帮助，但如果混杂因素导致死亡，则由长期结果指导的RL模型的训练（例如，90-日死亡率）将惩罚那些导致所学习的DTR策略次优的治疗动作。在这项研究中，我们开发了一个新的去基础演员-评论家网络（DAC），以学习最佳的DTR政策的患者。为了减轻混淆的问题，我们将病人的呼吸模块和混淆的平衡模块到我们的演员-评论家框架。为了避免惩罚非幸存者接受的有效治疗行动，我们设计了一个短期奖励，以捕捉患者的即时健康状态变化。将短期和长期奖励相结合可以进一步提高模型的性能。此外，我们引入了一种策略自适应方法，成功地将学习模型转移到新的小规模数据集。在一个半合成数据集和两个不同的真实数据集上的实验结果表明，该模型的性能优于现有的模型。所提出的模型为机械通气提供了个性化的治疗决策，可以改善患者的预后。
2022-05-31 cs.AI cs.LG
Combinatorial Optimization with Policy Adaptation using Latent Space Search
InstaDeep（英斯塔迪普公司）
提出COMPASS，一种基于潜在空间搜索的强化学习策略自适应方法，通过参数化多样化策略分布提升组合优化中的搜索性能与泛化能力，在三个经典问题上超越现有方法。
2024-05-28 cs.AI cs.LG
