Knowledge-based Reasoning and Learning under Partial Observability in Ad Hoc Teamwork
University of Birmingham（伯明翰大学）
本文扩展基于非单调逻辑推理与有限样本行为模型的临时团队协作架构，支持模型在线学习适配及部分可观测、受限通信下协作，并在 Fort Attack 和 Half Field Offense 中验证其性能优于或持平数据驱动基线。
2023-06-01 cs.AI cs.LO cs.MA
A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University（延世大学）
深度强化学习（Deep Reinforcement Learning，DRL）旨在创建智能代理，这些智能代理可以学习在现实环境中有效地解决复杂问题。通常，两个学习目标：适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后，我们回顾了这些方法下的最新工作，并讨论了未来的研究方向，通过DRL算法的适应性和泛化能力可以提高，并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
Shapley Machine: A Game-Theoretic Framework for N-Agent Ad Hoc Teamwork
INFORMED-AI Hub University of Bristol, UK（INFORMED-AI Hub 英国布里斯托大学）；Centre for AI Fundamentals University of Manchester, UK（人工智能基础研究中心 英国曼彻斯特大学）；School of Engineering Mathematics and Technology University of Bristol, UK（工程数学与技术学院 英国布里斯托大学）
针对n智能体自组织团队协作中现有方法缺乏理论严谨性、信用分配模糊的问题，本文基于合作博弈论提出Shapley Machine强化学习算法，通过公理构造Shapley值实现信用分配，首次关联合作博弈论与强化学习概念，实验验证了其有效性与理论合理性。
2025-06-12 cs.GT cs.LG cs.MA
Final Adaptation Reinforcement Learning for N-Player Games
TH Köln, University of Applied Sciences（科隆应用技术大学）
本文介绍了基于n元组的强化学习（RL）算法的游戏。我们提出了TD，SARSA和Q学习的新算法，这些算法可以在具有任意数量玩家的各种游戏中无缝工作。这是通过采取以玩家为中心的观点来实现的，其中每个玩家将他/她的奖励传播回前一轮。我们在所有这些算法中添加了一个名为最终适应RL（FARL）的新元素。我们的主要贡献是，FARL是在各种游戏中以玩家为中心的观点取得成功的至关重要的因素。我们报告了七个棋盘游戏的结果，其中包括1，2和3名球员，包括奥赛罗，ConnectFour和Hex。在大多数情况下，发现FARL是重要的学习一个近乎完美的播放策略。所有算法都可以在GitHub上的GBG框架中找到。
2021-11-29 cs.AI cs.LG cs.MA
ADAPTER-RL: Adaptation of Any Agent using Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）
本文提出 ADAPTER-RL，通过在强化学习中集成适配器来提升 DRL 智能体对分布外任务的适应性，该方法兼容预训练网络与规则智能体，并在 nanoRTS 环境中验证了其训练效率与性能提升效果。
2023-11-20 cs.AI cs.LG
Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch
DoorDash
提出在DoorDash部署的强化学习系统，利用延迟信号自适应调整调度目标权重，通过离线策略学习在噪声和耦合反馈下优化配送质量与批处理效率的权衡。
2026-06-12 cs.AI cs.LG cs.MA
Offline Meta Reinforcement Learning with In-Distribution Online Adaptation
Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）
针对离线元强化学习中离线数据与在线适应间的转移—奖励分布偏移问题，提出 IDAQ 框架，通过基于回报的不确定性量化生成分布内上下文并推断任务信念，在 Meta-World ML1 上达到最优性能。
2023-06-01 cs.AI cs.LG
Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
基于价值的多智能体强化学习（MARL）方法，特别是价值分解方法，已经在一系列具有挑战性的协作任务中得到了验证。然而，目前的方法很少关注代理之间的交互，这是必不可少的团队合作在游戏或现实生活中。这在两个方面限制了基于值的MARL算法的效率：协作探索和价值函数估计。本文提出了一种新的协作MARL算法--交互式actor-critic~（IAC），它从策略和价值函数的角度对Agent之间的交互进行建模。在策略方面，引入了多智能体联合随机策略，采用了一个协作探索模块，通过最大化熵正则化的期望收益来训练。在价值方面，我们使用共享注意力机制来估计每个代理的价值函数，它考虑了队友的影响。在实现层面上，我们扩展的价值分解方法，连续控制任务和评估IAC的基准任务，包括经典的控制和多智能体粒子环境。实验结果表明，我们的方法优于国家的最先进的方法，并取得更好的性能方面的合作。
2021-02-10 cs.AI cs.LG
A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation
Princeton University（普林斯顿大学）
我们介绍了一种新的算法，多目标强化学习（MORL）与线性偏好，使Few-Shot适应新的任务的目标。在MORL中，目标是学习多个竞争目标的策略，这些目标的相对重要性（偏好）对代理来说是未知的。虽然这简化了对标量奖励设计的依赖，但政策的预期回报可能会随着偏好的变化而发生显着变化，这使得学习单个模型以在不同偏好条件下产生最优政策变得具有挑战性。我们提出了一个广义版本的贝尔曼方程学习一个单一的参数表示的所有可能的偏好空间的最优策略。在初始学习阶段之后，我们的代理可以在任何给定的偏好下执行最优策略，或者用很少的样本自动推断出潜在的偏好。在四个不同领域的实验证明了我们的方法的有效性。
2019-11-06 cs.AI cs.LG
Efficient Meta Reinforcement Learning for Preference-based Fast Adaptation
University of California, Los Angeles（加州大学洛杉矶分校）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Helixon Ltd.（Helixon有限公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
从几次试验中学习新的特定任务技能是人工智能面临的根本挑战。Meta强化学习（meta-RL）通过学习可转移的策略来解决这个问题，这些策略支持对看不见的任务的Few-Shot适应。尽管元强化学习最近取得了进展，但大多数现有方法都需要访问新任务的环境奖励函数来推断任务目标，这在许多实际应用中并不现实。为了弥合这一差距，我们研究了在人在回路强化学习的背景下的Few-Shot适应问题。我们开发了一种元RL算法，可以通过基于偏好的反馈实现快速策略自适应。智能体可以通过查询人类行为轨迹之间的偏好来适应新的任务，而不是使用每步的数字奖励。通过扩展技术从信息论，我们的方法可以设计查询序列，以最大限度地提高信息增益从人类的互动，同时容忍的固有错误的非专家的人类预言。在实验中，我们广泛地评估我们的方法，适应与噪声的甲骨文（ANOLE），在各种元RL基准任务，并展示了大幅改善基线算法的反馈效率和容错性。
2022-11-20 cs.AI cs.LG
AIIR-MIX: Multi-Agent Reinforcement Learning Meets Attention Individual Intrinsic Reward Mixing Network
Southeast University（东南大学）
在协作式多智能体强化学习（MARL）中，计算每个智能体的贡献并分配相应的奖励是一个关键问题。以往的研究试图通过设计一个内在奖励函数来解决这个问题，但这些研究只是简单地将内在奖励与环境奖励通过求和结合起来，这使得他们的MARL框架的表现不尽如人意。在MARL中，我们提出了一种新的方法--注意力个体内在奖励混合网络（AIIR-MIX），其主要贡献如下：（a）基于注意力机制构建了一种新的内在奖励网络，以提高团队协作的效率。(b)我们提出了一种混合网络，该网络能够响应于环境的变化条件而非线性地和动态地组合内在和外在奖励。我们比较了AIR-MIX与许多最先进的（SOTA）MARL方法在星际争霸II的战斗游戏。实验结果表明，AIR-MIX算法在平均测试成功率上优于现有的先进算法。为了验证AIR-MIX的有效性，我们进行了额外的消融研究。结果表明，AIIR-MIX可以根据每个Agent的实际贡献动态地分配给每个Agent实时的内在奖励。
2023-02-19 cs.LG cs.MA
Efficient Adaptation of Reinforcement Learning Agents to Sudden Environmental Change
Georgia Institute of Technology（佐治亚理工学院）
针对深度强化学习在部署环境突变时难以高效适应且易遗忘先验知识的问题，本论文提出在线适应需具备优先探索采样和结构化知识选择性保留两项能力。
2025-05-15 cs.AI cs.LG
Action valuation of on- and off-ball soccer players based on multi-agent deep reinforcement learning
Nagoya University（名古屋大学）；RIKEN（理化学研究所）；Japan Science and Technology Agency（日本科学技术振兴机构）
本文提出基于多智能体深度强化学习的统一框架，在连续状态空间中评估足球有球与无球球员的行动价值，并通过与传统指标和专家评分的对比验证了其有效性。
2023-12-01 cs.AI cs.LG
Domain Adaptation In Reinforcement Learning Via Latent Unified State Representation
尽管深度强化学习（RL）最近取得了成功，但领域自适应仍然是一个悬而未决的问题。尽管RL代理的泛化能力对于Deep RL的现实世界适用性至关重要，但zero-shot策略传输仍然是一个具有挑战性的问题，因为即使是微小的视觉变化也可能使经过训练的代理在新任务中完全失败。为了解决这个问题，我们提出了一个两阶段的强化学习代理，首先学习一个潜在的统一状态表示（LUSR），这是一致的跨多个域在第一阶段，然后在一个源域进行强化学习训练的基础上LUSR在第二阶段。LUSR的跨域一致性允许从源域获取的策略推广到其他目标域，而无需额外的训练。我们首先在具有定制操作的CarRacing游戏变体中展示了我们的方法，然后在CARLA中验证它，CARLA是一种具有更复杂和逼真视觉观察的自动驾驶模拟器。我们的研究结果表明，这种方法可以实现国家的最先进的领域自适应性能在相关的RL任务，并优于先前的方法基于潜在的表示为基础的RL和图像到图像的翻译。
2021-09-03 cs.AI cs.LG
Measurement-based adaptation protocol with quantum reinforcement learning in a Rigetti quantum computer
University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））；IKERBASQUE, Basque Foundation for Science（巴斯克科学基金会（IKERBASQUE））；Shanghai University（上海大学）；International Center of Quantum Artificial Intelligence for Science and Technology (QuArtist)（国际科学技术量子人工智能中心（QuArtist））；IQM（IQM公司）；Universidad de Sevilla（塞维利亚大学）
我们在Rigetti云量子计算机中提出了一种基于测量的自适应协议的实验实现，该协议具有量子强化学习。在这个几个量子比特的超导芯片上进行的实验忠实地再现了理论上的提议，为半自主量子代理迈出了第一步。这个实验为超导电路的量子强化学习铺平了道路。
2020-05-19 cond-mat.mes-hall cs.AI cs.ET
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification（麦克斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦克斯特大学）
本文综述了非平稳环境下安全持续强化学习的最新方法，探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
Domain Adaptation of Reinforcement Learning Agents based on Network Service Proximity
Ericsson Research (Artificial Intelligence) India（爱立信研究院（人工智能）印度）；Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
针对无线网络服务动态变化，提出基于服务邻近性的域适应方法，使RL智能体无需重新训练即可快速适应新服务类型，提升计算与成本效益。
2023-03-02 cs.AI cs.LG
An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
Sun Yat-sen University（中山大学）
本研究提出一种离线适配框架，无需人工设定目标偏好，仅通过演示即可隐式推断多目标强化学习的预期策略，还可扩展至满足安全约束，经实验验证效果良好。
2024-09-16 cs.AI cs.LG
Transferable Reinforcement Learning via Probabilistic Latent Embeddings and Dynamic Policy Adaptation for Sim-to-Real Deployment
Lyles School of Civil and Construction Engineering, Purdue University, West Lafayette, USA（普渡大学土木与建设工程学院）；Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA（普渡大学埃尔莫尔家庭电气与计算机工程学院）
提出一种基于概率潜在嵌入和动态策略自适应的强化学习框架，通过元学习推断环境潜在表示并动态调整风险水平，实现安全高效的Sim2Real策略迁移。
2026-05-26 cs.AI cs.LG
Boosting Hierarchical Reinforcement Learning with Meta-Learning for Complex Task Adaptation
Iran University of Science and Technology（伊朗科技大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Zurich（苏黎世大学）
本文提出将基于梯度的元学习、课程学习与内在动机融入HRL，使智能体在网格环境中更快适应复杂任务，并取得更高奖励与成功率。
2025-03-14 cs.AI cs.LG
Active Reinforcement Learning -- A Roadmap Towards Curious Classifier Systems for Self-Adaptation
University of Kiel（基尔大学）
智能系统有能力随着时间的推移，通过观察，经验或明确的反馈来改善其行为。传统的方法将学习问题分开，并孤立地使用来自不同机器学习领域的技术，例如强化学习、主动学习、异常检测或迁移学习。在这种情况下，基本的强化学习方法有几个缺点，阻碍了它们在现实世界系统中的应用：试错，纯粹的反应行为或孤立的问题处理。本文的想法是提出一个概念，通过建立一个研究议程，我们所谓的"主动强化学习"在智能系统中，以减轻这些缺点。
2022-01-11 cs.LG
Hypothesis Network Planned Exploration for Rapid Meta-Reinforcement Learning Adaptation
针对元强化学习中被动探索适配速度慢的问题，提出HyPE方法，通过潜在空间主动规划动作序列快速识别相似任务，可即插即用改进多数基于模型的元强化学习算法，在稀疏信息场景下失败概率指数级降低，在Alchemy游戏中适配表现远超基线。
2025-08-30 cs.AI cs.LG
Linear Representation Meta-Reinforcement Learning for Instant Adaptation
University of California, Berkeley（加州大学伯克利分校）
本文介绍了快速线性化自适应策略（FLAP），这是一种新的Meta强化学习（元RL）方法，能够很好地外推到分布外的任务，而不需要重用训练数据，并且在测试过程中只需要少量样本就可以几乎立即适应。FLAP建立在学习策略的共享线性表示的思想之上，以便在适应新任务时，预测一组线性权重就足够了。一个单独的适配器网络与策略同时训练，这样在适配过程中，我们可以直接使用适配器网络来预测这些线性权重，而不是通过梯度下降来更新元策略，例如在MAML等现有的元RL方法中，以获得新策略。单独的前馈网络的应用不仅显著加快了自适应运行时间，而且还非常好地推广到以前的Meta-RL方法无法推广的非常不同的任务。在标准连续控制元RL基准测试上的实验表明，与现有方法相比，FLAP在分布外任务上表现出更强的性能，平均回报率高达两倍，自适应运行速度高达8倍。
2021-01-12 cs.AI cs.LG stat.ML
Memory Sequence Length of Data Sampling Impacts the Adaptation of Meta-Reinforcement Learning Agents
Southern University of Science and Technology（南方科技大学）
该研究探究数据采样的记忆序列长度对元强化学习智能体适应性的影响，通过MuJoCo环境下的实验对比两类异策略算法，发现贝叶斯最优算法适应性更优，证实采样策略对未知环境表征的重要性。
2024-06-18 cs.AI cs.LG
Meta-Multi-Agent Reinforcement Learning for Fast Adaptation of Interactive Policies with Applications to Autonomous Driving
Virginia Tech（弗吉尼亚理工大学）；Georgia Tech（佐治亚理工学院）
本文提出元多智能体强化学习框架，通过马尔可夫博弈建模和元纳什均衡概念，实现自动驾驶中交互策略的快速适应，并验证其优于预训练基线。
2026-10-02 cs.AI cs.MA cs.SY
Meta-Reinforcement Learning with Universal Policy Adaptation: Provable Near-Optimality under All-task Optimum Comparator
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种用于元强化学习的双层优化框架BO-MRL，通过一次数据收集实现多步策略优化以学习元先验，并提供了期望最优性差距上界的理论分析与实证验证。
2024-10-13 cs.LG
Learning long term climate-resilient transport adaptation pathways under direct and indirect flood impacts using reinforcement learning
Department of Technology, Management and Economics, Technical University of Denmark（技术、管理与经济系，丹麦技术大学）；School of Management, Technical University of Munich（管理学院，慕尼黑技术大学）；J.E. Cairnes School of Business & Economics, University of Galway（J.E. Cairnes商学院与经济学院，Galway大学）
本文提出基于强化学习的框架，用于学习应对直接和间接洪水影响的长期气候适应性交通适应路径，通过结合整合评估模型和强化学习，提升城市交通系统的适应性和鲁棒性。
2026-01-26 cs.AI cs.LG
Climate Adaptation with Reinforcement Learning: Economic vs. Quality of Life Adaptation Pathways
Technical University of Denmark（技术大学）；University of Galway（Galway大学）
本文提出用强化学习在气候不确定性下识别适应路径，并通过综合评估模型显式比较经济优先与生活质量优先的政策差异，发现后者会导致更高且更均衡的适应支出。
2025-11-05 cs.LG
Curriculum Reinforcement Learning using Optimal Transport via Gradual Domain Adaptation
Carnegie Mellon University（卡内基梅隆大学）
课程强化学习（CRL）旨在创建一系列任务，从简单的任务开始，逐渐向困难的任务学习。在这项工作中，我们专注于框架CRL作为源（辅助）和目标任务分布之间的插值的想法。虽然现有的研究已经表明了这一想法的巨大潜力，但仍然不清楚如何正式量化和生成任务分布之间的移动。受半监督学习中逐步领域自适应的启发，我们通过将CRL中潜在的大任务分布转移分解为较小的转移来创建自然课程。我们提出梯度，它制定CRL作为一个最佳的运输问题与量身定制的任务之间的距离度量。具体来说，我们生成一系列任务分布作为测地线插值（即，Wasserstein重心）之间的源和目标分布。与许多现有的方法不同，我们的算法考虑了任务相关的上下文距离度量，并且能够处理连续和离散上下文设置中的非参数分布。此外，我们从理论上表明，梯度，在一定条件下，在课程的后续阶段之间的顺利转移。我们在运动和操作任务中进行了广泛的实验，并表明我们提出的GRADIENT在学习效率和渐近性能方面比基线实现了更高的性能。
2022-10-18 cs.AI cs.LG
Factored Adaptation for Non-Stationary Reinforcement Learning
City University of Hong Kong（香港城市大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Amsterdam（阿姆斯特丹大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
处理环境中的非平稳性（例如，在过渡动态中）和目标（例如，是一个具有挑战性的问题，在强化学习（RL）的实际应用中至关重要。虽然目前大多数方法将变化建模为单个共享嵌入向量，但我们利用最近因果关系文献的见解，根据个体潜在变化因素和不同环境中的因果关系图来建模非平稳性。特别是，我们提出了非平稳RL的因子自适应（FANS-RL），这是一种因子自适应方法，它可以联合学习因子MDP的因果结构和个体时变变化因子的因子表示。我们证明，在标准的假设下，我们可以完全恢复的因果图表示的因素化的过渡和奖励功能，以及个别的变化因素和状态组件之间的部分结构。通过我们的总体框架，我们可以考虑具有不同功能类型和变化频率的一般非平稳场景，包括跨事件和事件内的变化。实验结果表明，FANS-RL在返回、潜在状态表示的紧凑性以及对不同程度的非平稳性的鲁棒性方面优于现有方法。
2022-10-18 cs.AI cs.LG
Unsupervised Reinforcement Adaptation for Class-Imbalanced Text Classification
University of Memphis（孟菲斯大学）
不同领域的模型在训练和测试时，自然存在着类的不平衡。无监督领域自适应（UDA）增强了模型的性能，只有来自源域的可访问注释和来自目标域的未标记数据。然而，现有的最先进的UDA模型学习域不变表示，并主要评估跨域的类平衡数据。在这项工作中，我们提出了一种无监督的领域自适应方法，通过强化学习，联合利用跨域的特征变量和不平衡的标签。我们实验了文本分类任务，其易于访问的数据集，并比较所提出的方法与五个基线。在三个数据集上的实验证明，我们提出的方法可以有效地学习鲁棒的域不变表示，并成功地适应文本分类器的不平衡类域。该代码可在https://github.com/woqingdoua/ImbalanceClass上获得。
2022-05-26 cs.CL cs.LG
Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning
McMaster University（麦克马斯特大学）
研究非平稳强化学习中的安全问题，提出以调整速度为安全约束，用上下文表示和预测估计适应需求，与智能体适应能力比较，超限时收紧动作集并激活屏蔽，实验验证该方法可减少安全违规，支持适应可行性原则。
2026-07-27 cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题，提出REFIT方法，通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性，在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Partner Capability Estimation for Task-Agnostic Adaptation in Ad-Hoc Teamwork
King’s College London（伦敦国王学院）
该研究针对临时团队协作中伙伴能力隐藏与人类行为不可预测问题，提出CE-CM及CE-CM-Div方法，通过仿真采样与多样规划器rollout实现任务无关的能力估计，提升了团队协作的可行性与鲁棒性。
2026-07-30 cs.AI cs.HC cs.MA
DADiff: Diffusion-Driven Cross-Domain Policy Adaptation for Reinforcement Learning
Arizona State University（亚利桑那州立大学）；University of Maryland, College Park（马里兰大学帕克分校）
研究强化学习中跨域策略适应问题，提出基于扩散的DADiff框架，利用源域和目标域生成轨迹差异估计动态不匹配，开发奖励修改和数据选择变体，实验表明该方法性能优于现有方法，有效解决动态不匹配。
2026-07-20 cs.AI cs.LG
Fast Adaptation with Meta-Reinforcement Learning for Trust Modelling in Human-Robot Interaction
Uppsala University（乌普萨拉大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
在社会辅助机器人中，一个重要的研究领域是适应技术的发展及其对人机交互的影响。我们提出了一个基于元学习的策略梯度方法，用于解决人与机器人交互中的适应问题，并研究其作为信任建模机制的作用。通过在混合现实中与机器人建立一个逃生室场景，我们测试了我们的假设，即双向信任可以受到不同的适应算法的影响。我们发现，我们提出的模型增加了机器人的感知可信度，并影响了获得人类信任的动态。此外，参与者评价说，机器人认为他们更值得信赖的互动过程中与元学习为基础的适应相比，以前研究的统计适应模型。
2019-08-12 cs.HC cs.LG cs.RO
Reinforcement Learning for Efficient and Tuning-Free Link Adaptation
KTH Royal Institute of Technology（瑞典皇家理工学院）；Ericsson Research（爱立信研究院）
无线链路使数据传输参数适应于动态信道状态--这称为链路自适应。传统的链路自适应依赖于调整参数，这些参数对于配置最佳链路性能是具有挑战性的。最近，强化学习已经被提出来自动化链路自适应，其中传输参数被建模为多臂强盗的离散臂。在这种情况下，我们提出了一个潜在的学习模型，链路自适应，利用数据传输参数之间的相关性。此外，最近成功的汤普森采样多臂强盗问题的动机，我们提出了一个潜在的汤普森采样（LTS）算法，快速学习给定的信道状态的最佳参数。我们通过一个自动跟踪信道动态的免调谐机制将LTS扩展到衰落无线信道。在衰落无线信道的数值评估中，与最先进的链路自适应算法相比，LTS将链路吞吐量提高了100%。
2021-05-05 cs.IT cs.LG eess.SP
A reinforcement learning strategy for p-adaptation in high order solvers
Universidad Politécnica de Madrid（马德里理工大学）
本研究将基于近端策略优化的演员-评论家强化学习应用于高阶求解器的网格p自适应，设计了含奖励结构与环境交互的策略，在一维无粘Burgers方程实验中实现了降本提效并减少人工干预。
2023-06-14 cs.LG physics.flu-dyn
Language Grounded Multi-agent Reinforcement Learning with Human-interpretable Communication
本文提出将MARL智能体通信空间与人类自然语言嵌入空间对齐的语言接地方法，在保持任务性能的同时加速通信涌现，并实现即兴团队协作中的零样本泛化。
2024-11-25 cs.MA
Generalizable Agent Modeling for Agent Collaboration-Competition Adaptation with Multi-Retrieval and Dynamic Generation
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Institute of Technology（北京理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
提出智能体协作-竞争适应（ACCA）设置，并引入多检索与动态生成（MRDG）方法，通过行为轨迹建模队友和对手，在SMAC等基准上显著提升泛化协作与竞争能力。
2025-06-20 cs.AI cs.MA
Neural ODE and SDE Models for Adaptation and Planning in Model-Based Reinforcement Learning
School of Computer Science, The University of Sheffield, UK（谢菲尔德大学计算机科学学院，英国）；Cancer Research UK National Biomarker Centre, The University of Manchester, UK（英国曼彻斯特大学癌症研究UK国家生物标志物中心）；School of Chemical, Materials and Biological Engineering, The University of Sheffield, UK（谢菲尔德大学化学、材料和生物工程学院，英国）；Machine Learning group, Centrum Wiskunde & Informatica, Amsterdam, Netherlands（荷兰阿姆斯特丹Centrum Wiskunde & Informatica机器学习组）；Institute for Ecological Economics, Vienna University of Economics and Business, Austria（奥地利维也纳经济与商业大学生态经济研究所）
本文利用神经ODE和SDE建模随机动力学，通过实验展示SDE在复杂场景中提升策略样本效率的效果，并引入隐式SDE模型应对部分可观测性问题。
2026-03-24 cs.AI cs.LG
Speaking the Language of Teamwork: LLM-Guided Credit Assignment in Multi-Agent Reinforcement Learning
本文提出一种利用大语言模型生成密集智能体特定奖励的框架，以解决多智能体强化学习中的信用分配问题，实验表明该方法比现有基线收敛更快、策略回报更高。
2025-03-01 cs.MA
Concept Drift Adaptation Using Self-Supervised and Reinforcement Learning In Android Malware Detection
Birzeit University（巴伊兹大学）；University of Central Florida（中央佛罗里达大学）
提出一个基于自监督学习和强化学习的框架，通过冻结编码器测量潜在漂移并轻量适配，同时利用PPO控制器在成本约束下选择维护动作，以应对Android恶意软件检测中的概念漂移。
2026-05-22 cs.AI cs.CR cs.LG
Incorporating Quality of Life in Climate Adaptation Planning via Reinforcement Learning
Technical University of Denmark（丹麦技术大学）；Univ. of Galway（Galway大学）
本文提出利用强化学习结合综合评估模型来优化气候适应路径，以提升城市长期生活质量，初步结果优于现实规划策略。
2025-11-05 cs.LG
Learning a subspace of policies for online adaptation in Reinforcement Learning
Facebook AI Research（脸书人工智能研究院）；CNRS-ISIR（法国国家科学研究中心-智能系统与机器人研究所）；Sorbonne University（索邦大学）；Ubisoft（育碧）
深度强化学习（RL）主要在训练和测试环境相似的环境中进行研究。但在许多实际应用中，这些环境可能会有所不同。例如，在控制系统中，在其上学习策略的机器人可能不同于将在其上运行策略的机器人。它可以由不同的内部因素引起（例如，校准问题、系统损耗、有缺陷的模块）或者也由外部变化（例如，天气条件）。有必要开发RL方法，以及一般化的训练条件的变化。在这篇文章中，我们考虑了最简单但难以解决的泛化设置，其中测试环境在训练时是未知的，迫使代理适应系统的新动态。这种在线自适应过程在计算上可能是昂贵的（例如，微调）并且不能依赖于元RL技术，因为只有单个训练环境。为此，我们提出了一种方法，在该方法中，我们学习参数空间内的策略子空间。该子空间包含无限数量的策略，这些策略被训练以解决训练环境，同时具有不同的参数值。因此，当面对训练环境的变化时，该子空间中的两个策略不同地处理信息并且表现出不同的行为。我们的实验进行了大量的各种基准比较我们的方法与基线，包括基于多样性的方法。相比之下，我们的方法易于调整，不需要任何额外的组件（例如，并学习能够在看不见的环境中获得高回报的策略。
2022-10-24 cs.AI cs.LG
Automatic Risk Adaptation in Distributional Reinforcement Learning
Leibniz University Hannover（莱布尼茨汉诺威大学）
在实际应用中使用强化学习（RL）代理需要考虑次优结果，这取决于代理对其环境的熟悉程度。这在安全关键环境中尤其重要，因为错误可能导致高成本或损坏。在分布强化学习中，风险敏感性可以通过估计收益分布的不同失真度量来控制。然而，这些失真函数需要估计风险水平，这是很难获得的，并取决于当前的状态。在这项工作中，我们证明了一个静态的风险水平估计的次优，并提出了一种方法来动态地选择风险水平在每个环境步骤。我们的方法ARA（自动风险适应）使用随机网络蒸馏误差来估计已知和未知环境中的适当风险水平。我们发现，在几个运动环境中，与风险感知和风险不可知的代理相比，故障率降低了7倍，泛化性能提高了14%。
2021-06-11 cs.LG
Sub-policy Adaptation for Hierarchical Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
分层强化学习是解决具有稀疏回报的长期决策问题的一种很有前途的方法。不幸的是，大多数方法仍然将较低级别的技能获取过程与控制新任务中技能的较高级别的训练解耦。保持技能不变可能会导致转移设置中的显着次优。在这项工作中，我们提出了一种新的算法来发现一组技能，并不断调整它们，即使在训练新任务时也是如此。我们的主要贡献有两方面。首先，我们推导出一个新的分层策略梯度与公正的潜在依赖的基线，我们引入分层近端策略优化（HiPPO），一个有效的策略方法，训练各级的层次结构。其次，我们提出了一种训练时间抽象的方法，提高了所获得的技能对环境变化的鲁棒性。代码和结果可在sites.google.com/view/hippo-rl上获得
2020-05-13 cs.AI cs.LG cs.NE
Self-Consistent Model-based Adaptation for Visual Reinforcement Learning
Tsinghua University（清华大学）
本文提出SCMA，通过预训练世界模型驱动的无监督分布匹配训练去噪模型，将杂乱观测转为干净观测，从而在不修改策略的情况下即插即用地提升视觉强化学习的鲁棒性与样本效率。
2025-02-14 cs.CV cs.LG
Using Reinforcement Learning to Integrate Subjective Wellbeing into Climate Adaptation Decision Making
Technical University of Denmark（丹麦技术大学）；University of Galway（戈尔韦大学）
针对气候变化下洪水扰乱流动性影响主观幸福感、气候适应决策复杂的问题，提出整合四大组件的多模块强化学习框架，为哥本哈根气候适应决策提供支持，助力探索评估政策路径以最大化长期幸福感。
2025-04-14 cs.LG
Domain Adaptation of Echocardiography Segmentation Via Reinforcement Learning
University of Sherbrooke（谢布鲁克大学）；University of Lyon（里昂大学）；INSA-Lyon（里昂国立应用科学学院）；Institut Universitaire de France (IUF)（法国大学研究院）
提出强化学习框架RL4Seg，通过结合人类验证的分割先验，在10,000张未标注2D超声心动图上实现高精度与99%解剖有效性的领域自适应分割。
2024-06-25 cs.AI cs.CV cs.LG
Offline Reinforcement Learning and Sequence Modeling for Downlink Link Adaptation
Politecnico di Milano（米兰理工大学）；Ericsson AB（爱立信公司）
针对链路自适应建模的挑战及在线强化学习部署问题，本文提出三种基于批量约束深度Q学习、保守Q学习和决策Transformer的离线强化学习设计，在适当数据收集下可匹配在线方法性能。
2024-11-28 cs.AI cs.LG cs.SY
GOATS: Goal Sampling Adaptation for Scooping with Curriculum Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Baidu Research（百度研究院）；The University of Hong Kong（香港大学）
针对机器人舀水中的复杂流体动力学与多模态目标空间问题，提出GOATS课程强化学习方法，通过目标因子化奖励及目标分布插值提升仿真与真实机器人性能。
2023-09-23 cs.AI cs.LG cs.RO
Meta Reinforcement Learning with Distribution of Exploration Parameters Learned by Evolution Strategies
LevelupAI；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Normal University（北京师范大学）
在本文中，我们提出了一种新的元学习方法在强化学习设置，基于演化策略（ES），探索参数空间和确定性策略梯度。ES方法易于并行化，这对于现代训练架构是理想的;然而，这种方法通常需要大量的样本来进行有效的训练。我们使用确定性的策略梯度在适应和其他技术，以弥补样本效率的问题，同时保持固有的可扩展性的ES方法。我们证明，我们的方法取得了良好的效果相比，基于梯度的元学习在高维控制任务的MuJoCo模拟器。此外，由于元训练阶段的无梯度方法，在自适应训练中不需要有关梯度和策略的信息，我们预测并确认我们的算法在需要多步自适应的任务中表现更好。
2019-05-08 cs.AI cs.LG stat.ML
Unsupervised Domain Adaptation with Dynamics-Aware Rewards in Reinforcement Learning
Zhejiang University（浙江大学）；Westlake University（西湖大学）；UC Berkeley（加州大学伯克利分校）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院前沿技术研究所）
无监督强化学习的目标是在没有预先目标表示的情况下获得技能，其中智能体自动探索开放式环境来表示目标并学习目标条件策略。然而，这个过程通常是耗时的，限制了在一些潜在的昂贵的目标环境中的推出。由于动态变化，在另一个互动丰富的环境中进行训练的直观方法会破坏目标环境中训练技能的可重复性，从而抑制直接转移。假设自由访问源环境，我们提出了一个无监督的领域自适应方法来识别和获取技能的动态。特别是，我们引入了KL正则化的目标，以鼓励出现的技能，奖励代理发现技能和调整其行为尊重动态变化。这表明，两种动力（源和目标）都塑造了奖励，以促进适应技能的学习。我们还进行了实证实验，以证明我们的方法可以有效地学习技能，可以顺利部署在目标。
2021-10-26 cs.LG
