Shared Learning : Enhancing Reinforcement in $Q$-Ensembles
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
深度强化学习已经能够在各种领域取得惊人的成功，从视频游戏到持续控制，通过尝试最大化累积奖励。然而，这些成功中的大多数依赖于需要大量数据进行训练的算法，以便获得与人类水平性能相当的结果。如果我们要将这些系统部署在现实世界的任务上，这是不可行的，因此在探索数据高效算法方面有了更大的推动力。为此，我们提出了共享学习框架，旨在使$Q$集成算法的数据效率。为了实现这一目标，我们研究了迁移学习的一些原则，这些原则旨在研究强化学习中跨任务信息交换的好处，并以一种新的方式将迁移适应于学习我们的价值函数估计。在本文中，我们考虑的特殊情况下的价值函数之间的转移估计的$Q$集成架构的BootstrappedDQN。我们进一步实证证明了我们提出的框架可以帮助加快学习过程中的$Q$ -合奏与最小的计算开销的一套雅达利2600游戏。
2017-09-14 cs.AI cs.LG
Learning Shared Representations in Multi-task Reinforcement Learning
University College London（伦敦大学学院）
我们研究了多任务强化学习（MT-RL）中的一个范例，其中代理被放置在一个环境中，需要学习在这个空间内执行一系列任务。由于环境没有改变，任务之间可能存在很多共同点，学习单独解决它们似乎是非常浪费的。在本文中，我们明确地建模和学习这种共享结构，因为它出现在状态-动作值空间。我们将展示如何通过修改流行的值迭代和策略迭代过程来共同学习最优值函数，以适应这种共享表示假设，并利用多任务监督学习的力量。最后，我们证明了所提出的模型和训练程序，能够推断出良好的价值函数，即使在低样本制度。除了数据效率之外，我们还将在分析中表明，跨任务联合学习状态空间的抽象会导致更强大，可转移的表示，具有更好的泛化潜力。这种共享的表示假设并利用多任务监督学习的能力。最后，我们证明了所提出的模型和训练程序，能够推断出良好的价值函数，即使在低样本制度。除了数据效率之外，我们还将在分析中表明，跨任务联合学习状态空间的抽象会导致更强大，可转移的表示，具有更好的泛化潜力。
2016-03-07 cs.AI cs.LG
Shared Control of Holonomic Wheelchairs through Reinforcement Learning
Swiss Paraplegic Research, SPF（瑞士瘫痪研究机构）；SCAI Lab, D-HEST, Swiss Federal School of Technology in Zurich - ETH Zurich（SCAI实验室，瑞士联邦理工学院-苏黎世-ETH Zurich）；Centre for Artificial Ingelligece, Zurich University of Applied Sciences - ZHAW. Switzerland（人工智能中心，瑞士应用科学大学-ZHAW）
针对全向轮椅共享控制中行为不直观、未发挥全向能力的问题，提出强化学习方法将二维用户输入映射为三维运动，并通过仿真与实机验证其安全、平滑且低认知负荷。
2025-07-22 cs.LG cs.RO
Continual and Multi-task Reinforcement Learning With Shared Episodic Memory
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
情景记忆在动物和人类的行为中起着重要的作用。它允许以与任务无关的方式积累有关环境当前状态的信息。这种情景表示可以稍后由下游任务访问，以使其执行更有效。在这项工作中，我们介绍了共享情景记忆（SEM）的学习和多个任务的顺序执行的神经架构。我们明确地将情景记忆和任务特异性记忆的编码分成单独的循环子网络。增强SEM的代理能够有效地重用在其他任务中收集的情节知识，以改善其政策上的当前任务的出租车问题。在持续学习实验中重复使用情景表征有助于在相同的环境中获得新技能。
2019-05-07 cs.AI cs.LG cs.NE
Reinforcement Learning-enhanced Shared-account Cross-domain Sequential Recommendation
Shandong Normal University（山东师范大学）；The University of Queensland（昆士兰大学）
共享账户跨域顺序推荐（SCSR）是一个新兴的具有挑战性的研究课题，它同时考虑了共享账户和跨域的特点。现有的SCSR研究主要基于递归神经网络（RNN）和图神经网络（GNN），但忽略了多个用户共享一个帐号，但帐号每次主要由一个用户占用的事实。这种观察激励我们通过专注于其最近的行为来学习更准确的用户特定帐户表示。此外，虽然现有的工作赋予较低的权重，无关的互动，他们仍然可能稀释域信息，并阻碍跨域推荐。为了解决上述问题，我们提出了一个基于强化学习的解决方案，即RL-ISN，它由一个基本的跨域推荐和一个基于强化学习的域过滤器。具体来说，为了对共享账户场景中的账户表示进行建模，基本推荐器首先将用户的混合行为聚类为潜在用户，然后利用对它们的注意力模型来进行用户识别。为了减少不相关的领域信息的影响，我们制定的领域过滤器作为一个分层的强化学习任务，其中一个高层次的任务是用来决定是否修改整个传输序列或没有，如果是这样，一个低层次的任务是进一步执行，以确定是否删除其中的每个交互或没有。为了评估我们的解决方案的性能，我们在两个真实世界的数据集上进行了广泛的实验，实验结果表明，我们的RL-ISN方法相比，国家的最先进的推荐方法的优越性。
2022-06-16 cs.AI cs.IR cs.LG
Pretraining a Shared Q-Network for Data-Efficient Offline Reinforcement Learning
Hyundai Motor Company（现代汽车公司）；KAIST（韩国科学技术院）
针对离线强化学习数据收集成本高的问题，提出共享Q网络的即插即用预训练方法，通过下一状态预测初始化特征，显著提升多种算法在低数据场景下的性能。
2025-10-21 cs.AI cs.LG
Reinforcement Learning for Large-Scale Lifelong Multi-Agent Path Finding with Shared Spatial Fields
针对大规模终身多智能体路径寻优问题，提出基于共享空间场与平均奖励强化学习的导航策略，在10000智能体的6种布局上，吞吐量优于或相当最强基线，执行速度快一个数量级以上。
2026-10-14 cs.LG
Distral: Robust Multitask Reinforcement Learning
DeepMind
大多数深度强化学习算法在复杂和丰富的环境中数据效率低下，限制了它们对许多场景的适用性。提高数据效率的一个方向是具有共享神经网络参数的多任务学习，其中可以通过在相关任务之间的转移来提高效率。然而，在实践中，这通常不会被观察到，因为不同任务的梯度可能会产生负面影响，使学习不稳定，有时甚至降低数据效率。另一个问题是任务之间的奖励方案不同，这很容易导致一个任务主导共享模型的学习。我们提出了一种新的多任务联合训练方法，我们称之为Distral（Distill &迁移学习）。我们建议共享一个“蒸馏”的政策，捕捉跨任务的共同行为，而不是在不同的工人之间共享参数。每个工作者都被训练来解决自己的任务，同时被约束为接近共享策略，而共享策略则通过蒸馏被训练为所有任务策略的质心。学习过程的两个方面都是通过优化联合目标函数来实现的。我们表明，我们的方法支持复杂的3D环境中的高效传输，优于几个相关的方法。此外，所提出的学习过程更鲁棒，更稳定--这些属性在深度强化学习中至关重要。
2017-07-13 cs.LG stat.ML
Shared Experience Actor-Critic for Multi-Agent Reinforcement Learning
University of Edinburgh（爱丁堡大学）
探索多智能体强化学习是一个具有挑战性的问题，特别是在稀疏奖励的环境中。我们提出了一个通用的方法，有效的探索，通过分享经验之间的代理。我们提出的算法，称为共享经验演员批评（SEAC），适用于演员批评框架中的经验共享。我们在一组稀疏奖励多智能体环境中评估了SEAC，发现它通过更少的步骤学习并收敛到更高的回报，始终优于两个基线和两个最先进的算法。在一些更困难的环境中，经验分享决定了学习解决任务和根本不学习的区别。
2021-05-19 cs.LG cs.MA
Shared Autonomy via Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
在共享自治中，用户输入与半自治控制相结合，以实现共同的目标。目标通常是事先未知的，因此先前的工作使代理能够从用户输入中推断目标并协助任务。这样的方法倾向于假设环境的动态知识、给定用户目标的用户策略以及用户可能瞄准的可能目标的集合的某种组合，这将它们的应用限制于现实世界场景。我们提出了一个深度强化学习框架，用于无模型共享自治，提升了这些假设。我们使用具有神经网络函数近似的人在回路强化学习来学习从环境观察和用户输入到代理动作值的端到端映射，任务奖励作为唯一的监督形式。这种方法提出了以下挑战：足够紧密地跟随用户命令，以向用户提供实时动作反馈，从而确保高质量的用户输入，但也在用户的动作次优时偏离用户的动作。我们通过丢弃值低于某个阈值的动作来平衡这两种需求，然后选择最接近用户输入的剩余动作。控制研究与用户（n = 12）和合成飞行员玩视频游戏，和飞行员研究与用户（n = 4）飞行一个真正的四旋翼机，证明了我们的算法，以帮助用户的实时控制任务，其中代理不能直接访问用户的私人信息，通过观察，但收到的奖励信号和用户输入，都取决于用户的意图。代理学习帮助用户，而不访问这些私人信息，隐式地从用户的输入中推断出来。本文是一个概念证明，说明了深度强化学习的潜力，使灵活和实用的辅助系统。
2018-05-23 cs.HC cs.LG cs.RO
Human-Aligned Procedural Level Generation Reinforcement Learning via Text-Level-Sketch Shared Representation
Gwangju Institute of Science and Technology（光州科学技术学院）
研究如何在过程级生成强化学习中实现人类对齐，提出VIPCGRL框架，整合文本、关卡和草图模态，通过四重对比学习训练共享嵌入空间，基于嵌入相似度调整策略，实验证明该框架在类人性上优于现有基线。
2026-07-20 cs.AI
Sample-Efficient Reinforcement Learning through Transfer and Architectural Priors
Cornell Tech（康奈尔科技）
最近在深度强化学习方面的工作已经允许算法仅仅从游戏提供的奖励来学习诸如Atari 2600游戏之类的复杂任务，但是这些算法目前需要数百万个训练步骤才能学习，使得它们比人类慢大约五个数量级。其中一个原因是，人类构建了适用于问题集合的强大共享表示，使其更容易吸收新的变体。本文首先介绍了自动生成的游戏集的想法，以帮助迁移学习研究，然后通过展示模型可以从相关的建筑先验的结合中大大受益，从而展示了共享表示的实用性。这种技术在玩具问题集上提供了显着的50倍正迁移。
2018-01-07 cs.AI cs.LG
On the Linear Speedup of Personalized Federated Reinforcement Learning with Shared Representations
Harvard University（哈佛大学）；Stony Brook University（石溪大学）；Meta
本文提出个性化联邦强化学习框架 PFedRL-Rep，通过共享特征表示和个性化权重向量解决异构环境问题，并首次证明 PFedTD-Rep 相对智能体数量具有线性收敛加速，实验验证其在学习和泛化上的优势。
2025-07-16 cs.LG math.OC stat.ML
Multi-Agent Reinforcement Learning for Task Offloading in Wireless Edge Networks
LIA, Avignon University（阿维尼翁大学LIA中心）；INRIA, Sophia Antipolis, France（法国索菲亚Antipolis研究所）
本文提出一种去中心化多智能体强化学习框架，通过共享约束向量实现隐式协调，解决边缘计算中任务卸载的资源竞争问题，在有限通信下优于集中式和独立基线。
2025-10-23 cs.AI cs.LG cs.NI
Deep Reinforcement Learning for Haptic Shared Control in Unknown Tasks
Pontificia Universidade Católica do Rio de Janeiro（里约热内卢天主教大学）
本文提出 TAHSC，将 DDPG 与 CNN 结合用于未知任务的触觉共享控制，依据用户反馈阻力学习个性化引导力策略，从而稳定辅助用户更快完成拾取与放置任务。
2021-01-15 cs.LG cs.RO
Control-Diverse Reinforcement Fine-Tuning: Decoupling the Shared Control Bottleneck of RL Post-Training
本研究提出CD-RFT方法，定义后训练控制系数揭示RL后训练的共享控制瓶颈，通过正则化减少控制坍缩，在Qwen2.5-7B等模型上实现控制解耦与多任务能力提升，效果可迁移至Llama-3.2-3B。
2026-08-11 cs.LG
Fleet Rebalancing for Expanding Shared e-Mobility Systems: A Multi-agent Deep Reinforcement Learning Approach
University of Exeter（埃克塞特大学）；The Alan Turing Institute（阿兰·图灵研究所）；University of Warwick（华威大学）；Tongji University（同济大学）；University of Leeds（利兹大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Columbia University（哥伦比亚大学）
针对扩展中的共享电动出行系统，提出一种考虑续航与充电约束的多智能体深度强化学习车队再平衡方法，通过高保真模拟与动作级联策略优化，显著提升需求满足率和净收入。
2022-11-11 cs.AI cs.LG cs.SY
MORE-3S:Multimodal-based Offline Reinforcement Learning with Shared Semantic Spaces
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Waterloo（滑铁卢大学）
本文提出MORE-3S，通过将图像状态与文本动作对齐到共享语义空间，把离线强化学习转化为有监督学习任务，在Atari和OpenAI Gym上显著超越现有基线。
2024-02-20 cs.AI cs.GT
Skill Transfer in Deep Reinforcement Learning under Morphological Heterogeneity
Warwick Manufacturing Group（华威制造集团）；University of Warwick（华威大学）
用于强化学习（RL）领域的迁移学习方法促进了使用先前获得的知识获得新技能。绝大多数现有的方法假设代理具有相同的设计，例如相同的形状和动作空间。在本文中，我们解决的问题，以前获得的技能之间的形态不同的代理（MDA）。例如，假设一个双足智能体已经被训练为向前移动，那么这种技能是否可以转移到一个单腿的料斗上，以便使它对同一任务的训练过程更有效？我们框架这个问题的子空间学习，我们的目标是推断潜在的因素代表的控制机制，是共同的MDA之间。我们提出了一种新的配对变分编码器-解码器模型，PVED，解开的MDA的控制到共享和代理特定的因素。共享的因素，然后利用RL的技能转移。理论上，我们推导出一个定理，表明PVED的性能如何取决于共享的因素和代理形态。实验上，PVED已经在四个MuJoCo环境中得到了广泛的验证。我们展示了其性能相比，一个国家的最先进的方法和几个消融病例，可视化和解释隐藏的因素，并确定未来的改进途径。
2019-08-20 cs.LG stat.ML
Decoupling Value and Policy for Generalization in Reinforcement Learning
New York University（纽约大学）
标准的深度强化学习算法使用策略和价值函数的共享表示，特别是在直接从图像进行训练时。然而，我们认为，需要更多的信息来准确地估计价值函数比学习的最优策略。因此，使用策略和价值函数的共享表示可能导致过拟合。为了缓解这个问题，我们提出了两种方法，结合起来创建IDAAC：不变解耦优势演员批评。首先，IDAAC使用单独的网络对策略和价值函数进行建模，从而实现了策略和价值函数的优化。其次，它引入了一个辅助损失，鼓励表示是不变的任务无关的环境属性。IDAAC对看不见的环境表现出良好的泛化能力，在Procgen基准测试中达到了新的最先进水平，并在有干扰物的DeepMind控制任务中表现优于流行方法。我们的实现可以在https://github.com/rraileanu/idaac上获得。
2021-06-15 cs.AI cs.LG
A Fairness-Oriented Reinforcement Learning Approach for the Operation and Control of Shared Micromobility Services
Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）；Department of Information Engineering, University of Padova（帕多瓦大学信息工程系）
本文提出一种基于强化学习的方法，通过车辆再平衡在共享微出行服务中实现性能优化与公平性的平衡，减少不公正性达85%的同时仅增加30%成本。
2025-01-17 cs.CY cs.LG cs.SY
Exploring Shared Structures and Hierarchies for Multiple NLP Tasks
Fudan University（复旦大学）
设计共享的神经结构在多任务学习中起着重要的作用。面临的挑战是，找到一个最佳的共享方案在很大程度上依赖于专家知识，是不可扩展的大量不同的任务。受神经结构搜索（NAS）的启发，我们将强化学习应用于自动寻找可能的多任务学习共享结构。具体来说，我们使用一个控制器从一组可共享的模块中进行选择，并组装一个特定于任务的架构，并对其他任务重复相同的过程。控制器通过强化学习进行训练，以最大限度地提高所有任务的预期精度。我们对两种类型的任务进行了广泛的实验，文本分类和序列标记，这证明了我们的方法的好处。
2018-08-23 cs.AI cs.CL
Prism: Spectral Parameter Sharing for Multi-Agent Reinforcement Learning
Gwangju Institute of Science and Technology (GIST)（光州科学技术学院）
Prism通过谱域参数共享机制，在多智能体强化学习中实现智能体间多样性与资源效率的平衡。
2026-02-06 cs.AI cs.LG cs.MA
Domain Adversarial Reinforcement Learning for Partial Domain Adaptation
Beijing Institute of Technology（北京理工大学）；University of Electronic Science and Technology（电子科技大学）；Shanghai University of Science and Technology（上海科技大学）
部分领域自适应的目的是将知识从标签丰富的源域转移到标签稀缺的目标域，从而放松了不同域之间完全共享标签空间的假设。在这个更一般和实际的场景中，一个主要的挑战是如何选择跨不同域的共享类中的源实例进行正迁移。为了解决这个问题，我们提出了一个领域对抗强化学习（DARL）框架，自动选择源实例的共享类规避负迁移，以及同时学习域之间的可转移功能，通过减少域转移。具体来说，在这个框架中，我们采用深度Q学习来学习代理的策略，通过近似动作-价值函数来做出选择决策。此外，引入领域对抗学习来学习代理和目标实例所选择的源实例的领域不变特征，并且还基于所选择的源实例与目标领域的相关程度来确定代理的奖励。在几个基准数据集上的实验表明，我们的DARL方法优于现有的部分领域自适应的最新技术水平的性能。
2019-05-10 cs.CV cs.LG stat.ML
Multi-Task Reinforcement Learning for Quadrotors
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Robotics and Perception Group（机器人与感知组）
本文提出一种基于多评论家架构和共享任务编码器的多任务强化学习框架，利用四旋翼共享物理动力学提升样本效率，实现高速稳定、速度跟踪和自主竞速等多样化机动，并在仿真和真实环境中验证其优于基线方法。
2024-12-17 cs.LG cs.RO
Modular Networks Prevent Catastrophic Interference in Model-Based Multi-Task Reinforcement Learning
Institute for Neural Computation（神经计算研究所）；Ruhr-University Bochum（波鸿鲁尔大学）
在多任务强化学习环境中，学习者通常通过利用多个相关任务之间的相似性来从多个相关任务的训练中受益。与此同时，经过训练的代理能够解决更广泛的不同问题。虽然这种影响是有据可查的无模型多任务方法，我们证明了一个不利的影响时，使用一个单一的学习动力学模型的多个任务。因此，我们解决了一个基本问题，即基于模型的多任务强化学习是否可以像无模型方法从共享策略网络中受益那样从共享动态模型中受益。使用一个单一的动力学模型，我们看到了任务混乱和性能下降的明显证据。作为补救措施，通过为每个任务训练隔离的子网络来强制学习的动态模型的内部结构，在使用相同数量的参数的同时显著提高了性能。我们说明了我们的研究结果，通过比较两种方法在一个简单的gridworld和一个更复杂的vizdoom多任务实验。
2021-11-15 cs.AI cs.LG
Disentangled Skill Embeddings for Reinforcement Learning
Imperial College London（伦敦帝国理工学院）
我们提出了一个新的多任务强化学习（MTRL）的框架。使用变分推理公式，我们学习的政策，概括了不断变化的动态和目标。由此产生的政策是参数化的共享参数，允许不同的动态和目标条件之间的转移，并通过任务特定的潜在空间嵌入，允许专业化特定的任务。我们展示了潜在空间如何使泛化到看不见的动态和目标条件。此外，配备了这种嵌入的策略可以作为分层强化学习的技能（或选项）空间。由于我们可以独立地改变任务动态和目标，我们将我们的框架命名为Disentangled Skill Embeddings（DSE）。
2019-06-21 cs.AI cs.LG stat.ML
Attacking Slicing Network via Side-channel Reinforcement Learning Attack
Data61, Commonwealth Scientific and Industrial Research Organisation（联邦科学与工业研究组织Data61）
针对网络切片共享缓存的安全漏洞，提出基于强化学习的侧信道缓存攻击框架，通过切片间博弈定位敏感数据，成功率达95%-98%，凸显相关安全防护的必要性。
2024-09-17 cs.AI cs.CR
Learning to Coordinate via Quantum Entanglement in Multi-Agent Reinforcement Learning
Nasdaq, Inc（纳斯达克公司）；University of Pennsylvania（宾夕法尼亚大学）
本文提出利用量子纠缠的框架，通过可微策略参数化和量子协调器架构，实现多智能体强化学习中的无通信协作策略，展现量子优势。
2026-08-13 cs.LG cs.MA quant-ph
Augmenting Replay in World Models for Continual Reinforcement Learning
Monash University（莫纳什大学）；Cerenaut（塞雷诺特公司）
提出WMAR算法，通过内存高效分布匹配重放缓冲区增强DreamerV3世界模型，在持续强化学习中减少遗忘并提升技能迁移，实验验证其有效性。
2024-07-16 cs.AI cs.LG
Composite-Gradient Learning for Shared Control Authority Between Deep Reinforcement Learning and Model Predictive Control
Delft University of Technology（代尔夫特理工大学）
本文提出复合梯度学习（CGL）方法，将MPC整合进DRL训练过程，通过联合动作表示和交互考虑，在强交互场景下提升控制策略性能，但平均增益有限。
2026-09-17 cs.LG cs.SY eess.SY
Combined Reinforcement Learning via Abstract Representations
McGill University（麦吉尔大学）；Mila；DeepMind；Facebook AI Research（Facebook人工智能研究院）
在寻求高效和鲁棒的强化学习方法时，无模型和基于模型的方法都具有优势。在本文中，我们提出了一种新的方式，明确桥接这两种方法通过共享的低维学习环境的编码，这意味着捕捉总结抽象。我们表明，这种方法带来的模块化导致良好的推广，同时计算效率高，规划发生在一个较小的潜在状态空间。此外，这种方法恢复了环境的足够低维表示，这为可解释的AI，探索和迁移学习开辟了新的策略。
2018-11-18 cs.AI cs.LG stat.ML
Pixel to policy: DQN Encoders for within & cross-game reinforcement learning
Halıcıoğlu Data Science Institute（哈利哲奥卢数据科学研究所）；University of California, San Diego（加州大学圣地亚哥分校）
本研究比较了从零开始训练与迁移学习在强化学习中的性能，利用DQN迁移预训练编码器开发通用游戏智能体，在多环境中以极低训练量超越人类水平并取得显著奖励。
2023-08-01 cs.AI cs.LG cs.RO
Optimizing Traffic Lights with Multi-agent Deep Reinforcement Learning and V2X communication
Harbin Engineering University（哈尔滨工程大学）
我们考虑使用多智能体深度强化学习和车辆到一切（V2X）通信来优化交通信号持续时间的系统。该系统旨在分析多智能体的独立和共享的奖励，以控制交通灯的持续时间。学习代理交通灯在圆形V2X覆盖范围内沿其车道获取信息。交通灯的持续时间周期被建模为马尔可夫决策过程。我们研究了四种不同的奖励函数。前两个是非共享奖励：基于等待数量和两个红绿灯周期之间的车辆等待时间。第三和第四个功能是：基于等待车辆的共享奖励，以及所有代理的等待时间。每个代理都有一个内存，用于通过目标网络进行优化和优先级经验重放。我们通过城市移动性模拟（SUMO）模拟器评估多智能体。结果表明，该系统可以有效地优化交通信号，与传统的周期性交通控制系统相比，平均等待车辆减少到41.5%。
2020-02-23 cs.AI cs.LG cs.MA
PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning
University of Oxford（牛津大学）；University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；DeepMind（深度思维）
我们研究了强化学习（RL）与无奖励演示，在这种设置中，RL代理可以从其他代理与相同环境的交互中获得额外的数据。然而，它无法获得这些代理人的奖励或目标，他们的目标和专业知识水平可能差异很大。这些假设在多智能体环境中很常见，例如自动驾驶。为了有效地使用这些数据，我们转向后继特征的框架。这使我们能够将环境的共享特征和动态与特定于代理的奖励和政策分开。我们提出了一个多任务逆强化学习（IRL）算法，称为\emph{inverse temporal difference learning}（ITD），学习共享的状态特征，以及每个代理的后继特征和偏好向量，纯粹从没有奖励标签的演示。我们进一步展示了如何将ITD与在线环境交互的学习无缝集成，并通过演示实现了一种新的强化学习算法，称为$ΨΦ$ -学习（发音为“Sci-Fi”）。我们提供的$ΨΦ$学习的有效性的实证证据，作为一种方法，提高RL，IRL，模仿，和Few-Shot转移，并推导出最坏情况下的界限，其性能在zero-shot转移到新的任务。
2021-06-10 cs.AI cs.LG
Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks
University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）
Meta强化学习（meta-RL）旨在学习一种策略，同时解决一组训练任务并快速适应新任务。它需要从训练任务中提取大量数据来推断任务之间共享的共同结构。在没有重奖励工程的情况下，长时间任务中的稀疏奖励加剧了元RL中的样本效率问题。元强化学习的另一个挑战是任务之间的难度水平的差异，这可能会导致一个简单的任务支配共享策略的学习，从而妨碍策略适应新任务。这项工作引入了一个新的目标函数来学习训练任务中的动作翻译器。我们从理论上证明了带有动作翻译器的转移策略的值可以接近源策略的值，并且我们的目标函数（近似）上界值差。我们建议将动作翻译器与基于上下文的元RL算法相结合，以在元训练期间更好地收集数据汇集和更有效地探索。我们的方法经验性地提高了样本效率和元RL算法在稀疏奖励任务上的性能。
2022-07-20 cs.AI cs.LG
Safe Model-Based Multi-Agent Mean-Field Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；EPFL Lausanne（洛桑联邦理工学院）；University College London（伦敦大学学院）
本文提出Safe-M$^3$-UCRL，首个在未知转移下确保安全策略的基于模型平均场强化学习算法，通过认知不确定性和对数障碍满足全局约束，并在共享出行车辆重定位中有效平衡需求与服务可及性。
2023-12-28 cs.AI cs.LG cs.MA
AI Coaching for Accelerating Human Skill Development with Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Johns Hopkins University（约翰霍普金斯大学）
本文提出一种基于非合作动态博弈和强化学习的AI教练框架，通过自适应共享控制和因果影响模型加速人类运动技能发展，在无人机竞速用户研究中显著提升学习效果。
2026-06-25 cs.AI cs.HC cs.RO
Evolutionary Strategy Guided Reinforcement Learning via MultiBuffer Communication
University of Galway（戈尔韦大学）
本文提出一种结合进化策略与TD3的进化强化学习模型，通过多缓冲区通信机制避免低质量轨迹污染回放缓冲区，在MuJoCo任务上超越CEM-RL。
2023-06-20 cs.AI cs.NE
Gradient Inversion in Federated Reinforcement Learning
Distributed Computing Research Center（分布式计算研究中心）
本文提出RGIA方法，通过正则化梯度反向攻击，有效重建联邦强化学习中的本地私有数据。
2025-11-29 cs.AI cs.LG
Who Bears the Burden? Learning Responsibility for Shared Constraints in Multi-Agent Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
针对多智能体共享成本约束的惩罚分配问题，提出LiRA方法，通过学习共同乘子的责任份额优化社会福利，在多个基准上提升平均福利达29%。
2026-10-07 cs.AI cs.GT cs.LG
Semi-on-Demand Transit Feeders with Shared Autonomous Vehicles and Reinforcement-Learning-Based Zonal Dispatching Control
Northwestern University Transportation Center（西北大学交通中心）；Chair of Traffic Engineering and Control, Technical University of Munich（慕尼黑技术大学交通工程与控制教授职位）
本研究提出结合共享自动驾驶车辆与深度强化学习分区调度的半按需公交接驳服务，经真实线路仿真验证，该服务可提升载客量，为公交系统首末一公里问题创新提供基础。
2025-09-02 cs.LG cs.SY eess.SY
Shared Actors Need Not Share Critics: Effects of Value Mismatch in Parallel Reinforcement Learning
University of Chicago（芝加哥大学）；University of Florida（佛罗里达大学）
该研究针对并行强化学习中评论家共享导致的价值不匹配问题，提出仅给评论家环境索引的干预方法，在多类任务中提升了学习稳定性与回报，Procgen 游戏中聚合归一化回报提升 40.8%。
2026-08-28 cs.LG
SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
SafeDiSTL是一种受限多智能体强化学习框架，通过STL鲁棒性实现联合约束下的信用分配，在三类多智能体任务中较基线显著提升了安全性能与任务表现。
2026-10-12 cs.AI cs.LG
Mean-Field Control based Approximation of Multi-Agent Reinforcement Learning in Presence of a Non-decomposable Shared Global State
Purdue University（普渡大学）
本文证明在存在不可分解共享全局状态的多智能体强化学习中，平均场控制仍可作为有效近似工具，并给出误差界及基于自然策略梯度的求解算法。
2023-05-26 cs.AI cs.LG cs.MA
All-in-One Memory: Process-Rewarded Reinforcement Learning for Memory Agents
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Fudan University（复旦大学）；The Hong Kong Polytechnic University（香港理工大学）；Peng Cheng Laboratory（鹏城实验室）
针对现有记忆方法缺乏共享奖励空间的问题，提出AiO-Mem模型，通过过程奖励强化学习优化记忆策略，在长上下文记忆基准上提升了答案准确率。
2026-10-19 cs.AI
Can Optimal Transport Improve Federated Inverse Reinforcement Learning?
Rochester Institute of Technology（罗切斯特理工学院）
本文提出基于最优传输的联邦逆强化学习方法，通过Wasserstein均值融合提升跨异构环境的奖励估计一致性。
2026-01-01 cs.LG cs.SY eess.SY
Multi-Modal Mutual Information (MuMMI) Training for Robust Self-Supervised Deep Reinforcement Learning
National University of Singapore（新加坡国立大学）
这项工作的重点是使用多个可能不可靠的传感器来学习有用且鲁棒的深度世界模型。我们发现，目前的方法不足以鼓励模态之间的共享表示，这可能会导致下游任务的性能不佳和过度依赖特定的传感器。作为解决方案，我们贡献了一个新的多模态深层潜在状态空间模型，使用互信息下限进行训练。关键的创新是一个专门设计的密度比估计，鼓励每一种形式的潜在代码之间的一致性。我们的任务是在多模态Natural MuJoCo基准和具有挑战性的Table Wiping任务上学习策略（以自我监督的方式）。实验表明，我们的方法明显优于最先进的深度强化学习方法，特别是在存在缺失观测的情况下。
2021-07-06 cs.AI cs.LG cs.RO
Collaborative Optimization of Multi-microgrids System with Shared Energy Storage Based on Multi-agent Stochastic Game and Reinforcement Learning
Northeast Electric Power University（东北电力大学）
针对多微电网系统经济稳定运行中的能量波动、设备特性与隐私保护等挑战，提出基于共享储能的数据驱动策略，结合混合注意力、MA-SAC与MA-WoLF-PHC算法求解随机博弈问题，实验验证有效降低主电网波动与运行成本。
2023-06-19 cs.LG cs.SY eess.SY
Teacher-Student Representational Alignment for Reinforcement Learning-Driven Imitation Learning
Department of Computer Science（计算机科学系）；Örebro University（奥雷布罗大学）
提出一种通过自监督对比学习构建共享嵌入空间的方法，以减小教师和学生策略之间的不可模仿差距，从而提升学生策略性能。
2026-05-27 cs.LG cs.RO
Transfer with Model Features in Reinforcement Learning
Brown University（布朗大学）
强化学习中的一个关键问题是智能体可以学习哪种表示来有效地在不同任务之间重用知识。最近的继任者表示被证明有经验的好处，在任务之间转移知识共享的过渡动态。本文提出了模型特征：一个特征表示，集群行为等价的状态，这是相当于一个模型约简。此外，我们提出了一个后继特征模型，表明学习后继特征相当于学习模型约简。一种新的优化目标的开发，我们提供的界限表明，最大限度地减少这一目标的结果，在一个日益改善的近似模型简化。此外，我们提供了随机生成的MDP的转移实验，其不同的过渡和奖励功能，但大约保持状态之间的行为等价。这些结果表明，模型特征适用于具有不同转换和奖励函数的任务之间的转换。
2018-07-04 cs.AI cs.LG stat.ML
Multiagent Copilot Approach for Shared Autonomy between Human EEG and TD3 Deep Reinforcement Learning
Nagoya Institute of Technology（名古屋工业大学）
本研究提出一种多智能体副驾驶方法，整合人类EEG解码与TD3深度强化学习，通过共享自主性提升目标接近得分、降低失败率，并利用d指数分析控制权威与BCI性能提升的相关性。
2023-12-22 cs.HC cs.LG eess.SP
Multi-Task Reinforcement Learning with Mixture of Orthogonal Experts
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (Hessian.ai)（黑森人工智能中心）；Center for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；German Research Center for AI (DFKI)（德国人工智能研究中心）；University of Würzburg（维尔茨堡大学）
本文提出MOORE方法，通过正交专家混合和Gram-Schmidt过程学习多样化共享表示，在多任务强化学习基准MiniGrid和MetaWorld上超越现有基线并取得MetaWorld最新最优结果。
2024-05-05 cs.LG
Policy Distillation and Value Matching in Multiagent Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
多智能体强化学习算法（MARL）已经在需要多个智能体团队协调才能完成的复杂任务上得到了证明。现有的作品集中在代理之间共享信息，通过集中的批评，以稳定学习或通过沟通，以提高性能，但一般不看如何在代理之间共享信息，以解决在MARL的维数灾难。我们认为，多智能体问题可以分解成一个多任务的问题，每个代理探索状态空间的一个子集，而不是探索整个状态空间。本文介绍了一种多智能体行动者-批评者算法和方法，用于通过蒸馏和值匹配来组合来自同质智能体的知识，其性能优于单独的策略蒸馏，并允许在离散和连续动作空间中进一步学习。
2019-03-15 cs.AI cs.LG stat.ML
