Dual Policy Distillation
Texas A&M University（德州农工大学）
策略蒸馏将教师策略转换为学生策略，在深度强化学习的挑战性任务中取得了巨大成功。这种师生框架需要一个训练有素的教师模型，这是计算昂贵的。此外，如果教师模型不是最优的，则学生模型的性能可能受到教师模型的限制。在合作学习的光，我们研究的可行性，涉及共同的智力努力，从学生模型的不同角度。在这项工作中，我们介绍了双政策蒸馏（DPD），学生学生的框架中，两个学习者在同一个环境中，探索不同的角度的环境和提取知识，以提高他们的学习。开发这种双重学习框架的关键挑战是识别来自当代基于学习的强化学习算法的对等学习者的有益知识，因为尚不清楚从不完美和嘈杂的对等学习者中提取的知识是否有用。为了应对这一挑战，我们从理论上证明，从同行学习者的知识提取将导致政策的改进，并提出了不利的蒸馏策略的理论结果的基础上。几个连续控制任务的实验表明，该框架实现了卓越的性能与基于学习的代理和函数逼近，而不使用昂贵的教师模型。
2020-06-07 cs.AI cs.LG
Ensemble Reinforcement Learning in Continuous Spaces -- A Hierarchical Multi-Step Approach for Policy Training
Victoria University of Wellington（惠灵顿维多利亚大学）；National Institute of Water and Atmospheric Research（国家水与大气研究所）
针对现有actor-critic深度强化学习算法探索不足、现有集成算法未联合优化基学习器的问题，提出基于多步积分的分层集成DRL算法，通过参数共享促进协作，理论验证有效且在多个基准任务上性能优于SOTA算法。
2023-05-02 cs.LG
AcceRL: Policy Acceleration Framework for Deep Reinforcement Learning
Sichuan Normal University（四川师范大学）
深度强化学习以其超强的决策能力在各个领域取得了巨大的成功。然而，策略学习过程需要大量的训练时间，导致能量消耗。受神经网络冗余性的启发，提出了一种基于神经网络压缩的轻量级并行训练框架AcceRL，在保证策略质量的同时加快了策略学习的速度。具体来说，AcceRL通过灵活组合各种神经网络压缩方法，加快了经验收集的速度。总体而言，AcceRL由五个组件组成，即Actor，Learner，Compressor，Corrector和Monitor。执行者使用压缩器来压缩学习者的策略网络以与环境交互。生成的经验由修正器采用V-trace、Retrace等Off-Policy方法进行转换，并将修正后的经验反馈给学习器进行策略学习。我们相信这是第一个包含多种神经网络压缩技术的通用强化学习框架。在健身房进行的大量实验表明，与传统方法相比，AcceRL将演员的时间成本降低了约2.0倍至4.13倍。此外，与传统方法相比，AcceRL将整个训练时间减少了约29.8%至40.3%，同时保持相同的策略质量。
2022-11-28 cs.AI cs.LG
Recruitment-imitation Mechanism for Evolutionary Reinforcement Learning
Jilin University（吉林大学）
强化学习、进化算法和模仿学习是处理连续控制任务的三种主要方法。强化学习样本效率高，但对超参数设置敏感，需要有效探索;进化算法稳定，但样本效率低;模仿学习样本效率高，但需要专家数据指导。在本文中，我们提出了招募模仿机制（RIM）的进化强化学习，一个可扩展的框架，结合了上述三种方法的优点。该框架的核心是一个双行动者和单批评强化学习代理。该代理可以从进化算法的群体中招募高适应度的演员，这指示自己从经验重放缓冲区中学习。同时，进化种群中的低适应度行为体可以模仿强化学习Agent的行为模式，提高其自适应能力。该框架中的强化学习器和模仿学习器可以用任何非策略的行动者-批评者强化学习器或数据驱动的模仿学习器来代替。我们在Mujoco中对RIM进行了一系列连续控制任务的基准测试。实验结果表明，RIM优于以前的进化或强化学习方法。RIM组件的性能明显优于以前的进化强化学习算法的组件，使用软更新的招聘使强化学习代理学习速度比使用硬更新。
2019-12-13 cs.AI cs.LG cs.NE
Ask-AC: An Initiative Advisor-in-the-Loop Actor-Critic Framework
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Software Technology, Zhejiang University（浙江大学软件学院）
本文提出Ask-AC框架，通过动作请求器和自适应状态选择器实现学习者主动的顾问交互，在静态与非静态环境中显著提升学习效率，性能媲美持续监控。
2024-05-24 cs.AI cs.LG
Simple Actors and Deep Critics for Scalable Reinforcement Learning
Sungkyunkwan University（成均馆大学）；Soongsil University（崇实大学）
本文提出LAC算法，将容量分配给深度评论家而非简单演员，解决离线RL中加深评论家的三种失效模式，在OGBench上实现与强基线相当性能且推理延迟最高降4倍。
2026-08-28 cs.LG
Distillation Strategies for Proximal Policy Optimization
Sandia National Laboratories（桑迪亚国家实验室）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
基于视觉的深度强化学习（RL）通常通过使用高容量和相对较大的卷积神经网络（CNN）来获得性能益处。然而，大型网络会导致更高的推理成本（功耗、延迟、硅面积、MAC数量）。已经为CNN开发了许多推理优化。一些优化技术提供了理论上的效率，如稀疏性，但设计实际的硬件来支持它们是困难的。另一方面，蒸馏是一种简单的通用优化技术，广泛适用于将知识从经过训练的高容量教师网络转移到未经训练的低容量学生网络。DQN蒸馏扩展了原始蒸馏思想，以传输存储在通过深度Q学习（DQN）算法训练的高性能，高容量教师Q函数中的信息。我们的工作适应DQN蒸馏工作的演员-评论家近端策略优化算法。PPO算法实现简单，性能远高于DQN算法。我们表明，一个蒸馏PPO学生可以达到更高的性能相比，DQN教师。我们还表明，一个低容量的蒸馏学生通常能够胜过一个低容量的代理，直接在环境中训练。最后，我们表明，蒸馏，其次是“微调”的环境中，使蒸馏PPO学生实现平价与教师的表现。总的来说，在这项工作中学到的经验教训应该转移到其他现代的演员-评论家RL算法。
2019-04-30 cs.AI cs.LG
Asynchronous Methods for Deep Reinforcement Learning
Google DeepMind（谷歌DeepMind）；Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））；University of Montreal（蒙特利尔大学）
我们提出了一个概念上简单而轻量级的深度强化学习框架，该框架使用异步梯度下降来优化深度神经网络控制器。我们提出了四个标准的强化学习算法的异步变种，并表明并行演员学习者有稳定的训练效果，让所有四种方法成功地训练神经网络控制器。性能最好的方法是Actor-Critic的异步变体，它超越了Atari领域的当前最先进技术，同时在单个多核CPU而不是GPU上训练一半的时间。此外，我们表明，异步演员评论家成功的各种连续电机控制问题，以及在一个新的任务导航随机3D迷宫使用视觉输入。
2016-06-16 cs.LG
Anti-Exploration by Random Network Distillation
Tinkoff（Tinkoff公司）
本文提出基于 FiLM 条件化的 RND 反探索方法，解决离线强化学习中分布外动作惩罚问题，在 D4RL 上性能媲美集成方法且大幅优于无集成方法。
2023-05-17 cs.AI cs.LG cs.NE
Online Meta-Critic Learning for Off-Policy Actor-Critic Methods
The University of Edinburgh（爱丁堡大学）；National University of Defense Technology（国防科技大学）；Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））
Off-Policy Actor-Critic（Off-PAC）方法已被证明在各种连续控制任务中是成功的。通常，批评家的动作-价值函数使用时间差来更新，并且批评家反过来为演员提供损失，演员训练它采取具有更高预期回报的动作。在本文中，我们介绍了一种新颖而灵活的元批评家，观察学习过程和元学习的演员，加速和提高演员批评家学习的额外损失。与普通评论家相比，元评论家网络被明确地训练以加速学习过程;与现有的元学习算法相比，元评论家可以快速在线学习单个任务，而不是缓慢地学习一系列任务。至关重要的是，我们的元批评框架是为基于政策的学习者设计的，目前提供了最先进的强化学习样本效率。我们证明，在线元批评学习导致的改进，在各种连续控制环境中，结合当代的非PAC方法DDPG，TD 3和国家的最先进的SAC。
2020-11-02 cs.LG stat.ML
Distributed Prioritized Experience Replay
DeepMind
我们提出了一种分布式架构，用于大规模的深度强化学习，使代理能够有效地从比以前可能的数量级更多的数据中学习。该算法将行动与学习相结合：行动者通过根据共享的神经网络选择行动来与他们自己的环境实例进行交互，并在共享的经验重放存储器中积累由此产生的经验;学习者重放经验样本并更新神经网络。该架构依赖于优先级经验重放，只关注参与者生成的最重要的数据。我们的架构大大提高了街机学习环境的艺术水平，在挂钟训练时间的一小部分内实现了更好的最终性能。
2018-03-02 cs.LG
Keep Policy Gradient in Charge: Sibling-Guided Credit Distillation for Long-Horizon Tool-Use Agents
Amazon Web Services（亚马逊云服务）
针对长程工具使用强化学习中轨迹级优势信号稀疏的问题，提出兄弟引导信用蒸馏（SGCD），通过动态采样成功与失败轨迹、外部LLM对比生成逐步信用参考，实现密集信用分配，在AppWorld和τ³-airline任务上显著提升性能。
2026-07-15 cs.AI cs.CL cs.LG
Exploiting Cognitive Structure for Adaptive Learning
University of Science and Technology of China（中国科学技术大学）；University of Tennessee（田纳西大学）；Tianjin University（天津大学）；iFLYTEK CO., LTD.（科大讯飞股份有限公司）；State Key Laboratory of Cognitive Intelligence（认知智能全国重点实验室）
自适应学习，也称为自适应教学，依赖于学习路径推荐，其顺序地推荐个性化学习项目（例如，讲座、练习），以满足每个学习者的独特需求。虽然众所周知，对包括学习者的知识水平和知识结构（例如，学习项的知识结构（前提关系）对于学习路径推荐是重要的，现有的自适应学习方法通常分别关注学习者的知识水平或学习项的知识结构。为了充分利用多方面的认知结构的学习路径推荐，我们提出了一个认知结构增强的自适应学习框架，命名为CSEAL。通过将路径推荐看作是一个马尔可夫决策过程，并应用一个演员-评论家算法，CSEAL可以顺序地为不同的学习者识别正确的学习项目。具体来说，我们首先利用递归神经网络来跟踪学习者在每个学习步骤中的知识水平。然后，设计了知识结构上的导航算法，保证了学习路径的逻辑性，减小了决策过程中的搜索空间。最后，采用actor-critic算法来确定下一步要学习什么，并在学习过程中动态更新其参数。大量的真实数据实验证明了CSEAL的有效性和鲁棒性。
2019-05-23 cs.CY cs.LG stat.ML
Distilling Reinforcement Learning into Single-Batch Datasets
Brigham Young University
本文提出将强化学习环境蒸馏为单批次监督学习数据集的方法，通过扩展近端策略优化进行元学习，验证了该方法在多种环境中的压缩能力与跨架构泛化性。
2025-08-12 cs.LG
Deep Intrinsically Motivated Continuous Actor-Critic for Efficient Robotic Visuomotor Skill Learning
University of Hamburg（汉堡大学）
在本文中，我们提出了一个新的内在动机的演员-评论家算法学习连续的运动技能直接从原始的视觉输入。我们的神经结构由一个评论家和一个演员网络组成。两个网络都接收深度卷积自动编码器的隐藏表示，该编码器经过训练以重建视觉输入，而最中心的隐藏表示也经过优化以估计状态值。单独地，预测世界模型的集合基于其学习进度生成内在奖励信号，该内在奖励信号与外在奖励相结合以指导行动者-批评者学习者的探索。我们的方法是更有效的数据和固有的更稳定的比现有的演员评论家的方法从像素数据的连续控制。我们评估我们的算法的任务，学习机器人达到和掌握技能的一个现实的物理模拟器和一个人形机器人。结果表明，我们的方法学习的控制策略可以实现更好的性能比比较国家的最先进的和基线算法在密集的奖励和具有挑战性的稀疏奖励设置。
2019-02-18 cs.AI cs.LG cs.RO
Global Convergence for Average Reward Constrained MDPs with Primal-Dual Actor Critic Algorithm
Purdue University, USA（普渡大学，美国）；Indian Institute of Science, Bengaluru, India（印度班加罗尔印度理工学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出了一种对偶-actor-critic算法，实现了平均奖励约束MDP的全局收敛性和约束违反率的理论最优解。
2025-12-09 cs.AI cs.LG
ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models
NVIDIA（英伟达）；KAIST（韩国科学技术院）
ACCRUE是一种持续离线策略强化学习框架，可跨任务复用轻量级演员与评论家网络，在近零遗忘的前提下加速后续任务学习，将真实机器人训练时间降低31.0%至68.5%。
2026-10-14 cs.AI cs.LG cs.RO
Policy Distillation and Value Matching in Multiagent Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
多智能体强化学习算法（MARL）已经在需要多个智能体团队协调才能完成的复杂任务上得到了证明。现有的作品集中在代理之间共享信息，通过集中的批评，以稳定学习或通过沟通，以提高性能，但一般不看如何在代理之间共享信息，以解决在MARL的维数灾难。我们认为，多智能体问题可以分解成一个多任务的问题，每个代理探索状态空间的一个子集，而不是探索整个状态空间。本文介绍了一种多智能体行动者-批评者算法和方法，用于通过蒸馏和值匹配来组合来自同质智能体的知识，其性能优于单独的策略蒸馏，并允许在离散和连续动作空间中进一步学习。
2019-03-15 cs.AI cs.LG stat.ML
Accelerating Diffusion Planners in Offline RL via Reward-Aware Consistency Trajectory Distillation
Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种奖励感知一致性轨迹蒸馏方法，通过解耦训练和无噪声奖励信号，在离线强化学习中实现高效扩散规划器，提升性能并加快推理速度。
2026-02-06 cs.AI cs.LG
Vintix II: Decision Pre-Trained Transformer is a Scalable In-Context Reinforcement Learner
Applied AI Institute（应用人工智能研究所）；Innopolis University（因诺波利斯大学）；HSE（高等经济学院）；ITMO University（ITMO大学）；NUST MISIS（国立科技大学MISIS）；MSU（莫斯科国立大学）；Humanoid（Humanoid公司）
本文提出Vintix II，通过Flow Matching扩展DPT，实现跨多领域任务的强化学习，提升泛化能力。
2026-04-06 cs.AI cs.LG cs.RO
Knowledge Transfer from Teachers to Learners in Growing-Batch Reinforcement Learning
Harvard University（哈佛大学）；DeepMind（深度思维）
本文研究增长批次强化学习中教师知识（示范、专家动作、梯度）的迁移，以缓解演员-评论家方法的样本复杂度和覆盖要求，并在DeepMind控制套件上验证。
2023-05-09 cs.LG
Delightful Distributed Policy Gradient
Google DeepMind（谷歌DeepMind）
本文提出Delightful Policy Gradient方法，通过门控机制分离高惊奇失败与成功，提升样本效率。在MNIST和Transformer任务中表现优异，有效处理数据不一致和罕见发现。
2026-05-13 cs.AI cs.LG math.OC
Actor-Critic based Improper Reinforcement Learning
IISc（印度科学学院）；Boston University（波士顿大学）；Technion（以色列理工学院）；NVIDIA Research（英伟达研究院）
我们考虑一个不适当的强化学习设置，学习者被赋予$M$基地控制器的一个未知的马尔可夫决策过程，并希望将它们最佳地结合起来，产生一个潜在的新的控制器，可以优于每个基地。这在调节可能在失配或模拟环境中学习的控制器中可能是有用的，以获得针对给定目标环境的具有相对较少试验的良好控制器。为此，我们提出了两个算法：（1）一个策略梯度为基础的方法;（2）一个算法，可以切换之间的一个简单的演员-评论家（AC）为基础的计划和自然演员-评论家（NAC）计划取决于可用的信息。这两种算法都在一类给定控制器的不适当混合物上运行。对于第一种情况，我们得到收敛速度保证假设访问梯度预言。对于基于AC的方法，我们提供收敛速度保证一个固定点在基本AC的情况下，并在NAC的情况下，一个全球最佳。数值结果（i）标准的控制理论基准稳定的cartpole;（ii）一个受约束的调度任务表明，我们不适当的政策优化算法可以稳定的系统，即使在其处置的基本政策是不稳定的。
2022-07-19 cs.AI cs.LG cs.SY
QuaRL: Quantization for Fast and Environmentally Sustainable Reinforcement Learning
Harvard University（哈佛大学）；Amazon Advertising（亚马逊广告）；Georgia Institute of Technology（佐治亚理工学院）；DeepMind（深度思维）；Google Research, Brain（谷歌研究院大脑团队）
深度强化学习在实现任务级自主性方面继续显示出巨大的潜力，然而，其计算和能量需求仍然非常高。在本文中，我们通过将量化应用于强化学习来解决这个问题。为此，我们引入了一种新的强化学习（RL）训练范式，\textit{ActorQ}，以加快演员-学习者分布式RL训练。\textit{ActorQ}利用8位量化参与者来加速数据汇集，而不影响学习收敛。我们的量化分布式RL训练系统\textit{ActorQ}展示了端到端的加速\blue{between 1.5 $\times$ and 5.41$\times$}，以及在一系列任务（Deepmind Control Suite）和不同RL算法（D4 PG，DQN）上的全精度训练的更快收敛。此外，我们比较了\textit{ActorQ}与标准强化学习\blue{algorithms}在各种任务上的碳排放量（二氧化碳的千克数）。在各种设置中，我们表明\textit{ActorQ}通过实现\blue{carbon emission improvements between 1.9$\times$ and 3.76$\times$}来实现更环保的强化学习，而不是在全精度中训练RL代理。我们相信，这是未来许多关于实现计算节能和可持续强化学习的工作中的第一个。源代码可在此处提供给公众用途：\url{https://github.com/harvard-ed…
2022-11-14 cs.AI cs.LG cs.RO
A New Framework for Multi-Agent Reinforcement Learning -- Centralized Training and Exploration with Decentralized Execution via Policy Distillation
Victoria University of Wellington（惠灵顿维多利亚大学）
深度强化学习（DRL）是人工智能的一个蓬勃发展的领域。DRL的许多实际应用自然涉及多个协作学习者，因此在多智能体环境中研究DRL非常重要。以往的研究表明，在复杂的多智能体系统中的有效学习需要高度协调的环境探索所有参与的代理。许多研究者试图通过学习集中式价值函数来应对这一挑战。然而，每个代理直接学习本地政策的共同策略往往无法培养强大的代理间合作，并且每当代理改变其沟通渠道时，可能会出现样本效率低下的情况。为了解决这些问题，我们提出了一个新的框架，称为集中式培训和探索，通过政策蒸馏分散执行。在此框架和最大熵学习技术的指导下，我们将首先训练具有共享全局组件的代理策略，以促进协调和有效的学习。本地可执行的策略随后将通过策略提炼从经过训练的全局策略中导出。实验表明，我们的新框架和算法可以实现显着更好的性能和更高的样本效率比一个尖端的基线多代理DRL基准。
2019-10-21 cs.LG stat.ML
Distillation Defenses Easily Break After Reinforcement Learning
University of Oxford（牛津大学）；ELLIS Institute Tübingen（ELLIS 蒂宾根研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文指出蒸馏攻击后经强化学习可轻易突破现有防御，提出更现实的威胁模型，并证明简单攻击即可窃取推理能力，强调防御需考虑后续训练。
2026-09-29 cs.AI cs.CR cs.LG
Collaborative Deep Reinforcement Learning
Michigan State University（密歇根州立大学）；Rutgers University（罗格斯大学）
除了自主学习，人类的学习过程也得到了极大的改善，通过总结已经学到的东西，与同伴交流，然后融合来自不同来源的知识来帮助当前的学习目标。这种协作学习过程确保了知识的共享，不断完善，并从不同的角度进行总结，以构建更深刻的理解。知识转移的思想已经在机器学习和数据采掘方面取得了许多进展，但仍然存在重大挑战，特别是在强化学习、异构模型结构和不同学习任务方面。受人类协作学习的启发，在本文中，我们提出了一个协作深度强化学习（CDRL）框架，在异构学习代理之间进行自适应知识转移。具体而言，建议CDRL进行一种新的深度知识蒸馏方法，以解决不同的学习任务之间的异构性与深度对齐网络。此外，我们提出了一个有效的协作异步优势演员-评论家（cA 3C）算法，将深度知识蒸馏纳入代理的在线培训，并证明了CDRL框架的有效性使用OpenAI健身房广泛的经验评估。
2017-02-19 cs.LG
Learning from Your Own Mistakes: Constructing Learnable Micro-Reflective Trajectories for Self-Distillation
Qwen Business Unit of Alibaba（阿里巴巴通义千问事业部）；Tsinghua University（清华大学）；Peking University（北京大学）
提出TAPO方法，通过对比正确与错误轨迹构建微反思修正，实现从隐式分布对齐到显式轨迹构建的自蒸馏改进，在多个数学推理基准上优于GRPO。
2026-06-18 cs.LG
Federated Reinforcement Distillation with Proxy Experience Memory
Yonsei University（延世大学）；University of Oulu（奥卢大学）
在分布式强化学习中，通常交换每个代理的经验记忆，从而集体训练它们的局部模型。然而，经验存储器包含所有先前的状态观察和它们对应的主机代理的策略，这可能会侵犯代理的隐私。为了避免这个问题，在这项工作中，我们提出了一个隐私保护的分布式强化学习（RL）框架，称为联邦强化蒸馏（FRD）。其关键思想是交换一个代理体验记忆，包括预先安排的一组状态和时间平均策略，从而保护实际体验的隐私。基于一个优势的actor-critic强化学习体系结构，我们数值评估FRD的有效性，并研究代理内存结构和不同的内存交换规则如何影响FRD的性能。
2020-04-13 cs.LG cs.MA cs.NI
AC-Teach: A Bayesian Actor-Critic Method for Policy Learning with an Ensemble of Suboptimal Teachers
Stanford University（斯坦福大学）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
深度强化学习（RL）代理使用的探索机制在确定其样本效率方面起着关键作用。因此，改进随机探索对于解决具有稀疏奖励的长时间任务至关重要。我们建议利用一个合奏的部分解决方案作为教师，指导代理人的探索与行动建议在整个培训。虽然以前已经研究过与教师一起学习的设置，但我们提出的方法- Actor-Critic with Teacher Ensembles（AC-Teach）-是第一个与次优教师的合奏一起工作的方法，这些教师可能只解决了问题的一部分或相互矛盾，形成了与广泛的教师合奏兼容的统一算法解决方案。AC-Teach利用教师和学生行为的预期结果的概率表示来指导探索，减少抖动，并适应学习者动态变化的质量。我们评估了一个变体的AC-教，指导学习贝叶斯DDPG代理的三个任务-路径跟踪，机器人拾取和放置，机器人立方体清扫使用钩子-并表明，它大大提高了采样效率在一组基线，无论是我们的目标场景不受约束的次优教师和更容易设置与最佳或单一的教师。更多结果和视频请访问https://sites.google.com/view/acteach/home。
2019-12-13 cs.AI cs.LG stat.ML
Distillation Policy Optimization
本文提出融合 on-policy 与 off-policy 数据的 actor-critic 框架，通过 UAE 和残差基线降低方差，在保持稳定学习的同时显著提升样本效率。
2023-09-27 cs.AI cs.LG
Emergence of Spatial Representation in an Actor-Critic Agent with Hippocampus-Inspired Sequence Generator
Faculty of Biology & Bernstein Center Freiburg & BrainLinks-BrainTools Center University of Freiburg（生物学系及弗赖堡伯尔尼中心、BrainLinks-BrainTools中心、弗赖堡大学）
该研究通过海马体启发的序列生成器和Actor-Critic学习者，揭示稀疏输入与序列生成动态的协同作用，为导航任务中的强化学习提供新的归纳偏置。
2026-02-28 cs.LG q-bio.NC
Teachable Reinforcement Learning via Advice Distillation
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
训练自动化代理在交互式环境中完成复杂任务是具有挑战性的：强化学习需要仔细手工设计奖励函数，模仿学习需要专门的基础设施和访问人类专家，从中间形式的监督（如二元偏好）中学习是耗时的，并且从每次人类干预中提取的信息很少。我们能否通过构建从丰富的交互式反馈中学习的智能体来克服这些挑战？我们提出了一个新的监督模式，互动学习的基础上“可教”的决策系统，从外部教师提供的结构化建议。我们首先正式一类人在循环决策问题，其中多种形式的教师提供的建议是提供给学习者。然后，我们描述了一个简单的学习算法，这些问题，首先学习解释的意见，然后从意见，即使在没有人的监督下完成任务。在解谜，导航和运动领域，我们表明，从建议中学习的代理可以获得新的技能，与标准的强化学习算法相比，人工监督明显减少，而且往往少于模仿学习。
2023-02-18 cs.AI cs.LG
The World Model Remembers, the Actor Forgets: Dream Rehearsal for Continual Model-Based RL
Quantegra Research（Quantegra研究公司）
研究 DreamerV3 家族智能体在任务序列训练时的遗忘问题，通过组件级探测发现是通道问题，提出分级梦境排练方法，能产生无任务标签、参数恒定的持续学习者，在多任务链保留上表现优异。
2026-07-23 cs.AI cs.LG
Curiosity-Driven Recommendation Strategy for Adaptive Learning via Deep Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）
自适应学习系统中推荐策略的设计重点是利用现有信息为学习者提供个性化的学习指导。好奇心作为人类行为的重要动机，本质上是人类探索知识、寻求信息的动力。从心理学的角度出发，我们的目标是引入好奇心的元素，引导学习者自发地学习。本文在强化学习框架下提出了一种好奇心驱动的推荐策略，实现了一种既高效又愉快的个性化学习模式。从一个精心设计的预测模型的内在回报，我们应用演员批评的方法，直接通过神经网络近似的政策。数值分析与一个大的连续的知识状态空间和具体的学习场景被用来进一步证明所提出的方法的力量。
2019-10-12 cs.CY cs.LG stat.ML
Provable Partially Observable Reinforcement Learning with Privileged Information
Yale University（耶鲁大学）；University of Maryland（马里兰大学）
该研究针对部分可观测强化学习场景，形式化并分析了专家蒸馏、非对称演员-评论家两种实用范式的理论性质，提出满足复杂度要求的算法，还拓展至多智能体场景，为带特权信息的RL算法提供了理论支撑。
2025-02-20 cs.LG
When Does Adaptive Guidance Help? Belief-Aware Privileged Distillation for Autonomous Driving Under Partial Observability
TUBITAK BILGEM Artificial Intelligence Institute（土耳其TUBITAK BILGEM人工智能研究所）
本文提出信念感知GSAC（BA-GSAC），通过集成分歧动态调节蒸馏系数，系统研究自适应引导在部分可观测自动驾驶中的有效性，发现严重遮挡下系数过早崩溃，并揭示可观测性盲区问题。
2026-05-24 cs.AI cs.LG cs.RO
Accelerating Inverse Reinforcement Learning with Expert Bootstrapping
Cornell University（康奈尔大学）
本研究提出两种利用专家演示加速逆强化学习的方法：将专家转换放入回放缓冲区及在Q值引导中使用专家动作，显著提升MuJoCo任务上的学习速度。
2024-02-04 cs.LG
Post-Training is About States, Not Tokens: A State Distribution View of SFT, RL, and On-Policy Distillation
Independent Researcher（独立研究者）
本文从状态分布的角度研究了监督微调(SFT)、强化学习(RL)和在线策略蒸馏(OPD)等大语言模型训练后方法，发现训练状态的来源和局部性与监督信号的形式同样重要。
2026-05-21 cs.AI cs.LG
How to Compress KV Cache in RL Post-Training? Shadow Mask Distillation for Memory-Efficient Alignment
Yale University（耶鲁大学）；University of Minnesota Twin Cities（明尼苏达大学双城分校）；Indiana University Bloomington（印第安纳大学布卢明顿分校）
本文提出影子遮罩蒸馏方法，用于缓解RL后训练中KV缓存内存瓶颈问题，通过减少采样时的上下文密度来降低偏置，提升样本效率。
2026-09-17 cs.AI cs.LG
ZAPS-DA: Zero-Phase Action Policy Smoothing with Decoupled Actor for Continuous Control in Reinforcement Learning
Independent Researcher（独立研究者）
提出ZAPS-DA框架，通过解耦演员网络模仿零相位滤波目标，在不引入相位延迟和后处理的情况下减少连续控制策略的动作抖动，并在驾驶仿真中验证了其有效性。
2026-07-10 cs.LG cs.RO cs.SY
PerfectDou: Dominating DouDizhu with Perfect Information Distillation
NetEase Games AI Lab（网易游戏人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出斗地主 AI 系统 PerfectDou，通过 actor-critic 框架中的完美信息蒸馏实现完美训练、不完美执行，并结合 PPO 与 GAE 并行训练，击败现有 AI 程序。
2024-02-28 cs.AI cs.GT cs.LG
Superstition in the Network: Deep Reinforcement Learning Plays Deceptive Games
New York University（纽约大学）；University of Strathclyde（思克莱德大学）；University of Hertfordshire（赫特福德大学）；Maastricht University（马斯特里赫特大学）
深度强化学习已经学会了玩很多游戏，但在其他游戏上失败了。为了更好地描述深度强化学习器失败的模式和原因，我们在四个欺骗性游戏上测试了广泛使用的异步演员-评论家（A2 C）算法，这些游戏是专门为向玩游戏的代理人提供挑战而设计的。这些游戏是在通用视频游戏AI框架中实现的，这使我们能够比较基于强化学习的代理与基于树搜索的规划代理的行为。我们发现，其中几个游戏可靠地欺骗了深度强化学习器，并且由此产生的行为突出了学习算法的缺点。代理失败的特定方式不同于基于规划的代理失败的方式，进一步阐明了这些算法的特征。我们提出了一个初始的欺骗类型学，这可以帮助我们更好地理解（深度）强化学习的陷阱和失败模式。
2019-08-12 cs.AI cs.LG stat.ML
Toward Multiple Specialty Learners for Explaining GNNs via Online Knowledge Distillation
Seoul National University（首尔国立大学）
图神经网络（GNN）在许多应用和系统中变得越来越普遍，需要解释它们的预测，特别是在做出关键决策时。然而，由于图数据和模型执行的复杂性，解释GNN是具有挑战性的。尽管额外的计算成本，事后解释方法已被广泛采用，由于其架构的通用性。内部可解释模型提供即时解释，但通常是特定于模型的，只能解释特定的GNN。因此，我们提出了一个新的GNN解释框架SCALE，它是通用的，快速解释预测。SCALE训练多个专业学习者解释GNN，因为构建一个强大的解释器来检查输入图中交互的属性是复杂的。在训练中，黑盒GNN模型基于在线知识蒸馏范式指导学习者。在解释阶段，预测的解释由多个解释者提供，这些解释者对应于经过训练的学习者。具体而言，边缘掩蔽和随机游走与重新启动程序执行，以提供结构的解释，分别为图级和节点级的预测。特征属性模块提供总体摘要和实例级特征贡献。通过定量和定性实验，将SCALE与最先进的基线进行比较，以证明其解释的正确性和执行性能。我们还进行了一系列的消融研究，以了解所提出的框架的优点和缺点。
2022-10-20 cs.AI cs.LG
CLOOPD: Closing the Learner Loop in On-Policy Distillation
Alibaba Group（阿里巴巴集团）
CLOOPD提出闭环框架，分离教师信号获取与学生实现，通过自适应α路径点和多遍策略，在减少令牌和GPU消耗的同时提升蒸馏性能。
2026-09-22 cs.LG
Cooperative Knowledge Distillation: A Learner Agnostic Approach
University of California, Davis（加利福尼亚大学戴维斯分校）
提出协作蒸馏方法，让多模型互为师生，通过反事实实例生成针对性传递知识，实现跨架构算法蒸馏，优于现有基线。
2024-02-02 cs.AI cs.LG
Aurelia: Test-time Reasoning Distillation in Audio-Visual LLMs
University of Maryland, College Park（马里兰大学帕克分校）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Toronto（多伦多大学）；KAUST（阿卜杜拉国王科技大学）
针对音视频大语言模型推理能力不足，提出AURELIA测试时推理蒸馏框架及含4500个问题的AVReasonBench基准，在18个模型上实现高达100%的相对提升。
2025-03-29 cs.AI cs.CV cs.LG
Non-Adversarial Inverse Reinforcement Learning via Successor Feature Matching
Mila – Québec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Cornell University（康奈尔大学）
本文提出一种非对抗式逆强化学习方法，通过后继特征匹配直接优化策略，无需学习奖励函数，仅需单条专家演示即可在状态仅设置下实现高效学习。
2025-04-22 cs.AI cs.LG
Distributed Deep Reinforcement Learning: An Overview
Sharif University of Technology（谢里夫理工大学）
深度强化学习（Deep Reinforcement Learning，DRL）是一个非常活跃的研究领域。然而，一些技术和科学问题需要解决，其中我们可以提到数据效率低下，探索-开发权衡和多任务学习。因此，引入了DRL的分布式修改;代理可以同时在许多机器上运行。在这篇文章中，我们提供了一个调查的分布式方法在DRL的作用。我们概述了该领域的状态，通过研究的关键研究工作，我们如何可以使用分布式方法在DRL有显着的影响。我们选择从分布式学习的角度来概述这些论文，而不是强化学习算法的创新方面。此外，我们评估这些方法在不同的任务，并比较他们的表现与对方和单个演员和学习者代理。
2020-11-22 cs.DC cs.LG
A Distributed Deep Reinforcement Learning Technique for Application Placement in Edge and Fog Computing Environments
The University of Melbourne（墨尔本大学）
雾/边缘计算是一种新的计算范式，通过将其任务放置在边缘和/或云服务器上来支持资源受限的物联网（IoT）设备。最近，已经在雾/边缘计算环境中提出了几种基于深度强化学习（DRL）的布局技术，这些技术仅适用于集中式设置。训练表现良好的DRL代理需要多方面的训练数据，而获得训练数据是昂贵的。因此，这些集中式的基于DRL的技术缺乏通用性和快速适应性，从而无法有效地解决应用程序放置问题。此外，许多物联网应用程序被建模为具有不同拓扑结构的有向非循环图（DAG）。满足基于DAG的物联网应用的依赖性会带来额外的约束，并增加放置问题的复杂性。为了克服这些挑战，我们提出了一个演员-评论家为基础的分布式应用程序放置技术，工作的重要性加权演员-学习者架构（IMPALA）的基础上。IMPALA以高效的分布式经验轨迹生成而闻名，它显著降低了代理的探索成本。此外，它使用了一个自适应的政策外校正方法，以更快地收敛到最优解。我们的技术使用递归层来捕获输入数据的时间行为，并使用重放缓冲区来提高样本效率。从仿真和测试平台实验中获得的性能结果表明，与同类技术相比，我们的技术显着提高了物联网应用程序的执行成本高达30%。
2021-10-24 cs.DC cs.LG
BERT Learns to Teach: Knowledge Distillation with Meta Learning
Stanford University（斯坦福大学）；University of California, San Diego（加州大学圣地亚哥分校）
我们提出了知识蒸馏与元学习（MetaDistil），一个简单而有效的替代传统的知识蒸馏（KD）的方法，教师模型是固定的培训。我们证明了教师网络可以学习更好地将知识传递给学生网络（即，学习教学），并具有来自元学习框架中的提炼学生网络的性能的反馈。此外，我们引入了一个试点更新机制，以提高对齐的内部学习者和元学习者之间的元学习算法，专注于一个改进的内部学习者。在各种基准测试上的实验表明，MetaDistil与传统KD算法相比，可以产生显著的改进，并且对不同学生容量和超参数的选择不太敏感，便于在不同任务和模型上使用KD。
2022-04-01 cs.AI cs.CL cs.CV
ReSpec: Towards Optimizing Speculative Decoding in Reinforcement Learning Systems
通过强化学习（RL）对大语言模型（LLM）进行自适应训练时，生成阶段通常会消耗超过75%的训练时间。推测解码（SD）加速了服务系统中的自回归生成，但其在RL训练下的行为在很大程度上仍未被探索。我们确定了三个关键的差距，阻碍了天真的SD到RL系统的集成：在大批量的加速下降，起草人陈旧下不断演员更新，和起草人引起的政策退化。为了解决这些差距，我们提出了ReSpec，一个系统，通过三个互补的机制，适应SD RL：动态调整SD配置，通过知识蒸馏发展的起草者，并通过推出奖励加权更新。在Qwen模型（3B-14 B）上，ReSpec实现了高达4.5倍的加速，同时保持了奖励收敛和训练稳定性，为基于RL的LLM自适应提供了一个实用的解决方案。
2025-10-30 cs.DC cs.LG
FedFormer: Contextual Federation with Attention in Reinforcement Learning
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
针对多智能体联邦强化学习的权重聚合问题，提出 FedFormer，用 Transformer Attention 按上下文加权聚合模型嵌入，在 Meta-World 上优于 FedAvg 和单智能体 SAC。
2023-03-02 cs.AI cs.LG cs.MA
Massively Parallel Methods for Deep Reinforcement Learning
Google DeepMind（谷歌DeepMind）
我们提出了第一个用于深度强化学习的大规模分布式架构。该架构使用四个主要组件：生成新行为的并行演员;从存储的经验中训练的并行学习者;表示价值函数或行为策略的分布式神经网络;以及分布式经验存储。我们使用我们的架构来实现深度Q网络算法（DQN）。我们的分布式算法被应用到49个游戏从雅达利2600游戏的街机学习环境，使用相同的超参数。我们的性能在49款游戏中的41款中超过了非分布式DQN，并且在大多数游戏中减少了实现这些结果所需的墙时间。
2015-07-16 cs.AI cs.DC cs.LG
