ZPD Teaching Strategies for Deep Reinforcement Learning from Demonstrations
University of California, Berkeley（加州大学伯克利分校）
示教学习是加速和减少强化学习探索需求的流行工具。当向人类学生提供专家演示时，我们知道演示必须在称为“近端发展区（ZPD）”的特定难度范围内。如果它们太容易，学生什么也学不到，但如果它们太难，学生无法跟上。这就提出了一个问题：给定一组潜在的示范者，其中哪一个最适合教授任何特定的学习者？先前的工作，例如流行的Deep Q-从演示示教学习（DQfD）算法，通常集中在单个演示器上。在这项工作中，我们考虑的问题中选择不同技能水平的多个示威者。我们的研究结果与人类学习者的直觉一致：从表现最好的演示者那里（就奖励而言）进行演示并不总是最好的策略。我们表明，仔细选择教学策略可以导致样本效率增益在学习者的环境中，在九个雅达利游戏
2019-10-26 cs.AI cs.LG
Policy Teaching via Environment Poisoning: Training-time Adversarial Attacks against Reinforcement Learning
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了强化学习的安全威胁，其中攻击者毒化学习环境以迫使代理执行攻击者选择的目标策略。作为一个受害者，我们认为RL代理的目标是找到一个政策，最大限度地提高平均奖励在未贴现的无限地平线的问题设置。攻击者可以在训练时操纵学习环境中的奖励或过渡动态，并且有兴趣以隐身的方式这样做。我们提出了一个优化框架，找到一个\emph{optimal stealthy attack}的不同措施的攻击成本。我们提供了充分的技术条件下，攻击是可行的，并提供上/下限的攻击成本。我们在两种设置中实例化我们的攻击：（i）代理在中毒环境中进行规划的\emph{offline}设置，以及（ii）代理使用带有中毒反馈的后悔最小化框架学习策略的\emph{online}设置。我们的研究结果表明，攻击者可以很容易地在温和的条件下成功地教任何目标的政策，受害者和突出的重大安全威胁，强化学习代理在实践中。
2020-08-19 cs.AI cs.CR cs.LG
Online Transfer Learning in Reinforcement Learning Domains
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Washington State University（华盛顿州立大学）
本文提出了一个在线迁移框架来捕捉代理之间的交互，并表明，目前的迁移学习强化学习是一个特殊的情况下，在线迁移。此外，本文将现有的代理-教学-代理方法重新定性为在线传输，并从三种方式分析了一种这样的教学方法。首先，证明了Q-学习和Sarsa与有限预算的表格表示的收敛性。其次，证明了Q-学习和Sarsa算法在线性函数逼近下的收敛性。第三，通过教学，我们证明了渐近性能不会受到损害。此外，所有的理论结果进行了实证验证。
2015-07-15 cs.AI cs.LG
Using Machine Teaching to Investigate Human Assumptions when Teaching Reinforcement Learners
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Princeton University（普林斯顿大学）
通过将教学问题表述为机器教学优化问题并用深度学习近似求解，研究发现人类在Q-learner折扣率小、学习率大时教学效果较好但仍次优，实时反馈更新微弱有帮助，为设计直觉化机器智能体提供指导。
2023-06-29 cs.AI cs.HC cs.LG
Policy Teaching in Reinforcement Learning via Environment Poisoning Attacks
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了强化学习的安全威胁，其中攻击者毒化学习环境以迫使代理执行攻击者选择的目标策略。作为一个受害者，我们考虑RL代理，其目标是找到一个政策，最大限度地提高奖励在无限地平线的问题设置。攻击者可以在训练时操纵学习环境中的奖励和过渡动态，并且有兴趣以隐身的方式这样做。我们提出了一个优化框架，找到一个最佳的隐身攻击不同的攻击成本的措施。我们提供了攻击成本的下限/上限，并在两种设置中实例化我们的攻击：（i）离线设置，其中代理在中毒的环境中进行规划，以及（ii）在线设置，其中代理正在学习带有中毒反馈的策略。我们的研究结果表明，攻击者可以很容易地在温和的条件下成功地教任何目标的政策，受害者和突出的重大安全威胁，强化学习代理在实践中。
2020-11-21 cs.AI cs.CR cs.LG
Teaching RL Agents to Act Better: VLM as Action Advisor for Online Reinforcement Learning
Wuhan University（武汉大学）
本文提出VARL框架，利用视觉-语言模型为在线强化学习智能体提供行动建议，在保证最优性和收敛性的同时提升样本效率，尤其在稀疏奖励任务中表现显著，且计算开销低。
2025-09-25 cs.AI cs.LG
Teaching Language Models to Critique via Reinforcement Learning
The University of Hong Kong（香港大学）
本文提出CTRL框架，通过强化学习训练批评模型以提升代码生成的准确性和性能，实现迭代改进和误差缓解。
2025-11-29 cs.AI cs.CL cs.LG
Machine Teaching in Hierarchical Genetic Reinforcement Learning: Curriculum Design of Reward Functions for Swarm Shepherding
School of Engineering & IT University of New South Wales Canberra（新南威尔士大学堪培拉校区工程与信息技术学院）
强化学习中奖励函数的设计是一种人类技能，伴随着经验而来。不幸的是，在文献中没有任何方法可以指导人类设计奖励函数，或者允许人类以系统的方式将在设计奖励函数时开发的技能转移给另一个人。在本文中，我们使用系统教学设计，在人类教育的方法，工程师的机器教育方法来设计奖励功能的强化学习。我们展示了在设计一个层次遗传强化学习器，采用神经网络表示进化的代理牧羊基于boids群的群控制器的方法。结果表明，该方法能够指导分层强化学习器的设计，分层学习中的每个模型通过多部分奖励函数进行增量学习。层次结构充当决策融合功能，将每个指令所学习的个人行为和技能结合起来，以创建一个智能牧羊人来控制群体。
2019-01-04 cs.AI
Learning to Teach in Cooperative Multiagent Reinforcement Learning
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Northeastern University（东北大学）
个人的创新通过交流传授给他人，这一事实显然使人类的集体知识受益匪浅。与人类社会群体类似，分布式学习系统中的智能体可能会从交流中受益，以分享知识和传授技能。教学，以提高代理学习的问题已经调查了以前的作品，但这些方法的假设，防止教学的应用程序一般多智能体问题，或需要领域的专业知识，他们可以适用于问题。这种学习教学的问题具有内在的复杂性，与衡量教学的长期影响有关，这是标准的多智能体协调挑战的复合。在现有的作品相比，本文提出了第一个通用的框架和算法的智能代理学习教在多智能体环境。我们的算法，学习协调和教学强化（LeCTR），解决了点对点教学合作多智能体强化学习。在我们的方法中，每个代理都学习何时以及提供什么建议，然后使用收到的建议来改善本地学习。重要的是，这些角色不是固定的;这些代理人学会在适当的时候承担学生和/或教师的角色，请求和提供建议，以提高团队的表现和学习。与最先进的教学方法的实证比较表明，我们的教学代理不仅学习速度更快，而且还学会了在现有方法失败的任务中进行协调。
2018-08-31 cs.AI cs.MA
Teaching LLMs for Step-Level Automatic Math Correction via Reinforcement Learning
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Lab of AI for Education, East China Normal University（华东师范大学教育人工智能实验室）
针对现有自动数学纠错忽略步骤级反馈的问题，提出基于强化学习的StepAMC方法，通过策略网络和奖励网络优化大语言模型，在两个基准数据集上表现优于11个强基线。
2025-03-24 cs.AI cs.CL cs.LG
G1: Teaching LLMs to Reason on Graphs with Reinforcement Learning
Peking University（北京大学）；MIT（麻省理工学院）；TUM（慕尼黑工业大学）；School of CIT, MCML, MDSIEECS and CSAIL（计算机学院、MCML、MDSIEECS和CSAIL）
本文提出G1方法，通过在合成图论任务上进行强化学习微调大语言模型，显著提升其图推理能力，并在多个未见任务和图编码方案上展现出强大的零样本泛化性能。
2025-08-19 cs.AI cs.LG stat.ML
Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use
University of Michigan（密歇根大学）
该研究探讨不同信息性与多样性的语言输入对具身强化学习智能体的影响，证实多样化且富含信息的语言反馈可提升智能体泛化能力与新任务适应速度，明确语言使用在教授具身智能体中的关键作用。
2024-10-31 cs.AI cs.CL cs.CV
Teaching a Robot to Walk Using Reinforcement Learning
Stanford University（斯坦福大学）
经典的控制技术，如PID和LQR已被有效地用于维持系统状态，但这些技术变得更加难以实现时，模型动态的复杂性和灵敏度增加。对于具有多个自由度的自适应机器人运动任务，该任务用经典控制技术变得不可行。相反，强化学习可以轻松地训练最佳步行策略。我们应用深度Q学习和增强随机搜索（ARS）来教一个模拟的二维双足机器人如何使用OpenAI Gym BipedalWalker-v3环境行走。深度Q学习没有产生高奖励策略，通常过早地收敛到次优的局部最大值，这可能是由于粗略离散的动作空间。然而，ARS导致了一个更好的训练机器人，并产生了一个最佳的政策，正式“解决”的双足步行者-v3的问题。各种幼稚的政策，包括随机政策，手动编码的英寸前进的政策，并保持静止的政策，被用作基准，以评估熟练的学习算法的结果。
2021-12-13 cs.LG cs.RO
Agent-Agnostic Human-in-the-Loop Reinforcement Learning
Brown University（布朗大学）；AI Impacts；Stanford University（斯坦福大学）；University of Oxford（牛津大学）
为强化学习代理提供专家建议可以显著改善学习的各个方面。以前的工作已经开发出教学协议，使代理在复杂的环境中有效地学习，这些方法中的许多定制教师的指导代理与特定的表示或底层的学习计划，提供有效的，但专门的教学程序。在这项工作中，我们探讨协议程序，一个代理不可知的模式，人在回路强化学习。我们的目标是将人类教师的有益特性融入强化学习中，而不对代理的内部工作原理做出强烈的假设。我们将展示如何表示现有的方法，如动作修剪，奖励塑造，并在模拟训练作为我们的模式的特殊情况下，并进行初步的实验简单的域。
2017-01-15 cs.AI cs.LG
Teaching on a Budget in Multi-Agent Deep Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）
深度强化学习（RL）算法可以成功地解决复杂的顺序决策任务。然而，他们有一个主要的缺点，有差的样本效率，这往往可以解决知识重用。在多智能体强化学习（MARL）中，这个缺点变得更糟，但与此同时，通过智能体交互也提供了一组新的利用知识的机会。其中一个有希望的办法是通过师生框架提供同行行动咨询。尽管最初被引入单智能体RL，最近的研究表明，它也可以应用于多智能体的情况下，有希望的实证结果。然而，目前这方面的研究非常有限。在本文中，我们提出了一个基于非线性函数逼近的任务级策略，在合作分散MARL行动建议技术。通过采用随机网络蒸馏技术，我们设计了一个测量代理评估他们的知识在任何给定的状态，并能够启动教师-学生动态没有事先的角色假设。在网格环境中的实验结果表明，这种方法可能确实是有用的，需要进一步研究。
2019-05-28 cs.LG cs.MA
Teaching LLM to Reason: Reinforcement Learning from Algorithmic Problems without Code
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出TeaR方法，通过精心的数据筛选和强化学习引导模型在与代码相关的任务中发现最优推理路径，从而避免对算法模式的过拟合，显著提升了LLM在数学、知识、代码和逻辑推理等多个基准上的通用推理能力。
2025-07-14 cs.CL cs.LG
AutoFS: Automated Feature Selection via Diversity-aware Interactive Reinforcement Learning
University of Central Florida（中佛罗里达大学）；Baidu Research（百度研究院）；University of Arizona（亚利桑那大学）
本文研究了自动特征选择中有效性和效率的平衡问题。特征选择是机器学习和预测分析的基本智能。在探索了许多特征选择方法之后，我们观察到一个计算困境：1）传统的特征选择方法（例如，mRMR）大多是有效的，但难以识别最佳子集; 2）新兴的增强特征选择方法自动导航特征空间以探索最佳子集，但通常是低效的。自动化和效率总是相互分离的吗？我们能否在自动化下弥合有效性和效率之间的差距？基于这种计算困境，本研究旨在开发一种新的特征空间导航方法。为此，我们提出了一个交互式增强特征选择（IRFS）框架，指导代理不仅自我探索的经验，但也有不同的外部熟练的培训师，以加快学习的功能探索。具体来说，我们制定的特征选择问题到一个互动的强化学习框架。在这个框架中，我们首先建立了两个训练器的模型：（1）基于KBest的训练器;（2）基于决策树的训练器。然后，我们开发了两种策略：（1）识别断言和犹豫代理，以多样化代理培训，（2）使两个培训师在不同的阶段担任教学角色，融合培训师的经验，使教学过程多样化。这种混合教学策略可以帮助代理人学习更广泛的知识，并在此后更有效。最后，我们在真实世界的数据集上进行了大量的实验，以证明我们的方法的改进性能：比现有的增强选择更有效，比经典选择更有效。
2020-09-16 cs.AI cs.LG stat.ML
RLTutor: Reinforcement Learning Based Adaptive Tutoring System by Modeling Virtual Student with Fewer Interactions
Waseda University（早稻田大学）；Waseda Research Institute for Science and Engineering（早稻田科学与工程研究院）
教育领域的一个主要挑战是提供复习时间表，以适当的间隔向每个学生呈现所学的项目，以便随着时间的推移保留记忆。近年来，人们尝试将项目评论表述为序列决策问题，以实现基于学生知识状态的自适应教学。此前有报道称，强化学习可以帮助实现数学模型的学生学习策略，保持较高的记忆率。然而，使用强化学习的优化需要大量的交互，因此它不能直接应用于实际的学生。在这项研究中，我们提出了一个优化教学策略的框架，通过构建一个虚拟的学生模型，同时最大限度地减少与实际教学目标的互动。此外，我们进行了一项实验，考虑到实际的指令使用的数学模型，并确认该模型的性能是与传统的教学方法。我们的框架可以直接替代人类学生实验中使用的数学模型，我们的结果可以作为理论教学优化和电子学习系统中的实际应用之间的缓冲。
2021-07-31 cs.AI cs.CY cs.LG
Teaching robots to perceive time -- A reinforcement learning approach (Extended version)
KTH Royal Institute of Technology（瑞典皇家理工学院）；Institute for Systems and Robotics, Instituto Superior Técnico（高等技术学院系统与机器人研究所）
时间知觉是个体对时间的现象学体验。在本文中，我们研究如何复制参与时间感知的神经机制，使机器人向时间认知迈出一步。我们的框架遵循双重生物启发的方法。第一步包括从传感器测量估计时间的流逝，因为环境刺激影响时间的感知。传感器数据被建模为高斯过程，代表自然环境的二阶统计。两个事件之间的估计经过时间是从它们之间收集的数据的联合分布的最大似然估计计算的。此外，时间在大脑中究竟是如何编码的仍然未知，但有强有力的证据表明多巴胺能神经元参与了计时机制。由于它们的阶段性活动与时间差异学习模型的奖励预测误差具有相似的行为，后者被用来复制这种行为。因此，这种方法的第二步包括在强化学习问题中应用代理对经过时间的估计，其中使用称为微刺激的特征表示。我们通过将其应用于最初用小鼠进行的实验来验证我们的框架，并得出结论，使用该框架的机器人能够再现动物大脑的计时机制。
2019-12-20 cs.AI cs.LG cs.SY
Coinbot: Intelligent Robotic Coin Bag Manipulation Using Deep Reinforcement Learning And Machine Teaching
Microsoft（微软）；Neal Analytics
考虑到在银行现金中心移动沉重的实物货币袋的困难，对培训和部署能够在协作工作空间中执行此类任务的安全自主系统的需求很大。然而，随着大量的刚性体硬币包含在它的袋子的变形特性，显着增加了袋检测，抓取和操纵的机器人夹具和arm.In本文中，我们应用深度强化学习和机器学习技术的任务控制的协作机器人自动卸载硬币袋从手推车的挑战。为了完成抓取硬币袋等柔性材料的特定任务过程，在操作过程中质量中心发生变化，在仿真中实现了一种特殊的夹持器，并在物理硬件中设计。利用深度相机和使用深度学习的目标检测，已经完成了包检测和姿态估计以选择最佳抓取点。提出了一种基于深度强化学习的智能方法，用于提出机器人末端执行器的最佳配置，以最大限度地提高抓取成功率。一种增强的运动规划被用来提高机器人操作期间的运动规划的速度。在实际环境中，使用拟议管道进行的实际试验表明成功率超过96%。
2020-12-02 cs.LG cs.RO
DCUR: Data Curriculum for Teaching via Samples with Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
深度强化学习（RL）已经取得了巨大的经验成功，但存在脆性和样本效率低下的问题。一个潜在的补救措施是使用以前培训的政策作为监督的来源。在这项工作中，我们将这些政策称为教师，并研究如何通过关注数据使用将他们的专业知识转移到新的学生政策中。我们提出了一个框架，强化学习的数据库（DCUR），它首先使用在线深度RL培训教师，并存储记录的环境交互历史。然后，学生通过运行离线RL或使用教师数据结合少量自我生成的数据来学习。DCUR的中心思想涉及定义一类数据课程，作为训练时间的函数，限制学生从完整教师数据的固定子集中采样。我们使用最先进的深度RL算法测试教师和学生在各种数据课程中的表现。结果表明，数据课程的选择会显著影响学生的学习，并且在早期训练阶段限制数据，同时随着时间的推移逐渐增加数据可用性是有益的。我们确定学生何时可以离线学习并匹配教师的表现，而无需依赖于专门的离线RL算法。此外，我们表明，收集一小部分在线数据提供了与数据课程的互补优势。补充材料可在https://tinyurl.com/teach-dcur上查阅。
2021-09-15 cs.LG cs.RO
Teaching LLMs to Self-Evolve: Cultivating Core Meta-Skills with Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究旨在通过强化学习培养大语言模型自我进化的元技能。提出MetaEvolve框架，经数据合成、进化感知强化学习等流程，在编码任务中训练模型。实验表明该框架在编码基准测试中性能出色，能有效激发通用元技能，为自主进化的人工智能发展提供路径。
2026-09-21 cs.AI cs.CL cs.LG
Showing versus Doing: Teaching by Demonstration
Brown University（布朗大学）；Harvard University（哈佛大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究开发了通过演示教学的贝叶斯模型，发现人类教学行为会依模型预测调整，且标准IRL算法从“展示”中学习比从“实操”中学习表现更好。
2026-10-14 cs.AI cs.HC cs.LG
Router-R1: Teaching LLMs Multi-Round Routing and Aggregation via Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出Router-R1，一种基于强化学习的框架，将多LLM路由与聚合建模为顺序决策过程，通过思考与路由动作交错及成本奖励优化性能-成本权衡，在七个问答基准上超越强基线。
2025-10-24 cs.AI cs.CL cs.LG
Prosody as a Teaching Signal for Agent Learning: Exploratory Studies and Algorithmic Implications
Vrije Universiteit（自由大学）；Sony AI（索尼人工智能公司）；Koç University（科克大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究提出将语音韵律作为内隐教学信号用于智能体学习，通过两项探索性实验验证韵律的任务信息价值，给出韵律敏感算法设计准则，为提升人机交互下的智能体学习效率提供新方向。
2024-10-31 cs.HC cs.LG
S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning
Tencent（腾讯）；Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Fudan University（复旦大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
提出 S²R 框架，以少量监督样本初始化自我验证与自我纠正行为，再结合结果级和过程级强化学习，显著提升基础 LLM 的推理性能。
2025-02-18 cs.CL cs.LG
Teaching Large Language Models to Reason with Reinforcement Learning
Meta；Georgia Institute of Technology（佐治亚理工学院）；UC Berkeley（加州大学伯克利分校）；StabilityAI（StabilityAI公司）
该研究对比了多种反馈学习算法对大语言模型推理能力的提升效果，发现专家迭代表现最优且样本复杂度与PPO相近，同时揭示了SFT的指标权衡与RL的同步提升特性，为RLHF及LLM微调的RL应用提供参考。
2024-03-07 cs.LG
Bridging the Imitation Gap by Adaptive Insubordination
Allen Institute for AI（艾伦人工智能研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在实践中，模仿学习优于纯强化学习，只要有可能设计一个教学代理提供专家监督。然而，我们发现，当教学代理人作出决定，访问特权信息是不可用的学生，这些信息被边缘化在模仿学习，导致“模仿差距”，并可能，效果不佳。先前的工作通过从模仿学习到强化学习的进展来弥合这一差距。虽然通常是成功的，但对于需要在探索和记忆之间频繁切换的任务来说，渐进式学习是失败的。为了更好地解决这些任务，并减轻模仿差距，我们提出了“适应性不服从”（ADVISOR）。ADVISOR在训练过程中动态地对模仿和基于奖励的强化学习损失进行加权，从而实现在模仿和探索之间的动态切换。在网格世界，多智能体粒子环境和高保真3D模拟器中设置的一系列具有挑战性的任务中，我们证明了ADVISOR的动态切换优于纯模仿，纯强化学习以及它们的顺序和并行组合。
2021-12-03 cs.AI cs.CV cs.LG
Q-Learning Lab: Teaching Reinforcement Learning Through Learner-Generated Trace Analysis
Computer Science Program Faculty of Sciences and Liberal Arts Rajamangala University of Technology Isan（计算机科学系 法学院及文科院 瑞亚玛芒拉大学技术学院伊桑）
该研究提出Q学习实验室工具，通过学习者生成的轨迹分析教授表格Q学习。工具具可视化及记录功能，核心是学习-导出-分析循环。通过三项评估验证工具，还与现有工具比较、阐述教学法基础并提供教案，工具和代码公开。
2026-07-14 cs.CY cs.LG
Curriculum Design for Teaching via Demonstrations: Theory and Applications
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）；Saarland University（萨尔大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们认为，通过演示顺序决策设置教学的问题。特别是，我们研究了如何设计一个个性化的课程，以加快学习者的收敛。我们为两种流行的学习模型提供了统一的课程策略：最大因果熵逆强化学习（MaxEnt-IRL）和交叉熵行为克隆（CrossEnt-BC）。我们的统一策略诱导排名的基础上计算w.r.t.难度分数的概念演示。教师的最优策略和学习者的当前策略。与现有技术相比，我们的策略不需要访问学习者的内部动态，并且在温和的技术条件下仍然享有类似的收敛保证。此外，我们适应我们的课程策略设置，没有教师代理使用特定任务的难度分数。合成汽车驾驶环境和导航为基础的环境实验证明了我们的课程策略的有效性。
2021-12-16 cs.AI cs.LG
Multi-Modal, Multi-Environment Machine Teaching for Robust Reward Learning
研究自主智能体在多环境下奖励学习问题，提出分层机器教学算法，先选信息丰富环境，再查询低成本反馈，实验表明该方法比统一教学基线有更低遗憾值和更强泛化能力，凸显多环境多模态教学对稳健奖励学习的重要性。
2026-07-10 cs.AI cs.LG
Teaching Reinforcement Learning and Humanoid Robotics to High-School Students: An Expert-Validated Curriculum Design on a Low-Cost Open Platform
Stanford University（斯坦福大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本研究提出一个经专家验证的集成课程框架，将机器人研究流程（组装、模拟、训练、部署）转化为高中课程，平衡真实性与认知负荷等张力，实现低成本人形机器人教学。
2026-09-23 cs.AI cs.RO
Teaching Precommitted Agents: Model-Free Policy Evaluation and Control in Quasi-Hyperbolic Discounted MDPs
Department of Computer Science and Automation, Indian Institute of Science（计算机科学与自动化系，印度科学研究院）
本文针对拟双曲折扣MDP中的预承诺智能体，首次证明最优策略可简化为一步非平稳形式，并设计了首个具有收敛保证的无模型策略评估与Q学习算法。
2025-09-07 cs.AI cs.LG
RLPE: Teaching LLMs to Prompt with Reinforcement Learning
本研究提出RLPE方法，训练模型分析任务模型轨迹编写针对性提示，该提示可复用且兼容闭源模型，训练出的90亿参数模型在多数基准测试中表现优于前沿模型与优化器，还具备泛化能力。
2026-10-13 cs.AI
ReflexiCoder: Teaching Large Language Models to Self-Reflect on Generated Code and Self-Correct It via Reinforcement Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Amazon AGI（亚马逊人工智慧实验室）；NAVER Cloud（NAVER云）
本文提出ReflexiCoder，一种基于强化学习的框架，使大语言模型在推理过程中自我反思和纠正代码，通过细粒度奖励函数优化整个反思-纠正过程，实现无需外部反馈的自我调试能力，实验表明其在多个基准测试中表现优异，且在推理效率上更高效。
2026-04-20 cs.CL cs.LG cs.SE
Discrete linear-complexity reinforcement learning in continuous action spaces for Q-learning algorithms
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
在这篇文章中，我们勾画了一个算法，扩展的Q-学习算法的连续动作空间域。我们的方法是基于动作空间的离散化。尽管常用的离散化方法，我们的方法不会增加离散化问题的维数指数。我们将证明，我们提出的方法是线性的离散化时的复杂性。在这项工作中提出的Q-学习算法的变体，标记为有限步Q-学习（FSQ），可以部署到浅层和深层神经网络架构。
2018-07-23 cs.AI cs.LG stat.ML
Admissible Policy Teaching through Reward Design
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
我们研究奖励设计策略，激励一个强化学习代理采用一组可接受的政策的政策。奖励设计者的目标是以成本有效的方式修改潜在的奖励函数，同时确保在新的奖励函数下的任何近似最优确定性策略是可接受的，并且在原始奖励函数下表现良好。这个问题可以被看作是最优奖励中毒攻击问题的对偶：奖励设计者不是强迫代理采取特定的策略，而是激励代理避免采取在某些状态下不可接受的行为。也许令人惊讶的是，与最优奖励中毒攻击的问题相比，我们首先证明了可接受的策略教学的奖励设计问题在计算上是具有挑战性的，并且很难找到近似最优的奖励修改。然后，我们继续制定一个代理问题，其最佳解决方案近似的最佳解决方案的奖励设计问题，在我们的设置，但更适合于优化技术和分析。对于这个代理问题，我们提出的表征结果，提供的最优解的值的界限。最后，我们设计了一个局部搜索算法来解决代理问题，并使用基于仿真的实验来展示其实用性。
2022-01-06 cs.AI cs.LG
Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning
Princeton University（普林斯顿大学）
研究了具有一般价值函数逼近的批量强化学习（RL）。我们的研究探讨了可靠地估计/最小化Bellman误差的最小假设，并通过一般函数类的（局部）Rademacher复杂性来表征泛化性能，这为弥合统计学习理论和批量RL之间的差距迈出了初步步骤。具体地说，我们将Bellman误差看作是最优性缺口的替代损失，证明了：（1）在双抽样条件下，经验风险最小化（ERM）的超额风险受函数类的Rademacher复杂度的限制。(2)在单次抽样制度中，无论算法如何，如果没有进一步的假设，样本有效的风险最小化是不可能的。然而，在完备性假设下，FQI和极大极小型算法的超额风险可以再次受到相应函数类的Rademacher复杂度的限制。(3)快速的统计率可以通过使用本地Rademacher复杂性的工具来实现。我们的分析涵盖了广泛的函数类，包括有限类，线性空间，核空间，稀疏线性特征等。
2021-03-25 cs.AI cs.LG stat.ML
Story Shaping: Teaching Agents Human-like Behavior with Stories
Georgia Institute of Technology（佐治亚理工学院）
对于强化学习智能体的奖励设计可能很困难，因为人们不仅希望智能体在世界上取得某种效果，而且还关心这种效果是如何实现的。例如，我们可能希望一个智能体遵守常识的默契，为了安全起见而调整自己的行为偏好，或者在互动游戏中扮演一个特定的角色。讲故事是一种交流隐性程序知识的模式。我们介绍了一种技术，故事塑造，其中一个强化学习代理推断隐性知识，从一个范例的故事，如何完成一项任务，并内在地奖励自己执行的行动，使其当前的环境坚持推断的故事世界。具体而言，故事塑造从观察推断世界状态的知识图谱表示，并且还从范例故事推断知识图谱。基于代理的推断世界状态图和推断故事世界图之间的相似性来生成内在奖励。我们在基于文本的游戏中进行了实验，这些游戏需要常识推理，并将代理的行为塑造为虚拟游戏角色。
2023-01-24 cs.AI cs.GT cs.HC
How to Train Your Little Dragon: Teaching a Small Language Model to Construct and Refine GPU Optimization Scripts
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Amazon Annapurna Labs（亚马逊安纳普尔纳实验室）
该研究提出名为LITTLE DRAGON的训练方法，教80亿参数的小型语言模型构建与优化GPU优化脚本，其性能优于多个参数规模更大的前沿大语言模型。
2026-10-16 cs.AI cs.LG
Learning from Teaching Regularization: Generalizable Correlations Should be Easy to Imitate
Rutgers University（罗格斯大学）；Nvidia Research（英伟达研究院）；University of Connecticut（康涅狄格大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Stanford University（斯坦福大学）
针对机器学习模型泛化难题，本文提出新型正则化技术LoT，通过辅助学生学习器与主模型的教学反馈循环捕捉可泛化相关性，在多领域实验中效果显著，可有效剔除虚假相关性。
2024-10-31 cs.AI cs.LG
Teaching an Agent to Sketch One Part at a Time
TTI-Chicago（芝加哥大学技术研究所）；University of Chicago（芝加哥大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出一种分步生成矢量草图的方法，通过多轮过程-奖励强化学习训练多模态语言模型代理，利用新数据集ControlSketch-Part实现可解释、可控且局部可编辑的文本到矢量草图生成。
2026-04-23 cs.AI cs.CV cs.GR
Cluster-Based Social Reinforcement Learning
Purdue University（普渡大学）
社交强化学习方法在大型网络中对代理进行建模，对于假新闻缓解，个性化教学/医疗保健和病毒式营销非常有用，但由于网络规模和稀疏的交互数据，将代理间的依赖关系有效地纳入模型中具有挑战性。以前的社会强化学习方法要么忽略代理依赖关系，要么以计算密集的方式对其进行建模。在这项工作中，我们将代理的依赖关系有效地在一个紧凑的模型中聚类用户（基于他们的回报和贡献的目标），并结合这一方法，很容易从集群级的政策，以获得个性化的代理级别的政策。我们还提出了一个动态的聚类方法，捕捉不断变化的用户行为。在真实世界数据集上的实验表明，与不使用代理相关性或仅使用静态集群的几个基线相比，我们提出的方法学习更准确的策略估计并更快地收敛。
2020-03-23 cs.LG stat.ML
Class Teaching for Inverse Reinforcement Learners
INESC-ID（INESC-ID（葡萄牙国家系统与计算机工程研究所））；Instituto Superior Técnico（高等技术学院）
在本文中，我们提出了第一个机器教学算法的多个反向强化学习器。具体来说，我们的贡献是：（i）我们正式介绍了一个顺序任务教学的问题，一个异质组的学习者;（ii）我们确定的条件下，有可能进行这样的教学使用相同的演示，为所有的学习者;以及（iii）我们提出并评估了一个简单的算法，该算法计算一个演示（s）确保异构类中的所有代理学习与目标任务兼容的任务描述。我们的分析表明，与其他教学问题，教学一个单一的示范异构类可能是不可能的代理之间的差异增加。我们还展示了我们提出的机器教学方法对几种可能的替代方案的优势。
2019-11-29 cs.AI cs.LG
Learning to Teach
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Research（微软研究院）
教学在我们的社会中起着非常重要的作用，通过传播人类知识和教育我们的下一代。一个好的老师会根据学生的学习行为选择合适的教材，影响合适的方法，并设置有针对性的考试。然而在人工智能领域，人们还没有充分挖掘教学的作用，最关注的还是机器\emph{learning}。本文认为，在教学中应给予同等的重视，甚至更多，并应使用一个优化框架（而不是数学），以获得良好的教学策略。我们称这种方法为“学会教学”。在该方法中，两个智能代理相互交互：学生模型（对应于传统机器学习算法中的学习者）和教师模型（确定适当的数据，损失函数和假设空间，以促进学生模型的训练）。教师模型利用学生模型的反馈，通过强化学习优化自身的教学策略，实现师生协同进化。为了证明我们提出的方法的实用价值，我们以深度神经网络（DNN）的训练为例，并表明通过使用学习教学技术，我们能够使用更少的训练数据和更少的迭代来实现几乎相同的精度，用于不同种类的DNN模型（例如，多层感知器、卷积神经网络和循环神经网络）在各种机器学习任务（例如，图像分类和文本理解）。
2018-05-09 cs.AI cs.LG
The complexity of non-stationary reinforcement learning
Columbia University（哥伦比亚大学）
针对非平稳强化学习中的持续学习难题，本文基于SETH证明更新单个状态-动作对的概率或奖励在最坏情况下需近线性于状态数的时间，而新增状态-动作对则明显更容易。
2023-07-13 cs.AI cs.DS cs.LG
Importance of Empirical Sample Complexity Analysis for Offline Reinforcement Learning
Mila, McGill University（麦吉尔大学 Mila 研究院）；DeepMind
我们假设，经验性地研究离线强化学习（RL）的样本复杂度对于RL在现实世界中的实际应用至关重要。最近的几项工作已经证明了直接从离线数据中学习策略的能力。在这项工作中，我们问的问题的依赖于从离线数据学习的样本的数量。我们的目标是强调研究离线RL的样本复杂性是重要的，并且是现有离线算法的有用性的指标。提出了一种离线强化学习样本复杂度分析的评价方法。
2021-12-31 cs.AI cs.LG
Teaching Large Reasoning Models Effective Reflection
Peking University（北京大学）；The University of Hong Kong（香港大学）；Huawei Technologies（华为技术有限公司）；Shanghai AI Lab（上海人工智能实验室）
本文提出SCFT和RLERR方法，通过自我批评和强化学习提升大型推理模型的反思能力，实验表明在AIME2024和AIME2025基准上效果优于现有方法。
2026-01-19 cs.AI
On the Sample Complexity of Reinforcement Learning with Policy Space Generalization
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；NYU（纽约大学）
研究了具有策略空间泛化的大规模强化学习（RL）问题的最优样本复杂度，即Agent具有最优策略位于已知策略空间的先验知识.已有的结果表明，在没有泛化模型的情况下，RL算法的样本复杂度将不可避免地依赖于状态空间和动作空间的基数，而在许多实际问题中，这两个基数都非常大。为了避免这种对状态空间和动作空间大小的依赖性，本文提出了一种新的策略空间规避维数的概念，它刻画了任意马尔可夫决策过程（MDP）中策略学习的内在复杂性.使用一个模拟器的甲骨文，我们证明了一个接近最优的样本复杂度上界，只依赖于线性的逃避者的尺寸。我们进一步证明了类似的遗憾界在确定性系统没有模拟器。
2020-08-17 cs.AI cs.DS cs.LG
Complexity of stochastic branch and bound methods for belief tree search in Bayesian reinforcement learning
最近有很多关于强化学习的贝叶斯方法的工作，表现出接近最佳的在线性能。这些方法面临的主要障碍是，在大多数感兴趣的问题中，最优解涉及在无限大的树中进行规划。然而，可以获得每个树节点的值的随机上下界。这使我们能够使用随机分支定界算法来有效地搜索树。本文提出了两个这样的算法，并在这种情况下，他们的复杂性。
2009-12-26 cs.AI cs.LG
R1-Ranker: Teaching LLM Rankers to Reason
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta Monetization AI（Meta 资源 monetization AI）
提出R1-Ranker，基于强化学习的推理激励框架，通过DRanker和IRanker两种设计统一排序任务，IRanker-3B在九个数据集上达到最先进性能，平均提升15.7%。
2025-10-16 cs.AI cs.IR cs.LG
Sample Complexity of Multi-task Reinforcement Learning
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
在一系列重复学习任务中转移知识是一项挑战，并且有许多重要的应用。虽然有令人鼓舞的经验证据表明，迁移可以提高后续的重复学习任务的表现，但很少有理论分析。在本文中，我们介绍了一个新的多任务算法的一系列的重复学习任务时，每个任务的采样独立于（一个未知的）分布在一个有限的马尔可夫决策过程，其参数是最初未知的。对于这种设置，我们证明在某些假设下，每个任务的样本的复杂性的探索显着降低，由于转移相比，标准的单任务算法。我们的多任务算法还具有所需的特性，即保证不会出现负迁移：在最坏的情况下，其每个任务的样本复杂度与相应的单任务算法相当。
2013-09-26 cs.LG stat.ML
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找一个奖励函数的问题，该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机，然后提出了考虑到逆强化问题的基本目标：找到一个奖励函数，产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式，并显示了$O(n^2 \log (nk))$的样本复杂度，用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
A Lower Bound for the Sample Complexity of Inverse Reinforcement Learning
Purdue University（普渡大学）
逆强化学习（IRL）是寻找奖励函数的任务，该奖励函数为给定的马尔可夫决策过程（MDP）生成期望的最优策略。本文给出了有限状态、有限作用IRL问题样本复杂度的信息论下界。考虑了用球形码构造$β$ -严格可分IRL问题的几何方法.系综的大小以及所产生的轨迹之间的Kullback-Leibler发散的属性推导。然后，将得到的系综与Fano不等式一起使用，以导出$O(n \log n)$的样本复杂度下限，其中$n$是MDP中的状态数。
2021-03-07 cs.LG stat.ML
