Reward-Gated On-Policy Distillation
University of Cologne(科隆大学);AWS AI(亚马逊云科技人工智能);UT Austin(德克萨斯大学奥斯汀分校);MIT(麻省理工学院)
研究如何进行策略蒸馏,核心方法是引入奖励门控策略蒸馏(RG-OPD)利用验证器反馈决定是否信任教师逻辑,主要贡献是在推理和编码基准测试中表现出色,优于其他蒸馏方法。
2026-07-07 cs.AI cs.LG
TIDE: Teacher-Student Transition via Informative Distillation and Exploration for Agentic RL
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
针对多轮智能体强化学习中教师蒸馏与奖励优化固定混合的局限,提出TIDE方法,通过全局分歧趋势调度OPD到RL的交接、局部联合分配两种信号,实现自适应协调,提升训练效果。
2026-09-29 cs.AI cs.LG
Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);LLM Department, Tencent(腾讯人工智能实验室)
本文提出通用在线蒸馏框架,通过奖励外推和灵活参考模型提升学生性能,改进蒸馏效果并超越教师表现。
2026-02-26 cs.AI cs.CL cs.LG
Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);MBZUAI;University of California, Merced(加州大学默塞德分校);Sun Yat-sen University(中山大学)
提出Prune-OPD框架,通过实时检测学生与教师之间的前缀漂移并动态截断不可靠的轨迹,在减少计算浪费的同时保持或提升长程推理任务的性能。
2026-06-01 cs.AI cs.LG
A Good Self-Teacher Meets the Student Where They Are: Joint On-Policy Learning and Teaching
Perplexity;NVIDIA(英伟达)
本文提出JOLT方法,通过联合训练特权教师与非特权学生,利用KL正则化目标与在线策略蒸馏,解决强化学习稀疏奖励问题,提升训练效率与性能。
2026-10-08 cs.AI cs.LG
Iterative Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback
MIT(麻省理工学院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
提出耦合校准与学习(CCL)算法,通过令牌级分支耦合教师校准与学生更新,仅用源反馈,在理论上证明可消除教师偏差并收敛至最优学生,无需目标域奖励。
2026-10-30 cs.AI cs.LG math.ST
From Imitation to Reward Discovery: On-Policy Warmup for Agentic RL
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
本文提出同策略预热(OPW)方法,通过教师监督学生自身交互轨迹进行蒸馏,为智能体RLVR提供有效初始化,理论证明其加速奖励发现并提升最终性能。
2026-10-01 cs.AI cs.LG
What Makes a Reward Model a Good Teacher? An Optimization Perspective
Some Institute(某些研究所)
从优化角度研究奖励模型的有效性,发现奖励方差对优化效率至关重要,准确性不足以保证模型效果。
2026-02-27 cs.AI cs.CL cs.LG
When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
提出UECR-GRPO,通过熵校准信用分配统一在线蒸馏与GRPO,在响应和词元级别整合验证器与教师信号,在五个数学推理基准上超越最强基线。
2026-09-24 cs.AI cs.LG
Hints, Critics, and Teachers: Prior Injection for Sparse-Reward RL in Vision-Language Math Reasoning
该研究针对视觉-语言数学推理的稀疏奖励强化学习问题,注入文本、分布、价值三类先验训练11种方法,发现先验有效传递可提升性能,还揭示了域内子集与跨域迁移的相关性反转现象,提出HL-Gauss损失替换MSE损失可提升14.4个百分点的准确率。
2026-08-25 cs.AI cs.LG
From Generic Correlation to Input-Specific Credit in On-Policy Self Distillation
Xiaohongshu Inc.(小红书公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文研究在线自我蒸馏中奖励的测量与信用分配,提出CREDIT方法通过对比学习分离输入特定成分,提升模型在多个基准上的性能。
2026-05-12 cs.AI cs.LG
TGRL: An Algorithm for Teacher Guided Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Technion - Israel Institute of Technology(以色列理工学院)
TGRL通过比较有无教师监督的反事实表现,动态自动平衡教师引导与奖励学习,在无需超参数调优的情况下在多个领域优于强基线。
2024-02-20 cs.LG
SocraticPO: Policy Optimization via Interactive Guidance
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China(认知智能国家重点实验室,中国科学技术大学);iFLYTEK AI Research (Central China), iFLYTEK Co., Ltd(iFLYTEK中央中国AI研究院,iFLYTEK公司)
提出SocraticPO框架,在强化学习中使用自然语言指导辅助推理,并通过奖励衰减防止模型依赖教师帮助,提升科学推理任务性能。
2026-08-25 cs.AI cs.CL cs.LG
BERT as a Teacher: Contextual Embeddings for Sequence-Level Reward
ETH Zürich(苏黎世联邦理工学院)
在许多学习框架中,根据一组参考来衡量生成的序列的质量是一个核心问题,无论是计算分数,分配奖励还是执行区分。尽管模型架构有了很大的进步,但独立于引用数量的度量仍然基于n-gram估计。我们表明,底层的操作,计数的话,比较计数,可以提升到嵌入的话,比较嵌入。对BERT嵌入的深入分析表明,经验表明,可以采用上下文嵌入来捕获所需的依赖关系,同时通过适当的修剪和平滑技术保持必要的可扩展性。我们将无条件生成作为一个强化学习问题,并表明我们的奖励函数在这个具有挑战性的设置中确实提供了比n元奖励更有效的学习信号。
2020-03-05 cs.CL cs.LG stat.ML
Masking Teacher and Reinforcing Student for Distilling Vision-Language Models
Masters通过掩码教师和强化学生的方法,解决视觉-语言模型蒸馏中的大小差距问题,提升学生模型的表示学习能力。
2025-12-23 cs.AI cs.CV cs.LG
Teacher-Guided Policy Optimization for On-Policy Reasoning Distillation under Large Policy Divergence
School of Computer Science and Engineering, Northeastern University, China(东北大学计算机科学与工程学院);Tsinghua University(清华大学);Meituan(美团);Meta AI;NiuTrans Research, Shenyang, China(新译研究院,沈阳,中国)
针对在线蒸馏中教师与学生策略差异大时反向KL监督失效的问题,提出教师引导策略优化(TGPO),通过教师直接指导学生上下文的token级生成并结合RLVR奖励,在推理基准上优于现有方法。
2026-11-10 cs.AI cs.LG
Enhancing Reasoning Capabilities in SLMs with Reward Guided Dataset Distillation
Shreyansh Padarha(独立研究者)
本文提出AdvDistill框架,通过奖励引导的数据集蒸馏利用教师模型多次生成及规则验证器奖励作为权重训练学生模型,显著提升小型语言模型在数学和复杂推理任务上的性能。
2025-06-25 cs.AI cs.CL cs.LG
Achieving Adversarial Robustness Requires An Active Teacher
Stanford University(斯坦福大学)
通过解耦数据生成器和标签生成器(我们称之为教师),提出了对对抗性示例和对抗性鲁棒性的新理解。在我们的框架中,对抗鲁棒性是一个有条件的概念-学生模型不是绝对鲁棒的,但是相对于老师是鲁棒的。基于这种新的理解,我们认为对抗性例子的存在是因为学生不能从训练数据中获得教师的足够信息。实现鲁棒性的各种方法进行了比较。理论和数值证据表明,为了有效地实现鲁棒性,教师积极地向学生提供其信息可能是必要的。
2020-12-14 cs.LG
Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents
Huawei Technologies Ltd.(华为技术有限公司);The Hong Kong University of Science Technology(香港科技大学)
该研究针对深度搜索智能体信用分配稀疏问题,提出 SSPO 方法,通过证据锚点与步骤级优势权重优化策略,在多个数据集上性能优于 GRPO 且开销低。
2026-08-14 cs.AI cs.LG
Demystifying LLM-as-a-Judge: Analytically Tractable Model for Inference-Time Scaling
John A. Paulson School of Engineering And Applied Sciences, Harvard University(哈佛大学约翰·A·保罗森工程与应用科学学院);Center for Brain Science, Harvard University(哈佛大学脑科学中心);Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University(哈佛大学自然与人工智能研究学院)
本文提出一个可分析的模型,用于推理时间扩展,通过奖励加权采样器和贝叶斯线性回归,分析推理时间样本与一般化误差的关系,并展示在任务难度增加时该优势的退化。
2026-10-05 cs.AI cs.LG
Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization
The Chinese University of Hong Kong(香港中文大学);MBZUAI;Hong Kong University of Science and Technology(香港科学理工大学)
提出无监督奖励优化框架,结合模型不确定性和语义一致性作为代理奖励,通过SRO和BRO算法优化PLMs,在无标签数据下实现可控蛋白质生成,性能接近有监督方法。
2026-06-18 cs.LG
Active choice of teachers, learning strategies and goals for a socially guided intrinsic motivation learner
INRIA(法国国家信息与自动化研究所);ENSTA ParisTech(巴黎高等科技学院)
我们提出了一个主动学习架构,允许机器人主动学习哪种数据汇集策略对于获得运动技能以实现多个结果是最有效的,并概括其经验以实现新的结果。机器人通过交互式学习和目标模糊来探索它的环境。它同时从几个可用的老师那里学习什么时候,谁和什么要积极模仿,并学习什么时候不使用社会指导,而是使用积极的目标导向的自我探索。这是在终身战略学习的框架内正式确定的。建议的架构,被称为社会引导的内在动机与教师和策略的积极选择(SGIM-ESTA),依赖于层次的积极决定什么和如何学习的经验评估的学习进展为每个学习策略的驱动。我们说明了一个实验,模拟机器人学习控制其手臂实现两种不同的结果。在每一个学习阶段,它都要主动地、分层次地进行选择:1)学习什么:选择哪一个结果最有趣,作为目标导向探索的目标; 2)如何学习:在自我探索、模仿和仿效中使用哪一种数据汇集策略; 3.一旦他决定了什么时候模仿什么,选择模仿或仿效,那么他就必须从一组不同的老师中选择模仿谁。我们表明,SGIM-ESTO学习效率显着高于使用单一的学习策略,并连贯地选择最佳策略,就所选择的结果,利用现有的教师(具有不同水平的技能)。
2018-04-18 cs.AI cs.LG stat.ML
The Weakest Link: Distilling LLM Reasoning with Worst-Case Constrained Reinforcement Learning
Huawei Heisenberg Research Center(华为海森堡研究中心);UCL Centre for AI(伦敦大学学院人工智能中心)
针对LLM推理蒸馏中奖励黑客与平均化缺陷,提出最坏情况约束RL方法,通过无增强MDP变换保留硬约束,显著扩展准确率-保真度帕累托前沿,实现最高严格推理成功率。
2026-10-02 cs.AI cs.LG
Automatic Curriculum Learning with Gradient Reward Signals
University of California, Berkeley(加州大学伯克利分校)
本文提出利用梯度范数作为奖励信号,让教师模型动态调整课程,以加速深度强化学习并提升泛化能力,在多个环境中验证了有效性。
2023-12-21 cs.AI cs.LG
AutoDIME: Automatic Design of Interesting Multi-Agent Environments
OpenAI(开放人工智能研究中心)
设计一个RL代理可以学习有趣和有用的技能的环境分布是一个具有挑战性和理解不足的任务,对于多代理环境,困难只会加剧。一种方法是训练第二个RL代理,称为教师,谁的样本环境,有利于学生代理的学习。然而,大多数以前的建议,教师奖励不直接推广到多智能体设置。我们研究了一组来自预测问题的内在教师奖励,这些问题可以应用于多智能体设置,并在Mujoco任务中对其进行评估,例如多智能体Hide and Seek以及诊断单智能体迷宫任务。在所考虑的内在奖励中,我们发现价值分歧在不同任务中最为一致,导致在捉迷藏和迷宫任务中更快、更可靠地出现高级技能。考虑的另一个候选内在奖励,价值预测误差,在捉迷藏中也很好,但在随机环境中容易受到噪音电视风格的干扰。政策分歧在迷宫任务中表现良好,但在捉迷藏中没有加快学习。我们的研究结果表明,内在的教师奖励,特别是价值分歧,是一个很有前途的方法,自动化的单和多代理环境设计。
2022-03-04 cs.AI cs.LG cs.MA
Adaptive Teaching in Heterogeneous Agents: Balancing Surprise in Sparse Reward Scenarios
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California Berkeley(加州大学伯克利分校)
针对异构师生智能体,提出基于惊喜平衡的自适应教学框架,教师最大化自身惊喜并最小化学生惊喜以定制示范,提升稀疏奖励下学生控制任务学习效果。
2024-05-23 cs.LG cs.RO
On Teacher Hacking in Language Model Distillation
Google DeepMind(谷歌DeepMind)
本文提出并研究语言模型蒸馏中的教师黑客现象,通过受控实验发现固定离线数据会引发该问题且可由收敛规律偏离检测,而在线数据生成与数据多样性可有效缓解。
2025-02-04 cs.AI cs.CL cs.LG
Agentic Reinforcement Learning with Self-Distilled Reward Shaping
针对智能体强化学习中稀疏奖励无法分配中间决策信用的问题,提出ADRS框架,通过校准教师分数等提升多轮语言智能体在长时域任务的性能,且增益稳定。
2026-08-05 cs.AI cs.CL cs.LG
Reward-Aligned Reweighting for On-Policy Distillation
The University of Hong Kong(香港大学);Alibaba Group(阿里巴巴集团);University of Science and Technology of China(中国科学技术大学)
提出R²-OPD方法,通过结果一致性和教师-学生分歧动态重分配教师监督,解决在线蒸馏中均匀加权导致的决策效用不匹配,在数学推理和代码生成任务上显著提升学生模型性能。
2026-09-29 cs.LG
Active Imitation Learning from Multiple Non-Deterministic Teachers: Formulation, Challenges, and Algorithms
University of Maryland, College Park(马里兰大学帕克分校);Microsoft Research(微软研究院)
我们制定的问题,学习模仿多个,不确定的教师,以最小的互动成本。与标准模仿学习中学习特定策略不同,这个问题的目标是学习策略空间上的分布。我们首先提出了一个通用的框架,有效地建模和估计这样的分布,通过学习连续表示的教师政策。接下来,我们开发了主动基于性能的模仿学习(APIL),一个主动学习算法,以减少在这个框架中的学习者-教师交互成本。通过基于对未来进展的预测做出查询决策,我们的算法避免了传统的基于不确定性的方法在面对教师行为不确定性时的陷阱。玩具和照片逼真的导航任务的结果表明,APIL显着减少与教师的互动,而不影响性能的数量。此外,它对不同程度的教师行为不确定性具有鲁棒性。
2020-06-14 cs.HC cs.LG stat.ML
PCoreSet: Effective Active Learning through Knowledge Distillation from Vision-Language Models
VUNO Inc.(VUNO公司);KAIST(韩国科学技术院)
针对主动学习场景下缺乏任务特定教师模型的问题,提出融合视觉-语言模型知识蒸馏的ActiveKD框架及概率空间覆盖的PCoreSet选择策略,显著提升主动学习性能。
2026-10-27 cs.AI cs.LG
Online Knowledge Distillation with Reward Guidance
SI-TECH Information Technology(SI-TECH信息技术)
本研究提出一种奖励引导的模仿学习框架,通过最小-最大优化和偏好数据构建,实现大型语言模型的在线知识蒸馏,有效缩小学生与教师策略的性能差距。
2025-05-25 cs.LG
Robust Active Distillation
Google Research(谷歌研究院)
在半监督学习环境中,将知识从大型教师模型提取到轻量级模型是一种广泛成功的方法,可以在有限数量的标记数据中生成紧凑,强大的模型。然而,在大规模的应用中,教师往往会提供大量不正确的软标签,从而损害学生的表现。教师的庞大规模还限制了由于过高的计算和/或财务成本而可以查询的软标签的数量。实现同时\emph{efficiency}(即,最小化软标签查询)和\emph{robustness}(即,避免学生由于不正确的标签而导致的不准确性)损害了知识蒸馏在许多现代任务中的广泛应用。在本文中,我们提出了一种无参数的方法与可证明的保证,查询点的软标签,同时提供信息,并正确标记的教师。在我们的工作的核心在于一个博弈论的制定,明确考虑输入实例的信息量和正确性之间的固有权衡。我们建立了我们的方法,即使在最坏的情况下蒸馏实例的预期性能的界限。我们目前的经验评估流行的基准,证明了改进的蒸馏性能,使我们的工作相对于国家的最先进的主动学习和主动蒸馏方法。
2023-02-04 cs.AI cs.LG
Reward-Forcing: Autoregressive Video Generation with Reward Feedback
University of California, San Diego(加利福尼亚大学圣迭戈分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出一种利用奖励信号指导生成的自回归视频生成方法,提升了生成效率和可扩展性,实验表明其性能与现有自回归模型相当,甚至在某些情况下超越了双向模型。
2026-04-02 cs.CV cs.LG
Rethinking Large Language Model Distillation: A Constrained Markov Decision Process Perspective
Huawei Noah’s Ark Lab(华为诺亚实验室);Huawei R&D Munich(华为慕尼黑研发部);UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心)
本文从约束马尔可夫决策过程视角研究LLM蒸馏,提出无需部署期访问教师模型或状态增强的奖励优化框架,在数学推理任务上提升约束满足率与推理能力。
2025-09-26 cs.AI cs.LG
RM-OPD: On-Policy Distillation for Generative Reward Models
Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学);Xiaohongshu Inc.(小红书)
针对Mix-RL训练GRM的奖励稀疏与跨域干扰问题,提出两阶段框架RM-OPD,通过域专属教师模型与路由策略内蒸馏等技术,在多基准上实现性能超越,展现教师超越效应。
2026-10-16 cs.CL cs.LG
Beyond Teacher Likelihood: Group-Calibrated On-Policy Distillation for Long-Context Reasoning
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学);OpenBMB
该研究针对长上下文推理中 OPD 的教师-验证器分歧问题,提出 GC-OPD 方法,结合验证器结果优化 OPD,在五个长上下文基准上显著提升 Qwen3 模型性能。
2026-08-20 cs.AI cs.CL cs.LG
Cliff: Learning Process Rewards from the First Mistake
Amazon Web Services(亚马逊网络服务);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Cliff是一种利用现成LLM识别推理轨迹首次错误的奖励塑形策略,在12种场景下可提升推理性能,比策略蒸馏高15%、比标准GRPO高7%,为RLVR提供细粒度监督。
2026-09-03 cs.LG
Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking
Department of Computer Science, University of California, Davis, USA(加州大学戴维斯分校计算机科学系);Meta AI Research(Meta AI研究院)
本文提出对抗性奖励审计框架,通过动态竞争机制检测并缓解奖励黑客问题,实现最佳的对齐-效用权衡。
2026-09-29 cs.AI cs.LG
Machine Teaching of Active Sequential Learners
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学)
机器教学解决了寻找最佳训练数据的问题,这些数据可以以最小的努力将学习算法引导到目标模型。在常规设置中,教师提供与真实数据分布一致的数据。然而,对于主动选择查询的顺序学习者,如多臂强盗和主动学习者,教师只能提供对学习者查询的响应,而不能设计完整的数据。在这种情况下,始终如一的教师在有限的视野中可能是次优的。我们制定这个顺序的教学问题,目前的技术在机器教学不解决,作为一个马尔可夫决策过程,与动态嵌套的学习者和教师的反应的行动模型。此外,我们解决的补充问题,从一个教师的计划学习:认识到教学意图的反应,学习者被赋予了一个模型的教师。我们在模拟实验和用户研究中使用多臂强盗学习者测试了该公式。结果表明,学习得到改善(i)计划教学和(ii)学习者有一个模型的教师。该方法提供的工具,考虑到战略(规划)的交互式智能系统,如推荐引擎的用户的行为,考虑他们作为有界最优的教师。
2019-11-01 cs.AI cs.HC cs.LG
APReL: A Library for Active Preference-based Reward Learning Algorithms
Stanford University(斯坦福大学)
奖励学习是人机交互中的一个基本问题,让机器人按照人类用户的需求进行操作。许多基于偏好的学习算法和主动查询技术被提出来作为这个问题的解决方案。在本文中,我们提出了APReL,一个基于主动偏好的奖励学习算法库,它使研究人员和从业者能够实验现有的技术,并很容易地开发自己的算法的各个模块的问题。APReL可在https://github.com/Stanford-ILIAD/APReL上获得。
2022-01-04 cs.AI cs.LG cs.RO
An Active-Bottleneck Mechanism for Weak-to-Strong Generalization
Sharif University of Technology(谢里夫理工大学)
研究弱到强泛化在无正则化两阶段线性回归和随机特征模型中的发生条件,提出主动瓶颈原则:数据量或宽度中较稀缺者控制教师误差过滤,有限资源本身即可正则化。
2026-09-29 cs.AI cs.LG stat.ML
Learning Reward Functions from Diverse Sources of Human Feedback: Optimally Integrating Demonstrations and Preferences
Stanford University(斯坦福大学)
奖励函数是指定机器人目标的常用方法。由于设计奖励函数可能极具挑战性,因此更有希望的方法是直接从人类教师那里学习奖励函数。重要的是,来自人类教师的数据可以以各种形式被动或主动地收集:被动数据源包括演示(例如,动觉引导),而偏好(例如,比较排名)被积极地引出。之前的研究已经独立地将奖励学习应用于这些不同的数据源。然而,在许多领域中,多个来源是互补的和有表现力的。出于这个普遍的问题,我们提出了一个框架,以整合多个信息源,这是被动或主动收集人类用户。特别是,我们提出了一种算法,首先利用用户演示初始化的奖励函数的信念,然后积极探测用户的偏好查询零在他们的真实奖励。该算法不仅使我们能够组合多个数据源,而且还通知机器人何时应该利用每种类型的信息。此外,我们的方法占人类提供数据的能力:产生用户友好的偏好查询,这也是理论上最优的。我们广泛的模拟实验和用户研究的取移动机械手证明了我们的综合框架的优越性和可用性。
2021-08-04 cs.AI cs.LG cs.RO
Value of Information and Reward Specification in Active Inference and POMDPs
VERSES Research Lab(VERSES研究实验室)
该研究将期望自由能(EFE)置于信念MDP框架下,借助强化学习理论工具证明EFE通过信息价值近似贝叶斯最优RL策略,揭示了主动推理与奖励驱动RL的关联及对主动推理目标设定的启示。
2024-08-13 cs.AI cs.LG
Reward-Aligned Distillation
UC San Diego(加州大学圣迭戈分校);Purdue University(普渡大学);AWS AI Labs(亚马逊云科技人工智能实验室);Amazon(亚马逊公司)
本文提出奖励对齐蒸馏(RAD)框架,通过双层框架基于蒸馏信号对学生模型奖励的预测效果加权,在竞赛数学和代码基准上显著提升了 Qwen 系列等大语言模型的性能。
2026-10-14 cs.CL cs.LG
Towards Black-box Iterative Machine Teaching
Georgia Tech(佐治亚理工学院);University of Minnesota(明尼苏达大学);Ant Financial(蚂蚁金服(注:根据中文语境,此处“Ant Financial”通常译为“蚂蚁集团”或“蚂蚁金服”,但严格按原文机构名保留“Ant Financial”))
在本文中,我们作出了重要的一步,黑箱机器教学考虑跨空间机器教学,教师和学习者使用不同的特征表示和教师不能完全观察到学习者的模型。在这种情况下,我们研究教师如何仍然能够教学习者实现更快的收敛速度比传统的被动学习。我们提出了一个主动教师模型,可以主动查询学习者(即,使学习者参加考试)以估计学习者的状态,并可证明地引导学习者实现更快的收敛。给出了示教复杂度和查询复杂度的例子。在实验中,我们比较了主动教师和全知教师,验证了主动教师模型的有效性。
2018-06-05 cs.LG stat.ML
RELAY: Selective Self-Distillation with Adaptive Hand-off for Rubric-Based Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
RELAY是一种用于基于评分标准的强化学习的自适应交接选择性自蒸馏方法,通过分阶段结合冻结教师的选择性蒸馏与GRPO,在四个模型-领域对的RaR-Medicine任务上取得优于GRPO的性能。
2026-11-10 cs.AI cs.CL cs.LG
Hindsight-Anchored Policy Optimization: Learning Through Hindsight with Thompson Sampling-Inspired Adaptive Gating
Amazon(亚马逊)
本文提出HAPO策略优化方法,通过合成成功注入机制和 Thompson 采样启发的门控机制,解决稀疏奖励下策略优化的分布偏置问题,实现渐近一致性。
2026-09-15 cs.AI cs.CL cs.LG
MORAL: Aligning AI with Human Norms through Multi-Objective Reinforced Active Learning
Delft University of Technology(代尔夫特理工大学)
从演示和成对偏好中推断奖励函数是将强化学习(RL)代理与人类意图对齐的好方法。然而,现有技术的方法通常集中于学习单个奖励模型,从而使得难以权衡来自多个专家的不同奖励函数。我们提出了多目标强化主动学习(MORAL),一种新的方法,结合不同的示范社会规范到帕累托最优的政策。通过保持标量化权重的分布,我们的方法能够交互式地将深度RL代理调整到各种偏好,同时消除了计算多个策略的需要。我们实证证明了道德的有效性,在两种情况下,模型的交付和紧急任务,需要一个代理人采取行动的规范冲突的存在。总的来说,我们认为我们的研究是朝着多目标RL学习奖励迈出的一步,弥合了当前奖励学习和机器伦理文献之间的差距。
2021-12-30 cs.AI cs.LG
Subspace Inference Enables Efficient Active Reward Learning from Preferences
University of Southern California(南加州大学)
本文提出PreferenceEKF方法,通过低维子空间的扩展卡尔曼滤波实现高效序贯贝叶斯推理,在D4RL等基准上较其他贝叶斯深度学习方法更优,助力RLHF的高效奖励学习。
2026-09-04 cs.AI cs.LG cs.RO
Active Inverse Reward Design
UC Berkeley(加州大学伯克利分校)
提出主动逆向奖励设计,通过查询设计者比较奖励函数来高效学习真实奖励,优于现有IRD方法,并能从线性查询中推断非线性奖励。
2019-11-06 cs.AI cs.LG stat.ML
Human AI interaction loop training: New approach for interactive reinforcement learning
AI Redefined, AI-R Inc.
强化学习(RL)在机器学习的各种决策任务中提供了有效的结果,其中代理从独立的奖励函数学习。然而,它提出了独特的挑战,大量的环境状态和动作空间,以及在确定奖励。这种复杂性来自于本文所考虑的环境的高维性和连续性,需要大量的学习试验来通过强化学习来学习环境。模仿学习(IL)为教师提供了一个很有前途的解决方案。在IL中,学习过程可以利用人工辅助和/或对代理和环境的控制。在这项研究中,一个人类教师和一个代理学习者被认为是。教师参加Agent训练,以应对环境,解决特定目标,并实现预定义的目标。然而,在这种模式下,现有的IL方法的缺点是期望在长期的问题广泛的演示信息。本文提出了一种新的方法结合IL与不同类型的RL方法,即状态动作奖励状态动作(SARSA)和异步优势演员评论家(A3 C)代理,以克服这两个独立的系统的问题。它解决了如何有效地利用教师的反馈,无论是直接的二进制或间接详细的代理学习者学习顺序决策政策。在各种OpenAI Gym环境中的研究结果表明,这种算法方法可以与不同的组合相结合,显着减少了人类的努力和繁琐的探索过程。
2020-03-09 cs.AI cs.LG stat.ML
Active Reinforcement Learning: Observing Rewards at a Cost
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);University of Montreal(蒙特利尔大学);Future of Humanity Institute(人类未来研究所);University of Oxford(牛津大学);AI Impacts
主动强化学习(ARL)是强化学习的一种变体,其中智能体不观察奖励,除非它选择支付查询成本c > 0。ARL的核心问题是如何量化奖励信息的长期价值。即使是在多武器的强盗中,计算这些信息的价值也是棘手的,我们不得不依靠计算机。我们提出并评估了几种启发式方法ARL多武装土匪和(表格)马尔可夫决策过程,并讨论和说明了一些具有挑战性的方面的ARL问题。
2020-11-24 cs.AI cs.LG stat.ML
Explainable Active Learning (XAL): An Empirical Study of How Local Explanations Impact Annotator Experience
Stony Brook University(石溪大学);IBM Research AI(IBM研究院人工智能部门)
机器学习技术的广泛采用为能够训练ML模型的人创造了快速增长的需求。一些人主张使用“机器教师”一词来指代将领域知识注入ML模型的人。一个有前途的学习范例是主动学习(AL),通过它,模型智能地选择实例来向机器教师查询标签。然而,在当前的人工智能设置中,人类-人工智能界面仍然是最小的和不透明的。我们开始考虑将人工智能解释作为教学机器的人机界面的核心元素。当一个人类学生学习时,提出自己的推理并征求老师的反馈是一种常见的模式。当ML模型学习并仍然犯错误时,人类教师应该能够理解错误背后的推理。当模型成熟时,机器教师应该能够认识到它的进步,以便信任并对他们的教学结果充满信心。为了实现这一愿景,我们提出了一种新的可解释主动学习(XAL)范式,通过将最近兴起的可解释AI(XAI)领域的技术引入AL设置。我们进行了一项实证研究,比较模型的学习成果,反馈内容和经验与XAL,传统的AL和协同学习(提供模型的预测,没有解释)。我们的研究显示了人工智能解释作为机器教学接口的好处-支持信任校准并实现丰富形式的教学反馈,以及潜在的缺点-与模型判断和认知工作量的锚定效应。我们的研究还揭示了调解机器教师对AI解释的接受的重要个人因素,包括任务知识,AI经验和认知需求。通过反思的结果,我们建议未来的方向和设计的XAL的影响。
2020-09-30 cs.AI cs.HC cs.LG