BERT as a Teacher: Contextual Embeddings for Sequence-Level Reward
ETH Zürich(苏黎世联邦理工学院)
在许多学习框架中,根据一组参考来衡量生成的序列的质量是一个核心问题,无论是计算分数,分配奖励还是执行区分。尽管模型架构有了很大的进步,但独立于引用数量的度量仍然基于n-gram估计。我们表明,底层的操作,计数的话,比较计数,可以提升到嵌入的话,比较嵌入。对BERT嵌入的深入分析表明,经验表明,可以采用上下文嵌入来捕获所需的依赖关系,同时通过适当的修剪和平滑技术保持必要的可扩展性。我们将无条件生成作为一个强化学习问题,并表明我们的奖励函数在这个具有挑战性的设置中确实提供了比n元奖励更有效的学习信号。
2020-03-05 cs.CL cs.LG stat.ML
TIDE: Teacher-Student Transition via Informative Distillation and Exploration for Agentic RL
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
针对多轮智能体强化学习中教师蒸馏与奖励优化固定混合的局限,提出TIDE方法,通过全局分歧趋势调度OPD到RL的交接、局部联合分配两种信号,实现自适应协调,提升训练效果。
2026-09-29 cs.AI cs.LG
MENTOR: Reinforcement Learning via Flexible Teacher-Optimized Rewards for Tool-Use Distillation
Seoul National University of Science and Technology(首尔科学技术大学);Korea Advanced Institute of Science and Technology(韩国科学技术院);LG CNS
提出MENTOR方法,通过灵活的教师优化奖励结构,平衡行为对齐与下游性能,提升小模型在工具使用任务中的域外泛化能力。
2026-08-28 cs.AI cs.CL
Guide, Then Let Go: Gap-Adaptive Teacher Scheduling for Sparse-Reward Agentic RL
DUT(大连理工大学);XJTU(西安交通大学);THU(清华大学);UCAS(中国科学院大学);BFSU(北京外国语大学);SEU(东南大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Kuaishou(快手)
针对稀疏奖励智能体强化学习的冷启动问题,提出基于师生性能差距自适应的教师调度方法GATS,动态调整蒸馏权重,在教师优于学生时提供指导,差距逆转后撤回,提升平均成功率4.37%-11.87%。
2026-09-30 cs.AI
On the Off-Policy Teacher in On-Policy Distillation
Washington University in St. Louis(圣路易斯华盛顿大学);AWS AI Labs(AWS AI 实验室);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
针对在线策略蒸馏中教师面对学生生成前缀时续写性能下降的问题,提出SCOUT协同训练框架,通过可验证奖励的强化学习适配教师,提升蒸馏效果。
2026-10-01 cs.AI cs.CL cs.LG
A Good Self-Teacher Meets the Student Where They Are: Joint On-Policy Learning and Teaching
Perplexity;NVIDIA(英伟达)
本文提出JOLT方法,通过联合训练特权教师与非特权学生,利用KL正则化目标与在线策略蒸馏,解决强化学习稀疏奖励问题,提升训练效率与性能。
2026-10-08 cs.AI cs.LG
Agentic Reinforcement Learning with Self-Distilled Reward Shaping
针对智能体强化学习中稀疏奖励无法分配中间决策信用的问题,提出ADRS框架,通过校准教师分数等提升多轮语言智能体在长时域任务的性能,且增益稳定。
2026-08-05 cs.AI cs.CL cs.LG
From Imitation to Reward Discovery: On-Policy Warmup for Agentic RL
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
本文提出同策略预热(OPW)方法,通过教师监督学生自身交互轨迹进行蒸馏,为智能体RLVR提供有效初始化,理论证明其加速奖励发现并提升最终性能。
2026-10-01 cs.AI cs.LG
On Teacher Hacking in Language Model Distillation
Google DeepMind(谷歌DeepMind)
本文提出并研究语言模型蒸馏中的教师黑客现象,通过受控实验发现固定离线数据会引发该问题且可由收敛规律偏离检测,而在线数据生成与数据多样性可有效缓解。
2025-02-04 cs.AI cs.CL cs.LG
When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
提出UECR-GRPO,通过熵校准信用分配统一在线蒸馏与GRPO,在响应和词元级别整合验证器与教师信号,在五个数学推理基准上超越最强基线。
2026-09-24 cs.AI cs.LG
TGRL: An Algorithm for Teacher Guided Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Technion - Israel Institute of Technology(以色列理工学院)
TGRL通过比较有无教师监督的反事实表现,动态自动平衡教师引导与奖励学习,在无需超参数调优的情况下在多个领域优于强基线。
2024-02-20 cs.LG
Masking Teacher and Reinforcing Student for Distilling Vision-Language Models
Masters通过掩码教师和强化学生的方法,解决视觉-语言模型蒸馏中的大小差距问题,提升学生模型的表示学习能力。
2025-12-23 cs.AI cs.CV cs.LG
RM-OPD: On-Policy Distillation for Generative Reward Models
Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学);Xiaohongshu Inc.(小红书)
针对Mix-RL训练GRM的奖励稀疏与跨域干扰问题,提出两阶段框架RM-OPD,通过域专属教师模型与路由策略内蒸馏等技术,在多基准上实现性能超越,展现教师超越效应。
2026-10-16 cs.CL cs.LG
SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation
University of Illinois(伊利诺伊大学);UC San Diego(加州大学圣迭戈分校);Rochester Institute of Technology(罗切斯特理工学院);Clemson University(克莱姆森大学);Miami University(迈阿密大学)
SIPO通过对比式自我教师提供令牌级密集信用分配,统一强化学习与在线策略自蒸馏,在推理和代码生成基准上优于RLVR和OPSD基线。
2026-09-30 cs.AI cs.CL
Hints, Critics, and Teachers: Prior Injection for Sparse-Reward RL in Vision-Language Math Reasoning
该研究针对视觉-语言数学推理的稀疏奖励强化学习问题,注入文本、分布、价值三类先验训练11种方法,发现先验有效传递可提升性能,还揭示了域内子集与跨域迁移的相关性反转现象,提出HL-Gauss损失替换MSE损失可提升14.4个百分点的准确率。
2026-08-25 cs.AI cs.LG
Teacher-Guided Tool Learning for Small Language Models via Bidirectional KL Constraints
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Security Capability Center(360安全能力中心);Nanjing University(南京大学);Tongji University(同济大学);Shanghai Jiao Tong University(上海交通大学)
针对小型语言模型工具学习的挑战,提出SeTPO方法,结合双向KL约束,在BFCL v4和API Bank数据集上实现优于基线的性能。
2026-10-14 cs.CL cs.LG
Reward-Aligned Distillation
UC San Diego(加州大学圣迭戈分校);Purdue University(普渡大学);AWS AI Labs(亚马逊云科技人工智能实验室);Amazon(亚马逊公司)
本文提出奖励对齐蒸馏(RAD)框架,通过双层框架基于蒸馏信号对学生模型奖励的预测效果加权,在竞赛数学和代码基准上显著提升了 Qwen 系列等大语言模型的性能。
2026-10-14 cs.CL cs.LG
RELAY: Selective Self-Distillation with Adaptive Hand-off for Rubric-Based Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
RELAY是一种用于基于评分标准的强化学习的自适应交接选择性自蒸馏方法,通过分阶段结合冻结教师的选择性蒸馏与GRPO,在四个模型-领域对的RaR-Medicine任务上取得优于GRPO的性能。
2026-11-10 cs.AI cs.CL cs.LG
Hindsight-Anchored Policy Optimization: Learning Through Hindsight with Thompson Sampling-Inspired Adaptive Gating
Amazon(亚马逊)
本文提出HAPO策略优化方法,通过合成成功注入机制和 Thompson 采样启发的门控机制,解决稀疏奖励下策略优化的分布偏置问题,实现渐近一致性。
2026-09-15 cs.AI cs.CL cs.LG
Teacher-Guided Policy Optimization for On-Policy Reasoning Distillation under Large Policy Divergence
School of Computer Science and Engineering, Northeastern University, China(东北大学计算机科学与工程学院);Tsinghua University(清华大学);Meituan(美团);Meta AI;NiuTrans Research, Shenyang, China(新译研究院,沈阳,中国)
针对在线蒸馏中教师与学生策略差异大时反向KL监督失效的问题,提出教师引导策略优化(TGPO),通过教师直接指导学生上下文的token级生成并结合RLVR奖励,在推理基准上优于现有方法。
2026-11-10 cs.AI cs.LG
SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation
针对多奖励强化学习中GDPO难以平衡不同粒度奖励信号的问题,提出SMOPD两阶段训练方法,在1.5B、3B、7B骨干模型上的互补与冲突奖励设置下性能优于GDPO。
2026-08-24 cs.AI cs.CL cs.LG
AutoDIME: Automatic Design of Interesting Multi-Agent Environments
OpenAI(开放人工智能研究中心)
设计一个RL代理可以学习有趣和有用的技能的环境分布是一个具有挑战性和理解不足的任务,对于多代理环境,困难只会加剧。一种方法是训练第二个RL代理,称为教师,谁的样本环境,有利于学生代理的学习。然而,大多数以前的建议,教师奖励不直接推广到多智能体设置。我们研究了一组来自预测问题的内在教师奖励,这些问题可以应用于多智能体设置,并在Mujoco任务中对其进行评估,例如多智能体Hide and Seek以及诊断单智能体迷宫任务。在所考虑的内在奖励中,我们发现价值分歧在不同任务中最为一致,导致在捉迷藏和迷宫任务中更快、更可靠地出现高级技能。考虑的另一个候选内在奖励,价值预测误差,在捉迷藏中也很好,但在随机环境中容易受到噪音电视风格的干扰。政策分歧在迷宫任务中表现良好,但在捉迷藏中没有加快学习。我们的研究结果表明,内在的教师奖励,特别是价值分歧,是一个很有前途的方法,自动化的单和多代理环境设计。
2022-03-04 cs.AI cs.LG cs.MA
Multi-Block Diffusion Language Models
Shanghai Jiao Tong University(上海交通大学);Xi’an Jiao Tong University(西安交通大学);Huawei(华为)
提出多块教师强制(MultiTF)训练策略,将单块扩散语言模型扩展为多块扩散(MultiBD),通过块缓冲机制实现并行解码,提升令牌吞吐量和准确率。
2026-07-01 cs.CL cs.LG
Weak-to-Strong Generalization via Direct On-Policy Distillation
SIA-Lab of Tsinghua AIR and ByteDance Seed(清华-字节跳动联合研究中心SIA实验室);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Peking University(北京大学)
针对可验证奖励RL在大模型上成本高的问题,提出Direct-OPD方法迁移小模型RL的策略偏移,无需在大模型上跑RL即可实现性能提升。
2026-07-09 cs.AI cs.CL cs.LG
Reward Design for Reinforcement Learning Agents
Saarland University(萨尔大学)
本论文研究强化学习中的奖励设计,提出教师驱动、自适应和元学习三种方法,以加速智能体收敛至最优行为。
2025-03-27 cs.LG
Selective Agent Guidance via Entropy: Learning Autonomous Policies from Imperfect VLM Teachers
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Torino(都灵大学)
该研究提出SAGE框架,仅在智能体不确定时查询VLM教师,将引导提炼为轻量级RL策略,在稀疏奖励任务中学习的策略优于无引导RL,还减少了VLM使用量。
2026-09-03 cs.AI cs.CL cs.LG
Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents
Huawei Technologies Ltd.(华为技术有限公司);The Hong Kong University of Science Technology(香港科技大学)
该研究针对深度搜索智能体信用分配稀疏问题,提出 SSPO 方法,通过证据锚点与步骤级优势权重优化策略,在多个数据集上性能优于 GRPO 且开销低。
2026-08-14 cs.AI cs.LG
Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation
SIA-Lab of Tsinghua AIR and ByteDance Seed(清华大学AIR与字节跳动种子SIA实验室);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
本研究针对多教师在线蒸馏(M-OPD)的能力不平衡问题,提出 Open-MOPD 框架,通过三种机制将提升空间恢复率从 35.6% 提升至 83.4%,并开源了相关方案与评估套件。
2026-08-20 cs.AI cs.CL cs.LG
The Weakest Link: Distilling LLM Reasoning with Worst-Case Constrained Reinforcement Learning
Huawei Heisenberg Research Center(华为海森堡研究中心);UCL Centre for AI(伦敦大学学院人工智能中心)
针对LLM推理蒸馏中奖励黑客与平均化缺陷,提出最坏情况约束RL方法,通过无增强MDP变换保留硬约束,显著扩展准确率-保真度帕累托前沿,实现最高严格推理成功率。
2026-10-02 cs.AI cs.LG
Automatic Curriculum Learning with Gradient Reward Signals
University of California, Berkeley(加州大学伯克利分校)
本文提出利用梯度范数作为奖励信号,让教师模型动态调整课程,以加速深度强化学习并提升泛化能力,在多个环境中验证了有效性。
2023-12-21 cs.AI cs.LG
Learning Rewards from Linguistic Feedback
Princeton University(普林斯顿大学)
我们探索无约束的自然语言反馈作为人工智能体的学习信号。人类使用丰富多样的语言进行教学,但大多数关于语言交互学习的先前工作都假设了特定形式的输入(例如,命令)。我们提出了一个一般的框架,不做这个假设,使用基于方面的情感分析分解反馈到情感的马尔可夫决策过程的功能。然后,我们执行逆强化学习的模拟,回归特征上的情感,以推断教师的潜在奖励功能。为了评估我们的方法,我们首先收集了一个合作任务中的教学行为语料库,其中教师和学习者都是人类。我们实现了三个人工学习器:基于情感的“字面”和“语用”模型,以及一个端到端训练的推理网络来预测潜在的奖励。然后,我们重复我们最初的实验,并将它们与人类教师配对。这三种方法都成功地从交互式的人类反馈中学习。情感模型优于推理网络,“务实”模型接近人类的表现。因此,我们的工作提供了洞察自然语言反馈的信息结构,以及利用它进行强化学习的方法。
2021-07-03 cs.AI
RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
RetireOPD通过自适应退役机制,在智能体强化学习中利用技能条件化教师进行在策略蒸馏,显著提升ALFWorld和WebShop任务性能。
2026-09-29 cs.AI cs.CL
From Trajectories to Prefixes: Reusing Teacher Trajectories via Replayed Prefixes and Online Continuation
Tianjin University(天津大学);Peking University(北京大学);Tianjin University of Technology(天津工业大学)
研究针对小语言模型蒸馏低效问题,提出Prefix-GRPO强化学习框架,将教师轨迹分解,通过重放前缀恢复中间状态并在线延续,统一前缀与延续学习,实验证明其优于蒸馏和标准RL基线,凸显前缀令牌优化的重要性。
2026-11-09 cs.AI cs.LG
OGER: A Robust Offline-Guided Exploration Reward for Hybrid Reinforcement Learning
Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学深圳研究院);Hithink RoyalFlush Information Network, Hangzhou, China(杭州Hithink RoyalFlush信息网络);Computer and Information Science, University of Macau, Macau, China(澳门大学计算机与信息科学学院)
提出OGER框架,通过多教师协作训练和基于熵的辅助探索奖励,统一离线教师引导与在线强化学习,提升大语言模型在数学推理和泛化任务中的探索能力。
2026-05-27 cs.AI
MeSD: Multi-Evidence Self-Distillation for VideoLLM
UCAS(中国科学院大学);Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd(星辰AGI实验室,中国电信人工智能科技(北京)有限公司);BJTU(北京交通大学);BUAA(北京航空航天大学);ZJU(浙江大学)
MeSD提出多证据自蒸馏框架,通过三个共享参数的证据条件教师和验证引导优化,为VideoLLM提供密集token级监督,在多个视频基准上超越强化学习和自蒸馏基线。
2026-10-06 cs.AI cs.CV
Gains and Collapse in On-Policy Distillation:A Reinforcement Learning Perspective
Zhejiang University(浙江大学);Westlake University(西湖大学)
本文从强化学习视角解释在线策略蒸馏(OPD)的性能提升与崩溃机制,发现教师隐式奖励放大学生行为,并通过屏蔽不健康响应和SFT初始化缓解崩溃。
2026-10-05 cs.AI cs.CL
Scaling Reasoning Efficiently via Relaxed On-Policy Distillation
REOPOLD通过放松在线策略蒸馏的约束,提升模型训练效率和推理扩展能力,尤其在视觉推理任务中表现突出。
2026-10-28 cs.CL cs.LG
DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation
Indian Institute of Science(印度科学理工学院);Snap Inc.(Snap公司)
DiffGate提出结果门控目标,结合GRPO与选择性有界教师指导,仅对失败轨迹按难度施加教师监督,在Qwen3模型上提升代码和数学的pass@8,改善解决方案覆盖。
2026-10-06 cs.LG
On-policy Distillation with Verifiable Reward
LeapLab, Tsinghua University(清华大学LeapLab);Beihang University(北京航空航天大学);SMS, Peking University(北京大学SMS);NLPLab, Tsinghua University(清华大学NLPLab)
本研究提出OPDVR方法,无缝结合OPD与RLVR且不增加超参数,经六个推理基准实验验证其性能优于标准OPD。
2026-09-30 cs.AI cs.LG
Policy composition in reinforcement learning via multi-objective policy optimization
DeepMind(深度思维);Sony AI(索尼人工智能)
本文提出在多目标策略优化中引入教师策略作为额外目标,使智能体能组合并扩展教师策略以加速学习并提升任务性能,尤其在人形行走任务中通过控制教师选择获得更优奖励。
2023-08-30 cs.LG
Rethinking Large Language Model Distillation: A Constrained Markov Decision Process Perspective
Huawei Noah’s Ark Lab(华为诺亚实验室);Huawei R&D Munich(华为慕尼黑研发部);UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心)
本文从约束马尔可夫决策过程视角研究LLM蒸馏,提出无需部署期访问教师模型或状态增强的奖励优化框架,在数学推理任务上提升约束满足率与推理能力。
2025-09-26 cs.AI cs.LG
Experience is the Best Teacher: Motivating Effective Exploration in Reinforcement Learning for LLMs
Dalian University of Technology(大连理工大学);Zhejiang University(浙江大学);Chinese Academy of Sciences(中国科学院)
本文提出HeRL框架,通过引导经验提升LLM的探索效率,有效学习高质量样本,实验显示其优于基线方法并能通过经验自我改进。
2026-03-20 cs.AI
CTDS: Centralized Teacher with Decentralized Student for Multi-Agent Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Huawei Cloud(华为云)
由于许多多智能体强化学习(MARL)任务的部分可观测性和通信约束,集中训练分散执行(CTDE)已成为最广泛使用的MARL范式之一。在CTDE中,集中式信息专用于学习混合网络的团队奖励分配,而个人Q值的学习通常基于局部观察。全局观测的效用不足将降低具有挑战性的环境中的性能。为此,本工作提出了一种新的集中式教师与分散式学生(CTDS)的框架,其中包括一个教师模型和一个学生模型。具体而言,教师模型通过学习以全局观测为条件的个体Q值来分配团队奖励,而学生模型利用部分观测来近似教师模型估计的Q值。通过这种方式,CTDS平衡了训练期间全局观察的充分利用和分散执行在线推理的可行性。我们的CTDS框架是通用的,可以应用于现有的CTDE方法,以提高其性能。我们进行了一组具有挑战性的星际争霸II微观管理任务的实验,以测试我们的方法的有效性,结果表明,CTDS优于现有的基于值的MARL方法。
2022-03-16 cs.LG cs.MA
ATOD: Annealed Turn-Aware On-Policy Distillation for Multi-Turn Agentic Tasks
Tencent Inc.(腾讯公司);Tsinghua University(清华大学)
提出ATOD混合在线蒸馏算法,通过退火式OPD-RL调度和轮次级重加权,解决长程交互任务中OPD性能天花板和RL早期低效问题,在三个基准上超越教师模型。
2026-08-04 cs.AI
QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards
Amazon(亚马逊);Georgia Institute of Technology(佐治亚理工学院)
针对基于评分标准的强化学习中查询分布固定导致的评分标准质量瓶颈,提出QUBRIC框架,通过协同设计查询与评分标准,利用教师关键点、对比生成和可学习性过滤,在ArenaHard上取得+5.5点提升,并泛化到法律、道德和叙事推理任务。
2026-09-01 cs.AI cs.CL
H$^2$SD: Hybrid Hindsight Self-Distillation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Harbin Institute of Technology(哈尔滨工业大学);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
研究针对强化学习中奖励监督问题,提出 H$^2$SD 混合事后自蒸馏框架。成功轨迹用教师概率调更新幅度,失败轨迹基于参考提示调整教师并最小化反向 KL 散度,实验表明该框架优于基线,能稳定优化且效率良好。
2026-10-14 cs.CL cs.LG
Human AI interaction loop training: New approach for interactive reinforcement learning
AI Redefined, AI-R Inc.
强化学习(RL)在机器学习的各种决策任务中提供了有效的结果,其中代理从独立的奖励函数学习。然而,它提出了独特的挑战,大量的环境状态和动作空间,以及在确定奖励。这种复杂性来自于本文所考虑的环境的高维性和连续性,需要大量的学习试验来通过强化学习来学习环境。模仿学习(IL)为教师提供了一个很有前途的解决方案。在IL中,学习过程可以利用人工辅助和/或对代理和环境的控制。在这项研究中,一个人类教师和一个代理学习者被认为是。教师参加Agent训练,以应对环境,解决特定目标,并实现预定义的目标。然而,在这种模式下,现有的IL方法的缺点是期望在长期的问题广泛的演示信息。本文提出了一种新的方法结合IL与不同类型的RL方法,即状态动作奖励状态动作(SARSA)和异步优势演员评论家(A3 C)代理,以克服这两个独立的系统的问题。它解决了如何有效地利用教师的反馈,无论是直接的二进制或间接详细的代理学习者学习顺序决策政策。在各种OpenAI Gym环境中的研究结果表明,这种算法方法可以与不同的组合相结合,显着减少了人类的努力和繁琐的探索过程。
2020-03-09 cs.AI cs.LG stat.ML
Reward Training Wheels: Adaptive Auxiliary Rewards for Robotics Reinforcement Learning
George Mason University(乔治梅森大学)
针对机器人强化学习中人工设计辅助奖励成本高、无法自适应的问题,提出师生框架RTW,可动态调整辅助奖励权重,在导航和越野任务中性能与训练效率均优于专家设计方案,实体实验也验证了其有效性。
2025-03-19 cs.AI cs.RO
SD-Search: On-Policy Hindsight Self-Distillation for Search-Augmented Reasoning
Kuaishou Technology(快手科技)
本文提出SD-Search,一种基于在线策略hindsight自监督学习的搜索增强推理方法,通过自身策略生成细粒度监督信号,无需外部教师模型或额外标注。
2026-05-18 cs.AI cs.CL cs.IR
RL-Native Distillation: Exploiting Scored Trajectories for Few-Step Image Generation
Shanghai Jiao Tong University(上海交通大学);Taobao & Tmall group of Alibaba(阿里巴巴淘宝天猫集团)
该研究提出REST框架,将RL与蒸馏联合训练,通过AMD优化,实现少步无CFG图像生成,性能优于40步RL教师,成本低、迭代少。
2026-09-29 cs.AI cs.CV
ReDiF: Resource-Efficient Few-Step Diffusion Distillation via Reinforcement Learning
London School of Economics(伦敦经济学院)
ReDiF通过强化学习方法实现少步扩散模型的知识蒸馏,以更高效的方式生成高质量样本。
2026-10-01 cs.CV cs.LG
GTR-Turbo: Merged Checkpoint is Secretly a Free Teacher for Agentic VLM Training
Tsinghua University(清华大学);Tencent Hunyuan(腾讯文生);Peking University(北京大学)
GTR-Turbo通过合并检查点作为免费教师,提升了多模态代理训练的效率和效果。
2026-03-11 cs.AI cs.CV
FM-IRL: Flow-Matching for Reward Modeling and Policy Regularization in Reinforcement Learning
提出利用流匹配(FM)模型作为教师,通过奖励建模和策略正则化,指导简单MLP结构的学生策略进行在线强化学习,从而解决FM策略在线交互不稳定和效率低的问题。
2026-06-01 cs.LG
Dual Active Learning for Reinforcement Learning from Human Feedback
Mitchell E. Daniels, Jr. School of Business, Purdue University(普渡大学米切尔·E·丹尼尔斯 Jr. 商学院);London School of Economics and Political Science(伦敦政治经济学院)
本文提出一种双重主动奖励学习算法,同时选择对话和教师以高效获取人类反馈,并结合悲观离线强化学习实现LLM对齐,理论证明其方差最优性和次优性收敛速度,实验验证其优于现有方法。
2026-11-10 cs.LG stat.ML