Reward-Machine-Guided, Self-Paced Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出奖励机引导的自定进度强化学习算法，通过将任务结构先验同时融入策略值函数更新和课程生成，显著提升了长期规划任务中的学习可靠性、课程效率与稳定性。
2023-05-25 cs.LG
Sculpting Features from Noise: Reward-Guided Hierarchical Diffusion for Task-Optimal Feature Transformation
Arizona State University（亚利桑那州立大学）；National University of Singapore（新加坡国立大学）
针对现有特征变换方法组合空间大、易陷局部最优的问题，提出DIFFT框架，将特征变换转为奖励引导生成任务，结合VAE、LDM与半自回归解码器，在14个基准上精度、鲁棒性优于SOTA且耗时更低。
2025-05-21 cs.LG
Graph Guided Diffusion: Unified Guidance for Conditional Graph Generation
King Juan Carlos University（胡安·卡洛斯国王大学）；Rice University（莱斯大学）
提出GGDiff框架，将条件图生成视为随机控制问题，统一梯度、控制和零阶引导策略，实现预训练扩散模型在可微与不可微奖励下的零样本条件生成，在基序约束、公平性和链接预测任务中表现优异。
2025-05-26 cs.LG
Guided Dialog Policy Learning: Reward Estimation for Multi-Domain Task-Oriented Dialog
Tsinghua University（清华大学）
对话策略决定了面向任务的对话系统的响应内容和响应方式，对有效的对话起着至关重要的作用。许多研究应用强化学习来学习具有奖励功能的对话策略，这需要精心设计和预先指定的用户目标。随着跨多个领域处理复杂目标的需求不断增长，这种手动设计的奖励功能无法负担处理现实世界任务的复杂性。为此，我们提出了引导对话策略学习，这是一种基于对抗性逆强化学习的新型算法，用于多领域面向任务的对话中的联合奖励估计和策略优化。所提出的方法估计奖励信号，并推断用户的目标，在对话会话。奖励估计器评估状态-动作对，以便它可以在每个对话回合指导对话策略。在多域对话数据集上的大量实验表明，由学习的奖励函数指导的对话策略比最先进的基线实现了显着更高的任务成功率。
2019-08-28 cs.CL cs.LG
Beyond Reward: Offline Preference-guided Policy Optimization
Zhejiang University（浙江大学）；Westlake University（西湖大学）
针对离线偏好强化学习中单独学习奖励函数的信息瓶颈问题，提出OPPO范式，通过双目标迭代优化直接建模轨迹与偏好，性能优于现有基准方法。
2023-06-09 cs.LG
Test-time reward-guided alignment of language models by importance sampling on pre-logit space
NTT, Inc.（NTT公司）；Toyohashi University of Technology（东邦大学）；The University of Osaka（大阪大学）
提出一种基于预逻辑空间自适应重要性采样的测试时对齐方法AISP，通过高斯扰动和重要性采样优化奖励期望，在样本效率上优于最佳-of-n采样和其他测试时对齐方法。
2026-06-03 cs.AI cs.LG
HARGO: Heterogeneity-Aware Reward-Guided Optimization for RL Post-Training of LLMs on HPC Tasks
针对HPC任务的LLM RL后训练的异质性问题，提出HARGO方法，通过置信度调制优势实现逐响应重要性加权，在四项HPC任务的三项核心指标上均取得最优性能。
2026-07-31 cs.LG
Navigate the Unknown: Enhancing LLM Reasoning with Intrinsic Motivation Guided Exploration
City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科学与技术大学）
IMAGINE通过内在动机引导的探索增强大语言模型推理能力，提升复杂任务性能22.23%
2026-01-30 cs.LG
Symbol Guided Hindsight Priors for Reward Learning from Human Preferences
Arizona State University（亚利桑那州立大学）；Apple（苹果公司）
强化学习（RL）代理的奖励是具有挑战性的。基于偏好的强化学习（PbRL）通过从轨迹集的反馈中推断奖励来减轻这些挑战。然而，PbRL的有效性受到可靠地恢复目标奖励结构所需的反馈量的限制。我们提出了优先于奖励（PRIOR）框架，它将奖励函数的结构和偏好反馈的先验知识纳入奖励学习过程。将这些先验知识作为奖励学习目标的软约束，可以减少一半所需的反馈量，并提高整体奖励恢复。此外，我们证明，使用抽象的状态空间的先验知识的计算进一步提高了奖励学习和代理的性能。
2022-10-19 cs.AI cs.CL cs.LG
Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning
USD AI Research Lab（USD人工智能研究实验室）
提出ULPS框架，结合校准的大语言模型与不确定性估计，通过A*轨迹微调BERT模型提供动作建议，并用熵机制平衡LLM引导与PPO策略，在MiniGridUnlockPickup基准上显著提升成功率、奖励效率和样本复杂度。
2026-06-04 cs.LG
A Unified Density Operator View of Flow Control and Merging
ETH Zürich（苏黎世联邦理工学院）；ETH AI Center（ETH人工智能中心）
本文提出了一种统一的概率空间框架，通过奖励引导的流融合方法，实现流控与融合的统一处理，并在分子设计和构象生成中展示了其应用。
2026-02-08 cs.LG
Reward-Guided Discrete Diffusion via Clean-Sample Markov Chain for Molecule and Biological Sequence Design
本文提出 Clean-Sample Markov Chain 方法，通过清洁样本构建马尔可夫链，实现离散扩散模型的高效奖励引导采样，提升分子和生物序列生成效果。
2026-02-10 cs.LG q-bio.QM
Gradient-Guided Reward Optimization for Inference-time Alignment
Purdue University（普渡大学）
提出梯度引导奖励优化(GGRO)方法，通过解码时注入梯度信号生成的引导令牌，在推理时微调生成轨迹，提升安全性、有用性和推理性能，并增强对奖励攻击的鲁棒性。
2026-06-08 cs.CL cs.LG
Entropy-Guided Data-Efficient Training for Multimodal Reasoning Reward Models
School of Software, Tsinghua University（清华大学软件学院）；AMAP, Alibaba Group（阿里巴巴集团AMAP）
本文提出熵引导训练方法，通过熵指导数据筛选和训练策略提升多模态推理奖励模型的性能。
2026-02-02 cs.AI cs.LG
Locally-Guided Actor-Critic: Training a Goal-conditioned Actor with a Subgoal-aware Critic
ISIR；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
针对目标条件强化学习长 horizon 稀疏奖励的问题，该文提出 LG-AC 方法，以子目标条件值函数总和实现密集事后重标记，在目标链任务中性能优于 RIS、RS 等方法。
2026-09-01 cs.LG
Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models
Alibaba Inc.（阿里巴巴集团）
本文提出Zooter，一种奖励引导的路由方法，通过蒸馏奖励训练路由函数，将查询分配给具有专业知识的LLM，实现高效集成，平均性能优于最佳单模型。
2023-11-15 cs.CL cs.LG
Predicting and improving test-time scaling laws via reward tail-guided search
Department of Statistical Sciences, University of Toronto（多伦多大学统计科学系）；Department of AI and Data Science, University of Hong Kong（香港大学人工智能与数据科学系）
本文提出通过奖励尾部引导搜索预测并改进LLM测试时间扩展规律，通过动态分配计算资源提升推理能力。
2026-02-01 cs.LG stat.ML
Towards Cost-Effective Reward Guided Text Generation
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Huawei Technologies（华为技术）
本文提出一种只需单次调用即可同时为所有候选token评分的奖励模型架构，显著降低奖励引导文本生成的推理开销，并在性能上保持竞争力。
2025-07-07 cs.CL cs.LG
EBaReT: Expert-guided Bag Reward Transformer for Auto Bidding
Kuaishou Technology（快手科技）
本文提出专家引导袋式奖励变换器（EBaReT），通过专家轨迹补充、PU学习判别器、专家引导推理和袋式平滑奖励函数，解决自动竞价中数据质量差与奖励不确定性问题，实验证明其性能优于现有方法。
2025-07-22 cs.IR cs.LG
A Critical Look At Tokenwise Reward-Guided Text Generation
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；Western University（西方大学）
针对Token级奖励引导文本生成，本文指出全序列奖励模型不适用于部分序列评分，提出在部分序列上训练Bradley-Terry模型并自回归采样，其策略与两个RLHF策略比率成正比，性能优于先前方法且无需大规模微调。
2025-09-26 cs.CL cs.LG
Enhancing Reasoning Capabilities in SLMs with Reward Guided Dataset Distillation
Shreyansh Padarha（独立研究者）
本文提出AdvDistill框架，通过奖励引导的数据集蒸馏利用教师模型多次生成及规则验证器奖励作为权重训练学生模型，显著提升小型语言模型在数学和复杂推理任务上的性能。
2025-06-25 cs.AI cs.CL cs.LG
Preference-Guided Learning for Sparse-Reward Multi-Agent Reinforcement Learning
School of Computing and Information Systems（计算与信息系统学院）；Singapore Management University（新加坡管理大学）；University of Oregon（俄勒冈大学）
本文提出将在线逆偏好学习与多智能体在线策略优化相结合的统一框架，通过基于偏好的价值分解网络生成全局与局部奖励信号并构建双重优势流，同时利用大语言模型提供偏好标签，在MAMuJoCo和SMACv2上显著提升了稀疏奖励在线MARL的性能。
2025-09-26 cs.LG cs.MA
Reward-Guided Iterative Refinement in Diffusion Models at Test-Time with Applications to Protein and DNA Design
Princeton University（普林斯顿大学）
针对扩散模型推理阶段的下游奖励函数优化问题，提出受进化算法启发的迭代优化框架，通过加噪与奖励引导去噪的迭代过程修正误差，在蛋白质和DNA设计中实现更优性能。
2025-02-20 cs.AI cs.LG cs.NE
From Reward Shaping to Q-Shaping: Achieving Unbiased Learning with LLM-Guided Knowledge
Wuhan University（武汉大学）
提出 Q-shaping，将 LLM 提供的领域知识直接用于塑造 Q 值，并在 20 个环境中证明其显著优于基线和 LLM 奖励塑造方法。
2024-10-02 cs.AI cs.LG
LinguaFluid: Language Guided Fluid Control via Semantic Rewards in Reinforcement Learning
College of Environmental and Resource Sciences, Zhejiang University, Hangzhou, China（浙江大学环境与资源学院）；School of Engineering, Westlake University, Hangzhou, China（西湖大学工程学院）
提出一种基于SBERT语义对齐的强化学习方法，利用文本描述间的余弦相似度作为语义奖励指导流体控制，无需手工设计奖励函数即可实现具竞争力的控制行为，并促进了LLMs与流体控制应用的整合。
2025-08-14 cs.LG physics.flu-dyn
IRIS: Implicit Reward-Guided Internal Sifting for Mitigating Multimodal Hallucination
Department of Artificial Intelligence, Westlake University, Hangzhou, China（人工智能系，西湖大学，杭州，中国）；Sony Research, Sony（索尼研究，索尼）
IRIS通过隐式奖励引导内部筛选，有效缓解多模态大语言模型的幻觉问题，无需外部反馈且性能优异。
2026-02-03 cs.AI cs.LG
OMG-RL:Offline Model-based Guided Reward Learning for Heparin Treatment
Department of Industrial and Information Systems Engineering, Soongsil University（工业与信息系统工程系，顺斯大学）；Department of Systems Management Engineering, Sungkyunkwan University（系统管理工程系，成均馆大学）
针对临床给药中显式奖励函数难以适配患者差异与多药物场景的问题，提出离线模型引导的奖励学习方法OMG-RL，从有限数据学习捕捉医生意图的参数化奖励，在肝素给药任务上验证了策略的有效性与可推广性。
2024-12-31 cs.AI cs.LG
GRACE-DS: a Guarded Reward-guided Agent Correction Environment in Data Science
ITMO University（ITMO大学）；HSE University（高等经济学院）
提出GRACE-DS，一个用于评估LLM驱动的AutoML智能体在部署前性能的隔离环境，通过隐藏的可执行验证器衡量预测性能、泄漏避免、可重复性等指标，实验证明其灵活迭代交互模式优于基线方法。
2026-09-14 cs.CL cs.LG
Towards Controllable Diffusion Models via Reward-Guided Exploration
Tencent AI Lab（腾讯人工智能实验室）
本文提出奖励引导扩散模型RGDM，通过强化学习在训练阶段引导扩散模型探索高奖励样本，缓解梯度方差问题，并在3D形状和分子生成任务上取得显著提升。
2023-04-14 cs.LG q-bio.BM
Reward-Guided Autoregressive Graph Generation for Efficient Multi-Agent Communication Topology Design
University of Luxembourg（卢森堡大学）；King Mongkut’s University of Technology Thonburi（国王蒙kut理工大学thonburi校区）
针对多智能体系统通信拓扑设计中 token 消耗过高的问题，本文提出 RGA-Designer 方法，通过结合 RLHF 训练奖励模型微调图生成器，在保持任务准确率的同时降低了 token 消耗。
2026-08-21 cs.CL cs.LG cs.MA
Process Rewards for Outcome-Guided Reasoning Steps in LLM Reinforcement Learning
Amazon Science（亚马逊科学）
PROGRS框架通过过程奖励相对偏好优化，提升数学推理准确性，减少错误引导，优于仅基于结果的基线方法。
2026-10-14 cs.AI cs.LG
ARGS: Alignment as Reward-Guided Search
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Stanford University（斯坦福大学）
提出ARGS框架，将人类偏好对齐融入解码过程，通过奖励信号调整概率预测，免去昂贵强化学习训练，在多种任务上显著提升平均奖励并获GPT-4高评价。
2024-01-23 cs.AI cs.CL cs.LG
Towards a unified framework for guided diffusion models
Department of Statistics, the Chinese University of Hong Kong, Hong Kong（香港中文大学统计学系）；Department of Statistics and Data Science, the Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院统计学与数据科学系）
本文提出统一框架，通过引入奖励引导项提升扩散模型奖励表现，并首次理论化无分类器引导的性能指标。
2025-12-04 cs.LG math.ST stat.ML
STO-RL: Offline RL under Sparse Rewards via LLM-Guided Subgoal Temporal Order
Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州））；University of Alberta（阿尔伯塔大学）
STO-RL通过LLM生成子目标时间顺序，结合潜在奖励塑造，提升稀疏奖励下离线RL的性能与稳定性。
2026-01-13 cs.AI cs.LG cs.SY
Effective Test-Time Scaling of Discrete Diffusion through Iterative Refinement
KAIST AI（韩国科学技术院人工智能研究所）；Seoul National University（首尔国立大学）；University of California, Berkeley（加州大学伯克利分校）；KRAFTON
本文提出IterRef方法，通过奖励引导的加噪-去噪迭代精炼离散扩散中间状态，在MTM框架下证明收敛性，并在低计算预算下显著提升文本和图像的奖励引导生成质量。
2025-11-04 cs.AI cs.LG
G$^3$-LoRA: Organizing Reward-Weighted Video Data with Gradient-Guided Grouped LoRA
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tencent（腾讯）
针对异构奖励加权视频数据后训练中的更新冲突问题，提出G$^3$-LoRA方法，通过梯度兼容性聚类分组训练LoRA专家并合并蒸馏，在Wan2.1和CogVideoX上优于基线，验证了梯度兼容性作为数据组织诊断的有效性。
2026-09-29 cs.CV cs.LG
Large Language Model Guided Incentive Aware Reward Design for Cooperative Multi-Agent Reinforcement Learning
Department of Electrical and Electronics Engineering（电气与电子工程系）；Karabuk University（卡拉博克大学）；Department of Mechatronics Engineering（机械工程系）
提出利用大语言模型自动生成可执行奖励程序，结合多智能体近端策略优化训练，在Overcooked-AI环境中显著提升合作任务回报。
2026-05-31 cs.AI cs.LG cs.SY
EAGER: Asking and Answering Questions for Automatic Reward Shaping in Language-guided RL
Inria（法国国家信息与自动化研究所）；Université de Bordeaux（波尔多大学）；ISIR Sorbonne Université（索邦大学智能系统与机器人研究所）；Univ Angers（昂热大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
强化学习（RL）在长时间和稀疏奖励任务中是非常困难的，需要大量的训练步骤。加快学习过程的标准解决方案是利用额外的奖励信号，使其更好地指导学习过程。在语言条件强化学习的背景下，语言输入的抽象和概括属性为更有效地塑造奖励提供了机会。在本文中，我们利用这个想法，并提出了一个自动奖励塑造方法，代理提取辅助目标的一般语言目标。这些辅助目标使用问题生成（QG）和问答（QA）系统：它们由问题组成，引导代理尝试使用自己的轨迹重建有关全局目标的部分信息。当它成功的时候，它会得到一个与它对答案的信心成正比的内在奖励。这激励智能体生成轨迹，这些轨迹明确地解释了通用语言目标的各个方面。实验结果表明，该方法不需要工程师干预设计辅助目标，通过有效地指导探索，提高了样本效率。
2022-10-13 cs.AI cs.CL cs.LG
Demonstration-Guided Deep Reinforcement Learning of Control Policies for Dexterous Human-Robot Interaction
ETH Zurich（苏黎世联邦理工学院）
在本文中，我们提出了一种通过深度强化学习训练人机交互控制策略的方法，例如握手或拍手。该策略控制一个人形的影子灵巧手，连接到一个机器人arm.We提出了一个参数化的多目标奖励函数，允许学习的各种互动，而不改变奖励结构。奖励函数的参数直接从人与人交互的运动捕捉数据估计，以产生被观察者感知为自然和人性化的策略。我们评估我们的方法上三个显着不同的手的相互作用：握手，拍手和手指触摸。我们提供了详细的分析建议的奖励功能和由此产生的政策，并进行了大规模的用户研究，表明我们的政策产生自然的外观运动。
2020-01-13 cs.LG cs.RO
Potential Field Guided Actor-Critic Reinforcement Learning
Artificial Intelligence Research Center of National Innovation Institute of Defense Technology（国防科技创新研究院人工智能研究中心）；Tianjin Artificial Intelligence Innovation Center（天津人工智能创新中心）
在本文中，我们考虑行动者-批评者强化学习的问题。首先，我们通过在奖励之外引入更多的评论，将Actor-Critic架构扩展为Actor-Critic-N架构。其次，我们结合基于奖励的评论家和基于势场的评论家，制定建议的势场引导的演员-评论家强化学习方法（演员-评论家-2）。这可以看作是基于模型的梯度和无模型梯度在政策改进中的结合。具有大势场的状态往往包含着较强的先验信息，如指向目标的距离较远或避开障碍物侧面的碰撞等。在这种情况下，我们应该更多地信任基于势场的政策评价，以促进政策改进，其中行动政策倾向于指导。例如，在实际应用中，学习避障应该是引导性的，而不是通过试错来学习。势场较小的状态往往是缺乏信息的，例如，在局部极小点或运动目标周围。在这个时候，我们应该更多地相信基于奖励的评论作为政策评估来评估长期回报。在这种情况下，行动政策倾向于探索。此外，势场评估可以与规划相结合，以估计更好的状态价值函数。这样，奖励设计就可以更多地关注奖励的最后阶段，而不是奖励塑造或阶段性奖励。此外，势场评估可以弥补多智能体合作问题中通信的不足，即，多智能体中的每个智能体都有一个基于奖励的评价器和一个相对统一的基于势场的评价器。最后，通过捕食者-食饵博弈的简化实验验证了该方法的有效性。
2020-06-12 cs.AI cs.CV cs.LG
Self-Improving Tabular Language Models via Iterative Reward-Guided Post-Training
Department of Engineering, University of Cambridge（剑桥大学工程系）；CISPA Helmholtz Center for Information Security, Saarbrücken, Germany（德国萨尔布吕肯信息安全中心）；The Alan Turing Institute, London（伦敦阿兰·图灵研究所）
本文研究了通过生成-评分-对齐协议进行迭代奖励引导的后训练，提出了一种基于组相对对齐的方法TabGRAA，通过比较高分和低分生成组的组平均策略/参考对数比来改进表格语言模型，在五个混合类型基准上优于额外监督微调，并在保真度和下游效用之间实现了最佳平均权衡，同时保持经验隐私诊断接近监督基线。
2026-05-17 cs.AI cs.LG
Wasserstein Distance guided Adversarial Imitation Learning with Reward Shape Exploration
Tsinghua University（清华大学）；Sun Yat-Sen University（中山大学）
生成式对抗模仿学习（GAIL）提供了一个对抗性学习框架，用于从高维连续任务的演示中模仿专家策略。然而，几乎所有的GAIL及其扩展都只设计了一种对数形式的奖励函数在对抗训练策略与Jensen-Shannon（JS）的分歧，为所有复杂的环境。固定对数类型的奖励函数可能难以解决所有复杂的任务，而JS发散引起的梯度消失问题将损害对抗学习过程。本文提出了一种新的Wasserstein距离引导的对抗性模仿学习（WDAIL）算法，以提高模仿学习（IL）的性能。该方法有三个改进：（a）在对抗训练过程中引入Wasserstein距离以获得更合适的度量;（b）在强化学习阶段使用近端策略优化（PPO），实现更简单，提高算法效率;（c）探索不同的奖励函数形状以适应不同的任务以提高性能。实验结果表明，该学习过程保持了显著的稳定性，在MuJoCo复杂的连续控制任务中取得了显著的效果。
2020-12-08 cs.LG cs.RO stat.ML
PNS: Population-Guided Novelty Search for Reinforcement Learning in Hard Exploration Environments
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）已经取得了显著的成就，但仍然存在探索策略不足、奖励信号稀疏、奖励函数具有欺骗性等问题。为了缓解这些问题，人口引导新奇搜索（PNS）的并行学习方法，本文提出。在PNS中，种群被划分为多个子种群，每个子种群有一个主智能体和多个探索智能体。主代理评估通过探索代理学习的策略，并与所有子种群共享最优策略。探索代理学习他们的政策与最优政策的指导，同时，上传他们的政策，以首席代理。为了平衡探索和利用，每个首席代理都采用了新奇搜索（NS），以鼓励具有高新奇性的政策，同时最大限度地提高每集的性能。我们将PNS应用于双延迟深度确定性（TD 3）策略梯度算法。PNS的有效性，以促进探索和提高连续控制域的性能证明在实验部分。值得注意的是，PNS-TD 3在具有稀疏或延迟奖励信号的环境中实现了远远超过SOTA方法的奖励。我们还证明了PNS使机器人代理能够直接从像素学习控制策略，以便在模拟和现实环境中进行稀疏奖励操作。
2021-10-10 cs.AI cs.LG
Search-Guided, Lightly-supervised Training of Structured Prediction Energy Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在结构化输出预测任务中，标记地面实况训练输出通常是昂贵的。然而，对于许多任务，即使真正的输出是未知的，我们也可以使用标量奖励函数来评估预测，这可以很容易地从人类知识或不可微管道中组装出来。但是，搜索整个输出空间以找到关于该奖励函数的最佳输出通常是棘手的。在本文中，我们在这个奖励函数中使用有效的截断随机搜索来训练结构化预测能量网络（SPEN），它使用基于梯度的搜索在平滑的，学习的分数景观表示上提供有效的测试时推理，并且以前已经在结构化预测中产生了最先进的结果。特别是，这种截断随机搜索的奖励函数产生以前未知的局部改进，提供有效的监督SPEN，避免了他们的传统需要标记的训练数据。
2019-11-11 cs.LG stat.ML
Iterative Distillation for Reward-Guided Fine-Tuning of Diffusion Models in Biomolecular Design
Texas A&M University（德克萨斯A&M大学）；EvolutionaryScale（进化尺度）；Seoul National University（首尔国立大学）；Princeton University（普林斯顿大学）；Genentech（基因泰克）；University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校）
本文提出基于迭代蒸馏的扩散模型微调方法，用于生物分子设计中的奖励引导生成，提升训练稳定性和样本效率。
2026-02-28 cs.AI cs.LG q-bio.QM
The Reward Was in Your Data All Along: Correcting Flow Matching with Discriminator-Guided RL
FAIR at Meta；Columbia University；Mila -- Qu\' e bec AI Institute；McGill University；Canada CIFAR AI Chair
针对流匹配模型因损失函数与样本质量不匹配导致的视觉缺陷，提出判别器引导的强化学习（DRL），利用预训练空间中判别器的logit作为奖励，显著提升无引导FID和语义FD，并改善偏好对齐。
2026-06-18 cs.CV cs.LG
Guided Speculative Inference for Efficient Test-Time Alignment of LLMs
Harvard SEAS（哈佛大学SEAS学院）；Kempner Institute（Kempner研究所）；IBM Research（IBM研究院）
本文提出引导推测推断（GSI），通过结合软最佳n次测试时间缩放、奖励模型和小型辅助模型的推测样本，提高大语言模型的奖励引导解码效率，并在多个基准测试中实现更高的准确性和更低的延迟。
2026-04-27 cs.LG stat.ML
Mitigating Over-Optimization in PRM-Guided Search in Mathematical Reasoning by Optimizing the Guide
Northwestern University（西北大学）
本研究针对PRM引导数学推理搜索的过优化问题，提出极大极小PRM引导搜索方法，无需微调即可提升搜索性能17%-35%，在多数设置中优于基线方法。
2026-09-01 cs.AI cs.LG
Self-Guided Process Reward Optimization with Redefined Step-wise Advantage for Process Reinforcement Learning
Terminus Group（Terminus集团）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学）
针对过程强化学习中引入奖励模型计算开销大且缺乏统一优势估计框架的问题，提出SPRO框架，通过从策略模型导出奖励及重新定义优势进行过程感知强化学习，实验显示其训练效率高、准确率提升且无额外开销。
2026-07-27 cs.AI cs.CL cs.LG
CoLD: Counterfactually-Guided Length Debiasing for Process Reward Models in Mathematical Reasoning
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；Peking University（北京大学）；University of Bristol（布里斯托大学）
本文提出CoLD，一种通过反事实引导消除过程奖励模型中长度偏差的统一框架，旨在提高多步骤推理的准确性和简洁性，同时提升下游强化学习性能和跨领域泛化能力。
2026-05-19 cs.AI cs.CL cs.LG
TR2-D2: Tree Search Guided Trajectory-Aware Fine-Tuning for Discrete Diffusion
Department of Computer and Information Science, University of Pennsylvania（计算机与信息科学系，宾夕法尼亚大学）；School of Mathematics, Georgia Institute of Technology（数学学院，佐治亚理工学院）；Department of Bioengineering, University of Pennsylvania（生物工程系，宾夕法尼亚大学）
提出 TR2-D2 框架，用 MCTS 构建高质量回放缓冲区并进行轨迹感知微调，以缓解离散扩散强化学习中次优轨迹被强化的问题。
2025-09-29 cs.LG q-bio.BM
Adaptive Language-Guided Abstraction from Contrastive Explanations
MIT（麻省理工学院）；Princeton（普林斯顿大学）；The AI Institute（人工智能研究院）
针对机器人从演示学习奖励时端到端方法脆弱、泛化性差的问题，提出ALGAE方法，交替用语言模型提取人类可理解特征、逆强化学习分配权重，仅需少量演示就能学习可泛化的可解释奖励函数，还能自主补全缺失特征。
2024-09-13 cs.LG cs.RO
Sampling for Quality: Training-Free Reward-Guided LLM Decoding via Sequential Monte Carlo
LinkedIn
本文提出一种基于概率框架的奖励引导解码方法，通过结合模型转移概率和前缀依赖的奖励势能，改进传统解码方法的序列级质量优化。实验表明，该方法在代码生成和数学推理任务中显著提升性能。
2026-04-07 cs.AI cs.LG stat.ML
Controlling Multimodal LLMs via Reward-guided Decoding
Mila - Quebec AI Institute（魁北克AI研究院）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Meta FAIR；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
本文提出首个针对多模态大语言模型的奖励引导解码方法，通过两个独立奖励模型分别控制目标精确度和召回率，并控制搜索广度，在标准目标幻觉基准上实现了对MLLM推理的即时可控性，且持续优于现有幻觉缓解方法。
2025-08-15 cs.AI cs.CL cs.CV
