BCR-DRL: Behavior- and Context-aware Reward for Deep Reinforcement Learning in Human-AI Coordination
Deakin University（德肯大学）；Monash University（莫纳什大学）；The University of Sydney（悉尼大学）
针对人机协作中深度强化学习面临的奖励稀疏、人类行为不可预测问题，提出融合双内在奖励探索方案与上下文感知加权利用机制的BCR方法，在Overcooked环境中显著提升了累积奖励与样本效率。
2025-08-01 cs.AI cs.LG
Exploration Through Introspection: A Self-Aware Reward Model
本文提出一种基于反思的奖励模型，通过模拟疼痛信号探索自我意识对强化学习代理学习能力的影响，并展示了其在复杂行为复制中的优势。
2026-01-06 cs.AI cs.LG
The Perils of Optimizing Learned Reward Functions: Low Training Error Does Not Guarantee Low Regret
ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Oxford University（牛津大学）；University of Cambridge（剑桥大学）
本文证明奖励模型低测试误差无法保证低遗憾，源于分布偏移，并指出策略正则化也无法解决，呼吁研究更优的奖励学习方法。
2025-07-08 cs.AI cs.LG stat.ML
Distance-rank Aware Sequential Reward Learning for Inverse Reinforcement Learning with Sub-optimal Demonstrations
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）
针对次优示范逆强化学习中奖励模糊性问题，提出距离排名感知序列奖励学习框架，结合轨迹排名、策略距离与Transformer，显著提升奖励估计性能。
2023-10-13 cs.AI cs.LG
Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization
University of Florida（佛罗里达大学）；UC San Diego（加州大学圣迭戈分校）；Northeastern University（东北大学）；Northwestern University（西北大学）；Stanford University（斯坦福大学）；Universität Innsbruck（因斯布鲁克大学）
针对多奖励策略优化中现有方法的缺陷，提出SA-MRPO方法，动态分配优化资源，在数学推理、自适应推理、编码任务中均实现性能提升。
2026-10-06 cs.AI cs.LG
Uncertainty-Aware Reward Discounting for Mitigating Reward Hacking
本文提出一种双源不确定性-aware奖励框架，通过建模价值估计和人类偏好中的不确定性，减少奖励黑客行为，在多个离散和连续控制环境中验证了其有效性。
2026-06-29 cs.AI cs.LG
CARE-RL: Capability-Aware Reinforcement Learning for Mitigating Cross-Domain Conflicts
National University of Singapore（新加坡国立大学）
提出CARE-RL框架，结合协议感知奖励生成与能力感知优化，通过PA-GRM和DACSP方法缓解多领域强化学习中的奖励不可靠与能力干扰问题。
2026-05-30 cs.AI cs.LG
Accelerating Diffusion Planners in Offline RL via Reward-Aware Consistency Trajectory Distillation
Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种奖励感知一致性轨迹蒸馏方法，通过解耦训练和无噪声奖励信号，在离线强化学习中实现高效扩散规划器，提升性能并加快推理速度。
2026-02-06 cs.AI cs.LG
PHIRL: Aligning Learned Rewards with Task Progress for Inverse Reinforcement Learning
PHIRL提出一种联合演示与进度反馈的逆强化学习框架，通过四维对齐学习稳健奖励，在少量标注下显著提升机器人任务回报与成功率。
2026-09-29 cs.AI cs.RO
ProgAgent:A Continual RL Agent with Progress-Aware Rewards
University of California, San Diego（加州大学圣地亚哥分校）；Texas A\&M University-Commerce（德克萨斯A&M大学-科摩斯）
ProgAgent通过进度感知奖励机制，结合PPO与coreset回放和突触智能，有效解决持续学习中的遗忘问题，提升学习效率。
2026-03-08 cs.AI cs.LG
HLS-Seek: QoR-Aware Code Generation for High-Level Synthesis via Proxy Comparative Reward Reinforcement Learning
National University of Singapore（新加坡国立大学）
HLS-Seek通过代理比较奖励强化学习方法，实现了高质量结果导向的高层次综合代码生成，其在语法正确性和功能准确性上超越了GPT-5.1等前沿模型，并在训练速度和QoR评估中表现出色。
2026-09-07 cs.AI cs.LG
Burning RED: Unlocking Subtask-Driven Reinforcement Learning and Risk-Awareness in Average-Reward Markov Decision Processes
本文提出 RED 强化学习框架，利用平均回报 MDP 的结构性质同时处理多类学习子任务，并给出含收敛保证的预测与控制算法，首次实现完全在线 CVaR 风险感知策略优化。
2025-08-28 cs.AI cs.LG
RIDE: Rewarding Impact-Driven Exploration for Procedurally-Generated Environments
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）；University College London（伦敦大学学院）
稀疏奖励环境中的探索仍然是无模型强化学习的关键挑战之一。许多最先进的方法不是仅仅依靠环境提供的外在奖励，而是利用内在奖励来鼓励探索。然而，我们表明，现有的方法在程序生成的环境中，代理不太可能访问一个状态超过一次。我们提出了一种新型的内在奖励，鼓励代理采取行动，导致其学习状态表示的显着变化。我们评估我们的方法在多个具有挑战性的程序生成的任务在MiniGrid，以及在以前的工作中使用的高维观测任务。我们的实验表明，这种方法是更有效的样本比现有的探索方法，特别是程序生成的MiniGrid环境。此外，我们分析了学习的行为以及我们的代理收到的内在奖励。与以前的方法相比，我们的内在奖励在训练过程中不会减少，并且它会奖励代理与它可以控制的对象进行交互。
2020-02-29 cs.AI cs.LG
Exploring Beyond-Demonstrator via Meta Learning-Based Reward Extrapolation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
通过模仿学习（IL）算法外推超越演示器（BD）性能的目的是从演示器中学习并随后超越演示器。为此，一种代表性的方法是利用逆强化学习（IRL）来在对学习的奖励函数执行RL之前从演示中推断奖励函数。然而，现有的大多数奖励外推方法需要大量的演示，这使得它很难应用于有限的训练数据的任务。为了解决这个问题，一个简单的解决方案是执行数据增强以人为地生成更多的训练数据，这可能导致严重的归纳偏差和策略性能损失。在本文中，我们提出了一种新的元学习为基础的奖励外推（MLRE）算法，它可以有效地近似地面实况奖励使用有限的演示。更具体地，MLRE首先从具有丰富训练数据的任务集合中学习初始奖励函数。然后，学习的奖励函数将使用目标任务的数据进行微调。大量的仿真结果表明，所提出的MLRE可以实现令人印象深刻的性能改善相比，其他类似的BDIL算法。
2022-02-23 cs.AI cs.LG
Offline Reinforcement Learning with Imputed Rewards
University of Florence（佛罗伦萨大学）
针对离线强化学习依赖大量带奖励标注数据、难以应用于数据稀缺场景的问题，提出一种奖励模型，仅用1%带标注数据即可为99%无奖励转移插补奖励，在D4RL任务上验证了可训练出高性能智能体。
2024-07-15 cs.AI cs.LG
Uncertainty-Aware Reward-Free Exploration with General Function Approximation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Indiana University Bloomington（印第安纳大学伯明顿分校）
本文提出无奖励强化学习算法 GFA-RFE，通过不确定性感知的内在奖励和不确定性加权学习提升样本效率，并在理论和 DeepMind Control Suite 实验中验证其优于现有方法。
2024-06-30 cs.AI cs.LG
SlimSearcher: Training Efficiency-Aware Web Agents via Adaptive Reward Gating
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）
提出SlimSearcher框架，通过帕累托高效过滤和自适应奖励门控，在保持或提升准确率的同时将工具调用轮次减少17%-58%。
2026-06-05 cs.AI cs.LG
Entropy Aware Reward Guidance for Diffusion Language Model Alignment
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出EntRGi机制，解决离散扩散语言模型中无法通过自然输出区分的问题，通过动态插值连续token放松与采样硬token，提升奖励模型可靠性与优化精度。
2026-05-12 cs.AI cs.CL cs.LG
Automatic Evaluation of Excavator Operators using Learned Reward Functions
École de Technologie Supérieure（高等技术学院）；Mila（米拉研究所）；CM Labs（CM实验室）；CIFAR（加拿大高等研究院）
培训新手用户操作挖掘机以学习不同的技能需要专家教师的存在。考虑到问题的复杂性，寻找熟练的专家相对昂贵，因为这个过程很耗时，需要精确的重点。此外，由于人类往往有偏见，评估过程是嘈杂的，并会导致具有类似技能的不同操作员的最终得分差异很大。在这项工作中，我们解决这些问题，并提出了一种新的策略，挖掘机操作员的自动评价。我们考虑到挖掘机的内部动力学和安全标准，在每个时间步骤来评估性能。为了进一步验证我们的方法，我们使用这个分数预测模型作为强化学习代理的奖励来源，以学习在模拟环境中操纵挖掘机的任务，该模拟环境密切复制了现实世界的动态。对于使用这些外部奖励预测模型学习的策略，我们的结果表明，与仅使用基于任务的奖励函数训练的策略相比，遵循所需的动态约束的解决方案更安全，使其更接近现实生活中的采用。对于未来的研究，我们将在https://github.com/pranavAL/InvRL_Auto-Evaluate上发布我们的代码库，并在https://drive.google.com/file/d/1jR1otOAu8zrY8mkhUOUZW9jkBOAKK71Z/view?上发布视频结果。usp=share_link .
2022-11-15 cs.AI cs.LG cs.RO
SR-Reward: Taking The Path More Traveled
University of Freiburg（弗赖堡大学）
本研究提出基于后继表示的SR-Reward离线奖励学习方法，解耦奖励与策略、搭配负采样策略提升鲁棒性，在D4RL基准上取得具竞争力的结果，并通过消融实验明确其作为真实奖励代理的优劣势。
2025-06-12 cs.AI cs.LG
Multi-turn RL with Structural and Performance Aware Rewards for CUDA Kernel Generation
Iowa State University（爱荷华州立大学）；Cisco AI Research（思科人工智能研究院）
研究针对 CUDA 内核生成，提出 CudaPerf 框架，结合可验证执行奖励与结构代码感知奖励，分离线排序和在线训练两阶段，利用执行反馈迭代细化，通过实验证明其显著优于基线，在加速和正确性上有大幅提升。
2026-07-24 cs.AI cs.LG
Self-Awareness Safety of Deep Reinforcement Learning in Road Traffic Junction Driving
University of South Australia（南澳大利亚大学）；University of Tasmania（塔斯马尼亚大学）；University of Technology Sydney（悉尼科技大学）
自动驾驶一直处于公众利益的最前沿，而广泛关注的一个关键辩论是交通系统的安全性。深度强化学习（DRL）已被应用于自动驾驶，为避障提供解决方案。然而，在道路交通路口场景中，车辆通常从运输环境接收部分观测，而DRL需要依靠长期奖励来通过最大化累积奖励来训练可靠的模型，这可能在探索新动作并在碰撞的情况下返回正奖励或惩罚时承担风险。虽然在设计奖励函数时通常会考虑安全问题，但它们并没有完全被视为直接评估DRL算法在自动驾驶中有效性的关键指标。在这项研究中，我们评估了三个基线DRL模型（DQN，A2 C和PPO）的安全性能，并提出了一个自我意识模块，从注意力机制的DRL，以改善在复杂的道路交通路口环境中的异常车辆的安全评估，如交叉口和环形交叉口的情况下，基于四个指标：碰撞率，成功率，冻结率和总奖励。我们在训练和测试阶段的两个实验结果显示，基线日间行车线的安全性能较差，而我们提出的自我意识注意力-DQN可以显着提高交叉口和环形交叉口场景的安全性能。
2022-01-20 cs.AI cs.LG
A Novel Variational Lower Bound for Inverse Reinforcement Learning
University of Georgia（佐治亚大学）
本文提出VLB-IRL，一种基于概率图模型和变分下界的逆强化学习方法，同时学习奖励与策略，并在多个已知领域超越现有最先进IRL算法，达到专家级性能。
2023-11-10 cs.AI cs.LG cs.RO
Risk-Aware Reward Shaping of Reinforcement Learning Agents for Autonomous Driving
Eindhoven University of Technology（埃因霍温理工大学）；Northwestern Polytechnical University（西北工业大学）
针对自动驾驶强化学习奖励函数难确定、传统方法缺风险感知的问题，提出风险感知奖励塑形方法，新增鼓励探索、惩罚风险行为的奖励项，仿真验证对多类智能体有效，且PPO方法配合效果最佳。
2023-08-25 cs.AI cs.RO
Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics
University of Toronto（多伦多大学）；Tsinghua University（清华大学）
本文提出残差奖励模型（RRM），将环境真实奖励拆分为先验奖励与学习奖励之和，可提升机器人领域基于偏好的强化学习的样本效率，在仿真与物理机器人实验中均优于基准方法。
2026-08-28 cs.AI cs.LG cs.RO
Zero-shot Policy Learning with Spatial Temporal RewardDecomposition on Contingency-aware Observation
UC Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
这是一个长期的挑战，使智能代理在一个环境中学习，并推广到一个看不见的环境，而无需进一步的数据汇集和微调。在本文中，我们考虑了一个zero shot泛化问题的设置，符合生物智能代理的学习和泛化过程。代理首先在训练环境中提供以前的经验，以及以强制性级别稀疏奖励形式的任务描述。稍后，当它被放置在新的测试环境中时，它被要求在不与测试环境进行任何交互的情况下执行任务。我们发现这种设置对生物生物来说很自然，同时对以前的方法也很有挑战性。行为克隆，最先进的RL以及其他零样本学习方法在这个基准测试中表现不佳。给定训练环境中的一组经验，我们的方法学习一个神经函数，该函数将稀疏奖励分解为特定区域，作为每步奖励。在此基础上，我们进一步学习一个动态模型，并使用模型预测控制（MPC）来获得一个政策。由于奖励被分解为更细粒度的观察结果，因此它们自然可推广到由类似基本元素组成的新环境。我们在广泛的环境中展示了我们的方法，包括经典的视频游戏-超级马里奥兄弟，以及机器人连续控制任务。更多可视化结果请参考项目页面。
2021-03-15 cs.AI cs.LG stat.ML
Off-Dynamics Reinforcement Learning via Domain Adaptation and Reward Augmented Imitation
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Duke University（杜克大学）
提出DARAIL方法，结合领域适应与奖励增强模仿学习，解决动力学偏移下策略迁移问题，在基准环境中优于纯修改奖励等方法。
2024-11-15 cs.AI cs.LG cs.RO
Uncertainty-Aware Reward-based Deep Reinforcement Learning for Intent Analysis of Social Media Information
Virginia Tech（弗吉尼亚理工大学）；University of Oslo（奥斯陆大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of the District of Columbia（哥伦比亚特区大学）
由于传播假新闻的各种严重不良影响，人们往往知道，只有恶意的人才会传播假新闻。然而，根据社会科学研究，这并不一定是真的。根据他们的意图区分假新闻传播者的类型至关重要，因为它将有效地指导如何通过不同的方法进行干预以减轻假新闻的传播。为此，我们提出了一个意图分类框架，可以最好地识别假新闻的正确意图。我们将利用深度强化学习（DRL），在将演员添加到长短期记忆（LSTM）意图分类器时，通过从输入序列中删除嘈杂的单词来优化每条推文的结构表示。策略梯度DRL模型（例如，REINFORCE）可以引导行动者获得更高的延迟奖励。我们还设计了一个新的不确定性意识的即时奖励使用的主观意见，可以明确地处理多维的不确定性，有效的决策。通过来自带有注释意图类的假新闻推文数据集的60万训练集，我们评估了DRL中不确定性感知奖励的性能。评估结果表明，我们提出的框架有效地减少了选择的单词的数量，以保持高95%的多类准确率。
2023-02-19 cs.AI cs.CL cs.LG
Reward Gaming in Conditional Text Generation
New York University（纽约大学）；Google DeepMind（谷歌DeepMind）
本文揭示条件文本生成RL训练中三类奖励误配导致的奖励博弈问题，分析其放大机制并提出修复方向。
2023-06-01 cs.AI cs.CL cs.LG
AutoRule: Reasoning Chain-of-thought Extracted Rule-based Rewards Improve Preference Learning
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
AutoRule自动从偏好反馈中提取规则作为辅助奖励，结合推理链与验证器，显著提升Llama-3-8B在AlpacaEval2.0和MT-Bench上的性能，并减少奖励黑客行为。
2025-06-18 cs.AI cs.CL cs.LG
Not Every Rubric Teaches Equally: Policy-Aware Rubric Rewards for RLVR
Scale AI
本文提出POW3R框架，通过保留人类权重和类别平衡，改进评分奖励机制，使评分标准更符合最终答案的要求，从而在多模态和纯文本设置中提升性能。
2026-05-19 cs.AI
Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
训练一个高维的模拟代理与一个指定的奖励函数往往导致代理学习物理上不可行的策略，部署在现实世界中时是无效的。为了减轻这些不自然的行为，强化学习实践者经常利用复杂的奖励函数来鼓励物理上合理的行为。然而，创建手工设计的奖励通常需要繁琐的劳动密集型调优过程，这可能不容易在平台和任务之间推广。我们建议用从动作捕捉演示数据集学习的“风格奖励”来代替复杂的奖励函数。学习风格奖励可以与任意任务奖励组合，以训练使用自然策略执行任务的策略。这些自然策略也可以促进转移到现实世界。我们建立在对抗运动先验-一种来自计算机图形领域的方法，从参考运动的数据集编码风格奖励-来证明训练策略的对抗方法可以产生转移到真正的四足机器人的行为，而不需要复杂的奖励函数。我们还证明了一个有效的风格奖励可以从几秒钟的动作捕捉数据从德国牧羊犬收集，并导致节能的运动策略与自然的步态过渡。
2022-03-28 cs.AI cs.RO
LiMIIRL: Lightweight Multiple-Intent Inverse Reinforcement Learning
The University of Queensland（昆士兰大学）；Intuitive Surgical（直觉外科公司）
多意图逆强化学习（MI-IRL）试图找到一个奖励函数集合，以合理化不同但未标记的意图的演示。在流行的期望最大化（EM）的框架内学习概率MI-IRL模型，我们提出了一个热启动策略的基础上，在特征空间中的演示的前期聚类。我们的理论分析表明，这种热启动解决方案产生了一个接近最优的奖励合奏，提供的行为模式满足温和的分离条件。我们还提出了一个MI-IRL性能指标，概括了流行的期望值差异措施，直接评估学习奖励对地面真相奖励合奏。我们的指标优雅地解决了通过最小成本流公式配对学习和地面真相奖励的困难，并且是有效的可计算的。我们还开发了一个MI-IRL基准问题，允许更全面的算法评估。在这个问题上，我们发现我们的MI-IRL热启动策略有助于避免质量差的局部最小值奖励集成，从而显着改善行为聚类。我们广泛的敏感性分析表明，学习奖励合奏的质量在各种设置下得到改善，包括我们的理论假设不一定成立的情况下。最后，我们证明了我们的方法的有效性，发现不同的驾驶风格在一个大型的现实世界的数据集的司机GPS轨迹。
2021-06-03 cs.AI cs.LG cs.RO
Transformable Gaussian Reward Function for Socially-Aware Navigation with Deep Reinforcement Learning
Kyung Hee University（庆熙大学）
针对社会感知导航中奖励函数设计困难的问题，本文提出可变换高斯奖励函数（TGRF），以降低超参数调优负担、提升适应性并加速深度强化学习在拥挤环境中的学习效率。
2024-06-06 cs.AI cs.RO
PORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoning
Apple（苹果公司）；Purdue University（普渡大学）
PORTool通过奖励树实现多工具集成推理中的重要性感知策略优化，提升最终答案准确性并减少工具调用步骤。
2026-04-30 cs.AI cs.CL cs.LG
ELLA: Exploration through Learned Language Abstraction
Stanford University（斯坦福大学）
构建能够理解语言指令的代理对于有效和强大的人类-AI协作至关重要。最近的工作重点是通过合成语言环境中的强化学习来训练这些代理;然而，指令通常定义长期，稀疏奖励任务，并且学习策略需要许多经验。我们介绍ELLA：通过学习语言抽象进行探索，这是一种奖励塑造方法，通过将高级指令与更简单的低级成分相关联，旨在提高稀疏奖励环境中的样本效率。ELLA有两个关键要素：1）识别代理何时完成低级指令的终止分类器，以及2）将低级指令与高级任务上的成功相关联的相关性分类器。我们从指令和终端状态对离线学习终止分类器。值得注意的是，与之前在语言和抽象方面的工作不同，我们在线学习相关性分类器，而不依赖于将高级指令明确分解为低级指令。在一系列具有不同指令复杂度和奖励稀疏度的复杂BabyAI环境中，ELLA相对于基于语言的整形和传统RL方法显示出样本效率的提高。
2021-10-30 cs.AI cs.CL cs.LG
Beyond Sparse Rewards: A New Benchmark and Structure-Aware Graph Alignment for Micro-Drama Understanding
Tencent PCG（腾讯平台与内容事业群）；The University of Hong Kong（香港大学）；Tencent CSIG（腾讯云与智慧产业事业群）
针对微短剧理解难题，提出首个大规模双语基准M-Drama及结构感知图对齐奖励SAGA，通过异构图匹配提升开放问答与摘要质量。
2026-09-09 cs.AI
Variance-aware robust reinforcement learning with linear function approximation under heavy-tailed rewards
Peking University（北京大学）；University of Toronto（多伦多大学）
本文提出了两个算法，AdaOFUL和VARA，在线序贯决策存在的重尾回报只有有限的方差。对于线性随机强盗，我们通过修改自适应Huber回归和提出AdaOFUL来解决重尾奖励问题。AdaOFUL实现了$\widetilde{O}\big(d\big(\sum_{t=1}^T ν_{t}^2\big)^{1/2}+d\big)$的最新遗憾界，好像奖励是一致有界的，其中$ν_{t}^2$是在$t$回合观察到的奖励的条件方差，$d$是特征维度，并且$\widetilde{O}(\cdot)$隐藏对数依赖性。在AdaOFUL的基础上，我们提出了线性MDP的VARA，它实现了$\widetilde{O}(d\sqrt{HG^*K})$更严格的方差感知遗憾界。在这里，$H$是片段的长度，$K$是片段的数量，而$G^*$是一个较小的实例相关量，当满足MDP上的附加结构条件时，它可以由其他实例相关量限定。我们的后悔界限在三个方面优于当前最先进的界限：（1）它依赖于一个更紧密的依赖于实例的量，并且对$d$和$H$具有最优依赖性，（2）我们可以在MDP上的附加结构条件下得到$G^*$的进一步依赖于实例的界，（3）我们的后悔界即使在奖励只有有限方差时也是有效的，达到了以前的作品无法比拟的一般性水平。总的来说，我们修改后的自适应Huber回归算法可以作为一个有用的积木在重尾奖励的在线问题的算法设计。
2023-03-13 cs.AI cs.LG math.ST
Autoregressive Multi-trait Essay Scoring via Reinforcement Learning with Scoring-aware Multiple Rewards
Graduate School of Artificial Intelligence, POSTECH（浦项科技大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项科技大学计算机科学与工程系）
本文提出SaMRL方法，通过设计基于QWK和均方误差惩罚的多重奖励，结合自回归评分生成框架，解决了多特质自动作文评分中不可微评估指标无法直接用于神经网络训练的问题，显著提升了模型对弱势题目的评分能力。
2024-09-26 cs.AI cs.CL
Dependency-Aware Reward Shaping for Agentic Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）；University of Rochester（罗切斯特大学）
提出依赖感知奖励塑形（DARS），通过依赖图分配步骤级信用，在多个任务上提升强化学习训练大型语言模型的成功率。
2026-10-02 cs.AI
Balancing Progress and Safety: A Novel Risk-Aware Objective for RL in Autonomous Driving
FZI Research Center for Information Technology（弗赖堡信息科技研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出了一种新的风险感知目标，用于自动驾驶中的强化学习，通过分层结构化驾驶目标和规范化方法，提高安全性和性能。
2026-03-05 cs.AI cs.RO
CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）
CVeDRL通过难度感知强化学习提升代码验证效率，实现更高通过率和分支覆盖，参数更少，推理更快。
2026-01-30 cs.AI cs.SE
E-SDS: Environment-aware See it, Do it, Sorted - Automated Environment-Aware Reinforcement Learning for Humanoid Locomotion
University College London（伦敦大学学院）
E-SDS通过整合视觉-语言模型与实时地形传感器分析，实现了自动化环境感知强化学习，显著提升了人形机器人在复杂地形中的运动鲁棒性和效率。
2025-12-18 cs.AI cs.RO
On The Fragility of Learned Reward Functions
University of Toronto（多伦多大学）；University of Cambridge（剑桥大学）；University of California, Berkeley（加州大学伯克利分校）
奖励函数是出了名的难以确定，尤其是对于具有复杂目标的任务。奖励学习方法试图从人类的反馈和偏好中推断出奖励功能。之前关于奖励学习的工作主要集中在与奖励函数一起训练的政策的性能上。然而，这种做法可能无法检测到无法从头开始训练新策略的学习奖励，因此无法捕获预期行为。我们的工作重点是展示和研究这些再学习失败的原因在基于偏好的奖励学习领域。我们在表格和连续控制环境中的实验表明，再学习失败的严重程度可能对奖励模型设计和轨迹数据集组成的变化敏感。根据我们的研究结果，我们强调需要更多的再培训为基础的评估文献。
2023-01-09 cs.AI cs.LG
Proxy Reward Internalization and Mechanistic Exploitation: A Learned Precursor to Reward Hacking and Its Generalization
UC Davis（加州大学戴维斯分校）；Virginia Tech（弗吉尼亚理工大学）
提出PRIME概念，通过思维链监控、直接探针和激活级概念向量测量，发现PRIME在持续奖励黑客前分阶段出现，且直接探针得分可预测后续黑客爆发，跨检查点跟踪域外失调。
2026-06-08 cs.AI cs.LG
Understanding Learned Reward Functions
UC Berkeley（加州大学伯克利分校）
在许多现实世界的任务中，不可能在程序上指定RL代理的奖励函数。在这种情况下，奖励功能必须从与人类的互动和观察中学习。然而，用于奖励学习的当前技术可能无法产生准确反映用户偏好的奖励函数。在奖励学习方面缺乏重大进展的情况下，能够审计学习的奖励函数以验证它们是否真正捕获用户偏好是很重要的。在本文中，我们研究的技术解释学习奖励功能。特别是，我们应用显着性方法来识别故障模式和预测的回报函数的鲁棒性。我们发现，学习奖励功能往往实现令人惊讶的算法，依赖于偶然的方面的环境。我们还发现，现有的可解释性技术往往参加奖励输出的不相关的变化，这表明奖励可解释性可能需要显着不同的方法从政策的可解释性。
2020-12-10 cs.LG
Reward Sharpness-Aware Fine-Tuning for Diffusion Models
Department of AI Convergence, GIST（人工智能融合系，韩国科学技术院）；Samsung Research（三星研究院）
本文提出RSA-FT方法，通过改进奖励模型梯度的鲁棒性来缓解扩散模型中的奖励黑客问题，提升RDRL的可靠性。
2026-03-22 cs.AI cs.LG
Uncertainty-Aware Reward Modeling for Stable RLHF
Zhejiang University（浙江大学）；Peking University（北京大学）；National University of Singapore（新加坡国立大学）
提出不确定性感知奖励建模（UARM），通过分位数保形预测校准不确定性并利用异方差方差分解重加权GRPO优势，以缓解奖励黑客问题，提升对齐质量。
2026-06-19 cs.AI cs.LG
Fairness Aware Reward Optimization
CSAIL, Department of EECS, Massachusetts Institute of Technology（计算机科学与人工智能实验室，电气工程与计算机科学系，麻省理工学院）；School of CIT, MCML, MDSI, Technical University of Munich（信息科技学院，MCML，MDSI，慕尼黑技术大学）
Faro通过在处理过程中训练奖励模型，实现公平性、准确性与校准性的平衡，减少偏见并提升模型质量。
2026-02-08 cs.AI cs.LG
Quantifying Differences in Reward Functions
DeepMind
对于许多任务来说，奖励函数无法进行内省，或者过于复杂而无法在程序上指定，因此必须从用户数据中学习。先前的工作已经通过评估针对学习奖励优化的策略来评估学习奖励函数。然而，该方法不能区分未能反映用户偏好的学习奖励函数和未能优化学习奖励的策略优化过程。此外，这种方法只能告诉我们评估环境中的行为，但即使在稍微不同的部署环境中，奖励也可能激励非常不同的行为。为了解决这些问题，我们引入了等价策略不变比较（EPIC）距离来直接量化两个奖励函数之间的差异，而无需策略优化步骤。我们证明了EPIC是不变的等价类的回报函数，总是导致相同的最优策略。此外，我们发现EPIC可以有效地近似，是更强大的覆盖分布的选择比基线。最后，我们表明，EPIC距离界限的遗憾，即使在不同的过渡动态的最佳政策，我们实证证实，它预测政策培训的成功。我们的源代码可以在https://github.com/HumanCompatibleAI/evaluating-rewards上找到。
2021-03-17 cs.AI cs.LG stat.ML
Towards Reliable, Uncertainty-Aware Alignment
Undergraduate Programme, Indian Institute of Science, India（印度科学研究所）
本文针对奖励模型训练不稳定导致对齐性能下降的问题，提出方差感知策略优化框架，通过引入融合奖励模型方差估计的正则化器，可证明地降低输出更差策略的风险，并在多种配置下实现更稳定鲁棒的对齐。
2025-07-21 cs.AI cs.LG
Risk-Aware Algorithms for Combinatorial Semi-Bandits
Indian Institute of Science（印度科学理工学院）
本文研究了半强盗反馈下的随机组合多臂强盗问题。虽然已经做了大量的工作，优化线性以及一些一般的奖励函数的预期奖励的算法，我们研究的问题，其中的目标是风险意识的一个变体。更具体地说，我们考虑的问题，最大化的条件风险价值（CVaR），风险度量，只考虑最坏情况下的回报。我们提出了新的算法，最大限度地提高CVaR的奖励从超级武器的组合强盗高斯和有界的手臂奖励的两种情况下。我们进一步分析这些算法，并提供遗憾的界限。我们相信，我们的研究结果提供了第一个理论见解组合半强盗问题的风险意识的情况下。
2021-12-02 cs.AI cs.LG
Enhancing VLM Reward Models Through Structure-Aware Fine-Tuning
本研究提出结构感知微调（SAFT）方法，利用LoRA适配器和内在结构先验优化视觉语言模型奖励信号，实现更快策略收敛与更好对齐，为稳定文本条件强化学习提供可扩展路径。
2026-08-05 cs.AI cs.LG
Preprocessing Reward Functions for Interpretability
Center for Human-Compatible AI（人类兼容人工智能中心）；University of Amsterdam（阿姆斯特丹大学）；UC Berkeley（加州大学伯克利分校）
在许多现实世界的应用程序中，奖励函数过于复杂，无法手动指定。在这种情况下，奖励功能必须从人类反馈中学习。由于学习奖励可能无法表示用户偏好，因此在部署之前能够验证学习奖励功能非常重要。一种有前途的方法是将可解释性工具应用于奖励函数，以发现与用户意图的潜在偏差。现有的工作已经应用通用的解释性工具来理解学习奖励功能。我们建议利用奖励函数的内在结构，首先将其预处理为更简单但等价的奖励函数，然后将其可视化。我们介绍了一个通用的框架，这样的奖励预处理，并提出具体的预处理算法。我们的实证评估表明，预处理的奖励往往比原始奖励更容易理解。
2022-03-25 cs.LG
