From Outcomes to Strategies: Learning Strategy Utility for Mathematical Reasoning
本文提出SURE框架，通过分离高级策略与推理过程，学习策略效用以指导强化学习，在三个策略主干上平均提升pass@1达2.93%，并降低计算成本。
2026-09-29 cs.AI
A General, Evolution-Inspired Reward Function for Social Robotics
University of Auckland（奥克兰大学）
社交机器人领域可能需要脱离设计行为和模仿学习的范式，采用现代强化学习（RL）方法，使机器人能够与人类进行流畅有效的互动。在本文中，我们提出了社会奖励函数作为一种机制，以提供（1）在社会机器人中部署RL代理所必需的实时，密集的奖励函数，以及（2）用于比较不同社会机器人功效的标准化客观度量。社会奖励功能旨在密切模仿人类的遗传赋予的社会感知能力，以提供简单，稳定和文化不可知的奖励功能。目前，社交机器人中使用的数据集要么很小，要么明显超出了社交机器人的领域。社交奖励功能的使用将允许更大的域内数据集被收集接近社交机器人的行为策略，这将允许进一步改进奖励功能和社交机器人的行为策略。我们相信这将是未来开发有效社交机器人的关键推动力。
2022-02-01 cs.LG cs.RO
Boosting LLM Reasoning via Human-Inspired Reward Shaping
Tsinghua University（清华大学）；Southern University of Science and Technology（南方科技大学）；Mind Lab
本文提出T2T动态奖励框架，通过区分掌握与未掌握问题的不同学习策略，提升LLM推理性能，实验显示其在数学基准测试中优于现有方法。
2026-09-09 cs.AI cs.LG
Cascade Reward Sampling for Efficient Decoding-Time Alignment
Department of Computer Science（计算机科学系）
本文提出级联奖励采样（CARDS），通过段级拒绝采样和不确定性分段机制，解决解码时对齐中令牌生成与奖励评估的效率瓶颈，实现约70%解码时间减少和超90%胜平率。
2025-08-03 cs.CL cs.LG stat.ML
Towards Safe Reinforcement Learning with a Safety Editor Policy
Horizon Robotics（地平线机器人）
我们考虑安全的强化学习（RL）问题，最大限度地利用极低的约束违反率。假设没有先验知识或预先训练的环境安全模型给定的任务，代理必须学习，通过探索，哪些状态和动作是安全的。在这方面的研究中，一种流行的方法是将无模型RL算法与拉格朗日方法相结合，以动态地调整约束奖励相对于效用奖励的权重。它依赖于一个单一的政策来处理效用和约束奖励之间的冲突，这往往是具有挑战性的。我们提出了SEditor，一个两个政策的方法，学习安全编辑器的政策，将潜在的不安全的行动提出的效用最大化的政策到安全的。安全编辑器被训练为最大化约束奖励，同时最小化在编辑动作之前和之后的效用状态动作值的铰链损失。SEditor扩展了现有的安全层设计，假设简化的安全模型，一般的安全RL场景中，安全模型在理论上可以是任意复杂的。作为一种一阶方法，它易于实现，推理和训练效率都很高。在12个安全健身房任务和2个安全赛车任务中，SEditor获得了比基线更高的整体安全加权效用（SWU）得分，并展示了出色的效用性能，即使在障碍密集的环境中，约束违反率也低至每2k时间步一次。在某些任务中，这种低违规率比具有类似效用性能的无约束RL方法低200倍。代码可在https://github.com/hnyu/seditor上获得。
2022-10-10 cs.AI cs.LG cs.RO
LongR: Unleashing Long-Context Reasoning via Reinforcement Learning with Dense Utility Rewards
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
LongR通过整合动态'思考与阅读'机制和上下文密度奖励，提升长上下文推理性能，在多个基准测试中取得显著成效。
2026-10-14 cs.CL
UC-MOA: Utility-Conditioned Multi-Objective Alignment for Distributional Pareto-Optimality
Northwestern University（西北大学）；RIKEN-AIP（日本理化学研究所-AIP）；The University of Tokyo（东京大学）；Microsoft Research Asia（微软亚洲研究院）
针对现有RLHF方法存在的数值敏感性高、多模型训练成本大的问题，提出UC-MOA框架，通过非线性效用函数将偏好转为符号标记条件化单个LLM，降低训练开销并提升多维度帕累托对齐效果。
2025-05-19 cs.AI cs.CL
Dense Process Supervision for Search Agents via Fact Utility Estimation
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Ant Group（蚂蚁集团）；National Institute of Healthcare Data Science, Nanjing University（南京大学国家健康医疗数据科学研究院）
该研究针对搜索智能体强化学习的信用分配问题，提出基于事实效用估计的密集过程监督方法，在7个QA基准上优于现有基线。
2026-09-02 cs.CL cs.LG
Active Predicting Coding: Brain-Inspired Reinforcement Learning for Sparse Reward Robotic Control Problems
Rochester Institute of Technology（罗切斯特理工学院）；The University of South Florida（南佛罗里达大学）
在这篇文章中，我们提出了一个反向传播自由的方法，通过神经生成编码（NGC）的神经认知计算框架的机器人控制，设计一个代理完全从强大的预测编码/处理电路，促进动态，在线学习从稀疏的奖励，体现规划推理的原则。具体地说，我们制作了一个自适应代理系统，我们称之为主动预测编码（ActPC），它平衡了内部生成的认知信号（旨在鼓励智能探索）与内部生成的工具信号（旨在鼓励目标寻求行为），以最终学习如何使用现实机器人模拟器控制各种模拟机器人系统以及复杂的机器人手臂，即，超现实机器人套件，用于块升降任务，并可以拾取和放置问题。值得注意的是，我们的实验结果表明，我们提出的ActPC代理在面对稀疏（外在）奖励信号时表现良好，并且与几种强大的基于反向传播的RL方法竞争或优于它们。
2022-09-19 cs.LG cs.NE cs.RO
Reward Collapse in Aligning Large Language Models
该研究发现大语言模型奖励对齐中存在与提示无关的奖励坍缩现象，揭示其源于排名目标函数的提示信息缺失，提出提示感知优化方案并通过实验验证其缓解效果。
2025-10-29 cs.AI cs.CL cs.LG
HG2P: Hippocampus-inspired High-reward Graph and Model-Free Q-Gradient Penalty for Path Planning and Motion Control
Tongji University（同济大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出受海马体启发的HG2P方法，通过高回报采样策略构建记忆图提升样本效率，结合无模型Q梯度惩罚解决模型依赖问题，集成到ACLG框架形成HG2P+ACLG，在长时程任务中优于现有目标条件HRL算法。
2025-04-13 cs.LG cs.NE
Catastrophic Goodhart: regularizing RLHF with KL divergence does not mitigate heavy-tailed reward misspecification
FAR Labs（FAR实验室）；Anthropic（Anthropic公司）；FAR AI（FAR AI公司）
该研究揭示RLHF中KL正则化无法缓解重尾奖励误设定，提出灾难性古德哈特现象，并实证奖励模型误差呈轻尾，但警示未来重尾风险。
2024-11-08 cs.LG
SafeSearch: Do Not Trade Safety for Utility in LLM Search Agents
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
本文研究了基于大语言模型的搜索代理在安全与效用之间的平衡问题，提出SafeSearch方法通过多目标强化学习提升安全性和效用，实验表明其显著降低有害输出并保持问答性能。
2026-03-20 cs.CL
Inferring Lexicographically-Ordered Rewards from Preferences
University of Cambridge（剑桥大学）；University of California, Los Angeles（加州大学洛杉矶分校）；The Alan Turing Institute（艾伦·图灵研究所）
在许多领域中，对代理商对一组替代品的偏好进行建模是一个主要关注点。主要的方法是找到一个单一的奖励/效用函数的属性，产生更高的回报的替代品产生较低的回报。然而，在许多情况下，偏好是基于多个，往往是相互竞争的，目标;一个单一的奖励函数是不足以代表这样的偏好。本文提出了一种方法来推断多目标奖励为基础的代理人的观察到的偏好表示。我们模型的代理的优先级在不同的目标，进入字典，使目标与较低的优先级问题，只有当代理是漠不关心的目标与较高的优先级。我们提供了两个医疗保健领域的应用示例，一个是受癌症治疗的启发，另一个是受器官移植的启发，以说明我们学习的词典排序奖励如何更好地理解决策者的偏好，并在强化学习中使用时帮助改进策略。
2022-06-07 cs.AI cs.LG stat.ML
Utility-Based Reinforcement Learning: Unifying Single-objective and Multi-objective Reinforcement Learning
Federation University Australia（澳大利亚联邦大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of Galway（高威大学）；Deakin University（迪肯大学）；Linköping University（林雪平大学）；Universidade do Vale do Rio dos Sinos（南里约 dos Sinos大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出将基于效用的范式从多目标强化学习扩展到单目标强化学习，以统一两者，并探讨其在多策略学习、风险感知、折扣和安全强化学习中的潜在益处及算法影响。
2024-02-05 cs.LG
Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
奖励分解是多智能体强化学习集中训练分散执行（CTDE）范式中的一个关键问题。为了充分利用全局信息，利用所有代理的状态和相关环境将Q值分解为单个信用，我们提出了一个通用的基于元学习的混合网络与Meta策略梯度~（MNMPG）框架来提取全局层次结构以进行精细的奖励分解。通过效用网络，从“练习更新”前后的情节奖励差异推导出用于学习全局层次结构的激励信号。我们的方法是一般适用于CTDE方法使用单调混合网络。在星际争霸II微管理基准测试上的实验表明，我们的方法只需要一个简单的效用网络，就能够在5个超硬场景中的4个场景上超过当前最先进的MARL算法。当与基于角色的效用网络相结合时，可以进一步实现更好的性能。
2021-02-24 cs.AI cs.LG cs.MA
Reinforcement Learning with Curriculum-inspired Adaptive Direct Policy Guidance for Truck Dispatching
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对露天矿卡车调度中强化学习依赖复杂奖励工程的问题，提出课程启发的自适应直接策略指导方法，通过时间增量调整PPO并采用最短处理时间教师策略引导探索，在OpenMines中实现10%性能提升和更快收敛，增强了对奖励设计的鲁棒性。
2025-02-28 cs.AI cs.LG
Breaking the Barrier: Enhanced Utility and Robustness in Smoothed DRL Agents
UC San Diego（加州大学圣地亚哥分校）
针对平滑DRL智能体清洁奖励低、鲁棒性弱的问题，提出S-DQN和S-PPO算法，显著提升效用与鲁棒性，并引入更有效的平滑攻击。
2024-06-26 cs.AI cs.LG
Model Selection for Average Reward RL with Application to Utility Maximization in Repeated Games
University of Alberta（阿尔伯塔大学）；Amii（Amii研究院）
针对平均奖励强化学习，提出在线模型选择算法MRBEAR，其额外代价随模型类数量线性增长，并应用于重复博弈中最大化学习者效用，遗憾界依赖于对手复杂度且对记忆限制的指数依赖不可避免。
2024-11-09 cs.GT cs.LG stat.ML
Risk-sensitive Markov Decision Process and Learning under General Utility Functions
University of Southern California（南加州大学）；New York University（纽约大学）
本文研究一般效用函数下的风险敏感马尔可夫决策过程，通过扩充状态空间记录累积奖励并提出改进的值迭代算法，在有/无模拟器时均能保证近最优策略的样本复杂度或遗憾界，并建立了匹配下界的理论遗憾下界。
2024-12-21 cs.LG math.OC
ROSUM-MCTS: Monte Carlo Tree Search-Inspired HDL Code Summarization with Structural Rewards
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
提出ROSUM-MCTS方法，利用蒙特卡洛树搜索引导大语言模型，通过分层候选扩展和复合奖励函数优化硬件描述语言代码摘要，在VHDL和Verilog数据集上优于基线方法。
2026-06-06 cs.CL
Trajectory Modeling via Random Utility Inverse Reinforcement Learning
Federal University of Ceará（塞阿拉联邦大学）
本文提出基于随机效用理论的逆强化学习方法，通过扩展状态和确定性最优策略假设对驾驶员轨迹建模，并证明最大熵逆强化学习为其特例，最后用巴西真实轨迹数据验证了贝叶斯推断。
2023-01-11 cs.AI cs.LG stat.ML
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
Multinomial Logit Bandit with Linear Utility Functions
Alibaba Group（阿里巴巴集团）
多项logit bandit是一个在许多应用中出现的顺序子集选择问题。在每一轮中，玩家从$N$候选项目中选择一个$K$ -基数子集，并获得一个由考虑项目效用和项目间替代性的{ \it多项式logit}（MNL）选择模型控制的奖励。博弈者的目标是动态地学习MNL模型的参数，并在有限时间内最大化累积奖励$T$。这个问题面临着探索-利用的困境，所涉及的组合性质使其非平凡的。近年来，人们利用MNL模型的特点提出了一些算法，但这些算法都是单独估计MNL模型的参数，其结果都不如$\tilde{O}\big(\sqrt{NT}\big)$，而后者不适合于大规模的候选集$N$。在本文中，我们考虑了{ \it线性效用} MNL选择模型，其项目效用表示为$d$维项目特征的线性函数，并提出了一个算法，题为{ \bf LUMB}，以利用底层结构。证明了该算法实现了$\tilde{O}\big(dK\sqrt{T}\big)$遗憾，且不受候选集大小的限制.实验证明了该算法的优越性。
2019-03-04 cs.AI cs.LG stat.ML
From Correctness to Utility: Gain-Based Prefix Evaluation for LLM Reasoning
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
提出前缀增益概念，训练前缀效用模型（PUM）通过成对排序目标评估推理前缀对成功率的提升，在数学推理任务中优于传统正确性评估。
2026-06-05 cs.CL
MARL with General Utilities via Decentralized Shadow Reward Actor-Critic
Princeton University（普林斯顿大学）；US Army Research Laboratory（美国陆军研究实验室）；DeepMind（深度思维）
我们提出了一种新的多智能体强化学习（MARL）合作机制，该机制基于团队长期状态-动作占用度量的任何非线性函数，即，一个\emph{general utility}。这包含了累积收益，但也允许人们将风险敏感性，勘探和先验纳入其中。我们推导出{ \bf D}去中心化的{ \bf S}hadow奖励{ \bf A}ctor-{ \bf C} critic（DSAC），其中代理在策略评估（critic）、与邻居的加权平均（信息混合）和其策略参数的局部梯度更新（actor）之间交替。DSAC通过要求代理（i）估计其本地占用度量以（ii）估计本地效用相对于其占用度量的导数，即，“影子奖励”。DSAC以高概率收敛到$ε$ -$\mathcal{O}(1/ε^{2.5})$（定理\ref{theorem:final}）或更快的$\mathcal{O}(1/ε^{2})$（推论\ref{corollary:communication}）步骤中的平稳性，这取决于通信量。我们进一步建立了不存在虚假的平稳点，这个问题，也就是说，DSAC发现的全局最优策略（推论\ref{corollary:global}）。实验证明了合作MARL中超越累积收益的目标的优点。
2021-06-24 cs.AI cs.LG math.OC
Neuro-Inspired Fragmentation and Recall to Overcome Catastrophic Forgetting in Curiosity
Massachusetts Institute of Technology（麻省理工学院）
本文针对基于预测的内在奖励方法在困难探索任务中的灾难性遗忘问题，提出 FARCuriosity 方法，通过环境碎片化和模块回忆机制减少遗忘，并在 Atari 基准上取得更好的整体性能。
2023-10-26 cs.AI cs.LG
Deep Reinforcement Learning for Ranking Utility Tuning in the Ad Recommender System at Pinterest
Pinterest Inc.（Pinterest公司）；Carnegie Mellon University（卡内基梅隆大学）
针对广告推荐系统排序效用手动调优的次优问题，提出深度强化学习个性化效用调优框架DRL-PUT，在线A/B实验显示其点击率、长点击率较基线分别提升9.7%、7.7%。
2025-09-05 cs.LG
Hindsight-Anchored Policy Optimization: Learning Through Hindsight with Thompson Sampling-Inspired Adaptive Gating
Amazon（亚马逊）
本文提出HAPO策略优化方法，通过合成成功注入机制和 Thompson 采样启发的门控机制，解决稀疏奖励下策略优化的分布偏置问题，实现渐近一致性。
2026-09-15 cs.AI cs.CL cs.LG
ARDNS-FN-Quantum: A Quantum-Enhanced Reinforcement Learning Framework with Cognitive-Inspired Adaptive Exploration for Dynamic Environments
Universidade de Uberaba（乌贝拉巴大学）
本文提出融合 2 量子比特电路、双记忆与自适应探索的 ARDNS-FN-Quantum，在动态网格世界中显著提升强化学习的成功率、稳定性和效率。
2025-05-07 cs.AI cs.LG
Inverse Concave-Utility Reinforcement Learning is Inverse Game Theory
Delft University of Technology（代尔夫特理工大学）；University of Amsterdam（阿姆斯特丹大学）
针对凹效用强化学习CURL使经典Bellman方程失效、标准IRL理论不再适用的问题，论文利用CURL与平均场博弈的等价性，将I-CURL刻画为逆博弈论问题并重新定义可行奖励。
2024-08-01 cs.AI cs.GT cs.LG
A Central Motor System Inspired Pre-training Reinforcement Learning for Robotic Control
Northeastern University（东北大学）
本文提出受中枢运动系统启发的预训练强化学习方法CMS-PRL，通过融合奖励机制、基底神经节式技能编码和技能活动函数生成多样可复用技能，在稀疏奖励任务中优于基线方法，尤其适用于高自由度机器人。
2024-09-28 cs.AI cs.RO
Noise-based reward-modulated learning
本文提出基于噪声的奖励调节学习，通过生物启发式方法实现节能且适应性强的神经形态AI，展示了其在多层网络中的优越性能和可扩展性。
2026-01-26 cs.AI cs.LG
Reward-Based Online LLM Routing via NeuralUCB
Oregon State University（俄勒冈州立大学）
本文提出基于神经UCB的LLM路由策略，在模拟环境中验证其在成本意识路由中的优势，相比随机和最小成本基线，其在效用奖励上表现更优，同时保持较低的推理成本。
2026-03-31 cs.CL cs.LG
Deep Multi-Objective Reinforcement Learning for Utility-Based Infrastructural Maintenance Optimization
Eindhoven University of Technology（埃因霍温理工大学）；City of Amsterdam（阿姆斯特丹市）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Delft University of Technology（代尔夫特理工大学）
本文提出 MO-DCMAC 多目标强化学习方法，可在非线性效用下直接权衡坍塌概率与成本，并在多种基础设施维护场景中优于传统启发式规则策略。
2025-01-08 cs.AI cs.LG
Adaptive Preference Optimization with Uncertainty-aware Utility Anchor
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（人工智能研究院，合肥综合性国家科学中心）；State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI）
提出一种通用离线偏好优化框架UAPO，通过引入锚点函数估计偏好数据标注的不确定性，支持非配对数据训练，提升数据利用效率和训练鲁棒性。
2025-09-03 cs.CL cs.LG
Quantum-Inspired Episode Selection for Monte Carlo Reinforcement Learning via QUBO Optimization
Phystech School of Applied Mathematics and Computer Science（菲斯特科技应用数学与计算机科学学院）；MIPT Russia（莫斯科国立信息安全大学俄罗斯分校）；Research Center for Artificial Intelligence Innopolis University Russia（人工智能研究中心因诺普利斯大学俄罗斯分校）；Q Deep Innopolis Russia（Q深度因诺普利斯俄罗斯）；Innopolis University Russia（因诺普利斯大学俄罗斯分校）；Laboratory of Quantum Computing Innopolis University Russia（量子计算实验室因诺普利斯大学俄罗斯分校）
通过QUBO优化的量子启发式方法提升蒙特卡洛强化学习的收敛速度和策略质量
2026-01-24 cs.LG cs.RO
Deep Intrinsic Surprise-Regularized Control (DISRC): A Biologically Inspired Mechanism for Efficient Deep Q-Learning in Sparse Environments
James Madison High School（詹姆斯麦迪逊高中）；Thomas Jefferson HSST（托马斯·杰斐逊高中）；Northview High School（北视高中）
DISRC通过动态调节Q更新，提升稀疏奖励环境下的深度Q学习效率与稳定性。
2026-01-24 cs.LG cs.NE
Avoiding Death through Fear Intrinsic Conditioning
Rochester Institute of Technology（罗切斯特理工学院）
针对死亡等高负奖励终止状态不提供反馈的问题，本文提出受杏仁核发育启发、由 MANN 生成的恐惧内在奖励，使智能体在 Miniworld Sidewalk 中学会回避死亡，并通过阈值调节复现 GAD 相关行为。
2025-06-05 cs.AI cs.LG
Defense Against Reward Poisoning Attacks in Reinforcement Learning
MPI-SWS（马克斯·普朗克软件系统研究所）
研究了强化学习中奖励中毒攻击的防御策略。作为一个威胁模型，我们考虑攻击，最小限度地改变奖励，使攻击者的目标策略唯一最优下中毒的奖励，与最优差距指定的攻击参数。我们的目标是设计代理，对这种攻击的最坏情况下的效用w.r.t.真实的、未中毒的奖励，同时在中毒的奖励下计算他们的策略。我们提出了一个优化框架，用于获得最佳的防御策略，无论是当攻击参数是已知的和未知的。此外，我们表明，防御政策的建议的优化问题的解决方案具有可证明的性能保证。特别是，我们提供了以下界限相对于真实的，未中毒的，奖励：a）防御策略的预期回报的下限，以及b）这些防御策略与攻击者的目标策略相比是次优的上限。最后，我们通过说明我们的正式结果背后的直觉，并表明导出的界限是非平凡的。
2021-06-20 cs.AI cs.LG
Human-Inspired Multi-Level Reinforcement Learning
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Army Educational Outreach Program（陆军教育推广计划）；DEVCOM Army Research Lab（DEVCOM陆军研究实验室）
本文提出了一种受人类启发的多级强化学习方法，通过提取多级信息实现有效学习，结合低级奖励信号和高级方向信息，提升策略优化效果。
2025-11-22 cs.AI cs.LG
Concave Statistical Utility Maximization Bandits via Influence-Function Gradients
ORT Uruguay（ORT乌拉圭大学）
研究了基于长期奖励分布统计功能而非期望奖励的随机多臂老虎机问题，提出基于影响函数计算的熵镜升算法，通过乘法权重更新和影响函数估计实现凹分布效用优化，建立分离优化误差与影响函数估计偏差的后悔界。
2026-04-29 cs.LG math.ST stat.AP
Admissible Policy Teaching through Reward Design
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
我们研究奖励设计策略，激励一个强化学习代理采用一组可接受的政策的政策。奖励设计者的目标是以成本有效的方式修改潜在的奖励函数，同时确保在新的奖励函数下的任何近似最优确定性策略是可接受的，并且在原始奖励函数下表现良好。这个问题可以被看作是最优奖励中毒攻击问题的对偶：奖励设计者不是强迫代理采取特定的策略，而是激励代理避免采取在某些状态下不可接受的行为。也许令人惊讶的是，与最优奖励中毒攻击的问题相比，我们首先证明了可接受的策略教学的奖励设计问题在计算上是具有挑战性的，并且很难找到近似最优的奖励修改。然后，我们继续制定一个代理问题，其最佳解决方案近似的最佳解决方案的奖励设计问题，在我们的设置，但更适合于优化技术和分析。对于这个代理问题，我们提出的表征结果，提供的最优解的值的界限。最后，我们设计了一个局部搜索算法来解决代理问题，并使用基于仿真的实验来展示其实用性。
2022-01-06 cs.AI cs.LG
Reproducing, Analyzing, and Detecting Reward Hacking in Rubric-Based Reinforcement Learning
Tsinghua University（清华大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Xi’an Jiaotong University（西安交通大学）
本文提出可控黑客环境CHERRL，通过注入已知偏见复现奖励黑客行为，分析其可发现性与可利用性，并探索基于智能体的自动检测方法。
2026-09-30 cs.AI cs.CL cs.LG
If MaxEnt RL is the Answer, What is the Question?
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）
在实验中，人们观察到，人类和动物经常做出的决策并没有最大化他们的预期效用，而是随机选择结果，概率与预期效用成正比。这种策略被称为概率匹配，相当于最大熵强化学习（MaxEnt RL）。然而，MaxEnt RL并没有优化预期效用。在本文中，我们正式证明了MaxEnt RL确实最优地解决了奖励函数可变的某些控制问题。特别是，我们证明了（1）MaxEnt RL可以用来解决某类POMDPs，（2）MaxEnt RL等价于对手选择奖励函数的两人游戏。这些结果表明MaxEnt RL，鲁棒控制和POMDPs之间有更深层次的联系，并为我们可能期望MaxEnt RL产生有效解决方案的问题类型提供了见解。具体来说，我们的研究结果表明，任务目标中具有不确定性的域可能特别适合MaxEnt RL方法。
2019-10-04 cs.AI cs.LG stat.ML
ARC-RL: A Reinforcement Learning Playground Inspired by ARC Raiders
Media Integration and Communication Center – University of Florence（媒体整合与通信中心——佛罗伦萨大学）
本文提出ARC-RL，一个包含四种MuJoCo连续控制环境的强化学习游乐场，这些环境的机器人形态灵感来自ARC Raiders的生物目录，通过统一的观察模板、动作约定和奖励函数，研究不同形态和动画风格约束下的强化学习算法性能。
2026-05-20 cs.AI cs.LG cs.RO
Reconciling Rewards with Predictive State Representations
Northeastern University（东北大学）
预测状态表示（PSR）是受控非马尔可夫观测序列的模型，其表现出相同的生成过程，而不依赖于潜在的潜在状态。在这方面，PSR与相应的POMDP无法区分。然而，众所周知，PSR忽略了奖励的概念，这破坏了PSR模型在控制、规划或强化学习方面的通用性。因此，我们描述了一个充分和必要的准确性条件，它决定了PSR是否能够准确地建模POMDP奖励，我们表明，即使不满足准确性条件，奖励也可以近似，我们发现，从一个著名的第三方存储库中获取的非平凡数量的POMDP不满足准确性条件。我们提出了奖励预测状态表示（R-PSRs），这是对PSRs的一种推广，它可以准确地对观测和奖励进行建模，并为R-PSRs开发了值迭代。我们发现，有一个最佳POMDP政策和最佳PSR政策来自近似奖励之间的不匹配。另一方面，最佳R-PSR策略与最佳POMDP策略完美匹配，重新确认R-PSR是准确的无状态观察和奖励生成模型。
2021-06-07 cs.AI cs.LG
Pass@K Policy Optimization: Solving Harder Reinforcement Learning Problems
Google DeepMind（谷歌DeepMind）
提出 Pass-at-k 策略优化 (PKPO)，通过变换奖励直接优化 pass@k 性能，利用低方差无偏估计器，在训练中退火 k 可同时提升 pass@1 和 pass@k，解决更难问题。
2026-06-11 cs.AI cs.CL cs.LG
Combinatorial Multi-Armed Bandit with General Reward Functions
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Tsinghua University（清华大学）；Shanghai University of Finance and Economics（上海财经大学）
在本文中，我们研究了随机组合多臂强盗（CMAB）框架，允许一个一般的非线性奖励函数，其期望值可能不仅取决于输入随机变量的平均值，但可能对这些变量的整个分布。我们的框架支持更大类的奖励函数，如$\max()$函数和非线性效用函数。现有的技术依赖于随机变量的均值的精确估计，例如置信上限（UCB）技术，不直接对这些函数起作用。本文提出了一种新的随机优势置信界估计算法（SDCB），该算法估计潜在随机变量的分布及其随机优势置信界。我们证明了SDCB可以实现$O(\log{T})$分布依赖的后悔和$\tilde{O}(\sqrt{T})$分布无关的后悔，其中$T$是时间范围。我们将我们的结果应用到$K$ -MAX问题和期望效用最大化问题。特别地，对于$K$，我们给出了其离线问题的第一多项式时间近似方案（PTAS），并给出了其在线问题的$(1-ε)$ -近似遗憾的第一$\tilde{O}(\sqrt T)$界，对于任何$ε>0$ .
2018-07-20 cs.DS cs.LG stat.ML
Mitigating False Credit Propagation: Probabilistic Graphical Reward Aggregation for Rubric-Based Reinforcement Learning
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University（北京未来区块链与隐私计算先进创新中心，人工智能学院，北京航空航天大学）；Tsinghua University（清华大学）
针对准则奖励中因忽略准则间依赖关系导致的虚假信用传播问题，提出概率图框架Graphical Event Aggregation for Rubric rewards (GEAR)，通过建模潜在伯努利事件和软抑制传播实现依赖感知的奖励聚合，在多个基准上提升性能并减少信用泄漏。
2026-08-27 cs.LG
It's a matter of timescale: non-linear utility in successor features and multi-objective planning and learning
AI Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学AI实验室）；Institute of Informatics - Federal University of Rio Grande do Sul（南大河州联邦大学信息学研究所）；Federation University Australia（澳大利亚联邦大学）
本文针对多目标强化学习及后继特征方法未考虑同一决策问题中不同时间尺度非线性效用效应的不足，通过示例论证后提出新视角，指出相关研究存在显著空白。
2026-09-01 cs.AI cs.LG
Programmatic Reward Design by Example
Boston University（波士顿大学）
奖励设计是强化学习（RL）中的一个基本问题。错误指定或设计不当的奖励可能导致低样本效率和不期望的行为。在本文中，我们提出了程序化奖励设计的思想，即在RL环境中使用程序来指定奖励函数。程序允许人类工程师以结构化和可解释的方式表达子目标和复杂的任务场景。然而，程序化奖励设计的挑战在于，虽然人类可以提供高层次的结构，但适当地设置低层次的细节，例如为特定的子任务提供适当的奖励，仍然很困难。本文的一个主要贡献是一个概率框架，可以推断出最好的候选人的编程奖励功能，从专家演示。受最近的生成对抗方法的启发，我们的框架搜索最有可能的编程奖励函数，在该函数下，最佳生成的轨迹无法与演示的轨迹区分开来。实验结果表明，使用该框架学习的程序化奖励函数可以显著优于使用现有奖励学习算法学习的程序化奖励函数，并使RL代理能够在高度复杂的任务上实现最先进的性能。
2022-01-07 cs.AI cs.LG cs.PL
Scalable Ensembling For Mitigating Reward Overoptimisation
Stanford University（斯坦福大学）
针对RLHF中语言模型易出现奖励过度优化的问题，提出共享编码器加独立线性头的可扩展集成方案，在保持性能的同时显著降低大模型训练的内存与时间成本。
2024-06-18 cs.CL cs.LG
ArenaFlow: From Trajectory Ranking to Hierarchical Credit Propagation for Open-Ended Agent RL
Alibaba Token Hub, Alibaba Group（阿里巴巴通义实验室，阿里巴巴集团）；Amap, Alibaba Group（高德，阿里巴巴集团）
ArenaFlow提出分层信用传播框架，利用锦标赛排序和结构化反思，在步骤与技能层面传播奖励，以提升开放式智能体强化学习的性能。
2026-09-21 cs.CL
