CoLD: Counterfactually-Guided Length Debiasing for Process Reward Models in Mathematical Reasoning
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚实验室);Peking University(北京大学);University of Bristol(布里斯托大学)
本文提出CoLD,一种通过反事实引导消除过程奖励模型中长度偏差的统一框架,旨在提高多步骤推理的准确性和简洁性,同时提升下游强化学习性能和跨领域泛化能力。
2026-05-19 cs.AI cs.CL cs.LG
Automated Rewards via LLM-Generated Progress Functions
本文提出 LLM 驱动的奖励生成框架,通过合成任务进度函数离散化状态并构造基于计数的内在奖励,在 Bi-DexHands 上以少 20 倍的奖励采样达到最先进策略性能。
2024-10-25 cs.AI cs.CL cs.LG
Does Using Counterfactual Help LLMs Explain Textual Importance in Classification?
American Express(美国运通)
本研究提出决策变化率框架,探讨反事实推理对LLM在文本分类中识别关键词语重要性的影响,实验表明反事实方法有效。
2025-10-05 cs.AI cs.CL
Mitigating Length Bias in RLHF through a Causal Lens
针对RLHF奖励模型偏好长回复的长度偏差问题,提出因果框架下的反事实数据增强方法训练奖励模型,有效降低长度偏差,提升奖励建模的鲁棒性与内容敏感度。
2025-11-16 cs.AI cs.CL
Fairness Aware Reward Optimization
CSAIL, Department of EECS, Massachusetts Institute of Technology(计算机科学与人工智能实验室,电气工程与计算机科学系,麻省理工学院);School of CIT, MCML, MDSI, Technical University of Munich(信息科技学院,MCML,MDSI,慕尼黑技术大学)
Faro通过在处理过程中训练奖励模型,实现公平性、准确性与校准性的平衡,减少偏见并提升模型质量。
2026-02-08 cs.AI cs.LG
Beyond Reward Hacking: Causal Rewards for Large Language Model Alignment
Meta;University of Chicago(芝加哥大学)
本文提出一种新颖的因果奖励建模方法,通过整合因果性并强制反事实不变性来缓解RLHF中的虚假相关性,有效消除多种偏差,从而实现更可靠、公平的大型语言模型对齐。
2025-05-29 cs.AI cs.LG
NormWorlds-CF: Solver-Verified Counterfactual Normative Reasoning with Metamorphic-Relation GRPO
Tsinghua University(清华大学)
介绍NormWorlds-CF用于可执行规则世界的反事实规范推理,其求解器能产生多种结果用于监督评估。通过实验对比不同奖励机制对任务的影响,显示验证的反事实结构可影响训练后表现。
2026-07-29 cs.AI cs.CL
EduAlign: Aligning Educational LLMs for Helpfulness, Personalization, and Creativity
Shanghai Innavation Institute(上海创新研究院);Shanghai Institute of AI for Education(上海人工智能教育研究院);School of Computer Science and Technology(计算机科学与技术学院);Department of Educational Information Technology(教育信息技术系)
本文提出EduAlign框架,通过构建HPC多维奖励模型并结合GRPO强化学习微调LLM,提升AI导师在有用性、个性化和创造力培养上的教学对齐。
2026-10-06 cs.AI cs.LG
Counterexample Generation via Per-Theorem Symbolic Verifiers: When Imitation Hurts and Reinforcement Repairs
National School of Artificial Intelligence(国家人工智能学院);University of Birmingham(伯明翰大学)
针对大模型证伪差距,提出基于逐定理验证器的反例生成框架SymCE,发现模仿SFT有害而强化学习RLVR修复并提升性能,4B模型超越7B专家并媲美商业API。
2026-10-05 cs.AI cs.CL
Trade-R1: Bridging Verifiable Rewards to Stochastic Environments via Process-Level Reasoning Verification
StepFun(阶跃星辰);FinStep;Shanghai University of Finance and Economics(上海财经大学);Shanghai Jiao Tong University(上海交通大学)
Trade-R1通过过程级推理验证,将可验证奖励与随机金融环境连接,减少奖励黑客问题,DSR在跨市场泛化中表现优异。
2026-01-08 cs.AI q-fin.TR
Reducing Credit Assignment Variance via Counterfactual Reasoning Paths
Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
提出反事实比较框架,通过采样多条推理轨迹并利用差异隐式估计过程级优势,将稀疏终端奖励转化为步骤敏感信号,从而改进大语言模型多步推理的信用分配,并引入隐式行为策略优化(IBPO)提升训练稳定性和性能上限。
2026-05-23 cs.AI cs.CL cs.LG
Counting Reward Automata: Sample Efficient Reinforcement Learning Through the Exploitation of Reward Function Structure
University of the Witwatersrand(威特沃特斯兰德大学)
本文提出计数奖励自动机,通过利用奖励函数结构并支持无限制文法描述任务,提升了强化学习的样本效率、自动机简洁性和任务完成度。
2024-02-16 cs.AI
Verifiable Counterfactual Supervision for Process Reward Models
Jilin University(吉林大学)
提出一个可控且可验证的框架,通过注入模板感知错误并重新计算后续步骤来合成过程监督数据,以提升过程奖励模型在逻辑和数学推理中的性能。
2026-06-23 cs.AI
GIFT: LLM-Guided State-Reward Interface for Financial Reinforcement Learning
East China University of Science and Technology(华东理工大学);University of Science and Technology of China(中国科学技术大学);Southwestern University of Finance and Economics(西南财经大学);University of Sydney(悉尼大学);City University of Hong Kong(香港城市大学);Northeastern University(东北大学);The Ohio State University(俄亥俄州立大学);National University of Singapore(新加坡国立大学)
提出GIFT框架,利用大语言模型引导PPO强化学习中的状态增强和奖励塑造,提升金融交易策略的样本外风险调整收益。
2026-06-07 cs.AI
Monte Carlo Augmented Actor-Critic for Sparse Reward Deep Reinforcement Learning from Suboptimal Demonstrations
UC Berkeley(加州大学伯克利分校);University of Utah(犹他大学)
为RL算法提供密集形状的奖励函数通常是非常具有挑战性的,这促使RL算法的发展可以从指定稀疏奖励函数中学习。这种稀疏性带来了新的探索挑战。解决这个问题的一种常见方法是使用演示来提供关于具有高回报的状态空间区域的初始信号。然而,先前的RL演示算法引入了显着的复杂性和许多超参数,使得它们难以实现和调整。我们引入蒙特卡罗增强演员评论(MCAC),一个参数的自由修改标准演员评论家算法,它将重放缓冲区的演示和计算修改后的$Q$值,通过采取最大的标准时间距离(TD)的目标和蒙特卡罗估计的奖励去。这通过鼓励状态空间的对应区域中的高$Q$值来鼓励在高性能轨迹的邻域中的探索。跨$5$连续控制域的实验表明,MCAC可用于显著提高跨$6$常用RL和RL从演示算法的学习效率。有关代码和补充材料,请参见https://sites.google.com/view/mcac-rl。
2022-10-20 cs.AI cs.LG
LECO: Learnable Episodic Count for Task-Specific Intrinsic Reward
Kakao Brain
情节计数已被广泛用于设计一个简单而有效的内在动机的强化学习与稀疏的奖励。然而,在高维状态空间中以及在长的情节时间上使用情节计数需要彻底的状态压缩和快速散列,这阻碍了在这种困难和复杂的探索环境中对其的严格利用。此外,来自任务无关的观察在情节计数的干扰可能会导致其内在动机,忽视任务相关的重要变化的状态,和新奇的情节方式可以导致重复重温熟悉的状态跨事件。为了解决这些问题,在本文中,我们提出了一个可学习的基于散列的情节计数,我们命名为LECO,有效地执行任务特定的内在奖励在硬探索问题。特别是,所提出的内在奖励包括情节新颖性和任务特定的调制,其中前者采用矢量量化的变分自编码器,以自动获得快速计数的离散状态码,而后者通过学习调制器来调节情节新颖性,以优化任务特定的外在奖励。所提出的LECO特别地使得在强化学习期间能够从探索自动过渡到利用。我们的实验表明,与以前的探索方法相比,LECO成功地解决了困难的探索问题,并通过在MiniGrid和DMLab环境中最困难的任务扩展到大的状态空间。
2022-10-11 cs.AI cs.LG
What Are Step-Level Reward Models Rewarding? Counterintuitive Findings from MCTS-Boosted Mathematical Reasoning
TAL Education Group(好未来教育集团)
本文探究MCTS增强的步骤级奖励模型在数学推理中的反直觉机制,发现自然语言思维描述影响甚微,而模型主要奖励数学语言的逻辑连贯性,为精简高效SRMs设计提供指导。
2025-03-08 cs.AI cs.LG
Large-Scale Study of Curiosity-Driven Learning
OpenAI;UC Berkeley(加州大学伯克利分校);Univ. of Edinburgh(爱丁堡大学)
强化学习算法依赖于精心设计的环境奖励,这些奖励是代理外部的。然而,用手工设计的、密集的奖励来注释每个环境是不可扩展的,这激发了开发代理固有的奖励函数的需求。Currency是一种以预测误差作为奖励信号的内在奖励函数。在本文中:(a)我们在54个标准基准环境(包括Atari游戏套件)中进行了第一次纯好奇心驱动学习的大规模研究,即没有任何外在奖励。我们的研究结果显示出令人惊讶的良好性能,以及许多游戏环境的内在好奇心目标和手工设计的外在奖励之间的高度一致性。(b)我们研究了使用不同特征空间计算预测误差的效果,并表明随机特征对于许多流行的RL游戏基准测试已经足够,但学习的特征似乎更好地推广(例如,在超级马里奥兄弟中的新游戏关卡)。(c)我们证明了基于预测的奖励在随机设置的局限性。游戏视频和代码在https://pathak22.github.io/large-scale-curiosity/
2018-08-13 cs.AI cs.CV cs.LG
Multi-Armed Bandit Problem with Temporally-Partitioned Rewards: When Partial Feedback Counts
Politecnico di Milano(米兰理工大学)
人们对数据按顺序可用的工业在线应用越来越感兴趣。受启发的播放列表的用户,他们的喜好可以收集在整个播放列表的收听过程中的建议,我们研究了一种新的土匪设置,即多武装土匪与时间分区奖励(TP-MAB),其中随机奖励与拉的手臂被划分在有限数量的连续轮后拉。据我们所知,这一设置迄今尚未被探索,它是延迟反馈强盗的自然延伸,在这种情况下,奖励可能会在拉动后的有限时间内扩大,而不是在一个可能延迟的单一回合中完全披露。我们提供了两种算法来解决TP-MAB问题,即TP-UCB-FR和TP-UCB-EW,它们利用了随着时间的推移收集的奖励所披露的部分信息。我们表明,我们的算法提供了更好的渐近后悔上界比延迟反馈强盗算法时,一个属性表征了广泛的奖励结构的实际利益,即阿尔法平滑,持有。我们还根据经验评估了他们在各种环境中的表现,包括综合生成的和现实世界的媒体推荐问题。
2022-06-01 cs.AI cs.LG
Active Finite Reward Automaton Inference and Reinforcement Learning Using Queries and Counterexamples
Arizona State University(亚利桑那州立大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
尽管深度强化学习(RL)在各种任务中的表现已经超过了人类水平,但它仍然存在一些根本性的挑战。首先,大多数强化学习方法需要从环境探索中获得大量数据才能实现令人满意的性能。其次,在强化学习中使用神经网络使得很难以人类可以理解的方式解释系统的内部结构。为了解决这两个挑战,我们提出了一个框架,使RL代理的原因在其探索过程中,并提取高层次的知识,有效地指导其未来的探索。具体来说,我们提出了一种新的RL算法,学习高级知识的形式,有限奖励自动机通过使用L* 学习算法。我们证明了在情节强化学习中,有限奖励自动机可以表示任何非马尔可夫有界奖励函数,并以任意精度逼近任何非马尔可夫有界奖励函数(具有无穷多个奖励值)。我们还提供了一个下界的情节长度,建议RL方法几乎肯定收敛到一个最优的政策的限制。我们在两个具有非马尔可夫奖励函数的RL环境中测试了这种方法,为每个环境选择了各种复杂性不断增加的任务。我们比较了我们的算法与最先进的RL算法的非马尔可夫奖励功能,如联合推理的奖励机和策略的RL(JIRP),学习奖励机(LRM),和近端策略优化(PPO2)。我们的结果表明,我们的算法收敛到最优策略比其他基线方法。
2021-07-03 cs.AI cs.LG
Don't Count the Edits, Judge by the Outcome Alone: Reward-Based Evaluation for Grammatical Error Correction
Chung-Ang University(中央大学)
提出SURE,一种基于源条件奖励的语法纠错评估器,通过联合学习整体奖励与多标准监督,在SEEDA上优于基线,尤其擅长改写式修正。
2026-09-15 cs.AI cs.CL
MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning
NTU Singapore(新加坡南洋理工大学)
MetaRubric通过证据感知策略优化与响应引导的评分标准适应,解决基于评分标准的强化学习中的空洞信用问题,显著提升医学问答等任务的准确率。
2026-10-05 cs.AI
Counterfactual Self-Questioning for Stable Policy Optimization in Language Models
反事实自问法通过内部生成的监督提升语言模型的推理准确性和训练稳定性,实现自我改进。
2025-12-31 cs.AI
Counterfactual Credit Policy Optimization for Multi-Agent Collaboration
Beihang University(北航);Peking University(北京大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对多智能体大语言模型协作中信用分配难题,提出CCPO框架,通过反事实信用估计和验证器锚定的自评估两种分配器,将团队奖励转化为个体学习信号,提升数学推理任务表现。
2026-06-12 cs.AI
Curiosity-Driven Multi-Agent Exploration with Mixed Objectives
Korea Advanced Institute of Science and Technology(韩国科学技术院)
在单智能体强化学习中,内在奖励被越来越多地用于缓解稀疏奖励问题。这些内在奖励鼓励智能体寻找新的体验,引导智能体充分探索环境,尽管缺乏外在奖励。好奇心驱动的探索是一种简单而有效的方法,它将这种新奇性量化为智能体好奇心模块的预测误差,好奇心模块是一种内部神经网络,经过训练可以根据智能体的当前状态和动作预测智能体的下一个状态。然而,我们在这里表明,天真地使用这种好奇心驱动的方法来指导稀疏奖励合作多智能体环境中的探索并不总是会导致改进的结果。好奇心驱动的探索的简单多智能体扩展只考虑个人或集体的新颖性,因此,它们不提供一个独特的,但协作的内在奖励信号,这是必不可少的学习合作多智能体任务。在这项工作中,我们提出了一个好奇心驱动的多智能体探索方法,具有混合目标的激励代理人探索环境的方式,是单独和集体新颖的。首先,我们开发了一个双头好奇心模块,该模块被训练来预测相应的代理在第一个头中的下一个观察和在第二个头中的下一个联合观察。其次,我们将内在奖励公式设计为好奇心模块的个体和联合预测误差之和。我们的经验表明,我们的好奇心模块架构和内在的奖励制定相结合的指导多智能体探索更有效地比基线方法,从而提供了最佳的性能提升MARL算法在合作导航环境与稀疏的奖励。
2022-10-29 cs.AI cs.LG cs.MA
Experimental Evidence that Empowerment May Drive Exploration in Sparse-Reward Environments
Swarthmore College(斯沃斯莫尔学院);Araya Inc.(Araya公司)
强化学习(RL)在外部奖励稀疏的环境中通常是不成功的。一个可能的对策是赋予RL代理一个内在的奖励功能,或“内在动机”,它根据当前传感器状态的某些特征奖励代理。基于授权原则的内在奖励函数分配与代理对其自己的传感器的控制量成比例的奖励。我们实现了一个变化,最近提出的内在动机的代理,我们称之为“好奇”的代理,授权启发代理。前者利用传感器状态编码与变分自编码器,而后者预测下一个传感器状态通过变分信息瓶颈。我们比较了这两个代理的性能,在四个稀疏的奖励网格世界的优势演员-评论家基线。授权代理人和它好奇的竞争者似乎都从他们的内在奖励中获得了类似的好处。这为授权可以用来推动探索的猜想提供了一些实验支持。
2021-07-14 cs.AI
Counterfactual Shapley Credit Assignment
研究信用分配问题,提出基于因果理论的反事实沙普利信用分配框架,通过反事实沙普利值分配功劳责任,推导有效估计器实现$\phi$-PPO方法,结合优先轨迹重放,在复杂环境中有卓越样本效率,能精确对齐奖励真实原因。
2026-08-10 cs.AI cs.LG
Retell, Reward, Repeat: Reinforcement Learning for Narrative Theory-Informed Story Retelling
University of New South Wales(新南威尔士大学)
提出RRR强化学习框架,结合结构主义叙事学与标量叙事性,通过d-RLAIF从文本特征中获取训练信号,无需参考输出,提升LLM故事复述的逻辑性、合理性和完整性。
2026-10-14 cs.AI cs.CL
The impact of intrinsic rewards on exploration in Reinforcement Learning
University College London(伦敦大学学院)
本研究通过对比四种内在奖励机制在MiniGrid环境中的探索效果,发现状态计数在低维观测下最优,最大熵更稳健,而DIAYN技能多样性不促进探索。
2025-01-20 cs.AI cs.LG
HPO: Hysteretic Policy Optimization for Stable and Efficient Training under Sparse-Reward Regime
Paris Research Center, Huawei Technologies(华为技术有限公司巴黎研究中心)
针对GRPO在稀疏验证奖励下的失败模式,提出HPO通过降低负优势更新权重和均值长度归一化改进训练,并引入自适应版本A-HPO,在TeleLogs和Countdown实验中显著提升奖励。
2026-05-28 cs.AI cs.LG
Focus on Impact: Indoor Exploration with Intrinsic Motivation
University of Modena and Reggio Emilia(摩德纳雷焦艾米利亚大学)
室内环境的探索最近引起了人们的极大兴趣,这也要归功于引入了以分层方式构建的深度神经代理,并在模拟环境中使用深度强化学习(DRL)进行训练。当前最先进的方法采用密集的外在奖励,其需要训练环境的布局的完整先验知识来学习有效的探索策略。然而,就时间和资源而言,收集这种信息是昂贵的。在这项工作中,我们建议训练模型与一个纯粹的内在奖励信号,以指导探索,这是基于机器人的行动对环境的内部表示的影响。到目前为止,基于影响的奖励已经用于简单的任务和程序生成的具有可数状态的合成环境。由于在现实的室内环境中的代理可观察到的状态的数量是不可数的,我们包括一个基于神经的密度模型,并取代传统的基于计数的正则化与估计的伪计数以前访问过的状态。所提出的探索方法优于DRL为基础的竞争对手依赖于内在的奖励,并超越了密集的外部奖励计算的环境布局训练的代理。我们还表明,机器人配备了所提出的方法无缝地适应点目标导航和现实世界的部署。
2022-02-04 cs.AI cs.CV cs.RO
Learning Which Evidence-Seeking Decisions Matter: Calibrated Counterfactual Replay for Language Agents
stu.ahu.edu.cn(安徽大学)
提出CVT-RL算法,通过策略条件反事实贡献估计和可验证奖励约束,解决长周期语言智能体在推理和工具使用中的虚假证据链、信念漂移和捷径行为问题,在多个任务上提升成功率并降低作弊率。
2026-11-20 cs.AI cs.LG
ARMS: Automatic Reward Shaping for Sparse-Reward Multi-Agent Reinforcement Learning
Department of Marine Technologies(海洋技术系)
提出ARMS框架,通过自监督轨迹排序学习稠密塑形信号,并基于条件最优反应推理证明其保持纳什均衡,从而解决多智能体强化学习中的稀疏奖励问题。
2026-05-22 cs.AI cs.MA
Trust Region Reward Optimization and Proximal Inverse Reward Optimization Algorithm
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Auckland(奥克兰大学);Chongqing University(重庆大学)
本文提出信赖域奖励优化(TRRO)框架及其算法实例PIRO,通过次小化-最大化过程保证专家行为似然单调提升,解决了非对抗逆强化学习缺乏稳定性保证的问题,在多项基准上匹配或超越最先进基线。
2025-10-13 cs.AI cs.LG
Expressive Reward Synthesis with the Runtime Monitoring Language
Imperial College London(伦敦帝国理工学院);University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学)
针对强化学习中奖励机表达能力受正则语言限制的问题,本研究基于运行时监控语言(RML)提出新型基于语言的奖励机,可处理非正则非马尔可夫任务,在事件处理和任务定义上更具优势。
2025-10-21 cs.AI cs.FL cs.LG