Distance-rank Aware Sequential Reward Learning for Inverse Reinforcement Learning with Sub-optimal Demonstrations
Tsinghua University(清华大学);SenseTime Research(商汤科技研究院);Chinese University of Hong Kong(香港中文大学);Hong Kong University of Science and Technology(香港科技大学)
针对次优示范逆强化学习中奖励模糊性问题,提出距离排名感知序列奖励学习框架,结合轨迹排名、策略距离与Transformer,显著提升奖励估计性能。
2023-10-13 cs.AI cs.LG
Causal policy ranking
causaLens
通过强化学习(RL)训练的策略即使对于简单的任务也通常非常复杂。在具有$n$时间步长的事件中,策略将对要采取的操作做出$n$决策,其中许多决策对于观察者来说可能看起来不直观。此外,尚不清楚这些决定中哪些直接有助于实现奖励,以及它们的贡献有多大。给定一个经过训练的策略,我们提出了一个基于反事实推理的黑盒方法,该方法估计这些决策对奖励获得的因果影响,并根据此估计对决策进行排名。在这个初步的工作中,我们比较我们的措施对替代,非因果,排名过程中,突出的好处,基于cavity的政策排名,并讨论潜在的未来工作整合因果算法到RL代理政策的解释。
2021-11-16 cs.AI cs.LG
R^3: Replay, Reflection, and Ranking Rewards for LLM Reinforcement Learning
University of Electronic Science and Technology of China(电子科学与技术大学);Unaffiliated(无隶属机构);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
R^3通过回放、反思和奖励排名机制,提升大语言模型在强化学习中的稳定性和效率,实现数学领域性能突破。
2026-01-28 cs.AI cs.LG
Towards Understanding the Influence of Reward Margin on Preference Model Performance
Beijing Academy of Artificial Intelligence(北京人工智能研究院);Sichuan University(四川大学)
针对传统排序目标训练的奖励模型难以区分回答优劣的问题,本文提出无需详尽人工标签的偏好差异估计方法,并证明引入 margin 值可显著提升奖励预测准确率与实际效果。
2024-04-07 cs.AI cs.CL
Navigating Noisy Feedback: Enhancing Reinforcement Learning with Error-Prone Language Models
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute USA(美国本田研究所)
本文针对语言模型反馈中的排序错误问题,提出将反馈作为势能塑形函数的方法,在显著错误下仍能提升强化学习的收敛速度与策略回报。
2024-10-22 cs.AI
When Errors Can Be Beneficial: A Categorization of Imperfect Rewards for Policy Gradient
Some Institute(某些研究所)
本文探讨了在策略梯度方法中,不完美奖励的错误并非全然有害,通过理论分析分类了不同类型的奖励误差对真实奖励增加的影响,提出了改进人类反馈强化学习和可验证奖励设计的实用方法。
2026-04-28 cs.AI cs.LG stat.ML
RLVR$^{2}$: Reinforcement Learning with Verifiable Rubric-based Ranking
Baidu Inc.(百度公司)
针对多维评分标准下奖励聚合的不可靠性,提出RLVR$^2$,通过组内排序和潜在效用合并生成训练信号,在三个规模、16个基准上优于基线。
2026-11-06 cs.AI cs.LG
ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking
Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团)
ArenaRL通过基于比赛的相对排名机制,提升开放性智能体在复杂任务中的表现,实现效率与精度的平衡。
2026-07-23 cs.AI cs.LG
Ranking-aware Reinforcement Learning for Ordinal Ranking
AMAP, Alibaba Group(阿里集团AMAP)
RARL通过整合回归和学习到排名任务,利用排名-aware奖励和响应突变操作提升有序排名性能。
2026-01-28 cs.AI cs.LG
Ranked Reward: Enabling Self-Play Reinforcement Learning for Combinatorial Optimization
InstaDeep(InstaDeep公司)
当与结合了深度神经网络和树搜索的强化学习算法一起使用时,双人游戏中的对抗性自我游戏产生了令人印象深刻的结果。像AlphaZero和Expert Iteration这样的算法学习tabula-rasa,在飞行中产生高度信息化的训练数据。然而,自玩训练策略并不直接适用于单人游戏。最近,几个实际上重要的组合优化问题,如旅行商问题和装箱问题,已被重新表述为强化学习问题,增加了重要性,使自我发挥的好处超越两个玩家的游戏。我们提出了排名奖励(R2)算法,它通过对单个代理在多个游戏中获得的奖励进行排名来创建相对性能指标。将R2算法应用于二维和三维装箱问题的实例表明,它优于一般的蒙特卡罗树搜索,启发式算法和整数规划求解器。我们还提出了一个分析的排名奖励机制,特别是不同的难度和不同的排名阈值的问题实例的影响。
2018-12-06 cs.AI cs.LG stat.ML
Iterative Data Smoothing: Mitigating Reward Overfitting and Overoptimization in RLHF
University of California, Berkeley(加州大学伯克利分校)
针对RLHF中奖励模型训练1轮后性能下降、过度优化偏离真实目标的问题,提出迭代数据平滑算法,通过每轮用模型软标签更新数据,提升奖励学习效果。
2024-01-29 cs.AI cs.CL cs.LG
Oracle-RLAIF: An Improved Fine-Tuning Framework for Multi-modal Video Models using Reinforcement Learning from Ranking Feedback
Stanford University(斯坦福大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Microsoft(微软公司)
提出Oracle-RLAIF框架,用通用排序器替代奖励模型,结合基于GRPO的排名损失函数GRPO_rank,实现更高效的多模态视频模型微调,在多个基准上优于现有方法。
2026-06-23 cs.AI cs.CV
Ranking for Relevance and Display Preferences in Complex Presentation Layouts
University of Amsterdam(阿姆斯特丹大学)
学习排序传统上考虑了给定对象的相关性信息的设置,对对象进行排序的期望顺序是清楚的。然而,随着今天的各种各样的用户和布局,情况并非总是如此。在本文中,我们考虑所谓的复杂的排名设置,这是不清楚应该显示什么,也就是说,什么相关的项目,以及它们应该如何显示,也就是说,最相关的项目应该放在哪里。这些排名设置是复杂的,因为它们涉及传统排名和推断最佳显示顺序。现有的学习排序方法不能处理这种复杂的排序设置,因为它们假设显示顺序是预先已知的。为了解决这一差距,我们引入了一种新的深度强化学习方法,该方法能够从弱奖励信号中学习复杂的排名,包括布局和给定布局的最佳排名。我们提出的方法通过顺序选择文档和位置来实现,因此它对文档和位置进行排名,这就是为什么我们称之为双排名模型(DRM)。我们的实验表明,DRM优于所有现有的方法在复杂的排名设置,从而导致显着的排名改善的情况下,显示顺序是不知道的先验。
2018-05-07 cs.AI cs.IR
Clustered Policy Decision Ranking
University of Maryland(马里兰大学)
针对强化学习策略决策复杂且贡献不清晰的问题,提出基于统计协方差估计的黑盒方法,通过聚类环境状态并对决策重要性进行排名,且与基于统计故障定位的排名程序进行了比较。
2024-04-28 cs.AI cs.LG
Ordinal Monte Carlo Tree Search
在许多问题设置中,最明显的是在游戏中,智能体可能会因其行为而获得延迟的奖励。通常,这些奖励是手工制作的,而不是自然给予的。即使是简单的终端奖励,比如赢等于1,输等于负1,也不能被视为无偏的声明,因为这些值是任意选择的,学习者的行为可能会随着不同的编码而改变。很难争论好的奖励,代理的表现往往取决于奖励信号的设计。特别地,在状态本质上仅具有顺序排名并且游戏状态值之间的有意义的距离信息不可用的域中,数字奖励信号必然是有偏的。在本文中,我们看看MCTS,一个流行的算法来解决MDPs,突出一个重复出现的问题,其使用的奖励,并表明,有序的治疗的奖励克服了这个问题。使用一般的视频游戏播放框架,我们展示了我们新提出的顺序MCTS算法优于其他MCTS变体的优势,基于一种新的强盗算法,我们还介绍和测试与UCB。
2021-01-26 cs.AI
Improving Sample Efficiency in Evolutionary RL Using Off-Policy Ranking
Indian Institute of Science(印度科学学院)
演化策略是一种基于自然进化思想的黑箱优化技术。在每一次迭代中,关键的一步需要根据一些适应度得分对候选解决方案进行排名。对于强化学习(RL)中的ES方法,该排名步骤需要评估多个策略。这目前是通过基于策略的方法来完成的:每个策略的得分是通过使用该策略与环境进行多次交互来估计的。这导致了大量浪费的交互,因为一旦完成排名,只有与排名最高的策略相关联的数据用于后续学习。为了提高样本效率,我们提出了一种新的关闭政策的替代排名,基于适应度函数的局部近似。我们证明了我们的想法的背景下,一个国家的最先进的ES方法称为增强随机搜索(ARS)。在MuJoCo任务中的模拟表明,与原始ARS相比,我们的非策略变体在达到奖励阈值方面具有相似的运行时间,但只需要大约70%的数据。它的表现也优于最近的信任区域ES。我们相信我们的想法应该是可扩展的其他ES方法。
2023-02-21 cs.AI cs.LG
GOPO: Policy Optimization using Ranked Rewards
Cornell Tech, Cornell University, NY, United States(康奈尔科技、康奈尔大学,纽约,美国);Columbia University, NY, United States(哥伦比亚大学,纽约,美国)
GOPO通过使用奖励排名而非绝对值,提高了不可验证任务中策略优化的性能和效率。
2026-02-01 cs.AI cs.LG
Ordinal Monte Carlo Tree Search
Technische Universität Darmstadt(达姆施塔特工业大学)
在许多问题设置中,最明显的是在游戏中,智能体可能会因其行为而获得延迟的奖励。通常,这些奖励是手工制作的,而不是自然给予的。即使是简单的终端奖励,比如赢等于1,输等于-1,也不能被视为无偏的声明,因为这些值是任意选择的,学习者的行为可能会随着不同的编码而改变,比如将输的值设置为-0:5,这在实践中经常被用来鼓励学习。很难争论好的奖励,代理的表现往往取决于奖励信号的设计。特别地,在状态本质上仅具有顺序排名并且游戏状态值之间的有意义的距离信息不可用的域中,数字奖励信号必然是有偏的。在本文中,我们看一看蒙特卡罗树搜索(MCTS),一个流行的算法来解决MDPs,突出一个重复出现的问题,其使用的奖励,并表明,一个有序的治疗的奖励克服了这个问题。使用一般的视频游戏播放框架,我们展示了我们新提出的顺序MCTS算法的优势,基于偏好的MCTS,香草MCTS和其他各种MCTS变体。
2019-01-14 cs.AI
Signal Reshaping for GRPO in Weak-Feedback Agentic Code Repair
The Chinese University of Hong Kong(香港中文大学);Sun Yat-sen University(中山大学);Tencent(腾讯)
本文研究了在弱反馈环境下,通过信号重塑提升GRPO在代理代码修复中的性能,通过三种信号重塑方法改进轨迹排名、轨迹内信用分配和组内可比性,实验表明信号重塑显著提高了修复准确率。
2026-05-08 cs.AI
Opus: A Quantitative Framework for Workflow Evaluation
AppliedAI
本文提出Opus工作流评估框架,通过概率奖励函数与规范性惩罚相结合,实现对工作流质量、效率的量化评分、排序与优化,并可集成到强化学习中以指导工作流发现和细化。
2025-11-06 cs.AI cs.SE
D2RLIR : an improved and diversified ranking function in interactive recommendation systems based on deep reinforcement learning
University of Tehran(德黑兰大学)
近年来,基于强化学习的交互式推荐系统由于将推荐过程视为一个动态过程,并根据用户的即时反馈来更新推荐模型,而传统的推荐方法忽略了这一点,因此受到了研究者的关注。现有的工程有两个明显的缺点。首先,低效的排名功能产生Top-N推荐列表。第二,关注推荐准确性,而不关注多样性等其他评价指标。本文提出了一种基于深度强化学习的推荐系统,该系统利用Actor-Critic架构对动态用户与推荐代理的交互进行建模,并最大化期望的长期回报。此外,我们建议利用Spotify的ANNoy算法来找到最相似的项目,以生成演员网络的动作。在此基础上,使用总多样性效果排名算法来生成关于相关性和多样性的推荐。此外,我们应用位置编码来计算表示用户的交互序列,而不使用序列对齐的递归神经网络。MovieLens数据集上的大量实验表明,我们提出的模型能够根据用户的偏好生成一个多样化的,而相关的推荐列表。
2021-10-29 cs.AI cs.IR
RRC: Unlocking Generative Reward Models in LLM Reinforcement Learning via Ranking-Based Reward Construction
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);NiuTrans Research(NiuTrans研究院);Institute of Psychology, CAS(中国科学院心理研究所);Kunming University of Science and Technology(昆明理工大学)
本研究针对生成式奖励模型在LLM强化学习中潜力未充分发挥的问题,提出RRC方法,通过两种互补策略提升RL训练效果,在多基准上取得一致增益。
2026-08-07 cs.CL cs.LG
Towards Improving Reward Design in RL: A Reward Alignment Metric for RL Practitioners
本文提出 Trajectory Alignment Coefficient,以人类与奖励函数对轨迹分布排序的一致性评估奖励对齐,并通过 11 人用户研究验证其可降低认知负荷并提升奖励选择成功率。
2025-07-24 cs.AI cs.LG
Online Intrinsic Rewards for Decision Making Agents from Large Language Model Feedback
\dagger(机构1)
本文提出ONI,一种分布式架构,利用LLM反馈在线合成内在奖励,无需离线数据集,在NetHack任务上达到最先进性能。
2025-10-23 cs.AI cs.CL cs.LG
SalesLoop: Reinforcement Learning from Performance Feedback for Sales Lead Ranking
Li Auto Inc.(理想汽车公司)
研究针对CRM系统中线索排名模型离线精度高但生产中表现不佳的问题,提出SalesLoop强化学习框架,通过引入性能感知奖励和判别式GRPO,有效提升了排名指标,经生产测试验证有显著效果。
2026-07-24 cs.AI cs.IR cs.LG
Process Rewards for Outcome-Guided Reasoning Steps in LLM Reinforcement Learning
Amazon Science(亚马逊科学)
PROGRS框架通过过程奖励相对偏好优化,提升数学推理准确性,减少错误引导,优于仅基于结果的基线方法。
2026-10-14 cs.AI cs.LG
Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes
Wuhan University(武汉大学);Alibaba Group(阿里巴巴集团)
本研究提出智能体视觉-语言框架Urbex,将城市级3D定位转化为主动空间搜索,在CityRefer数据集上取得最优指标且效率更高,跨场景鲁棒性也得到提升。
2026-10-14 cs.AI cs.CV
Evolving Constrained Reinforcement Learning Policy
Southern University of Science and Technology(南方科技大学);Research Institute of Trustworthy Autonomous Systems(可信自主系统研究院)
针对约束强化学习中回报与约束违反难以平衡的问题,提出 ECRL 算法,结合随机排序与带约束缓冲区的 Lagrange 系数维护,在机器人控制基准上性能优于现有方法。
2023-04-19 cs.AI cs.LG cs.NE
Generating Query-Relevant Document Summaries via Reinforcement Learning
提出强化学习框架ReLSum,利用相关性得分作为奖励,通过可训练LLM生成查询相关的商品描述摘要作为交叉编码器排序模型的输入,显著提升了大规模电商搜索的离线与在线指标。
2025-08-11 cs.AI cs.IR cs.LG
DS@GT ARC at CheckThat! 2026: LLM-Based Trace Ranking and Grouped Reward Modeling for Multilingual Numerical Claim Verification
Georgia Institute of Technology(佐治亚理工学院)
针对多语言数值声明验证,探索基于大语言模型(LLM)的推理轨迹排序和分组奖励建模两种方法。LLM方法用LoRA微调验证器评分,还尝试子声明分解;奖励模型用TF-IDF及特征评分。结果显示LLM方法多数指标更优,阿拉伯语中AraBERT表现更佳且子声明分解未提升性能。
2026-07-29 cs.AI cs.CL
VerTox: Verifiable Reward-Guided Corpus Poisoning Against Neural Ranking Models
Capital One;University of Utah(犹他大学);Snowflake Inc.(Snowflake公司)
本研究提出VerTox框架,将语料库污染转化为可验证奖励引导强化学习问题,微调LLM生成高流畅度低困惑度的对抗文档,可高效污染神经排序模型并损害下游RAG应用性能。
2026-09-02 cs.CL cs.IR
Efficient Safety Alignment of Large Language Models via Preference Re-ranking and Representation-based Reward Modeling
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
针对大语言模型安全对齐中强化学习算法的分布偏移问题,提出基于偏好重排序与表征奖励建模的框架,利用模型内在安全判断提取奖励信号实现偏好重排,在提升安全性能的同时大幅降低计算开销。
2025-06-15 cs.CL
Language Ranker: A Lightweight Ranking framework for LLM Decoding
State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(一般人工智能国家重点实验室,智能科学与技术学院,北京大学);Institute for Artificial Intelligence, Peking University(人工智能研究院,北京大学);MIT CSAIL, MA, USA(MIT CSAIL,马萨诸塞州,美国);Microsoft Research Asia(微软亚洲研究院)
本文提出语言排序器,一种轻量级排序框架,通过将LLM解码视为推荐排序阶段,利用基础模型特征重排候选响应,以不到0.5M参数达到大规模奖励模型性能,降低计算开销。
2025-10-23 cs.AI cs.CL
Reward Collapse in Aligning Large Language Models
该研究发现大语言模型奖励对齐中存在与提示无关的奖励坍缩现象,揭示其源于排名目标函数的提示信息缺失,提出提示感知优化方案并通过实验验证其缓解效果。
2025-10-29 cs.AI cs.CL cs.LG
Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models
Alibaba Inc.(阿里巴巴集团)
本文提出Zooter,一种奖励引导的路由方法,通过蒸馏奖励训练路由函数,将查询分配给具有专业知识的LLM,实现高效集成,平均性能优于最佳单模型。
2023-11-15 cs.CL cs.LG
Prioritizing the Best: Incentivizing Reliable Multimodal Reasoning by Rewarding Beyond Answer Correctness
University of Notre Dame(北德克萨斯大学)
本文提出Groupwise Ranking Reward方法,通过在单次遍历中对相同提示下的验证通过轨迹进行排名并重新分配奖励,有效缓解多模态强化学习中的推理-答案不一致问题,提升可靠性条件下的准确率。
2026-04-20 cs.CL
ArenaFlow: From Trajectory Ranking to Hierarchical Credit Propagation for Open-Ended Agent RL
Alibaba Token Hub, Alibaba Group(阿里巴巴通义实验室,阿里巴巴集团);Amap, Alibaba Group(高德,阿里巴巴集团)
ArenaFlow提出分层信用传播框架,利用锦标赛排序和结构化反思,在步骤与技能层面传播奖励,以提升开放式智能体强化学习的性能。
2026-09-21 cs.CL
Deep Reinforcement Learning for Mention-Ranking Coreference Models
Stanford University(斯坦福大学)
共指消解系统通常用需要仔细调整的启发式损失函数来训练。在本文中,我们而是应用强化学习直接优化神经提及排名模型的共指评价指标。我们用两种方法进行实验:REINFORCE策略梯度算法和奖励重新缩放的最大保证金目标。我们发现后者更有效,在2012年CoNLL共享任务的英文和中文部分的最新技术水平上取得了显著进步。
2016-10-31 cs.CL
From Classification to Ranking: Enhancing LLM Reasoning Capabilities for MBTI Personality Detection
本文提出将性格检测视为排序任务,通过改进的强化学习方法提升LLM在MBTI性格检测中的推理能力。
2026-01-26 cs.CL
GRAM-R$^2$: Self-Training Generative Foundation Reward Models for Reward Reasoning
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Pattern Recognition Center, WeChat AI, Tencent Inc.(腾讯公司微信AI模式识别中心)
针对现有奖励模型依赖大规模标注偏好数据、缺乏显式推理能力的问题,提出自训练方法构建生成式基础奖励模型GRAM-R²,可同时输出偏好标签与奖励依据,在多类任务上性能优于现有强基线。
2025-11-16 cs.CL cs.LG
PoLi-RL: A Point-to-List Reinforcement Learning Framework for Conditional Semantic Textual Similarity
Tsinghua University(清华大学);Tencent Youtu Lab(腾讯优图实验室)
PoLi-RL通过点到列表强化学习框架,解决条件语义文本相似度中的优化难题,实现Spearman相关系数达48.18,为复杂条件判断任务提供新范式。
2026-02-28 cs.CL
GRRM: Group Relative Reward Modeling for Machine Translation
National Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家实验室,南京大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出GRRM,通过组相对奖励模型提升机器翻译的排名准确性和推理能力。
2026-09-02 cs.CL
PiCSAR: Probabilistic Confidence Selection And Ranking for Reasoning Chains
Imperial College London(伦敦帝国学院);University of Edinburgh(爱丁堡大学);UCL(伦敦大学学院)
PiCSAR通过联合对数似然度评估推理链和最终答案的置信度,无需训练即可提升大语言模型和推理模型的准确性,在多个基准测试中表现优异。
2026-07-14 cs.AI cs.CL
Reward Models Identify Consistency, Not Causality
Salesforce AI Research(Salesforce AI研究部门)
本文通过移除问题陈述、篡改数值与推理流程等实验,揭示奖励模型偏重结构连贯性而非因果正确性,指出需发展因果感知的奖励模型。
2025-02-20 cs.AI cs.CL cs.LG
ReasonRank: Empowering Passage Ranking with Strong Reasoning Ability
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院 Gallagher 分校);Baidu Inc., Beijing, China(百度公司,北京,中国);Carnegie Mellon University(卡内基梅隆大学)
本文提出ReasonRank,通过自动化生成推理密集型训练数据和两阶段训练方法,提升文档排序性能,实验表明其优于现有基线并具有更低延迟。
2026-04-22 cs.AI cs.CL cs.IR
Towards Pareto-Optimal Tool-Integrated Agents with Pareto Ranking Policy Optimization
University of Science and Technology of China(中国科学技术大学)
提出ParetoPO框架,通过超体积引导动态标量化和帕累托排名优势计算,在多目标下优化工具使用语言模型的准确性与效率权衡。
2026-06-16 cs.CL