Robust Reward Modeling via Causal Rubrics
Google DeepMind(谷歌DeepMind);McGill University(麦吉尔大学);MILA - Quebec AI Institute(MILA - 魁北克人工智能研究所)
提出Crome框架,通过因果增强和中性增强训练奖励模型,缓解奖励黑客攻击,在RewardBench等基准上显著提升准确率。
2025-06-19 cs.LG
Evaluating Robustness of Reward Models for Mathematical Reasoning
Yonsei University(延世大学)
针对RewardBench数学子集评估不可靠的问题,本文提出新的奖励模型评估设计并构建RewardMATH基准,可更准确衡量数学推理奖励模型鲁棒性及奖励过度优化风险。
2024-10-02 cs.AI cs.CL cs.LG
Calibration Collapse Under Sycophancy Fine-Tuning: How Reward Hacking Breaks Uncertainty Quantification in LLMs
Cambridge AI Safety Hub (CAISH)(剑桥人工智能安全中心)
研究探讨了在强化学习从人类反馈(RLHF)等方案中,奉承式微调对校准的影响,发现GRPO微调导致校准退化,尽管效果不显著,但经矩阵缩放后仍保留较高校准误差。
2026-04-12 cs.AI cs.CL cs.LG
Uncertainty-aware Reward Model: Teaching Reward Models to Know What is Unknown
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Baichuan Inc.(百川公司);Tsinghua University(清华大学)
针对现有奖励模型(RMs)无法捕捉人类偏好不确定性及评估预测可靠性的问题,提出不确定性感知奖励模型(URM)及其集成变体URME,通过概率值头和集成差异分别量化随机与认知不确定性,在RewardBench及多实验中提升性能与LLMs生成质量。
2025-02-12 cs.LG
Foundational Autoraters: Taming Large Language Models for Better Automatic Evaluation
Google DeepMind(谷歌DeepMind);Google(谷歌);UMass Amherst(马萨诸塞大学阿默斯特分校)
本研究推出基础大型自动评分模型家族FLAMe,基于超500万条人工判断的多任务数据训练,在多项基准上优于主流专有评判类LLM,还可高效微调适配下游奖励建模任务,且偏差更低。
2024-07-15 cs.AI cs.CL cs.LG
Critique-out-Loud Reward Models
Databricks;University of California, San Diego(加利福尼亚大学圣迭戈分校);MIT(麻省理工学院)
为解决传统奖励模型无法显式推理的问题,提出 CLoud 奖励模型,通过先生成自然语言批评再预测标量奖励,提升了偏好分类准确率并在 Best-of-N 中实现胜率 Pareto 改进。
2024-08-21 cs.LG
Test-Time Alignment via Hypothesis Reweighting
Stanford University(斯坦福大学)
本文提出HyRe方法,通过重加权集成成员实现实时个性化,仅需1-5个标记示例即可超越现有奖励模型。
2026-04-19 cs.LG
MARS: Margin and Semantic-Aware Data Augmentation for Reward Modeling
University of Arizona(亚利桑那大学);Northeastern University London(伦敦东北大学)
提出MARS框架,通过优先增强低边界偏好对并利用语义距离细化,提升奖励模型质量和对齐性能。
2026-08-07 cs.AI cs.IT cs.LG
Auto-Rubric: Learning From Implicit Weights to Explicit Rubrics for Reward Modeling
Tongyi Lab , Alibaba Group(通义实验室,阿里巴巴集团);Ant Group(蚂蚁集团)
Auto-Rubric通过显式评分标准学习方法,在少数据情况下实现优于传统奖励模型的性能,展示了显式符号搜索在奖励建模中的有效性。
2026-02-05 cs.AI cs.LG
CHARM: Calibrating Reward Models With Chatbot Arena Scores
Alibaba Group(阿里巴巴集团);Queen’s University Belfast(贝尔法斯特女王大学);University of Zurich(苏黎世大学);Singapore University of Technology(新加坡科技设计大学)
本文提出CHARM方法,通过利用Chatbot Arena的Elo分数校准奖励模型,减少模型偏好偏差,提升奖励模型的准确性和公平性。
2026-03-17 cs.AI cs.LG
Intra-Trajectory Consistency for Reward Modeling
Wuhan University(武汉大学);Nanyang Technological University(南洋理工大学)
针对现有奖励建模依赖粗粒度响应级分数导致泛化性差的问题,提出轨迹内一致性正则化方法,利用生成概率传播监督信号,提升了奖励模型在RewardBench的性能及DPO对齐、BON推理验证效果。
2025-06-16 cs.AI cs.LG
Sentence-level Reward Model can Generalize Better for Aligning LLM from Human Preference
Nanjing University(南京大学);Polixir Technologies
针对粗粒度奖励模型稀疏性差、token级奖励模型语义不足问题,提出句子级中粒度奖励模型,通过句子分割、微分运算及新型注意力机制实现,在RewardBench和AlpacaEval上性能更优。
2025-06-11 cs.CL cs.LG
Quantile Regression for Distributional Reward Models in RLHF
University of Freiburg(弗莱堡大学)
针对传统RLHF奖励模型点估计无法体现人类偏好多样性的问题,提出基于分位数回归的分位数奖励模型QRM,学习多峰偏好分布,在RewardBench上表现更优,还可用于风险感知RL减少LLM极端负面回复。
2024-09-16 cs.AI cs.CL cs.LG
CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling
University of Science and Technology of China(科学技术大学);Peking University(北京大学);BeiHang University(北航大学)
CDRRM通过对比驱动的评分标准生成方法,实现可靠且可解释的奖励建模,有效缓解评估偏见并提升数据效率。
2026-03-09 cs.AI cs.LG
PaTaRM: Bridging Pairwise and Pointwise Signals via Preference-Aware Task-Adaptive Reward Modeling
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan(美团);University of Chinese Academy of Sciences(中国科学院大学)
PaTaRM通过偏好感知奖励机制实现成对和点状信号的弥合,无需显式评分标签,提升奖励模型的鲁棒性和任务适应性,实验显示在多个基准测试中表现优异。
2026-04-20 cs.AI cs.LG
AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling
NVIDIA(英伟达)
本研究推出AceMath系列数学模型与专用奖励模型,通过分阶段监督微调及系统化奖励模型构建方法,在多项数学推理基准上取得SOTA表现,且开源相关资源。
2025-01-17 cs.AI cs.CL cs.LG
Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning
Google Brain(谷歌大脑)
基于模型的强化学习(MBRL)方法在各种任务中表现出强大的样本效率和性能,包括面对高维视觉观察时。这些方法学习预测环境动态和来自交互的预期奖励,并使用该预测模型来计划和执行任务。然而,MBRL方法在其基本设计选择上各不相同,并且在文献中关于这些设计决策如何影响性能没有强烈的共识。在本文中,我们研究了一些设计决策的预测模型在视觉MBRL算法,特别是专注于使用预测模型规划的方法。我们发现,一系列的设计决策,往往被认为是至关重要的,如使用潜在的空间,对任务性能的影响很小。这一发现的一个很大的例外是,预测未来的观测结果(即,图像)导致显著的任务性能改进相比,只有预测奖励。我们还根据经验发现,图像预测准确性,有点令人惊讶的是,与下游任务性能的相关性更强,而不是奖励预测准确性。我们展示了这种现象是如何与探索相关的,以及在相同的训练数据上训练时,标准基准测试(需要探索)上的一些得分较低的模型将如何与性能最好的模型表现相同。同时,在没有探索的情况下,更好地拟合数据的模型通常在下游任务上也表现得更好,但令人惊讶的是,这些模型在从头开始学习和探索时表现得最好。这些发现表明,性能和探索的地方重要的和潜在的矛盾的要求模型。
2020-12-08 cs.LG
IRPM: Intergroup Relative Preference Modeling for Pointwise Generative Reward Models
HUJING Digital Media \& Entertainment Group (XingYun Lab), Beijing, China;Department of Automation, Tsinghua University, Beijing, China;Fudan University, Shanghai, China;Beihang University, Beijing, China;Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China
IRPM通过组间比较扩展Bradley-Terry模型,从成对偏好数据中训练点wise GRMs,实现高效可扩展的奖励建模。
2026-10-20 cs.AI cs.LG
Hack-Verifiable Environments: Towards Evaluating Reward Hacking at Scale
Tel Aviv University(特拉维夫大学);Columbia University(哥伦比亚大学);Taso Labs(Taso实验室)
本文提出了一种新的评估方法来衡量奖励黑客,通过在环境中嵌入可检测的奖励黑客机会,使评估更加可靠和自动化,通过TextArena测试床分析了不同语言模型在多样化环境中的奖励黑客行为。
2026-05-20 cs.AI cs.LG
IO Transformer: Evaluating SwinV2-Based Reward Models for Computer Vision
本研究提出基于SwinV2的IO Transformer等计算机视觉奖励模型,验证其在输入依赖场景下的高评估准确率,并发现原始SwinV2在非完全输入依赖场景中表现更优,拓展了Transformer在视觉奖励建模领域的应用。
2024-10-31 cs.CV cs.LG
Two Minds Better Than One: Collaborative Reward Modeling for LLM Alignment
NLP Group, Fudan University(复旦大学自然语言处理组);Hong Kong Baptist University(香港 Baptist 大学);LLM Team, Meituan Inc(美团公司大语言模型团队)
针对人类反馈中的带噪偏好导致奖励模型泛化错误的问题,本文提出协作奖励建模框架,通过双模型同行评审筛选噪声、课程学习同步能力,显著提升奖励模型泛化性,还可扩展至隐式奖励对齐方法。
2026-10-19 cs.AI cs.CL cs.LG
Interpretable Preferences via Multi-Objective Reward Modeling and Mixture-of-Experts
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对传统奖励模型黑箱不可解释的问题,提出结合多维度绝对评分多目标奖励模型ArmoRM与混合专家门控策略的两阶段方法,在RewardBench上取得SOTA,性能超GPT-4评判法且接近大参数量奖励模型。
2024-06-18 cs.CL cs.LG
Dynamics-Aware Comparison of Learned Reward Functions
Toyota Research Institute (TRI)(丰田研究院(TRI));University of California, Berkeley(加州大学伯克利分校)
学习奖励函数的能力在现实世界中部署智能代理方面发挥着重要作用。然而,比较奖励函数,例如作为评估奖励学习方法的一种手段,提出了一个挑战。奖励函数通常通过考虑优化策略的行为来进行比较,但这种方法将奖励函数中的缺陷与用于优化它的策略搜索算法的缺陷混为一谈。为了解决这一挑战,Gleave et al.(2020)提出了等价策略不变比较(EPIC)距离。EPIC避免了策略优化,但这样做需要在转换时计算奖励值,这在系统动态下可能是不可能的。这对于学习的奖励函数来说是有问题的,因为它需要在训练分布之外对它们进行评估,导致不准确的奖励值,我们发现这会使EPIC在比较奖励时无效。为了解决这个问题,我们提出了动态感知奖励距离(DARD),一个新的奖励伪度量。DARD使用环境的近似转换模型将奖励函数转换为允许比较的形式,该比较对于奖励塑造是不变的,同时仅在接近其训练分布的转换上评估奖励函数。在模拟物理域的实验表明,DARD使可靠的奖励比较没有政策优化,是显着更具有预测性比基线方法的下游政策性能时,处理学习的奖励功能。
2022-01-25 cs.AI cs.LG
Evaluating Agents without Rewards
Vector Institute(向量研究所);University of Toronto(多伦多大学);Google Brain(谷歌大脑)
强化学习使智能体能够在未知环境中解决具有挑战性的任务。然而,手动制作奖励函数可能是耗时的、昂贵的,并且容易出现人为错误。竞争目标已经被提出来让智能体在没有外部监督的情况下学习,但目前还不清楚它们如何反映任务奖励或人类行为。为了加速内在目标的发展,我们回顾性地计算预先收集的代理行为数据集上的潜在目标,而不是在线优化它们,并通过分析它们的相关性来比较它们。我们研究输入熵,信息增益,并授权在七个代理,三个雅达利游戏,和3D游戏Minecraft。我们发现,所有这三个内在的目标更强烈地与人类行为相似性度量比任务奖励。此外,输入熵和信息增益与人类相似性的相关性比任务奖励更强,这表明使用内在目标来设计行为类似于人类玩家的代理。
2021-02-09 cs.AI cs.LG cs.RO
Beyond Bradley-Terry Models: A General Preference Model for Language Model Alignment
IIIS, Tsinghua University, Beijing, China(清华大学信息科学技术学院,北京,中国);Shanghai Qi Zhi Institute, Shanghai, China(上海启智研究院,上海,中国);Department of Computer Science, University of California, Los Angeles, California, USA(计算机科学系,加州大学洛杉矶分校,美国,加州)
针对 Bradley-Terry 模型难以表达非传递和循环偏好的问题,提出偏好嵌入 GPM 与 GPO 优化方法,在 RewardBench 和 AlpacaEval2.0 上优于 BT 基线。
2025-06-11 cs.AI cs.CL cs.LG
Learning Human Objectives by Evaluating Hypothetical Behavior
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度思维公司)
我们寻求在具有未知动态、未知奖励函数和未知不安全状态的强化学习设置中将代理行为与用户的目标对齐。用户知道奖励和不安全状态,但是查询用户是昂贵的。为了解决这一挑战,我们提出了一种算法,安全和交互式学习用户的奖励函数的模型。我们从初始状态的生成模型和在非策略数据上训练的前向动力学模型开始。我们的方法使用这些模型来合成假设的行为,要求用户用奖励来标记这些行为,并训练一个神经网络来预测奖励。其核心思想是通过最大化信息价值的易处理代理,从零开始积极地综合假设行为,而不与环境交互。我们称这种方法为通过轨迹优化的奖励查询合成(ReQueST)。我们评估ReQueST与模拟用户基于状态的2D导航任务和基于图像的赛车视频游戏。结果表明,ReQueST在学习转移到具有不同初始状态分布的新环境的奖励模型方面显著优于先前的方法。此外,ReQueST安全地训练奖励模型以检测不安全状态,并在部署代理之前纠正奖励投机。
2021-03-24 cs.CY cs.LG stat.ML
Many Voices, One Reward: Multi-Role Rubric Generation for LLM Judging and Reward Modeling
School of Data Science, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳)数据科学学院);LIGHTSPEED;Independent Researcher(独立研究员)
提出多角色评分标准生成框架(MRRG),通过整合多个互补角色的评估标准,消除单一通用评估器的维度盲区,在偏好验证和强化学习奖励信号上均优于基线。
2026-07-03 cs.LG
Causal KL: Evaluating Causal Discovery
Monash University(莫纳什大学)
使用人工数据评估因果模型发现的两个最常用的标准是编辑距离和Kullback-Leibler散度,从真实模型到学习模型进行测量。这两个指标最大限度地奖励真实模型。然而,我们认为,他们都是不够的歧视,在判断错误的模型的相对优点。例如,编辑距离无法区分强概率依赖性和弱概率依赖性。另一方面,KL分歧同样奖励所有统计上等价的模型,无论它们的因果关系如何。我们提出了一个增强的KL分歧,我们称之为因果KL(CKL),它考虑到因果关系,区分观测等效模型。CKL的三个变体的结果,表明因果KL在实践中效果良好。
2021-11-11 cs.LG stat.ML
CriticHack: Evaluating Visual Rewards Under Robot Policy Optimization
Baidu(百度);University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Johns Hopkins University(约翰霍普金斯大学);Dalian University of Technology(大连理工大学);Rutgers University(罗格斯大学)
本研究揭示视觉奖励模型优化会放大机器人策略的错误对象失败,提出倾斜模型解释该现象,并证明冻结结果验证器可纠正优化方向。
2026-10-05 cs.AI cs.LG cs.RO
Quantifying Differences in Reward Functions
DeepMind
对于许多任务来说,奖励函数无法进行内省,或者过于复杂而无法在程序上指定,因此必须从用户数据中学习。先前的工作已经通过评估针对学习奖励优化的策略来评估学习奖励函数。然而,该方法不能区分未能反映用户偏好的学习奖励函数和未能优化学习奖励的策略优化过程。此外,这种方法只能告诉我们评估环境中的行为,但即使在稍微不同的部署环境中,奖励也可能激励非常不同的行为。为了解决这些问题,我们引入了等价策略不变比较(EPIC)距离来直接量化两个奖励函数之间的差异,而无需策略优化步骤。我们证明了EPIC是不变的等价类的回报函数,总是导致相同的最优策略。此外,我们发现EPIC可以有效地近似,是更强大的覆盖分布的选择比基线。最后,我们表明,EPIC距离界限的遗憾,即使在不同的过渡动态的最佳政策,我们实证证实,它预测政策培训的成功。我们的源代码可以在https://github.com/HumanCompatibleAI/evaluating-rewards上找到。
2021-03-17 cs.AI cs.LG stat.ML
When is Off-Policy Evaluation (Reward Modeling) Useful in Contextual Bandits? A Data-Centric Perspective
University of Cambridge(剑桥大学)
本研究提出以数据为中心的OPE评估框架DataCOPE,可在无需访问环境时预测OPE性能、识别不准确子组、评估数据集与收集策略,经医疗数据集验证有效,还可拓展至大语言模型对齐的奖励建模任务。
2024-10-28 cs.AI cs.LG
ImageReward: Learning and Evaluating Human Preferences for Text-to-Image Generation
Tsinghua University(清华大学);Zhipu AI(智谱AI);Beijing U. of Posts and Telecommunications(北京邮电大学)
本文提出ImageReward奖励模型和ReFL调优算法,利用人类偏好反馈改进文生图模型,并通过自动和人类评估验证其有效性。
2023-12-28 cs.CV cs.LG
Efficient Online RFT with Plug-and-Play LLM Judges: Unlocking State-of-the-Art Performance
FuturixAI;Thapar Institute of Engineering and Technology(塔帕尔工程技术学院)
本文提出用冻结 7B LLM、JSON 评分准则和 rank-16 LoRA 构建即插即用奖励评判器,以极低成本替代大型奖励模型,并在 RewardBench 与在线 PPO 训练中取得最先进结果。
2025-06-06 cs.AI cs.LG
HelpSteer2-Preference: Complementing Ratings with Preferences
NVIDIA(英伟达);Georgia Tech(佐治亚理工学院)
为解决 Bradley-Terry 与 Regression 奖励模型因数据格式不兼容而难以公平比较的问题,研究发布带人工理由的偏好标注补充 HelpSteer2 数据集,并提出融合两种范式的新方法,使模型在 RewardBench 和 Arena Hard 上均取得第一。
2025-03-06 cs.AI cs.CL cs.LG
Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators
Salesforce AI Research(Salesforce 人工智能研究院)
本文提出JETTS基准,评估LLM法官在测试时扩展中的表现,发现其在重排序中与结果奖励模型相当,但在束搜索中不如过程奖励模型,且自然语言批评对改进生成效果有限。
2025-05-21 cs.CL cs.LG
Evaluating Bounded Autonomy in Regulated Agentic AI: A Diagnostic Harness with Constitutional Rewards, Escalation Labels, and Runtime Governance
Skelf Research
提出RegLLM诊断工具,通过宪法奖励、升级标签和运行时治理评估受监管智能体AI的有界自主性,揭示配置差异对指标的影响,强调需更大规模评估。
2026-09-30 cs.AI cs.CL cs.LG
Benchmarking the Spectrum of Agent Capabilities
Google Research, Brain Team(谷歌研究院(Brain Team));University of Toronto(多伦多大学)
评估智能代理的一般能力需要复杂的仿真环境。现有的基准通常只评估每个环境中的一个狭窄的任务,需要研究人员在许多不同的环境中执行昂贵的训练运行。我们介绍工匠,一个开放世界的生存游戏与视觉输入,评估了广泛的一般能力在一个单一的环境。智能体要么从提供的奖励信号中学习,要么通过内在目标学习,并通过语义上有意义的成就进行评估,这些成就可以在每个情节中解锁,例如发现资源和制作工具。持续解锁所有成就需要强大的概括,深入的探索和长期的推理。我们的实验验证,工匠是适当的困难,以推动未来的研究,并提供基准分数的奖励代理和无监督代理。此外,我们观察到最大化奖励信号所产生的复杂行为,例如建造隧道系统,桥梁,房屋和种植园。我们希望Crafter能够通过快速评估广泛的能力来加速研究进展。
2022-02-12 cs.AI cs.LG
Delay, Plateau, or Collapse: Evaluating the Impact of Systematic Verification Error on RLVR
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本研究探究系统性验证错误对RLVR的影响,发现系统性误报会引发次优平台期或性能崩溃,验证器质量需结合错误模式而非仅样本级错误率评估。
2026-08-18 cs.AI cs.LG
Revisiting the Learning Objectives of Vision-Language Reward Models
Polytechnique Montréal(蒙特利尔理工学院);École de Technologie Supérieure(高级技术学院);Sorbonne Université(索邦大学)
本文通过统一框架评估了基于VLM的奖励模型,发现简单三元组损失在性能上优于现有方法,表明改进可能源于数据和架构差异。
2025-12-20 cs.AI cs.LG
Reward Models in Deep Reinforcement Learning: A Survey
National Key Laboratory for Novel Software Technology, Nanjing University, China(国家新型软件技术关键实验室,南京大学,中国);School of Artificial Intelligence, Nanjing University, China(人工智能学院,南京大学,中国)
本综述系统梳理深度强化学习中的奖励模型,按来源、机制和学习范式分类,涵盖应用与评估方法,并指出未来研究方向。
2025-06-18 cs.AI cs.LG
Adversarial Examples for Evaluating Reading Comprehension Systems
Stanford University(斯坦福大学)
标准的准确性指标表明,阅读理解系统正在取得快速进展,但这些系统真正理解语言的程度仍不清楚。为了奖励具有真正语言理解能力的系统,我们提出了一种针对斯坦福问答数据集(SQuAD)的对抗性评估方案。我们的方法测试系统是否可以回答有关包含对立插入句子的段落的问题,这些句子是自动生成的,以分散计算机系统的注意力,而不会改变正确答案或误导人类。在这种对抗性设置中,16个已发布模型的准确度从平均$75\%$ F1分数下降到$36\%$ ;当允许对手添加不符合语法的单词序列时,4个模型的平均准确度进一步下降到$7\%$。我们希望我们的见解将推动开发更精确地理解语言的新模型。
2017-07-23 cs.CL cs.LG
Scoring Verifiers: Evaluating Synthetic Verification for Code and Reasoning
NVIDIA Santa Clara, CA 15213, USA(英伟达圣克拉拉分校)
本研究提出将现有编码基准转换为评分排序数据集的方法,配套多维度评估指标,发布四个新基准,实验证实推理可提升测试用例生成效果、增加测试用例数能提高合成验证准确率。
2025-07-30 cs.AI cs.CL cs.LG
Information-Theoretic Reward Decomposition for Generalizable RLHF
Shanghai Jiao Tong University(上海交通大学);UT Austin(得克萨斯大学奥斯汀分校);Institute of Artificial Intelligence, China Telecom(中国电信人工智能研究院)
针对RLHF中奖励模型泛化性差的问题,本文提出将奖励分解为无提示与提示相关两部分,并基于信息论提取,通过优先级排序训练,提升了对齐与泛化性能。
2025-10-24 cs.AI cs.CL cs.LG
When Errors Can Be Beneficial: A Categorization of Imperfect Rewards for Policy Gradient
Some Institute(某些研究所)
本文探讨了在策略梯度方法中,不完美奖励的错误并非全然有害,通过理论分析分类了不同类型的奖励误差对真实奖励增加的影响,提出了改进人类反馈强化学习和可验证奖励设计的实用方法。
2026-04-28 cs.AI cs.LG stat.ML
MENLO: From Preferences to Proficiency -- Evaluating and Modeling Native-like Quality Across 47 Languages
Meta Superintelligence Labs(Meta超智能实验室);Handshake AI
MENLO通过偏好评估和建模提升多语言LLM的原生质量,结合强化学习和多任务学习方法改进模型表现。
2026-02-28 cs.AI cs.CL cs.LG
Rethinking Reward Model Evaluation Through the Lens of Reward Overoptimization
Yonsei University(延世大学)
该研究针对现有奖励模型基准与优化策略性能相关性弱的问题,从奖励过度优化视角探索评估设计,得出构建可靠基准的三项关键发现,并指出过度优化程度应作为评估工具而非最终目标。
2025-05-19 cs.AI cs.CL cs.LG
What Makes a Reward Model a Good Teacher? An Optimization Perspective
Some Institute(某些研究所)
从优化角度研究奖励模型的有效性,发现奖励方差对优化效率至关重要,准确性不足以保证模型效果。
2026-02-27 cs.AI cs.CL cs.LG
How to Evaluate Reward Models for RLHF
UC Berkeley(加州大学伯克利分校)
本文提出首个与RLHF后真实人类偏好性能直接关联的奖励模型基准PPE,通过代理任务预测下游LLM性能,并结合大规模端到端RLHF实验验证指标相关性。
2024-10-22 cs.AI cs.CL cs.LG
Reward Modeling for Multi-Agent Orchestration
Rutgers University(罗杰斯大学);Salesforce AI Research(Salesforce人工智能研究)
提出OrchRM框架,通过自监督学习从多智能体执行中间产物构建奖励模型,无需人工标注,实现高效编排器训练和测试时扩展,在多个领域提升性能并降低计算成本。
2026-06-12 cs.AI cs.CL cs.LG