Improving Consistency in Retrieval-Augmented Systems with Group Similarity Rewards
University of Maryland, College Park(马里兰大学学院公园分校);Capital One
针对RAG系统因检索器和生成器可变性导致的语义等价查询输出不一致问题,本研究提出拆解一致性的评估框架,结合PS-GRPO强化学习方法与可扩展近似方案实现Con-RAG,在无真实标签监督下显著提升了多类问答基准的一致性与准确率。
2025-10-05 cs.AI cs.CL cs.CY
LC-ERD: Mining Latent Logic for Self-Evolving Reasoning via Consistency-Regulated Reward Decomposition
The Chinese University of Hong Kong(香港中文大学);Shanghai Jiaotong University(上海交通大学);Fudan University(复旦大学)
针对大语言模型推理中高质量过程数据稀缺的问题,提出LC-ERD框架,通过潜在逻辑挖掘和一致性调节的奖励分解,实现自我对齐与推理进化。
2026-05-30 cs.AI cs.CL
LLMs for High-Frequency Decision-Making: Normalized Action Reward-Guided Consistency Policy Optimization
School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University(人工智能学院、光学和电子学(iOPEN)、西北工业大学)
本文提出NAR-CP方法,通过归一化动作奖励和一致性损失优化,提升高频决策任务中的策略一致性与泛化能力。
2026-03-03 cs.AI
COPO: Consistency-Aware Policy Optimization
针对强化学习训练中组内结果一致导致优势为零、梯度消失的问题,提出一致性感知策略优化框架,引入基于结果一致性的全局奖励和熵基软混合机制,在多个数学推理基准上取得显著性能提升。
2025-08-06 cs.AI cs.CL cs.LG
Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning
Zhejiang University(浙江大学);Alibaba Cloud Computing(阿里云计算);Nanyang Technological University(南洋理工大学)
本文提出自奖励 RL 框架 CoVo,利用推理轨迹中间状态的一致性与波动性构造内在奖励,使 LLM 无需外部监督即可提升推理,并在多个基准上达到或超过监督式 RL。
2025-06-10 cs.AI cs.CL
SpatialReward: Verifiable Spatial Reward Modeling for Fine-Grained Spatial Consistency in Text-to-Image Generation
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Fudan University(复旦大学)
本文提出SpatialReward,一种专门评估生成图像中空间布局的可验证奖励模型,通过多阶段流程提升空间一致性与生成质量,实验表明其能更贴近人类判断。
2026-03-23 cs.AI cs.CV
Self-Consistency Preference Optimization
Meta FAIR;New York University(纽约大学)
本文提出自洽性偏好优化(ScPO),通过迭代训练使模型在无监督新问题上偏好一致答案而非不一致答案,显著提升复杂推理性能,并在多个基准上超越更大规模模型。
2025-07-06 cs.AI cs.CL cs.LG
Rewarding Beliefs, Not Actions: Consistency-Guided Credit Assignment for Long-Horizon Agents
College of Computer, National University of Defense Technology(国防科技大学计算机学院);Intelligent Game and Decision Lab (IGDL)(智能游戏与决策实验室);Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究院)
本文提出ReBel算法,通过建模结构化信念状态来指导策略学习,解决长期任务中由于部分可观测性导致的信用分配问题,实验表明其在ALFWorld和WebShop等基准测试中提升了任务成功率并提高了样本效率。
2026-05-19 cs.CL
Scalable Best-of-N Selection for Large Language Models via Self-Certainty
UC Berkeley(伯克利大学)
本文提出自我确定性方法,通过利用LLM输出的概率分布,高效提升大规模语言模型的推理能力,适用于多种推理任务和开放性生成场景。
2025-12-12 cs.AI cs.CL cs.LG
GRPO-CARE: Consistency-Aware Reinforcement Learning for Multimodal Reasoning
The University of Hong Kong(香港大学);ARC Lab, Tencent PCG(腾讯PCG ARC实验室);The Chinese University of Hong Kong(香港中文大学)
针对多模态大模型后训练中推理连贯性不足的问题,提出一致性感知强化学习框架GRPO-CARE,通过自适应一致性奖励优化答案正确性与推理逻辑,在SEED-Bench-R1上提升性能与一致性。
2025-06-19 cs.AI cs.CL cs.CV
LenGuard-GPC: Length Guarding with Guided-Prompt Consistency for Spatial Reasoning Reinforcement Learning
针对多视图空间推理中思维链推理冗长不准确及标准GRPO奖励问题,提出LenGuard-GPC框架,通过比较标准与引导提示下预测分布得KL散度作奖励信号,并引入阶段长度奖励,提升了准确率且缩短了平均响应长度。
2026-11-04 cs.AI
From Outcomes to Processes: Guiding PRM Learning from ORM for Inference-Time Alignment
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS(人工智能安全国家重点实验室、计算技术研究所、中国科学院)
针对奖励引导搜索中结果奖励模型粒度不匹配导致对齐次优的问题,提出双一致性框架 SP-PRM,通过集成分数与偏好一致性模块且无需人类标注,显著提升推理时对齐效果。
2025-06-28 cs.CL
CLARity: Reasoning Consistency Alone Can Teach Reinforced Experts
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所)
CLARity通过一致性感知奖励机制和两阶段精炼-监控训练流程,提升推理一致性,利用小规模通用LLM有效指导专家模型,实验显示在一致性与准确性上均有显著提升。
2026-06-28 cs.AI cs.CL
Rethinking the Role of Proxy Rewards in Language Model Alignment
NAVER Cloud(NAVER云);NAVER AI Lab(NAVER AI实验室);KAIST AI(韩国科学技术院人工智能学院)
本研究通过逆向奖励工程构建白盒奖励函数,探究代理奖励在大语言模型对齐中的作用,发现模拟黄金奖励的关键要求,且所提白盒奖励模型性能比肩开源RM,可作为无需人类反馈数据集的强基线。
2024-10-06 cs.AI cs.CL cs.LG
CORA: Analyzing and bridging thinking-answer gap in Multimodal RLVR via Consistency-Oriented Reasoning Alignment
University of Chinese Academy of Sciences(中国科学院大学);Wuhan University(武汉大学);Tsinghua University(清华大学);Tianjin University(天津大学)
本文分析多模态RLVR中思考与答案的语义不一致问题,提出CORA方法,通过轻量级一致性奖励模型引入语义一致性,并采用混合奖励优势分裂稳定优化,提升推理忠实度。
2026-06-15 cs.CL
Majority of the Bests: Improving Best-of-N via Bootstrapping
University of Toronto(多伦多大学);Vector Institute(向量研究所);Autodesk(Autodesk公司);Polytechnique Montréal(蒙特利尔理工学院);Mila - Quebec AI Institute(魁北克人工智能研究所)
本文提出MoB方法,通过Bootstrap估计最佳-N的输出分布并选择其模式,以提高在不完美奖励下的准确率。
2025-11-23 cs.AI cs.CL cs.LG
Optimal Transport for LLM Reward Modeling from Noisy Preference
Zhejiang University(浙江大学);Peking University(北京大学);National University of Singapore(新加坡国立大学);University of California San Diego(加州大学圣地亚哥分校)
本文提出SelectiveRM框架,利用最优传输对噪声偏好进行去噪,通过联合一致性差异对齐模型预测分布与偏好数据,并引入质量放松机制以排除矛盾样本,提升奖励建模性能。
2026-05-07 cs.AI cs.LG
Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models
Alibaba Group(阿里巴巴集团);Fudan University(复旦大学);Tsinghua University(清华大学)
本文提出推理一致性度量,结合结果准确性改进生成奖励模型训练,提升RLHF性能并减少欺骗性对齐问题。
2026-02-04 cs.CL
ALaRM: Align Language Models via Hierarchical Rewards Modeling
Institute of Science and Technology for Brain-inspired Intelligence, Fudan University(复旦大学脑智能科学与技术研究院);School of Data Science, Fudan University(复旦大学数据科学学院);School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Research Institute of Intelligent and Complex Systems, Fudan University(复旦大学智能与复杂系统研究院)
ALaRM框架通过整合整体与特定方面奖励并基于一致性过滤组合,在RLHF中建模分层奖励,提升LLM与人类偏好对齐,在长问答和机器翻译任务上优于现有基线。
2024-03-16 cs.AI cs.CL cs.LG
Knowledge-Level Consistency Reinforcement Learning: Dual-Fact Alignment for Long-Form Factuality
Baidu Inc.(百度公司)
本文提出KLCF框架,通过双事实对齐机制提升长形式生成的事实性,有效缓解幻觉和保守倾向,提升精度与召回率。
2026-05-07 cs.AI cs.CL cs.LG
Trade-R1: Bridging Verifiable Rewards to Stochastic Environments via Process-Level Reasoning Verification
StepFun(阶跃星辰);FinStep;Shanghai University of Finance and Economics(上海财经大学);Shanghai Jiao Tong University(上海交通大学)
Trade-R1通过过程级推理验证,将可验证奖励与随机金融环境连接,减少奖励黑客问题,DSR在跨市场泛化中表现优异。
2026-01-08 cs.AI q-fin.TR
Revisiting the Learning Objectives of Vision-Language Reward Models
Polytechnique Montréal(蒙特利尔理工学院);École de Technologie Supérieure(高级技术学院);Sorbonne Université(索邦大学)
本文通过统一框架评估了基于VLM的奖励模型,发现简单三元组损失在性能上优于现有方法,表明改进可能源于数据和架构差异。
2025-12-20 cs.AI cs.LG
LOTAPO: Leave-One-Turn Attribution for Self-Generated Process Rewards in Multi-Turn Search Reasoning
Zhejiang University(浙江大学)
研究多轮搜索推理中强化学习依赖终端结果奖励的问题,提出基于反向留一回合归因的LAPO方法,无需额外模型,在七个问答数据集上取得较好成绩,证明策略追溯归因能为多轮搜索智能体提供有效过程监督。
2026-07-17 cs.AI
RAIDEN-R1: Improving Role-awareness of LLMs via GRPO with Verifiable Reward
Platform and Content Group, Tencent(腾讯平台与内容部);School of Software & Microelectronics, Peking University(北京大学软件与微电子学院)
针对角色扮演对话智能体的角色一致性难题,提出融合可验证角色感知奖励的RAIDEN-R1强化学习框架与角色感知思维链数据,14B-GRPO在RAIDEN基准上取得优异表现。
2025-05-15 cs.CL
RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents
Tencent YouTu Lab(腾讯优图实验室)
研究多轮语言模型智能体训练问题,针对稀疏结果奖励训练收敛慢等问题,提出奖励交换策略优化方法,利用密集过程奖励信息,确保轨迹多样性和目标与真实奖励一致性,提升模型性能。
2026-08-11 cs.AI cs.LG
RewardFlow: Generate Images by Optimizing What You Reward
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Sony Research, India(索尼印度研究院)
RewardFlow通过多奖励Langevin动力学优化预训练扩散和流匹配模型,统一了语义对齐、感知保真度等不同可微奖励,并引入基于VQA的可微奖励提升语义监督。
2026-04-09 cs.AI cs.CV
RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System
RLAnything通过动态生成环境、策略和奖励模型,在完全动态的RL系统中提升学习效果,显著提升多个任务的性能。
2026-02-02 cs.AI cs.CL cs.CV
Perception-R1: Advancing Multimodal Reasoning Capabilities of MLLMs via Visual Perception Reward
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);iFLYTEK AI Research(iFLYTEK人工智能研究院);Hong Kong University of Science and Technology(香港科学与技术大学)
Perception-R1通过引入视觉感知奖励提升多模态大语言模型的多模态推理能力
2026-03-03 cs.AI cs.CV cs.LG
WildReward: Learning Reward Models from In-the-Wild Human Interactions
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
本文提出WildReward,通过真实世界用户交互直接学习奖励模型,无需偏好对,实现更优的校准和一致性,并在多种任务中取得显著提升。
2026-02-09 cs.AI cs.CL
Error Typing for Smarter Rewards: Improving Process Reward Models with Error-Aware Hierarchical Supervision
Singapore University of Technology and Design(新加坡科技设计大学);Lambda Labs(Lambda实验室)
本文提出PathFinder-PRM,一种错误感知的分层过程奖励模型,通过分类步骤错误并融合信号提升数学推理奖励估计,在PRMBench上取得67.7的SOTA分数,数据效率提高3倍。
2025-05-26 cs.AI cs.CL
Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics
Intelligent System Laboratory(智能系统实验室)
提出一种自动化训练流程,通过聚合多个弱事实性指标的分数并映射为偏好,过滤高分歧样本,利用词汇相似摘要对进行偏好学习,从而提升摘要的事实一致性。
2026-05-26 cs.CL
LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning
研究在语言模型推理中从候选推理链选正确答案的问题,提出跨模型共识方法,将其视为语言模型陪审团,通过错误去相关机制工作,在多个基准测试中表现出色,能预先表征,有定律和下限。
2026-08-18 cs.AI cs.LG
VC-Soup: Value-Consistency Guided Multi-Value Alignment for Large Language Models
Key Laboratory of Knowledge Engineering with Big Data(知识工程与大数据重点实验室);Hefei University of Technology(合肥工业大学);Innovation School of Artificial Intelligence(人工智能创新学院)
本文提出VC-Soup方法,通过数据过滤和参数融合框架解决多价值对齐中的冲突问题,提升模型在多价值下的表现。
2026-05-09 cs.AI cs.LG
Evaluation of Multi-Turn Consistency in LLM Agents: Survival Analysis and Failure-Rationale Taxonomy
Carleton University(卡尔顿大学)
本研究通过20步延迟满足实验和84,540条轨迹,结合生存分析与理由分类学,评估了LLM智能体在多轮交互中的时间一致性,发现深思与矛盾率相关,并揭示了模型特定的失败指纹。
2026-09-25 cs.AI cs.CL cs.LG
PRISM: A Unified Framework for Post-Training LLMs Without Verifiable Rewards
Arizona State University(亚利桑那州立大学);Amazon Web Services(亚马逊网络服务)
PRISM通过结合过程奖励模型与自我确定性,实现无需真实标签的稳定训练和提升LLM测试性能。
2026-01-19 cs.CL
Reward Generalization in RLHF: A Topological Perspective
Center for AI Safety and Governance, Institute for AI, Peking University(人工智能安全与治理中心,人工智能研究院,北京大学);Tsinghua University(清华大学);Baichuan Inc(北川公司)
本文从拓扑视角系统研究RLHF中的奖励泛化问题,提出宏观自编码与微观贝叶斯网络结合的理论框架,并设计树状偏好信息奖励建模方法,显著降低不确定性并提升泛化能力。
2025-05-28 cs.AI cs.CL cs.DM
Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);Zhejiang University of Technology(浙江工业大学);Stanford University(斯坦福大学)
本文发现扩散语言模型存在时间振荡现象,提出时间自一致性投票与时间一致性强化两种方法,利用时间动态显著提升多个基准性能。
2025-10-06 cs.AI cs.CL
Direct Advantage Regression: Aligning LLMs with Online AI Reward
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
提出直接优势回归(DAR)算法,利用在线AI奖励通过加权监督微调优化策略,在理论上与在线RLHF一致,实验证明其优于OAIF和在线RLHF基线。
2025-04-19 cs.AI cs.CL cs.HC
RVPO: Risk-Sensitive Alignment via Variance Regularization
Apple(苹果公司)
本文提出RVPO框架,通过在优势聚合中惩罚奖励方差,将目标从最大化总和转为最大化一致性,提升多目标对齐的可靠性。
2026-10-30 cs.CL cs.LG
Tailoring Self-Rationalizers with Multi-Reward Distillation
University of Southern California(南加州大学);University of Washington(华盛顿大学);University of California Los Angeles(加州大学洛杉矶分校);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文提出多奖励蒸馏方法MaRio,使小规模语言模型生成更合理、一致且多样的自我合理化,提升问答性能,优于监督微调基线。
2024-05-22 cs.CL
VAA-CSEC: Vote-guided Advantage Allocation for Chinese Semantic Error Correction
Guangdong University of Foreign Studies(广东外语外贸大学);National University of Defense Technology(国防科技大学)
针对中文语义纠错中过度纠正及CoT与自一致性解码交互不清的问题,提出VAA-CSEC多阶段框架,结合CoT蒸馏、SFT、RL和自一致性解码,并引入GLPO对齐训练与推理目标,在CSED-C和NaSGEC-Exam上取得最优F0.5。
2026-09-30 cs.AI cs.CL
DMoERM: Recipes of Mixture-of-Experts for Effective Reward Modeling
Beihang University(北京航空航天大学)
为解决RM训练中的多任务干扰和标注噪声问题,本文首次提出双层MoE奖励模型DMoERM,通过外层稀疏路由与内层密集LoRA专家集成,有效提升了与人类偏好的一致性并缓解了过度优化问题。
2024-04-28 cs.CL
MemBuilder: Reinforcing LLMs for Long-Term Memory Construction via Attributed Dense Rewards
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Tencent Inc.(腾讯公司)
MemBuilder通过具有属性的密集奖励强化LLMs,解决长期对话中保持一致性的挑战,提升多维记忆构建能力,实验表明其在长期对话基准测试中表现优异。
2026-06-23 cs.CL
GrndCtrl: Grounding World Models via Self-Supervised Reward Alignment
GrndCtrl通过自监督奖励对齐提升世界模型的几何 grounding,实现更稳定的空间一致性与导航性能。
2026-02-07 cs.AI cs.CV cs.LG
Improving Multimodal Reasoning via Worst Dimension Optimization
Beijing Institute of Technology(北京理工大学)
提出最差维度优化方法,通过识别并优先优化推理路径中最差的约束维度,提升多模态推理的整体有效性。
2026-06-05 cs.AI
CARMO: Dynamic Criteria Generation for Context-Aware Reward Modelling
Microsoft(微软);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);IISc, Bangalore(班加罗尔印度科学学院)
针对RLHF奖励模型易受表层特征奖励黑客影响的问题,本文提出CARMO,通过动态生成上下文相关评估标准并蒸馏到小模型,在Reward Bench和7B模型对齐中取得显著提升。
2025-02-17 cs.CL
DuraS2ST: Chain-of-Thought and Reinforcement Learning for Duration-Aligned Speech-to-Speech Translation
The Chinese University of Hong Kong(香港中文大学);Microsoft Corporation(微软公司)
DuraS2ST提出时长对齐推理框架,利用思维链规划与强化学习优化,在CVSS-T上平衡翻译质量与时长一致性,优于现有基线。
2026-09-29 cs.CL cs.SD eess.AS
OpenRubrics: Towards Scalable Synthetic Rubric Generation for Reward Modeling and LLM Alignment
Purdue University(普渡大学);Emory University(埃默里大学);Georgia Institute of Technology(佐治亚理工学院);University at Albany(阿尔巴尼大学)
OpenRubrics 提出了一种基于对比的 rubric 生成方法,通过大规模(提示,rubric)对提升奖励建模和大语言模型对齐的性能。
2026-02-03 cs.CL
Crossing the Reward Bridge: Expanding RL with Verifiable Rewards Across Diverse Domains
Tencent AI Lab(腾讯AI实验室)
本研究将RLVR扩展至医学、经济学等非结构化领域,利用生成式评分技术提供软奖励信号,并基于7B模型训练跨领域奖励模型,显著提升了LLM在自由格式任务中的性能与鲁棒性。
2025-04-01 cs.CL
Rethinking Bradley-Terry Models in Preference-Based Reward Modeling: Foundations, Theory, and Alternatives
University of Cambridge(剑桥大学);Massachusetts Institute of Technology(麻省理工学院);ByteDance Research(字节跳动研究院)
本文重新审视了LLM奖励建模中BT模型的理论基础,提出顺序一致性概念及兼容二分类器的上界算法作为替代方案,并在超12000个实验设置中验证了不同方法的效果。
2025-01-26 cs.AI
CC-LEARN: Cohort-based Consistency Learning
Arizona State University(亚利桑那州立大学)
CC-Learn通过强化学习训练相似问题队列,结合准确率、检索奖励和拒绝惩罚,提升大模型推理的一致性与稳定性,在ARC-Challenge和StrategyQA上优于基线。
2025-06-18 cs.CL
Accelerating Diffusion Planners in Offline RL via Reward-Aware Consistency Trajectory Distillation
Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种奖励感知一致性轨迹蒸馏方法,通过解耦训练和无噪声奖励信号,在离线强化学习中实现高效扩散规划器,提升性能并加快推理速度。
2026-02-06 cs.AI cs.LG
StructReward: Efficient Structured Process Rewards for Self-Correcting Multimodal Reasoning
本研究提出StructReward框架,通过结构化步骤级奖励对齐结合GRPO目标等方式,在无额外验证器的情况下降低多模态强化学习开销,实现自修正多模态推理。
2026-08-12 cs.AI
A Pre-Registered Causal Partition of Self-Consistency Elicitation and Reward Design in RLVR
Outlook.com(Outlook公司)
本文通过预注册实验和因果分解方法,证明RLVR中朴素奖励设计估计量存在系统性偏差,并量化了自我一致性激发与真正奖励设计信号的贡献。
2026-06-08 cs.AI cs.LG