语言大模型 / LLM

GRAIL: Gradient-Reweighted Advantages for Reinforcement Learning with Verifiable Rewards

GRAIL: 基于梯度重加权优势的可验证奖励强化学习

Tej Deep Pala, Vernon Toh, Soujanya Poria

机构 * DeCLaRe Lab, Nanyang Technological University（DeCLaRe实验室，南洋理工大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对强化学习中统一优势分配导致梯度信号稀释的问题，提出基于梯度激活显著性的令牌级优势重加权方法GRAIL，无需过程级监督即可提升推理对齐，在多个模型上平均准确率提升3.60%。

VCIFBench: Evaluating Complex Instruction Following for Video Understanding

VCIFBench：评估视频理解中的复杂指令遵循能力

Huangchen Xu, Yuan Wu, Yi Chang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University（知识驱动人机智能工程研究中心，吉林大学） ； International Center of Future Science, Jilin University（未来科学国际中心，吉林大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出VCIFBench基准，通过混合验证流水线评估多模态大模型在视频理解中遵循内容、格式、风格和结构约束的复杂指令能力，实验表明联合约束满足仍具挑战，DPO训练可提升性能。

Mitigating False Credit Propagation: Probabilistic Graphical Reward Aggregation for Rubric-Based Reinforcement Learning

缓解虚假信用传播：基于概率图奖励聚合的准则强化学习

Can Lv, Mingju Chen, Heng Chang, Shiji Zhou

机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University（北京未来区块链与隐私计算先进创新中心，人工智能学院，北京航空航天大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 针对准则奖励中因忽略准则间依赖关系导致的虚假信用传播问题，提出概率图框架Graphical Event Aggregation for Rubric rewards (GEAR)，通过建模潜在伯努利事件和软抑制传播实现依赖感知的奖励聚合，在多个基准上提升性能并减少信用泄漏。

Learning to Solve, Forgetting to Retain: Correct-Set Turnover in RLVR

学会解决，忘记保留：RLVR中的正确集更替

Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Peng Fu, Zheng Lin

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； JD.COM（京东） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对强化学习可验证奖励（RLVR）中模型遗忘已解决问题的问题，提出正确集更替现象和修复窗口原则，并设计保留感知的回顾机制\method{}，通过零额外开销的预部署批量替换提升多模态任务性能。

Expected Value Alignment for Generative Reward Modeling in Formal Mathematics Verification

形式数学验证中生成式奖励建模的期望值对齐

Shihao Ji, Haotao Tan, Zihui Song, Mingyu Li

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出期望值对齐（EVA）方法，通过从模型词元分布中提取连续分数，在保持生成式奖励模型离散输出的同时实现连续评分，用于Lean 4形式验证。

CAST: Non-Privileged Clipped Asymmetric Self-Teaching with Advantage Flipping for GRPO

CAST：用于GRPO的非特权裁剪非对称自教学与优势翻转

Yang Li, Gongle Xue, Yijia Guo, Yuheng Yuan, Liwen Hu, Lei Ma

机构 * School of Software and Microelectronics, Peking University, Beijing（北京大学软件与微电子学院） ； School of Artificial Intelligence, Peking University, Beijing（北京大学人工智能学院） ； School of Computer Science, Peking University, Beijing（北京大学计算机科学学院） ； School of Future Technology, Peking University, Beijing（北京大学未来技术学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出CAST方法，通过无答案的自教师模型和双向局部优势符号翻转，解决GRPO中奖励稀疏和组相对优势消失的问题，提升数学推理性能。

Comments 10 pages

Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation

群体相对策略优化中的优势崩塌：诊断与缓解

Xixiang He, Qiyao Sun, Ao Cheng, Xingming Li, Xuanyu Ji, Hailun Lu, Runke Huang, Qingyong Hu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对GRPO在可验证奖励强化学习中的优势崩塌问题，提出诊断指标ACR和轻量级扩展方法AVSPO，通过注入虚拟奖励样本减少梯度消失，提升模型推理能力。

Comments Accepted at the International Conference on Machine Learning (ICML 2026). Project page: https://QingyongHu.github.io/AVSPO

AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents

AgentProcessBench：诊断工具使用代理的步骤级过程质量

Shengda Fan, Xuyan Ye, Yupeng Huo, Zhi-Yuan Chen, Yiju Guo, Shenzhi Yang, Wenkai Yang, Shuqi Ye, Jingwen Chen, Haotian Chen, Xin Cong, Yankai Lin

机构 * Renmin University of China（中国人民大学） ； Beijing Jiaotong University（北京交通大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出AgentProcessBench基准，通过三元标注方案和错误传播规则评估工具增强轨迹中的步骤级有效性，揭示当前模型在区分中立与错误动作方面的挑战，并证明过程信号对结果监督的补充价值。

Learning from Fine-Grained Visual Discrepancies: Mitigating Multimodal Hallucinations via In-Context Visual Contrastive Optimization

从细粒度视觉差异中学习：通过上下文视觉对比优化缓解多模态幻觉

Haolin Deng, Xin Zou, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

机构 * The Hong Kong University of Science（香港科学与技术大学） ； OPPO AI Center（OPPO AI中心） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 提出上下文视觉对比优化（IC-VCO）方法，通过共享多图像上下文中的对比图像确保数学严谨的目标，并引入视觉对比蒸馏（VCDist）和对比样本编辑策略，有效缓解多模态幻觉。

Comments ICML 2026

Cost-Aware Learning

成本感知学习

Clara Mohri, Amir Globerson, Haim Kaplan, Tomer Koren, Yishay Mansour

机构 * Kempner Institute（凯姆纳研究所） ； Harvard University（哈佛大学） ； Google Research（谷歌研究） ； Tel Aviv University（特拉维夫大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；language model(abstract)；分类 cs.LG

AI总结 针对有限和优化中不同组件采样成本不同的问题，提出基于梯度范数和成本的采样分布算法Cost-Aware SGD，并应用于语言模型强化学习，显著降低策略优化中的token使用量。

The Curse of Helpfulness: Inverse Scaling Law in Robustness to Distractor Instructions via DistractionIF

帮助的诅咒：通过 DistractionIF 在干扰指令鲁棒性中的逆缩放定律

Zeli Su, Zhankai Xu, Tianlei Chen, Longfei Zheng, Xiaolu Zhang, Jun Zhou, Wentao Zhang

机构 * Minzu University of China, Beijing, China（民族大学，北京，中国） ； Renmin University of China, Beijing, China（中国人民大学，北京，中国） ； Peking University, Beijing, China（北京大学，北京，中国） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出 DistractionIF 基准，发现大语言模型在参考文本中干扰指令的鲁棒性存在逆缩放现象，并通过 GRPO 强化学习提升鲁棒性。

Off-Policy Learning to Reason Works Because It Is More Pessimistic Than You Think

离策略学习推理之所以有效是因为它比你想象的更悲观

Otmane Sakhi, Aleksei Arzhantsev, Imad Aouali, Flavian Vasile

机构 * Criteo AI Lab（Criteo人工智能实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过隐式悲观主义解释离策略强化学习目标的有效性，并提出稳定诱导分布的改进方法。

Long Live The Balance: Information Bottleneck Driven Tree-based Policy Optimization

平衡万岁：信息瓶颈驱动的基于树的策略优化

Hao Jiang, Shurui Li, Tianpeng Bu, Bowen Xu, Xin Liu, Qihua Chen, Hongtao Duan, Lulu Hu, Bin Yang, Minying Zhang

机构 * Alibaba Cloud Computing, Alibaba Group（阿里云计算，阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对在线强化学习中探索-利用不平衡问题，提出基于信息瓶颈理论的IB-Score指标和IB-TPO框架，通过树采样策略提升优化稳定性和性能。

Comments Accepted to ICML 2026 main conference

Explicit Critic Guidance for Aligning Diffusion Models

显式评论家引导的对齐扩散模型

Zhengyang Liang, Qihang Zhang, Ceyuan Yang

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 后训练与偏好优化 ：pretraining(abstract)；post-training(abstract)；分类 cs.LG

AI总结 提出一种状态对齐的潜在演员-评论家框架，通过将扩散模型自身作为时间步条件价值函数，实现轨迹级PPO训练和推理时引导，在单/多奖励基准上优于先前方法。

Learning Correlated Reward Models: Statistical Barriers and Opportunities

学习相关奖励模型：统计障碍与机遇

Yeshwanth Cherapanamjeri, Constantinos Daskalakis, Gabriele Farina, Sobhan Mohammadpour

机构 * MIT（麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本文研究了避免IIA假设的相关probit模型的统计与计算挑战，证明了成对偏好数据不足以学习相关性，而三选一偏好数据可实现近最优估计。

Comments International Conference on Learning Representations (ICLR) 2026

SWE-Edit: Rethinking Code Editing for Efficient SWE-Agent

SWE-Edit：重新思考高效SWE智能体的代码编辑

Yikai Zhang, Jiaxin Pei, Kenan Li, Qirui Jin, Maoquan Wang, Jin Pan, Yu Kang, Shengyu Fu, Elsie Nallipogu, Junjie Hu, Yufan Huang, Zijian Jin

机构 * Microsoft（微软） ； Department of Computer Sciences, University of Wisconsin–Madison（威斯康星大学麦迪逊分校计算机科学系） ； Stanford Institute for Human-Centered Artificial Intelligence (HAI), Stanford University（斯坦福大学人机交互研究所） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出SWE-Edit框架，通过将代码编辑分解为查看器和编辑器两个子智能体，解决上下文耦合问题，在SWE-Bench Verified上提升解决率2.1个百分点并降低推理成本17.9%，且通过GRPO训练小模型实现高效编辑格式选择。

Exploring the robustness of TractOracle methods in RL-based tractography

探索基于强化学习的纤维追踪中TractOracle方法的鲁棒性

Jeremi Levesque, Antoine Théberge, Maxime Descoteaux, Pierre-Marc Jodoin

机构 * Department of Computer Science, Faculty of Science, University of Sherbrooke（谢布罗克大学计算机科学系） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本文通过整合强化学习的最新进展，扩展了TractOracle-RL框架，并引入迭代奖励训练（IRT）方法，实验表明基于oracle的RL方法在准确性和解剖有效性上显著优于传统纤维追踪技术。

Comments 38 pages, 8 figures. Submitted to Medical Image Analysis

Journal ref Medical Image Analysis, December 2025

What Makes a Medical Checker Trainable? Diagnosing Signal Collapse and Reward Hacking in Checker-Guided RAG for Biomedical QA

什么使医学检查器可训练？诊断生物医学问答中检查器引导的RAG中的信号崩溃和奖励黑客

Yuelyu Ji, Min Gu Kwak, Hang Zhang, Xizhi Wu, Chenyu Li, Yanshan Wan

机构 * University of Pittsburgh（匹兹堡大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文通过比较四种NLI检查器作为GRPO训练的医学RAG代理的过程奖励，诊断了信号崩溃和奖励黑客现象，发现检查器的输出分布而非保留准确率决定了其是否提供可训练梯度，并提出了验证器作为奖励系统的边界条件。

GeoSVG-RL: Geometry-Aware Reinforcement Learning for Layout-Constrained Text-to-SVG Diagram Generation

GeoSVG-RL：面向布局约束的文本到SVG图表生成的几何感知强化学习

Sifan Li, Yujun Cai, Hongkai Chen, Yiwei Wang

机构 * University of California, Merced（加州大学梅尔德分校） ； The University of Queensland（昆士兰大学） ； vivo Mobile Communication Co., Ltd.（vivo移动通信有限公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出GeoSVG-RL框架，通过强化学习优化策略，利用几何反馈奖励（渲染有效性、画布适配、锚点放置、文本包含、图一致性和代码整洁性）解决文本到SVG图表生成中的结构脆弱性问题，显著提升箭头锚点精度和文本框内率。

Learning Kernel-Based MDPs from Episodic Preferential Feedback

从片段偏好反馈中学习基于核的MDP

Nikola Pavlovic, Sattar Vakili, Qing Zhao

机构 * Cornell University（康奈尔大学） ； MediaTek Research（联发科研究） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本文研究片段核MDP中的偏好学习，提出基于偏好比较的价值估计和置信集方法，并证明亚线性遗憾界。

Voting with the Graph: Stable RLAIF via Topological Consistency Maximization

基于图的投票：通过拓扑一致性最大化实现稳定的RLAIF

Boyin Liu, Zhuo Zhang, Sen Huang, Lipeng Xie, Qingxu Fu, Haoran Chen, LI YU, Tianyi Hu, Zhaoyang Liu, Bolin Ding, Dongbin Zhao

机构 * Alibaba Group（阿里巴巴集团） ； Chinese Academy of Sciences Institute of Automation（中国科学院自动化研究所） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出拓扑共识奖励（TCR）框架，利用传递性作为去噪机制，通过拓扑多数投票过滤偏好信号中的随机噪声，以稳定强化学习从AI反馈（RLAIF）中的偏好学习。

Hide-and-Shill: A Reinforcement Learning Framework for Market Manipulation Detection in Symphony-a Decentralized Multi-Agent System

Hide-and-Shill：面向交响乐系统中市场操纵检测的强化学习框架——一个去中心化多智能体系统

Ronghua Shi, Yiou Liu, Yuchun Feng, Lynn Ai, Bill Shi, Zhuang Liu

机构 * Department of Information Systems, City University of Hong Kong（香港城市大学信息系统系） ； Business School, University of New South Wales（新南威尔士大学商学院） ； Division of Engineering Science, University of Toronto（多伦多大学工程科学系） ； ProphetAI Data Technology Co., Ltd.（ProphetAI数据技术有限公司） ； Gradient, 3 FRASER STREET DUO TOWER, SINGAPORE（Gradient新加坡办公室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出一个多智能体强化学习框架，通过动态对抗博弈建模操纵者与检测者的交互，利用延迟代币价格反应识别可疑模式，并集成GRPO、理论奖励函数和多模态智能体管道，在去中心化交响乐系统中实现无需中心化预言机的鲁棒操纵检测。

Causality as the Statistical Conscience of Artificial Intelligence: From Pearl's Ladder to Trustworthy Machines

因果关系作为人工智能的统计良知：从珀尔的阶梯到可信机器

Ernest Fokoué

机构 * School of Mathematics and Statistics, College of Science（数学与统计学学院，科学学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文论证因果推断是AI不可或缺的统计良知，通过统计必要性定理、统一因果统计估计框架以及三种AI失败模式的因果盲区分析，提出可信AI本质上是因果统计问题。

Comments 18 pages, 4 figures, 1 table

Beyond VLM-Based Rewards: Diffusion-Native Latent Reward Modeling

超越基于VLM的奖励：扩散原生潜在奖励建模

Gongye Liu, Bo Yang, Yida Zhi, Zhizhou Zhong, Lei Ke, Didan Deng, Han Gao, Yongxiang Huang, Kaihao Zhang, Hongbo Fu, Wenhan Luo

机构 * The Hong Kong University of Science ； Huawei Hong Kong AI Framework \& Data Technologies Lab ； Tsinghua University ； The Australian National University 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 提出扩散原生潜在奖励模型DiNa-LRM，直接在噪声扩散状态上进行偏好学习，通过噪声校准Thurstone似然和推理时噪声集成，实现高效且鲁棒的奖励建模。

Comments Accepted by ICML 2026. Code: https://github.com/HKUST-C4G/diffusion-rm

Reinforcing VLAs in Task-Agnostic World Models

在任务无关的世界模型中强化视觉-语言-动作

Yucen Wang, Rui Yu, Fengming Zhang, Junjie Lu, Xinyao Qin, Tianxiang Zhang, Kaixin Wang, Li Zhao

机构 * Microsoft Research Asia（微软亚洲研究院） ； Nanjing University（南京大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Wuhan University（武汉大学） ； University of Technology Sydney（悉尼科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文提出RAW-Dream方法，通过分离世界模型学习与下游任务依赖，利用预训练的世界模型和现成的视觉-语言模型，实现零样本推理，从而在无需任务特定数据的情况下提高VLA适应性。

Implicit Hierarchical GRPO: Decoupling Tool Invocation from Execution for Tool-Integrated Mathematical Reasoning

隐式层次GRPO：将工具调用与执行解耦以实现工具集成的数学推理

Li Wang, Xiaohan Wang, Xiaodong Lu, Zipeng Zhang, Jinyang Wu, Jiajun Chai, Wei Lin, Guojun Yin

机构 * Meituan（美团） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一种将工具调用与执行解耦的方法，通过引入延迟执行和显式控制来增强工具集成推理能力，并提出了一个分层控制框架和理论推导出的替代损失函数，从而得到隐式分层策略，最终提出IH-GRPO算法，在六个跨领域数学推理基准测试中，Qwen3-1.7B、Qwen3-4B和Qwen3-8B在最强基线方法上分别实现了1.87%、2.16%和2.53%的绝对提升。

PEGRL: Improving Machine Translation by Post-Editing Guided Reinforcement Learning

PEGRL: 通过后编辑引导的强化学习改进机器翻译

Yunzhi Shen, Hao Zhou, Xin Huang, Xue Han, Junlan Feng, Shujian Huang

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； China Mobile Research Beijing, China（北京中国移动研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出PEGRL框架，通过后编辑作为辅助任务稳定训练并引导整体优化，提升机器翻译性能。

Beyond Execution: Static-Analysis Rewards and Hint-Conditioned Diffusion RL for Code Generation

超越执行：静态分析奖励与提示条件扩散强化学习用于代码生成

Shuyin Ouyang, Zhaozhi Qian, Faroq AL-Tam, Muhammad AL-Qurishi, Jie M. Zhang

机构 * King’s College London（伦敦国王学院） ； Elm Europe（Elm欧洲） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文研究了强化学习在扩散式代码生成中的应用，探讨了静态分析奖励和提示条件扩散强化学习在不同任务难度下的效果，发现静态检查在提升代码生成性能方面表现最佳。

Ranking-Aware Calibration for Reliable Multimodal Reinforcement Learning

基于排名的校准：可靠多模态强化学习

Peng Cui, Boyao Yang, Jun Zhu

机构 * Dept. of Comp. Sci. & Tech., Institute for AI, BNRist Center, Tsinghua-Bosch Joint ML Center, THBI Lab, Tsinghua University, Beijing（计算机科学与技术系，人工智能研究院，BNRist中心，清华大学-博世联合机器学习中心，THBI实验室，清华大学，北京） ； Dept. of Automation, Tsinghua University, Beijing（自动化系，清华大学，北京） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出Ranking-Aware Calibration方法，通过利用组内强化学习自然产生的比较信号，提升多模态强化学习的校准能力，从而提高任务准确性和校准效果。

Learning What Evaluators Value: A Reliable Approach to Modeling Evaluator Preferences

学习评估者所重视的内容：一种可靠建模评估者偏好的方法

Madeline Celi Kitch, Nihar B. Shah

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文研究了如何学习评估者偏好，提出了一种鲁棒算法，能够在模型不匹配的情况下有效学习偏好，通过合成数据和实际数据验证了其有效性。