语言大模型 / LLM

Where Hindsight Credit Can Reside: A Signed-Capacity View of Token Updates in RLVR

事后信用可驻留之处：RLVR中令牌更新的有符号容量视角

Yuhang He, Haodong Wu, Siyi Liu, Hongyu Ge, Hange Zhou, Keyi Wu, Zhuo Zheng, Qihong Lin, Zixin Zhong, Yongqi Zhang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过条件互信息分析RLVR中令牌级信用的容量上限，提出四象限分解区分更新方向，并设计HAPO算法进行容量引导的优势重分配，提升数学推理性能。

STAPO: Stabilizing Reinforcement Learning for LLMs by Silencing Rare Spurious Tokens

STAPO：通过抑制稀有虚假标记稳定大语言模型的强化学习

Shiqi Liu, Zeyu He, Guojian Zhan, Letian Tao, Zhilong Zheng, Jiang Wu, Yinuo Wang, Yang Guan, Kehua Sheng, Bo Zhang, Keqiang Li, Jingliang Duan, Shengbo Eben Li

机构 * School of Vehicle ； Mobility \& College of AI, Tsinghua University ； Didi Voyager Labs, DiDi Autonomous Driving 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对强化学习微调大语言模型时因稀有虚假标记导致训练不稳定和性能崩溃的问题，提出STAPO方法，通过抑制这些标记的梯度扰动，在多个数学推理基准上实现稳定训练和性能提升。

F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare

F-GRPO: 别让你的策略学到显而易见的而忘记罕见的

Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daria Korotyshova, Daniil Gavrilov

机构 * T-Tech 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 针对强化学习中有限采样组导致罕见正确轨迹被忽略的问题，提出基于Focal loss的难度感知缩放系数F-GRPO，在不增加组大小和计算成本下提升数学推理性能。

DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards

DelTA: 一种用于可验证奖励强化学习的判别性token信用分配

Kaiyi Zhang, Wei Wu, Yankai Lin

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院 Gallagher 学院） ； Ant International（蚂蚁国际） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出DelTA方法，通过估计token系数来增强特定侧的token梯度方向，从而改进可验证奖励强化学习中的token概率更新，提升了模型在数学基准测试中的性能。

Multi-Step Likelihood-Ratio Correction for Reinforcement Learning with Verifiable Rewards

多步似然比校正用于可验证奖励的强化学习

Deokgyu Yoon, Hyungkyu Kang, Joongkyu Lee, Byeongchan Kim, Gyungin Shin, Sungrae Park, Min-hwan Oh

机构 * Seoul National University（首尔国立大学） ； Upstage 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种多步前向轨迹政策优化（NFPO）算法，通过引入N步前向轨迹来改进PPO的近似目标，从而在可验证奖励的强化学习中实现更精确的策略改进。

Noise-corrected GRPO: From Noisy Rewards to Unbiased Gradients

噪声校正的GRPO：从噪声奖励到无偏梯度

Omar El Mansouri, Fathinah Asma Izzati, Mohamed El Amine Seddik, Salem Lahlou

机构 * Department of Machine Learning, Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE ； Technology Innovation Institute, Abu Dhabi, UAE ； Department of Robotics, Khalifa University, Abu Dhabi, UAE 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出了一种噪声鲁棒的GRPO框架，通过校正奖励中的噪声来获得无偏梯度估计，从而提升强化学习在噪声环境中的性能。

PhyWorld: Physics-Faithful World Model for Video Generation

PhyWorld: 用于视频生成的物理忠实世界模型

Pu Zhao, Juyi Lin, Timothy Rupprecht, Arash Akbari, Chence Yang, Rahul Chowdhury, Elaheh Motamedi, Arman Akbari, Yumei He, Chen Wang, Geng Yuan, Weiwei Chen, Yanzhi Wang

机构 * Northeastern University（东北大学） ； University of Georgia（佐治亚大学） ； Tulane University（路易斯安那大学） ； EmbodyX 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PhyWorld，一种通过两阶段训练提升视频生成模型的物理忠实性，以改进世界模拟器的性能，从而更有效地支持物理AI系统。

Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction

异步代理强化学习中缺失旧日志：语义不匹配及用于离线策略修正的修复方法

Zhong Guan, Yongjian Guo, Haoran Sun, Wen Huang, Shuai Di, Likang Wu, Xiong Jun Wu, Hongke Zhao

机构 * Tianjin University（天津大学） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； JDT AI Infra（京东AI基础设施） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了异步代理强化学习中因缺失旧日志导致的语义不匹配问题，提出三种精确获取旧日志的策略及近似修正方法，改进了PPO-EWMA方法，提升了训练速度和优化性能。

DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding

DARC：通过风险约束解码实现的分歧意识对齐

Mingxi Zou, Jiaxiang Chen, Junfan Li, Langzhang Liang, Qifan Wang, Xu Yinghui, Zenglin Xu

机构 * Fudan University, Shanghai, China（复旦大学，上海，中国） ； Independent Researcher（独立研究者） ； Meta AI ； Incubation Institute, Fudan University, Shanghai, China（创新与孵化院，复旦大学，上海，中国） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 DARC通过风险约束解码方法，在不重新训练的情况下，通过最大化KL-鲁棒满意度目标来缓解分歧和尾部风险，保持高质量输出。

Learning to Reason without External Rewards

无需外部奖励的学习推理

Xuandong Zhao, Zhewei Kang, Aosong Feng, Sergey Levine, Dawn Song

机构 * UC Berkeley（加州大学伯克利分校） ； Yale University（耶鲁大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Intuitor方法，通过内在反馈实现无需外部奖励的自主学习，实验表明其在数学基准和代码生成等任务中表现优异，为无监督学习提供了新途径。

Comments ICLR 2026

From Sycophantic Consensus to Pluralistic Repair: Why AI Alignment Must Surface Disagreement

从阿谀共识到多元修复：为何AI对齐必须显现分歧

Varad Vishwarupe, Nigel Shadbolt, Marina Jirotka

机构 * Department of Computer Science, University of Oxford（牛津大学计算机科学系） ； Institute for Ethics in AI, University of Oxford（牛津大学人工智能伦理研究所） ； Responsible Technology Institute, University of Oxford（牛津大学负责任技术研究所） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出多元对齐需通过对话机制表面价值冲突，提出多元修复评分指标，探讨部署阶段的治理层对多元主义的影响。

It Takes Two: Your GRPO Is Secretly DPO

两人即可：你的GRPO其实暗含DPO

Yihong Wu, Liheng Ma, Lei Ding, Muzhi Li, Xinyu Wang, Kejia Chen, Zhan Su, Zhanguang Zhang, Chenyang Huang, Yingxue Zhang, Mark Coates, Jian-Yun Nie

机构 * UdeM（蒙特利尔大学） ； McGill（麦吉尔大学） ； Mila（Mila人工智能研究院） ； UManitoba（曼尼托巴大学） ； CUHK（香港中文大学） ； ZJU（浙江大学） ； UAlberta（阿尔伯塔大学） ； Amii（阿米人工智能研究院） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出2-GRPO，通过仅两个rollouts构建对比信号，理论分析显示其性能接近16-GRPO，训练效率提升显著。

AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward

AlphaGRPO：通过分解性可验证奖励解锁UMMs中的自反思多模态生成

Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 AlphaGRPO通过分解性可验证奖励提升多模态生成能力，实现文本到图像生成和自反思修正，验证了自反思强化方法在生成高质量输出中的有效性。

Comments ICML2026

BSO: Safety Alignment Is Density Ratio Matching

BSO：安全对齐是密度比匹配

Tien-Phat Nguyen, Truong Nguyen, Thin Nguyen, Duy Minh Ho Nguyen, Ngoc-Thanh Dinh, Trung Le

机构 * Hanoi University of Science and Technology（河内科学技术大学） ； Deakin University（德金大学） ； Max Planck Research School for Intelligent Systems（马克斯·普朗克智能系统研究学校） ； VinUniversity（文大学） ； Monash University（墨尔本大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出BSO方法，通过密度比匹配实现安全对齐，简化了安全对齐流程，无需辅助模型，且能提升安全与有用性之间的权衡。

Understanding and Preventing Entropy Collapse in RLVR with On-Policy Entropy Flow Optimization

理解与防止RLVR中的熵崩溃：基于策略熵流的在线优化

Huimin Xu, Shuai Zhao, Xiaobao Wu, Anh Tuan Luu

机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； VinUniversity（文大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出OPEFO方法，通过平衡熵动态缓解RLVR中的熵崩溃问题，提升训练稳定性与性能。

Preference Learning for AI Alignment: a Causal Perspective

偏好学习用于AI对齐：一种因果视角

Katarzyna Kobalczyk, Mihaela van der Schaar

机构 * Department of Applied Mathematics and Theoretical Physics（应用数学与理论物理系） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文从因果视角出发，探讨了基于偏好数据的奖励建模在对齐大语言模型与人类价值观中的关键作用，提出因果工具箱以解决因果误识别、偏好异质性和用户特定因素的混淆问题，并提出未来研究的方向。

Journal ref Proceedings of the 42nd International Conference on Machine Learning, Vancouver, Canada. PMLR 267, 2025

Gradient Extrapolation-Based Policy Optimization

基于梯度外推的策略优化

Ismam Nur Swapnil, Aranya Saha, Tanvir Ahmed Khan, Mohammad Ariful Haque, Ser-Nam Lim

机构 * Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） ； University of Maryland, College Park（马里兰大学学院公园分校） ； Illinois Institute of Technology（伊利诺伊理工学院） ； University of Central Florida（佛罗里达中央大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GXPO算法，通过三步反向传播模拟多步前瞻，提升强化学习中大语言模型的推理能力，实验显示在数学推理任务中性能优于GRPO和SFPO。

Comments 26 pages, 9 figures

StraTA: Incentivizing Agentic Reinforcement Learning with Strategic Trajectory Abstraction

StraTA: 通过战略轨迹抽象激励代理强化学习

Xiangyuan Xue, Yifan Zhou, Zidong Wang, Shengji Tang, Philip Torr, Wanli Ouyang, Lei Bai, Zhenfei Yin

机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Georgia（佐治亚大学） ； University of Oxford（牛津大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出StraTA框架，通过引入显式的轨迹级策略提升代理强化学习的样本效率和最终性能，实验显示其在ALFWorld、WebShop和SciWorld上均优于基线模型。

Comments 26 pages, 4 figures, 7 tables

Beyond Uniform Credit Assignment: Selective Eligibility Traces for RLVR

超越均匀信用分配：用于RLVR的选区资格痕迹

Chaoli Mou, Zhan Zhuang, Xinning Chen, Yu Zhang

机构 * Southern University of Science and Technology（南方科技大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出选区资格痕迹(S-trace)，通过稀疏资格痕迹机制减少方差，实现细粒度信用分配，实验显示其在Qwen3系列模型上表现优于GRPO，且具备更高的样本和令牌效率。

CAMEL: Confidence-Gated Reflection for Reward Modeling

CAMEL：基于置信度的反思机制用于奖励建模

Zirui Zhu, Hailun Xu, Yang Luo, Yong Liu, Kanchan Sarkar, Kun Xu, Yang You

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 CAMEL通过置信度门控机制实现轻量级偏好决策，并选择性地对低置信度实例进行反思，采用反事实前缀增强的强化学习训练，提升了奖励建模的准确性和效率。

Comments ICML 2026

GR-Ben: A General Reasoning Benchmark for Evaluating Process Reward Models

GR-Ben：一种通用推理基准，用于评估过程奖励模型

Zhouhao Sun, Xuan Zhang, Xiao Ding, Bibo Cai, Li Du, Kai Xiong, Xinran Dai, Fei Zhang, weidi tang, Zhiyuan Kan, Yang Zhao, Bing Qin, Ting Liu

机构 * Research Center for Social Computing（社会计算研究中心） ； Interactive Robotics, Harbin Institute of Technology, China（交互机器人学，哈尔滨工业大学，中国） ； Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院，北京，中国） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 GR-Ben旨在评估过程奖励模型在科学和逻辑两大领域及九个子领域的误差检测能力，揭示现有模型在非数学领域和计算错误检测上的不足。

Debiasing Reward Models via Causally Motivated Inference-Time Intervention

通过因果驱动的推理时干预去偏奖励模型

Kazutoshi Shinoda, Kosuke Nishida, Kyosuke Nishida

机构 * Human Informatics Labs., NTT, Inc.（NTT人类信息学实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出因果驱动的干预方法，用于在推理时减轻奖励模型中的多种偏差。通过抑制与预定义偏差属性强相关的神经元激活，减少对虚假特征的敏感性，同时保持性能。

Comments Accepted to ACL 2026 Main Conference

The Collapse of Heterogeneity in Silicon Philosophers

硅哲学家中的异质性崩溃

Yuanming Shi, Andreas Haupt

机构 * Adobe Inc.（Adobe公司） ； Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现硅样本在哲学领域系统性地压缩了异质性，语言模型过度相关哲学判断，产生人工共识，影响对齐、评估和硅样本替代人类判断的使用。

The Specification Trap: Why Static Value Alignment Alone Is Insufficient for Robust Alignment

规范陷阱：为何仅靠静态价值对齐无法实现稳健对齐

Austin Spizzirri

机构 * Belmont University（贝尔蒙特大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文指出静态内容导向的人工智能价值对齐在能力扩展、分布偏移和自主性提升时无法实现稳健对齐，探讨了哲学难题及现有方法的结构性漏洞。

Comments 31 pages, no figures. Version 5. First posted as arXiv:2512.03048 in November 2025. First in a six-paper research program on AI alignment

CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning

CE-GPPO：通过梯度保持剪裁策略优化协调熵在强化学习中

Zhenpeng Su, Leiyu Pan, Minxuan Lv, Yuntao Li, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

机构 * Kuaishou Technology（快手科技） ； Independent（独立） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出CE-GPPO算法，通过恢复剪裁令牌的梯度信号，协调探索与利用，缓解熵不稳定问题，并在数学推理任务中优于现有方法。

Comments This paper has been accepted by ACL 2026

ChipCraftBrain: Validation-First RTL Generation via Multi-Agent Orchestration

ChipCraftBrain: 通过多智能体协调实现验证优先的RTL生成

Cagri Eryilmaz

机构 * Cagri Eryilmaz 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 ChipCraftBrain通过多智能体协调和混合符号-神经架构实现验证优先的RTL生成，其核心方法包括自适应协调、混合架构、知识增强生成和分层规格分解，主要贡献是提升了RTL生成的准确性和效率。

Comments 17 pages, 6 figures. Preprint

GRPO-VPS: Enhancing Group Relative Policy Optimization with Verifiable Process Supervision for Effective Reasoning

GRPO-VPS：通过可验证的过程监督增强组相对策略优化以实现有效的推理

Jingyi Wang, Lei Zhu, Tengjin Weng, Song-Li Wu, Haochen Tan, Jierun Chen, Chaofan Tao, Haoli Bai, Lu Hou, Lifeng Shang, Xiao-Ping Zhang

机构 * Tsinghua University（清华大学） ； Shenzhen University（深圳大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GRPO-VPS，通过在推理轨迹中探测模型对正确答案的信心，改进GRPO的轨迹级反馈，实现更精准高效的策略更新，实验显示在数学和通用领域任务中均取得显著提升。

Reverse Constitutional AI: A Framework for Controllable Toxic Data Generation via Probability-Clamped RLAIF

反宪法AI：通过概率限制RLAIF实现可控有毒数据生成的框架

Yuan Fang, Yiming Luo, Aimin Zhou, Fei Tan

机构 * East China Normal University（东华大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出反宪法AI框架，通过概率限制RLAIF生成可控的高质有毒数据，提升安全评估。

Comments Accepted to Findings of ACL 2026. 10 pages, 6 figures. Code and data available at https://github.com/ZeroLoss-Lab/R-CAI

Robust Tool Use via Fission-GRPO: Learning to Recover from Execution Errors

通过Fission-GRPO实现鲁棒的工具使用：学习从执行错误中恢复

Zhiwei Zhang, Fei Zhao, Rui Wang, Zezhong Wang, Bin Liang, Jiakang Wang, Yao Hu, Shaosheng Cao, Kam-Fai Wong

机构 * The Chinese University of Hong Kong（香港中文大学） ； Xiaohongshu Inc.（小红书公司） ； MoE Key Laboratory of High Confidence Software Technologies（可信软件技术国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Fission-GRPO框架，通过将执行错误转化为在线纠正监督，提升模型在多轮执行中的错误恢复能力，实验显示其在BFCL v4 Multi-Turn上提升了Qwen3-8B的错误恢复率和整体准确率。

Comments 9 pages, 4 figures, 4 tables. Accepted to ACL 2026 Main Conference

Beyond Importance Sampling: Rejection-Gated Policy Optimization

超越重要性采样：拒绝门策略优化

Ziwu Sun, Zhen Gao, Jiyong Zhang, Jiaheng Li

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出拒绝门策略优化方法，通过引入可微的接受门替代重要性采样比，统一了TRPO、PPO和REINFORCE的策略梯度，并证明其在重要性采样比重尾时能保证有限梯度方差。

Comments 27 pages, includes theoretical analysis and experiments