语言大模型 / LLM

Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization

推理的动量：策略优化中的密集内在信号

Hao Chen, Zhanming Shen, Liyao Li, Yanyu Chen, Xuhang Zhu, Xiaomeng Hu, Qi Zhang, Ru Peng, Xiaoyu Shen, Haobo Wang, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） ； Eastern Institute of Technology（东方理工学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对GRPO在长链推理中因二元奖励导致的零优势崩溃和幻觉确定性失败模式，提出ISPO方法，通过内在信号密集化奖励，在三个基模型和五个数学推理基准上持续优于基线。

Comments 14 pages, 6 figures, 8 tables

Circuit Condensation: Post-Training that Concentrates a Behavior's Causal Circuit

电路浓缩：将行为因果电路集中化的训练后方法

Sai Adith Senthil Kumar

机构 * George Mason University（乔治梅森大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title)；分类 cs.LG

AI总结 本文提出Circuit Condensation方法，通过训练后处理将模型行为的因果电路集中，在4种行为8个模型的实验中大幅缩减电路规模，且能保留任务性能，可用于提升机械可解释性的电路分析效率。

Comments 27 pages, 5 figures

SPOC-SQL: Stage-wise Preference Optimization for Controllable Text-to-SQL

SPOC-SQL：用于可控文本到SQL的分阶段偏好优化

Yingnan Chen, Chun Ding, Tianshi Xu, Xu Yang, Si Wu

机构 * South China University of Technology（华南理工大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title)；分类 cs.CL

AI总结 该研究针对现有文本到SQL方法缺乏关键决策反馈和中间过程控制的问题，提出SPOC-SQL，通过分阶段偏好优化与结构化分解策略实现可控SQL生成，实验验证了其有效性。

When Unlearning Fails: Reliable Data Deletion under Post-Training in Agent Networks

当遗忘失效时：智能体网络后训练下的可靠数据删除

Zihao Ding, Jun Huang, Liang Dong

机构 * South Dakota State University（南达科他州立大学） ； Baylor University（贝勒大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title)；分类 cs.LG

AI总结 针对自改进联邦智能体网络后训练时数据删除易出现影响回声的问题，提出MUTE方法，经实验验证其可在保障任务效用的同时降低行为泄漏且通信开销更低。

Recipes for Steering and Scaling LLMs via Sampling

通过采样引导和扩展大语言模型的方法

Jiajun He, Zongyu Guo, José Miguel Hernández-Lobato, Yuanqi Du

机构 * Microsoft（微软公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一种灵活的理论框架，基于序贯蒙特卡洛和副本交换两种算法，用于通过采样引导和扩展大语言模型，其扩展性优于Best-of-N和标准MCMC基线。

Comments 13 pages

Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization

学习剩余内容，而非已掌握内容：面向多奖励策略优化的饱和感知优势重加权方法

Yixuan Wang, Yifei Chen, Haichao Zhang, Haozheng Luo, Xander Wu, Jie Ni, Yun Fu, Nuno Vasconcelos, Yijiang Li

机构 * University of Florida（佛罗里达大学） ； UC San Diego（加州大学圣迭戈分校） ； Northeastern University（东北大学） ； Northwestern University（西北大学） ； Stanford University（斯坦福大学） ； Universität Innsbruck（因斯布鲁克大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对多奖励策略优化中现有方法的缺陷，提出SA-MRPO方法，动态分配优化资源，在数学推理、自适应推理、编码任务中均实现性能提升。

Comments 14 pages, 2 figures

Preference Tree Optimization: Enhancing Goal-Oriented Dialogue with Look-Ahead Simulations

偏好树优化：通过前瞻模拟增强面向目标的对话

Lior Baruch, Moshe Butman, Kfir Bar, Doron Friedman

机构 * Reichman University（赖希曼大学） ； School of Computer Science（计算机科学学院） ； School of Communications（传播学院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出偏好树优化（PTO）框架，结合带前瞻的偏好树与直接偏好优化（DPO），在动机访谈领域通过虚拟患者等模拟对话生成偏好数据，训练的对话智能体在关键指标上优于基线。

Comments 13 pages, 4 figures. Accepted at an ICLR 2025 workshop

LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation

LoongReflect：通过全局视角蒸馏提升搜索智能体的长程反思能力

Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 LoongReflect是将反思表述为记忆控制策略的训练框架，通过双信号通道结合全局视角蒸馏与结果导向GRPO优化，在多跳检索增强生成和数学推理任务上提升了搜索智能体的长程反思能力。

Comments 15 pages, 8 figures

Rethinking Personalized Reward Modeling for LLMs under Preference Heterogeneity via Group-Debiased Federated Learning

基于组去偏联邦学习的偏好异质性下大语言模型个性化奖励建模反思

Seongyoon Kim, Boryeong Cho, Jihwan Oh, Seokhyun Chung, Se-Young Yun

机构 * Institute of Engineering Research, Korea University（韩国大学工程研究所） ； Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金在哲人工智能研究生院） ； Industrial Management Engineering, Korea University（韩国大学产业管理工程学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对大语言模型个性化奖励建模的偏好异质性问题，提出FedGD方法，通过组去偏的客户端采样抵消组不平衡影响，实现无需预先知晓潜在组的有效个性化。

Element-Aware Group Learning for E-Commerce Image Generation

面向电商图像生成的元素感知组学习

Jingtong Chen, Jiahui Wang, Xue Zhao, ShaoGuo Liu, Minghao Li

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对电商图像生成中GRPO仅在完整提示层面分配信用的缺陷，提出EAGLE-GRPO，通过分解奖励并推导闭式解实现元素级信用分配，提升提示质量与生成图像性能。

Stable Autoregressive Speech Generation with Low-Frame-Rate High-Dimensional Continuous Tokens

基于低帧率高维连续标记的稳定自回归语音生成

Yi Luo, Rongzhi Gu, Jixun Yao

机构 * ByteDance Seed（字节跳动 Seed） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对自回归语音生成的序列长度、表征容量与长时稳定性平衡难题，本文提出Locodec编解码器与MP-ELD流匹配框架，实现高保真、高可预测性且稳定的长时语音合成。

FinSMART: Financial Sentiment Analysis for Algorithmic Trading through Market-Aligned Reinforcement Learning

FinSMART：基于市场对齐强化学习的算法交易金融情感分析

Giorgos Iacovides, Wuyang Zhou, Danilo Mandic

机构 * Imperial College London（帝国理工学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 FinSMART是首个基于市场对齐强化学习的金融情感分析框架，通过市场感知数据过滤与非对称交易奖励优化情感信号，在交易回报等指标上较基线提升220%，可自适应市场动态。

ReDiPPO: Reference-Guided Value Calibration and Discrepancy-Aware Token Reweighting for Mathematical Reasoning

ReDiPPO：用于数学推理的参考引导值校准与差异感知标记重加权

Zhenrong Zhang, Fei Wu, Jun Du, Jianshu Zhang, Si Wei

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对数学推理中PPO的标记级信用分配难题，ReDiPPO引入参考引导评判器并通过值估计差异重加权标记优势，提升值估计精度且优于PPO、DAPO等基线。

ReCo: Reweighting GRPO Against Distributional Concentration

ReCo：针对分布集中问题的GRPO重加权方法

Junoh Park, Junseo Hwang, Wonguk Cho, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对GRPO过度关注高概率响应导致推理覆盖度下降的问题，提出ReCo重加权方法，在多个数学推理基准上提升了大k值下的Pass@k表现。

Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning

超越直接回答：通过启发式强化学习将教育大语言模型调整为苏格拉底式引导者

Xiaokun Wang, Siyu Song, Wentao Liu, Xiaodong Zou

机构 * East China Normal University（华东师范大学） ； Shanghai Chuangjie Situo Information Technology Co., Ltd.（上海创杰思拓信息技术有限公司） ； Shanghai Normal University（上海师范大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对教育场景中LLMs直接作答问题，提出HeuristicEdu两阶段管道，经监督热身和GRPO，利用特定对话及启发式奖励训练Qwen2.5 - 7B，提升了支架有效性，降低关键词泄漏，表明规模并非引发苏格拉底行为的唯一因素。

Comments 12 pages, 2 figures, 5 tables; includes an appendix

Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization

对抗风格优化：通过基于GRPO的风格触发优化增强VLM越狱

Bingjun Luo, Jialin Guo, Yue Yao, Xinpeng Ding

机构 * Tsinghua University（清华大学） ； Harbin Engineering University（哈尔滨工程大学） ； Shandong University（山东大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究MLLMs安全对齐易受越狱攻击问题，提出基于GRPO的对抗风格优化（ASO）方法，通过优化风格触发增强视觉越狱，实验证明该方法显著提高攻击成功率，凸显风格偏差对MLLMs红队测试的作用。

Comments Accepted by CVPR 2026 (Oral)

ISO: An RLVR-Native Optimization Stack

ISO：一种原生 RLVR 的优化栈

Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song, David González-Martínez, Xiaoxia Wu, Yuandong Tian, Shiwei Liu, David Z. Pan, Zhangyang "Atlas" Wang

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； UIUC（伊利诺伊大学香槟分校） ； Emory University（埃默里大学） ； Together AI（联合人工智能公司） ； Recursive Superintelligence Inc（递归超级智能公司） ； ELLIS Institute Tübingen（图宾根埃利斯研究所） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 研究 RLVR 中缺失的优化层，提出等谱优化（ISO）框架，包括离线的 ISO-Merger 和在线的 ISO-Optimizer。通过光谱继承，在推理和编码任务中，用更少训练步骤提高准确率，为 RLVR 优化层问题提供了具体解决方案。

Comments Preprint

Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information

脱离上下文的广义信赖域策略优化算法：利用特权信息学习解决难题

Priyank Agrawal, Ankur Samanta, Shervin Ghasemlou, Jalaj Bhandari, Kavosh Asadi, Daniel Jiang, Aditya Modi

机构 * Meta AI ； Columbia University（哥伦比亚大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究利用特权信息解决强化学习难题，提出脱离上下文的广义信赖域策略优化算法（OC - GRPO），通过引导展开和重要性校正目标避免训练不匹配，在标准数学推理基准上比普通GRPO有显著提升且成本低。

Comments 24 Pages

RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts

RRPO：基于分层条件展开的参考相对策略优化

Yuxin Xiong, Xunyi Jiang, Rohan Surana, Xintong Li, Sheldon Yu, Nikki Lijing Kuang, Ryan A. Rossi, Jingbo Shang, Tong Yu, Julian McAuley, Junda Wu

机构 * University of California San Diego（加利福尼亚大学圣地亚哥分校） ； Adobe Research（Adobe研究院） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究提出RRPO，通过参考相对对比比较推广GRPO。用分层条件展开构建锚集，训练投影头定义对比优势，在策略优化中评估。不依赖任务真实验证器，在多种设置下有竞争力，优于弱监督基线，监督微调后有额外收益。

STAMP: Provenance-Guided Credit Assignment for Deep Search Agents

STAMP：深度搜索智能体的溯源引导信用分配

Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

机构 * Baidu Inc.（百度公司） ； Peking University（北京大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究深度搜索智能体强化学习中奖励-信用不匹配问题，提出STAMP方法，通过基于参考的验证器和首次曝光归因确定信用，经符号保留优势调制注入信用，实验表明该方法能提升GRPO基线分数。

Flout at Your Own Risk: LLMs Struggle with Pragmatic Cooperativity Under Epistemic Asymmetry

自担风险：在认知不对称下大语言模型在语用合作方面存在困难

Hannah VanderHoeven, Abhijnan Nath, Nikhil Krishnaswamy

机构 * Situated Grounding and Natural Language (SIGNAL) Lab（情境基础与自然语言（SIGNAL）实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型在多方协作任务部分信息条件下的语用推理能力，形式化协作认知不对称概念，评估其作为说话者和倾听者合作能力，发现虽有一定语用能力但信息不完整时仍有挑战，部分失败模式与格赖斯准则违反有关。

Don't Let Gains FADE: Breaking Down Policy Gradient Weights in RL

不要让收益消失：解析强化学习中的策略梯度权重

Juliette Decugis, Sean O'Brien, Francis Bach, Gabriel Synnaeve, Taco Cohen

机构 * FAIR at Meta（Meta FAIR） ； Inria, Ecole Normale Supérieure（法国国家信息与自动化研究所，巴黎高等师范学院） ； University of California, San Diego（加利福尼亚大学圣迭戈分校） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出FADE方法，通过动态调整优势函数的正负和难度权重，解决RL训练不稳定和多样性崩溃问题，在7B和32B模型上分别提前20k和2k步达到最佳pass@1。

ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs

ADAPT: 通过偏好调优实现注意力动态对齐以增强多模态大模型的忠实性

Zhiyuan Yao, Zheren Fu, Zhixiao Zheng, Jiajun Li, Yi Tu, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； State Key Laboratory of Communication Content Cognition, People’s Daily Online（人民网传播内容认知国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对多模态大模型生成中的幻觉问题，提出ADAPT框架，通过跨注意力视觉锚点、注意力监督推理和视觉注意力引导DPO直接干预文本到图像的跨注意力动态，在多个基准上将幻觉率降低40%-60%。

Comments Accepted by ECCV 2026

The Unfireable Safety Kernel: Execution-Time AI Alignment for AI Agents and Other Escapable AI Systems

不可解雇的安全内核：面向AI代理及其他可逃逸AI系统的执行时AI对齐

Seth Dobrin, Łukasz Chmiel

机构 * ARYA Labs PBC 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出一种架构性控制机制“不可解雇的安全内核”，通过进程隔离、前置强制、故障关闭和外部验证四个属性实现执行时AI对齐，在可逃逸AI系统中阻止逃逸尝试。

Comments Pre-print submitted for publication

CAT-Translate: Building Compact Open-Source Models for Japanese-English Translation

CAT-Translate: 构建用于日英翻译的紧凑型开源模型

Yuu Jinnai

机构 * CyberAgent 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；small language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对特定语言对开发专用翻译模型是否值得？本文通过两阶段监督微调和多目标GRPO训练紧凑型模型（0.8B-7B参数），在真实场景基准上超越大型多语言模型。

Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation

重新思考奖励监督：基于评分准则的自蒸馏

Siyi Gu, Jialin Chen, Sophia Zhou, Arman Cohan, Rex Ying

机构 * Yale University（耶鲁大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 提出评分准则条件自蒸馏框架，通过结构化细粒度反馈指导推理模型，在科学推理基准上平均超越GRPO 1.0分、OPSD 0.9分。

Beyond Reward Engineering: A Data Recipe for Long-Context Reinforcement Learning

超越奖励工程：长上下文强化学习的数据配方

Xiaoyue Xu, Sikui Zhang, Xiaorong Wang, Xu Han, Chaojun Xiao

机构 * OpenBMB ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种简单有效的数据配方，结合最小化基于结果的GRPO设置，显著提升大语言模型的长上下文推理能力，在多个基准和智能体任务上取得平均+3.2至+7.2点的提升。

Comments 15 pages, 6 figures, 12 tables

Beyond Scalar Distances: Semantic Attribute Gradients from Frozen MLLMs for Visual Embeddings

超越标量距离：来自冻结MLLM的语义属性梯度用于视觉嵌入

Shubhang Bhatnagar, Dheeraj Baiju, Narendra Ahuja

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SAGA框架，利用冻结的多模态大语言模型（MLLM）通过GRPO奖励机制为视觉编码器提供属性级监督，替代传统标量距离，提升零样本图像检索性能。

DOG-DPO:Dynamic Optimization in Geometry for Safety Alignment

DOG-DPO：几何中的动态优化用于安全对齐

Yi Nian, Tiankai Yang, Yudi Zhang, Qi Pan, Zelong Xu, Shenzhe Zhu, Qingqing Luan, Yue Huang, Xiangliang Zhang, Yue Zhao

机构 * University of Southern California（南加州大学） ； Iowa State University（爱荷华州立大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； UT Austin（德克萨斯大学奥斯汀分校） ； Independent Researcher（独立研究员） ； University of Notre Dame（圣母大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出DOG-DPO框架，将偏好对表示为模型表示空间中的方向，通过几何分解和多样性覆盖选择子集，仅用11%数据即可恢复大部分安全增益。

N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization

N-GRPO：嵌入级邻居混合增强策略优化

Xukun Zhu, Hang Yu, Peng Di, Linchao Zhu

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对大语言模型数学推理中探索策略的折衷问题，提出N-GRPO方法，通过语义邻居混合机制在嵌入层注入多样性，在保持语义一致性的同时提升策略优化效果。

Comments ACL 2026 Findings. 16 pages, 3 figures. Code: https://github.com/ZJUSCL/N-GRPO