语言大模型 / LLM

Step-Level Preference Learning for Generative Agents in Social Simulations

社会模拟中生成式智能体的步骤级偏好学习

Wenchang Gao, Pingyue Sheng, Lanlan Qiu, Yunfei Ma, Jian Zhao, Baicheng Chen, Kangda Wang, Yuyang Tian, Shunqiang Mao, Tianxing He

机构 * Shanghai Qi Zhi Institute（上海期智研究院） ； Xiongan AI Institute（雄安人工智能研究院） ； Tsinghua University（清华大学） ； CUHK-Shenzhen（香港中文大学（深圳）） ； USTC（中国科学技术大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 研究基于大语言模型的生成式智能体模拟人类行为时中间步骤注释稀缺问题，引入交互式模拟界面收集步骤级人类偏好监督，经监督微调算法和直接偏好优化方法进行步骤级偏好学习，提升模拟效果，证明步骤级人类监督是有效训练信号。

Comments WAICA2026

Compete Then Collaborate: Frontier AI Teachers Build a Verifiable Curriculum to Improve a Coding Student Beyond Imitation

竞争然后合作：前沿人工智能教师构建可验证课程以提升编码学生超越模仿

Miseong Shawn Kim

机构 * Genesis Cortex AI Inc.（创世纪皮层人工智能公司） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 研究探讨大型语言模型作教师时的教学问题，提出竞争然后合作框架，让四个前沿人工智能教师先对决排名，再合作构建课程提升学生。发现执行验证下教师解决标准问题情况，模仿不一定提升学生，合作课程能提升学生，强调合作构建可验证环境的价值。

Comments 8 pages, 1 figure

Iterative Visual Thinking and the Self-Correction Mirage in VLM Grounding

迭代视觉思维：通过视觉反馈教会视觉语言模型空间自我修正

Animesh Tripathy, Aswanth Krishnan

机构 * QpiAI India Pvt. Ltd（QpiAI印度私人有限公司） 纠错

专题命中 后训练与偏好优化 ：SFT(summary_cn,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出迭代视觉思维（IVT）框架，通过视觉反馈闭环和两阶段训练（SFT+GRPO），使视觉语言模型具备空间自我修正能力，在三个基准上提升指标2.4-3.2个百分点。

Which Tokens Matter? Adaptive Token Selection for RLVR with the Relative Surprisal Index

哪些Token重要？基于相对惊讶指数的自适应Token选择用于RLVR

Outongyi Lv, Yanzhao Zheng, Yuanwei Zhang, Zhenghao Huang, Xingjun Wang, Baohua Dong, Hangcheng Zhu, Yingda Chen

机构 * ModelScope Team（ModelScope团队） ； Alibaba Group（阿里巴巴集团） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出相对惊讶指数（RSI）度量，通过自适应Token过滤方法RSI-S解决RLVR中高熵与低概率Token的矛盾，在AIME和AMC基准上提升avg@32准确率2-3个百分点。

Comments 13 pages, 4 figures

Qwen-Image-2.0-RL Technical Report

Qwen-Image-2.0-RL 技术报告

Yixian Xu, Kaiyuan Gao, Yuxiang Chen, Yilei Chen, Zecheng Tang, Zihao Liu, Zikai Zhou, Deqing Li, Hao Meng, Kuan Cao, Jiahao Li, Jie Zhang, Liang Peng, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiaoyue Chen, Yan Shu, Yanran Zhang, Yi Wang, Yu Wu, Yujia Wu, Zekai Zhang, Zhendong Wang, Xiao Xu, Kun Yan, Chenfei Wu

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 提出基于强化学习与在线蒸馏的后训练流程，通过复合奖励模型和GRPO框架提升扩散模型的视觉质量与指令遵循能力，在多个基准上取得显著提升。

Comments 16 pages, 6 figures, 1 table

A Markov Chain Approach to Preference Alignment

一种偏好对齐的马尔可夫链方法

Takuya Koriyama, Tengyuan Liang

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；分类 cs.LG

AI总结 提出MCHF方法，通过直接利用成对偏好定义马尔可夫核实现生成模型对齐，理论证明其几何收敛速度由非传递结构量决定，并与NLHF和RLHF方法建立统一视角。

Comments 48 pages, 7 figures

See First, Answer Later: Visual Evidence Pre-Alignment via Sufficiency-Driven RL

先看后答：基于充分性驱动的强化学习实现视觉证据预对齐

Yilian Liu, Sicong Leng, Guoshun Nan, Junyi Zhu, Jiayu Huang, Minghao Sun, Xuancheng Zhu, Yisong Chen, Zexian Wei, Xiaofeng Tao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanyang Technological University（南洋理工大学） ； China Telecom（中国电信） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 提出视觉证据预对齐（VEPA）方法，在预训练与后训练之间引入充分性驱动的GRPO优化，以增强多模态大模型对细粒度视觉证据的利用，显著提升视觉密集型任务性能。

Can the Environment Speak for Itself? $T^{2}$-GRPO: A Turn-Trajectory Group Relative Policy Optimization for Caregiver Agents

环境能否为自己发声？$T^{2}$-GRPO：一种面向护理智能体的转向-轨迹组相对策略优化

Yutong Song, Jiang Wu, Pengfei Zhang, Wenjun Huang, Honghui Xu, Nikil Dutt, Amir M. Rahmani

机构 * University of California, Irvine（加州大学尔湾分校） ； Independent Researcher（独立研究员） ； Kennesaw State University（肯尼索州立大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出T²-GRPO框架，通过解耦护理强化学习为两个归一化奖励视界，并利用二元硬否决确保安全，从环境状态转换中提取密集转向级奖励，结合轨迹级评估，有效处理即时患者反馈、长期护理结果和安全约束。

PAFO: Pareto Fairness Optimization for Personalized Reward Modeling

PAFO: 个性化奖励建模的帕累托公平优化

Xiaoyan Zhao, Haoting Ni, Yang Zhang, Chunyuan Zheng, Haoxuan Li, Fuli Feng

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对个性化奖励模型因训练数据偏好不平衡导致对少数用户群体存在偏见的问题，提出PAFO框架，通过帕累托公平优化提升弱势群体性能而不损害其他群体，实验表明能同时提高少数和多数群体准确率并降低不公平性。

SSPO: Structure-Aware Similarity-Weighted Preference Optimization for Neural Combinatorial Optimization

SSPO：面向神经组合优化的结构感知相似度加权偏好优化

Yuanyu Li, Jintao Xu, Zijiang Liu, Yongzhi Qi, Ningxuan Kang, Jianshen Zhang, Wei Qi, Chen Xie, Zuo-Jun Max Shen

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对神经组合优化训练中的梯度信号极化与基线冗余问题，提出SSPO方法，通过结构感知相似度加权的留一法基线解决问题，其训练的EFL策略已在京东设施选址系统中实现实际应用。

TELLER: Dual-Path Iterative Preference Optimization for Table Entity Linking

TELLER：用于表格实体链接的双路径迭代偏好优化

Yixin Peng, Kehao Li, Stefan Decker

机构 * RWTH Aachen（亚琛工业大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对表格实体链接任务提出TELLER双路径迭代偏好优化方法，通过直接回答与推理两条路径分别优化，在TableInstruct和MammoTab V2数据集上提升了实体链接与推理生成的准确率。

Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL

掩码扩散语言模型是用于智能体强化学习的强大且可控的基于文本的世界模型

Darshan Deshpande

机构 * Patronus AI（守护神人工智能公司） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究强化学习中世界模型问题，对比自回归语言模型和掩码扩散语言模型，发现掩码扩散语言模型性能更优。引入GRPO训练框架，在三个OOD环境上零样本转移消融效果良好，还进行相关分析与评估，最后开源工作推动该领域研究。

Comments Dataset: https://huggingface.co/PatronusAI/world_model_corpus Training code: https://github.com/patronus-ai/mdlm_world_modeling

Never Too Late for Force: Accelerating VLA Post-Training with Reactive Force Injection

力，永不嫌迟：通过反应式力注入加速视觉-语言-动作模型的训练后优化

Yi Wang, Wendi Chen, Zimo Wen, Han Xue, Xueqi Li, Wenye Yu, Zhijie Chen, Hao Yang, Jun Lv, Chuan Wen, Cewu Lu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Southern University of Science and Technology（南方科技大学） ； Noematrix Ltd.（诺玛矩阵有限公司） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究针对预训练VLA策略在接触状态下表现不佳的问题，提出LIFT框架，通过嫁接反应式动作专家、注入力及结合在线DAgger循环，提升其在富含接触操作任务中的性能，且证明相关组件对稳健操作很重要。

Comments Project page: https://lift-policy.github.io/

A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism

小语言和视觉语言模型网络智能体中GRPO的学习率门控失败：一个可控的无效结果及其机制

Chengguang Gan, Zhixi Cai, Yunhao Liang, Hanjun Wei, Shiwen Ni, Qinghao Zhang

机构 * Monash University（莫纳什大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； Pusan National University（釜山国立大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究4B到8B规模小语言和视觉语言模型网络智能体中GRPO的效果，通过控制变量实验发现其在已掌握任务上无明显提升，解释了学习率导致失败的机制，表明该耦合与模型规模相关。

Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization

超越欧几里得裁剪：通过黎曼等距策略优化克服大语言模型强化学习中的探索崩溃

Zhicheng Cai, Xinyuan Guo, Hanlin Wu, Mingxuan Wang, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

专题命中 后训练与偏好优化 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型强化学习中PPO-Clip的探索崩溃问题，提出黎曼等距策略优化（RIPO）方法，通过保证黎曼流形上等距策略更新平衡探索与利用，在七个竞争级基准上显著超越现有算法。

Comments ICML 2026

CONFLUX: A Latent Diffusion Model for 3D Chest-CT Synthesis with RL Post-Training

CONFLUX：一种用于3D胸部CT合成的潜在扩散模型及强化学习后训练

Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert

机构 * Department of Biomedical Data Science, Stanford University School of Medicine（斯坦福大学医学院生物医学数据科学系） ； Department of Mathematical Modelling, Statistics & Bioinformatics, Ghent University（根特大学数学建模、统计与生物信息学系） ； Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出CONFLUX潜在扩散模型用于胸部CT合成，由3D变分自编码器和整流流变压器构成，基于放射学元数据生成，通过强化学习后训练增强对临床属性控制，在三平面弗雷歇距离上领先并发布模型与数据集。

A-Evolve-Training: Autonomous Post-Training of a 30B Model

A-Evolve-Training: 30B模型的自主后训练

Zhan Shi, Bing He, Yisi Sang, Hanqing Lu, Benoit Dumoulin

机构 * A-EVO-Lab, Amazon（亚马逊A-EVO实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出一个无需人工干预的自主后训练系统，对30B参数模型进行多轮训练，在NVIDIA排行榜上接近人类最佳成绩，并展示了系统能自主发现并修正指标误导问题。

Comments 12 pages,

Beyond Uniform Forgetting: A Study of Sequential Direct Preference Optimization Across Preference Settings

超越统一遗忘：不同偏好设置下顺序直接偏好优化的研究

Pranav Bhandari, Nicolas Fay, Amitava Datta, Usman Naseem, Mehwish Nasim

机构 * Network Analysis and Social Influence Modelling (NASIM) Lab（网络分析与社会影响建模实验室） ； School of Physics Maths and Computing, The University of Western Australia（西澳大学物理数学与计算学院） ； School of Psychological Science, The University of Western Australia（西澳大学心理科学学院） ； School of Computing, Macquarie University（麦考瑞大学计算机学院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究顺序DPO在不同偏好设置下的影响，发现遗忘模式并非统一，而是取决于目标关系、信号强度和训练顺序，并提出未来对齐流程应考虑目标兼容性。

Comments Submitted to EMNLP 2026

Boosting Direct Preference Optimization with Penalization

通过惩罚增强直接偏好优化

Pengwei Sun

机构 * Pengwei Sun（Sun Pengwei） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出DPOP，在DPO损失上增加对参考模型贪婪响应的门控惩罚，仅当当前策略对偏好响应概率低于拒绝响应时激活，在AlpacaEval 2.0上显著提升胜率。

Comments Accepted at ICML 2026 Workshop on Decision-Making from Offline Datasets to Online Adaptation: Black-Box Optimization to Reinforcement Learning

PRISM: Recovering Instruction Sets from Language Model Activations

PRISM：从语言模型激活中恢复指令集

Gilad Gressel, Rahul Pankajakshan, Julia Diament, Efim Hudis, Krishnashree Achuthan, Yisroel Mirsky

机构 * Center for Cybersecurity Systems & Networks, Amrita Vishwa Vidyapeetham（阿姆里塔·维什瓦·维迪亚佩瑟姆网络安全系统与网络中心） ； Microsoft（微软） ； Ben-Gurion University of the Negev（内盖夫本-古里安大学） 纠错

专题命中 后训练与偏好优化 ：language model(title)；LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出PRISM方法，通过激活条件解码从冻结目标模型隐藏状态中恢复活跃指令集，利用法官引导的GRPO优化，在多种场景下优于基线方法。

Comments Under Review

Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning

组图策略优化用于长程智能体强化学习

Yunan Wang, Minghui Song, Zihan Zhang, Shaohan Huang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang

机构 * Peking University（北京大学） ； Microsoft Corporation（微软公司） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出G2PO算法，通过构建全局状态转移图并引入组聚合状态值估计和边中心优势估计，解决长程智能体强化学习中的奖励稀疏和信用分配粗粒度问题，在WebShop等基准上显著提升成功率。

Reward Modeling for Multi-Agent Orchestration

多智能体编排的奖励建模

King Yeung Tsang, Zihao Zhao, Vishal Venkataramani, Haizhou Shi, Zixuan Ke, Semih Yavuz, Shafiq Joty, Hao Wang

机构 * Rutgers University（罗杰斯大学） ； Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出OrchRM框架，通过自监督学习从多智能体执行中间产物构建奖励模型，无需人工标注，实现高效编排器训练和测试时扩展，在多个领域提升性能并降低计算成本。

Comments Preprint; work in progress

Calibration of Structured Ignorance Certificates for Diagnosing Unknown Unknowns in Reasoning Models

用于诊断推理模型中未知未知的结构化无知证书的校准

Subramanyam Sahoo

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出结构化无知证书（SICs）输出格式，通过GRPO微调14B模型，使模型在无法回答时明确承认知识缺失并生成检索查询，在未知未知问题上实现99.46%的JSON有效性和0.967的证书特异性分数。

Comments Accepted in ICML 2026 Workshop: Epistemic Intelligence in Machine Learning

Manifold Drift in Flow Preference Optimization: A Root Cause of Reward Hacking

流偏好优化中的流形漂移：奖励黑客的根本原因

Yansen Han, Shengyi Liao, Yuanxing Zhang, Pengfei Wan, Tao Lin

机构 * Zhejiang University（浙江大学） ； Kuaishou Technology（快手科技） ； Westlake University（西湖大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 本文针对流偏好优化中流形漂移导致奖励黑客的问题，提出ThermoDPO及其加权变体，在玩具基准和SD3.5-M数据集上均取得优于FlowDPO等方法的性能。

ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning

ADEPT：通过强化学习利用预训练和后训练提升灵巧性

Jayjun Lee, Jessica Yin, Asif Rana, Nicholas Blauch, Sam Mady, Mohak Bhardwaj, Nima Fazeli, Nathan Ratliff, Karl Van Wyk, Ankur Handa

机构 * NVIDIA Corporation（英伟达公司） ； University of Michigan（密歇根大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 该研究提出ADEPT强化学习框架，通过预训练和后训练实现高自由度机器人的可仿真到现实迁移的灵巧性，在两款机器人本体上完成长程任务，达到人类水平灵巧速度。

Comments Project page: https://adept-dexterity.github.io/

Cutting AI Datacenter Energy with Reinforcement Learning: Measured Power Control of LLM Training from One GPU to the Fleet

用强化学习降低AI数据中心能耗：从单GPU到集群的大语言模型训练实测功率控制

Eliseo Curcio

专题命中 后训练与偏好优化 ：LLM(title)；post-training(abstract)；分类 cs.AI

AI总结 该研究针对大语言模型训练的GPU功耗问题，提出PPO元控制器调整生成参数，在单GPU及集群环境下降低功率违规、提升输出与能效，验证了超额订阅的可行性。

Se-DPO: Self-Evolving Token Credit for Direct Preference Optimization

Se-DPO：用于直接偏好优化的自进化令牌信用

Wenxiao Zhao, Shu Wang, Ying Nian Wu

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.CL

AI总结 Se-DPO是一种在DPO训练中基于模型自身内部信号动态校准令牌信用的方法，无需外部模型，在AlpacaEval 2和Arena-Hard上较DPO分别提升9.8和12.2个百分点。

Comments 16 pages, 2 figures, COLM2026

RecoverFly: A Failure-Aware Reinforcement Learning Post-Training Framework for Aerial Vision-Language Navigation

RecoverFly：面向空中视觉语言导航的故障感知强化学习后训练框架

Boxiong Wang, Hui Kang, Geng Sun, Jiahui Li, Chao Yu, Daxin Tian

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 RecoverFly是面向端到端无人机视觉-语言-动作策略的故障感知强化学习后训练框架，在TravelUAV基准上实现了优于AerialVLA的性能，提升了导航成功率。

CARGO-VL: Counterfactual Arbitration with Risk-Constrained Group Optimization for Vision-Language Models

CARGO-VL：面向视觉-语言模型的风险约束组优化反事实仲裁方法

De Jiang, Zhengyang Zhang, Kehong Yuan, Shaohua Ma

专题命中 后训练与偏好优化 ：language model(title)；post-training(abstract)；分类 cs.AI

AI总结 本研究提出CARGO-VL框架，结合XMC资源，通过组相对优化及原对偶控制器，提升视觉-语言模型的反事实仲裁性能，在多基准上优于逐点基线。

Post-Training on Office Work Improves Software Engineering: A Behavioral Account of Cross-Domain Transfer

在办公工作上进行后训练可提升软件工程能力：跨域迁移的行为视角

Logan Ritchie, Sushant Mehta, Liudas Panavas, Edwin Chen

机构 * Surge AI 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 该研究通过在办公工作流程的长程多工具智能体任务上后训练Qwen3.5-122B-A10B，发现模型在无相关训练的软件工程基准SWE-Bench Pro上性能提升，证实长程后训练可跨域强化目标导向执行行为。

Comments 20 pages, 8 figures, 5 tables