语言大模型 / LLM

AffectOmni: RL-Verifiable People-Centric Grounded Affective Reasoning for Social and Art-Related Scenes

AffectOmni：面向社交与艺术相关场景的可通过强化学习验证的以人为中心的接地情感推理

Yibo Wang, Rui Yang, Jisheng Dang, Bimei Wang, Yitao Wu, Pengfei Cao, Wencan Zhang, Hong Peng, Bin Hu, Tat-Seng Chua

机构 * Lanzhou University（兰州大学） ； Hainan University（海南大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AffectOmni是面向社交与艺术场景的可验证情感推理框架，通过GRPO训练，引入两类奖励优化以人为中心的证据选择与时间推理，经多数据集实验较7B基线实现显著性能提升。

Comments 12 pages, 5 figures

StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing

StepGuard：利用可扩展监督与安全-效用平衡学习步骤级护栏

Zhijie Zheng, Yu Li, Chen Qian, Yuqian Fu, Yanwei Fu, Lu Sheng, Jing Shao, Dongrui Liu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Beihang University（北京航空航天大学） ； Fudan University（复旦大学） ； Renmin University of China（中国人民大学） ； KAUST（阿卜杜拉国王科技大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 该研究针对LLM智能体交互的安全风险，提出步骤级护栏模型StepGuard，通过自动数据引擎StepGen与动态平衡学习方法Balance-GRPO训练，在降低攻击成功率的同时仅小幅影响效用。

Comments Accepted by EMNLP 2026. Project page: https://zheng977.github.io/StepGuard/

Gated Decoupled Compositional Bandits: A Unified Theory of Contextual Bandits with Supervised-Calibrated Action Scaling and Pre-Execution Gating

门控解耦组合多臂老虎机：带监督校准动作缩放与预执行门控的上下文多臂老虎机统一理论

Oleg Miroshnichenko

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 该研究提出门控解耦组合多臂老虎机（GDCB），证明其可统一多个工业系统，核心定理可将非平稳问题转化为近似平稳问题，还推广了相关结果，配套论文已验证短期租赁动态定价实例。

Comments 30 pages, 4 figures

SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning

SAPO：用于智能体强化学习的单回滚自回归策略优化

Dayang Liang, Lang Feng, Bo An, Yunlong Liu

机构 * Xiamen University（厦门大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本研究针对智能体强化学习现有方法的三大局限，提出SAPO框架，其共享策略与价值函数的自回归主干，结合广义优势估计器，在ALFWorld、WebShop任务上性能优于PPO和GRPO，内存与计算效率更高。

Agent Safety Should Be a Runtime Contract

智能体安全应成为运行时契约

Albus W. Ng, Yi Han, Jusheng Zhang, Wenhao Wang

机构 * Vast Intelligence Lab（星智实验室） ； Southwest University（西南大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究指出将AI安全仅在训练阶段植入的范式不足，提出智能体安全应是兼具预防与证据层面的运行时契约，通过四类公开证据支撑该立场并给出研究议程。

SearchMaster: Grounded and Regulated Self-Play for Search Agents

SearchMaster：面向搜索智能体的基于接地与调控的自博弈框架

Wentao Tan, Qiong Cao, Jiaqi Wang, Nan Duan

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本文提出SearchMaster自博弈框架，通过ECG、SDR、OOP三项调控措施优化LLM搜索智能体训练，在六个深度搜索基准上显著提升Qwen3.5-9B模型的平均准确率，无需人工标注数据。

Learning Latent Reasoning Traces for Scalar Reward Models End-to-End

学习标量奖励模型的端到端潜在推理轨迹

Sanwoo Lee, Clive Bai, Hsiu-Yuan Huang, Kun Liang, Weijie Liu, Yunfang Wu

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对奖励模型范式不匹配问题，提出LatentRM框架，将推理轨迹作为潜在变量端到端优化，在多任务上优于各类基准奖励模型。

SciForma: Structure-Faithful Generation of Scientific Diagrams

SciForma：科学图表的结构忠实生成

Yuxuan Luo, Peng Zhang, Xinjie Zhang, Xun Guo, Zhouhui Lian, Yan Lu

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所） ； State Key Lab of CAD & CG, Zhejiang University（浙江大学CAD&CG国家重点实验室） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；post-training(abstract)；preference optimization(abstract)；分类 cs.LG

AI总结 研究针对科学图表结构保真度问题，提出SciForma框架，分解图表质量为三个结构轴，用M-DPO优化，策划训练和评估数据，实现迭代编辑，使SciForma-9B超越开源基线和GPT-Image-1.5，提升科学图表生成的结构保真度。

Comments 30 pages, 21 figures

Pailitao-MMSearch: Building Native E-Commerce Multimodal Search Foundation

派利淘-多模态搜索：构建原生电子商务多模态搜索基础

Xiaohan Ye, Xu Chen, Zihan Gong, Jian Ding, Lianyu Du, Baicheng Chen, Yunmeng Shu, Jingqian Zhao, Zhixiang Zhao, Shuaiqi Jia, Chong Ma, Shuwen Xiao, Xiangheng Kong, Yuan Gao, Jun Song, Jinsong Lan, Xiaoyong Zhu, Bo Zheng

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘宝及天猫集团） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；post-training(abstract)

AI总结 针对电子商务多模态搜索问题，提出派利淘-多模态搜索基础模型，通过混合语义ID、两阶段持续预训练策略和混合推理后训练管道，在淘宝派利淘平台实现显著改进，提升了商品交易总额和交易量。

Comments Technical Report: Pailitao-MMSearch

Step-Level Preference Learning for Generative Agents in Social Simulations

社会模拟中生成式智能体的步骤级偏好学习

Wenchang Gao, Pingyue Sheng, Lanlan Qiu, Yunfei Ma, Jian Zhao, Baicheng Chen, Kangda Wang, Yuyang Tian, Shunqiang Mao, Tianxing He

机构 * Shanghai Qi Zhi Institute（上海期智研究院） ； Xiongan AI Institute（雄安人工智能研究院） ； Tsinghua University（清华大学） ； CUHK-Shenzhen（香港中文大学（深圳）） ； USTC（中国科学技术大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 研究基于大语言模型的生成式智能体模拟人类行为时中间步骤注释稀缺问题，引入交互式模拟界面收集步骤级人类偏好监督，经监督微调算法和直接偏好优化方法进行步骤级偏好学习，提升模拟效果，证明步骤级人类监督是有效训练信号。

Comments WAICA2026

Compete Then Collaborate: Frontier AI Teachers Build a Verifiable Curriculum to Improve a Coding Student Beyond Imitation

竞争然后合作：前沿人工智能教师构建可验证课程以提升编码学生超越模仿

Miseong Shawn Kim

机构 * Genesis Cortex AI Inc.（创世纪皮层人工智能公司） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 研究探讨大型语言模型作教师时的教学问题，提出竞争然后合作框架，让四个前沿人工智能教师先对决排名，再合作构建课程提升学生。发现执行验证下教师解决标准问题情况，模仿不一定提升学生，合作课程能提升学生，强调合作构建可验证环境的价值。

Comments 8 pages, 1 figure

Iterative Visual Thinking and the Self-Correction Mirage in VLM Grounding

迭代视觉思维：通过视觉反馈教会视觉语言模型空间自我修正

Animesh Tripathy, Aswanth Krishnan

机构 * QpiAI India Pvt. Ltd（QpiAI印度私人有限公司） 纠错

专题命中 后训练与偏好优化 ：SFT(summary_cn,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出迭代视觉思维（IVT）框架，通过视觉反馈闭环和两阶段训练（SFT+GRPO），使视觉语言模型具备空间自我修正能力，在三个基准上提升指标2.4-3.2个百分点。

Which Tokens Matter? Adaptive Token Selection for RLVR with the Relative Surprisal Index

哪些Token重要？基于相对惊讶指数的自适应Token选择用于RLVR

Outongyi Lv, Yanzhao Zheng, Yuanwei Zhang, Zhenghao Huang, Xingjun Wang, Baohua Dong, Hangcheng Zhu, Yingda Chen

机构 * ModelScope Team（ModelScope团队） ； Alibaba Group（阿里巴巴集团） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出相对惊讶指数（RSI）度量，通过自适应Token过滤方法RSI-S解决RLVR中高熵与低概率Token的矛盾，在AIME和AMC基准上提升avg@32准确率2-3个百分点。

Comments 13 pages, 4 figures

Qwen-Image-2.0-RL Technical Report

Qwen-Image-2.0-RL 技术报告

Yixian Xu, Kaiyuan Gao, Yuxiang Chen, Yilei Chen, Zecheng Tang, Zihao Liu, Zikai Zhou, Deqing Li, Hao Meng, Kuan Cao, Jiahao Li, Jie Zhang, Liang Peng, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiaoyue Chen, Yan Shu, Yanran Zhang, Yi Wang, Yu Wu, Yujia Wu, Zekai Zhang, Zhendong Wang, Xiao Xu, Kun Yan, Chenfei Wu

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 提出基于强化学习与在线蒸馏的后训练流程，通过复合奖励模型和GRPO框架提升扩散模型的视觉质量与指令遵循能力，在多个基准上取得显著提升。

Comments 16 pages, 6 figures, 1 table

A Markov Chain Approach to Preference Alignment

一种偏好对齐的马尔可夫链方法

Takuya Koriyama, Tengyuan Liang

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；分类 cs.LG

AI总结 提出MCHF方法，通过直接利用成对偏好定义马尔可夫核实现生成模型对齐，理论证明其几何收敛速度由非传递结构量决定，并与NLHF和RLHF方法建立统一视角。

Comments 48 pages, 7 figures

See First, Answer Later: Visual Evidence Pre-Alignment via Sufficiency-Driven RL

先看后答：基于充分性驱动的强化学习实现视觉证据预对齐

Yilian Liu, Sicong Leng, Guoshun Nan, Junyi Zhu, Jiayu Huang, Minghao Sun, Xuancheng Zhu, Yisong Chen, Zexian Wei, Xiaofeng Tao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanyang Technological University（南洋理工大学） ； China Telecom（中国电信） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 提出视觉证据预对齐（VEPA）方法，在预训练与后训练之间引入充分性驱动的GRPO优化，以增强多模态大模型对细粒度视觉证据的利用，显著提升视觉密集型任务性能。

Can the Environment Speak for Itself? $T^{2}$-GRPO: A Turn-Trajectory Group Relative Policy Optimization for Caregiver Agents

环境能否为自己发声？$T^{2}$-GRPO：一种面向护理智能体的转向-轨迹组相对策略优化

Yutong Song, Jiang Wu, Pengfei Zhang, Wenjun Huang, Honghui Xu, Nikil Dutt, Amir M. Rahmani

机构 * University of California, Irvine（加州大学尔湾分校） ； Independent Researcher（独立研究员） ； Kennesaw State University（肯尼索州立大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出T²-GRPO框架，通过解耦护理强化学习为两个归一化奖励视界，并利用二元硬否决确保安全，从环境状态转换中提取密集转向级奖励，结合轨迹级评估，有效处理即时患者反馈、长期护理结果和安全约束。

PAFO: Pareto Fairness Optimization for Personalized Reward Modeling

PAFO: 个性化奖励建模的帕累托公平优化

Xiaoyan Zhao, Haoting Ni, Yang Zhang, Chunyuan Zheng, Haoxuan Li, Fuli Feng

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对个性化奖励模型因训练数据偏好不平衡导致对少数用户群体存在偏见的问题，提出PAFO框架，通过帕累托公平优化提升弱势群体性能而不损害其他群体，实验表明能同时提高少数和多数群体准确率并降低不公平性。

TailSFT: Filtered Fine-Tuning Improves Post-Training Performance

TailSFT：过滤式微调提升后训练性能

Sadhika Malladi, Samy Jelassi, Dylan Foster, Jordan T. Ash, Akshay Krishnamurthy

机构 * University of California San Diego（加州大学圣迭戈分校） ； Microsoft Research NYC（微软研究院纽约分部） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TailSFT过滤式微调算法，可提升模型后强化学习性能，在OLMo-3 7B上数学与代码评估pass@16最高提17%，后续GRPO的pass@1最高提4%，还引入轻量诊断方法识别适用场景。

SSPO: Structure-Aware Similarity-Weighted Preference Optimization for Neural Combinatorial Optimization

SSPO：面向神经组合优化的结构感知相似度加权偏好优化

Yuanyu Li, Jintao Xu, Zijiang Liu, Yongzhi Qi, Ningxuan Kang, Jianshen Zhang, Wei Qi, Chen Xie, Zuo-Jun Max Shen

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对神经组合优化训练中的梯度信号极化与基线冗余问题，提出SSPO方法，通过结构感知相似度加权的留一法基线解决问题，其训练的EFL策略已在京东设施选址系统中实现实际应用。

TELLER: Dual-Path Iterative Preference Optimization for Table Entity Linking

TELLER：用于表格实体链接的双路径迭代偏好优化

Yixin Peng, Kehao Li, Stefan Decker

机构 * RWTH Aachen（亚琛工业大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对表格实体链接任务提出TELLER双路径迭代偏好优化方法，通过直接回答与推理两条路径分别优化，在TableInstruct和MammoTab V2数据集上提升了实体链接与推理生成的准确率。

Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL

掩码扩散语言模型是用于智能体强化学习的强大且可控的基于文本的世界模型

Darshan Deshpande

机构 * Patronus AI（守护神人工智能公司） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究强化学习中世界模型问题，对比自回归语言模型和掩码扩散语言模型，发现掩码扩散语言模型性能更优。引入GRPO训练框架，在三个OOD环境上零样本转移消融效果良好，还进行相关分析与评估，最后开源工作推动该领域研究。

Comments Dataset: https://huggingface.co/PatronusAI/world_model_corpus Training code: https://github.com/patronus-ai/mdlm_world_modeling

Never Too Late for Force: Accelerating VLA Post-Training with Reactive Force Injection

力，永不嫌迟：通过反应式力注入加速视觉-语言-动作模型的训练后优化

Yi Wang, Wendi Chen, Zimo Wen, Han Xue, Xueqi Li, Wenye Yu, Zhijie Chen, Hao Yang, Jun Lv, Chuan Wen, Cewu Lu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Southern University of Science and Technology（南方科技大学） ； Noematrix Ltd.（诺玛矩阵有限公司） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究针对预训练VLA策略在接触状态下表现不佳的问题，提出LIFT框架，通过嫁接反应式动作专家、注入力及结合在线DAgger循环，提升其在富含接触操作任务中的性能，且证明相关组件对稳健操作很重要。

Comments Project page: https://lift-policy.github.io/

A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism

小语言和视觉语言模型网络智能体中GRPO的学习率门控失败：一个可控的无效结果及其机制

Chengguang Gan, Zhixi Cai, Yunhao Liang, Hanjun Wei, Shiwen Ni, Qinghao Zhang

机构 * Monash University（莫纳什大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； Pusan National University（釜山国立大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究4B到8B规模小语言和视觉语言模型网络智能体中GRPO的效果，通过控制变量实验发现其在已掌握任务上无明显提升，解释了学习率导致失败的机制，表明该耦合与模型规模相关。

Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization

超越欧几里得裁剪：通过黎曼等距策略优化克服大语言模型强化学习中的探索崩溃

Zhicheng Cai, Xinyuan Guo, Hanlin Wu, Mingxuan Wang, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

专题命中 后训练与偏好优化 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型强化学习中PPO-Clip的探索崩溃问题，提出黎曼等距策略优化（RIPO）方法，通过保证黎曼流形上等距策略更新平衡探索与利用，在七个竞争级基准上显著超越现有算法。

Comments ICML 2026

CONFLUX: A Latent Diffusion Model for 3D Chest-CT Synthesis with RL Post-Training

CONFLUX：一种用于3D胸部CT合成的潜在扩散模型及强化学习后训练

Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert

机构 * Department of Biomedical Data Science, Stanford University School of Medicine（斯坦福大学医学院生物医学数据科学系） ； Department of Mathematical Modelling, Statistics & Bioinformatics, Ghent University（根特大学数学建模、统计与生物信息学系） ； Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出CONFLUX潜在扩散模型用于胸部CT合成，由3D变分自编码器和整流流变压器构成，基于放射学元数据生成，通过强化学习后训练增强对临床属性控制，在三平面弗雷歇距离上领先并发布模型与数据集。

A-Evolve-Training: Autonomous Post-Training of a 30B Model

A-Evolve-Training: 30B模型的自主后训练

Zhan Shi, Bing He, Yisi Sang, Hanqing Lu, Benoit Dumoulin

机构 * A-EVO-Lab, Amazon（亚马逊A-EVO实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出一个无需人工干预的自主后训练系统，对30B参数模型进行多轮训练，在NVIDIA排行榜上接近人类最佳成绩，并展示了系统能自主发现并修正指标误导问题。

Comments 12 pages,

Beyond Uniform Forgetting: A Study of Sequential Direct Preference Optimization Across Preference Settings

超越统一遗忘：不同偏好设置下顺序直接偏好优化的研究

Pranav Bhandari, Nicolas Fay, Amitava Datta, Usman Naseem, Mehwish Nasim

机构 * Network Analysis and Social Influence Modelling (NASIM) Lab（网络分析与社会影响建模实验室） ； School of Physics Maths and Computing, The University of Western Australia（西澳大学物理数学与计算学院） ； School of Psychological Science, The University of Western Australia（西澳大学心理科学学院） ； School of Computing, Macquarie University（麦考瑞大学计算机学院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究顺序DPO在不同偏好设置下的影响，发现遗忘模式并非统一，而是取决于目标关系、信号强度和训练顺序，并提出未来对齐流程应考虑目标兼容性。

Comments Submitted to EMNLP 2026

Boosting Direct Preference Optimization with Penalization

通过惩罚增强直接偏好优化

Pengwei Sun

机构 * Pengwei Sun（Sun Pengwei） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出DPOP，在DPO损失上增加对参考模型贪婪响应的门控惩罚，仅当当前策略对偏好响应概率低于拒绝响应时激活，在AlpacaEval 2.0上显著提升胜率。

Comments Accepted at ICML 2026 Workshop on Decision-Making from Offline Datasets to Online Adaptation: Black-Box Optimization to Reinforcement Learning

PRISM: Recovering Instruction Sets from Language Model Activations

PRISM：从语言模型激活中恢复指令集

Gilad Gressel, Rahul Pankajakshan, Julia Diament, Efim Hudis, Krishnashree Achuthan, Yisroel Mirsky

机构 * Center for Cybersecurity Systems & Networks, Amrita Vishwa Vidyapeetham（阿姆里塔·维什瓦·维迪亚佩瑟姆网络安全系统与网络中心） ； Microsoft（微软） ； Ben-Gurion University of the Negev（内盖夫本-古里安大学） 纠错

专题命中 后训练与偏好优化 ：language model(title)；LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出PRISM方法，通过激活条件解码从冻结目标模型隐藏状态中恢复活跃指令集，利用法官引导的GRPO优化，在多种场景下优于基线方法。

Comments Under Review